青年委员风采——高林

发布时间：2025-04-27 20:49:12 人气：作者：小编

简介：高林，CSIG高级会员、中国科学院计算技术研究所研究员、博士生导师、泛在计算系统研究中心副主任、中国科学院大学岗位教授。在清华大学获得工学博士学位（导师：胡事民院士）。研究方向为计算机图形学、三维计算机视觉。在SIGGRAPH、TPAMI、TVCG等期刊会议发表论文100余篇，研发的人脸AIGC的APP被全球180余个国家或者地区的用户所使用。现任或者曾任亚洲图形学学会秘书长，GDC大会联合程序主席，SGP大会联合主席，China3DV程序委员会联合主席，SIGGRAPH技术论文程序委员会委员，CVPR、NeurIPS领域主席，IEEE TVCG编委，作为项目负责人承担国家重点研发计划、国家自然科学基金委优青、北京市杰青（结题优秀）、英国皇家学会牛顿高级学者等项目，曾获得亚洲图形学会青年学者奖，吴文俊人工智能优秀青年奖，CCF技术发明一等奖，CCF CAD&CG开源软件奖等奖励。

委员亮点工作介绍

大尺度非线性变形建模方法

为了应对三维模型进行实时大尺度变形的研究挑战，提出了一种大尺度变形的表征方法ACAP(As-Consistent-As-Possible Deformation Representation)，通过优化空间变形的连续性解决了变形梯度的歧义性，可以刻画大尺度的变形，从而进行实时的变形建模，这一变形表征为后续的研究工作奠定了基础。该方法基于ACAP变形特征的网格变形卷积算子和池化算子，研究了可以表示网格变形的卷积网络，进而通过网格变分自编码器MeshVAE来刻画网格变形的非线性，并达到生成大尺度变形建模的效果。进一步的，针对高斯泼溅离散且无法实时大尺度变形的问题，提出了基于高斯网表示的交互式实时变形方法，将网格的变形优势与高斯泼溅的高真实感渲染优势结合，在提升建模渲染质量的同时克服了高斯泼溅方法难以进行大尺度变形的局限性。

图1. 大尺度非线性变形建模方法

面向精细几何细节、复杂拓扑和透明材质的三维重建与生成方法

针对已有几何生成方法存在的几何细节粗糙、纹理模糊、结构简单等问题，提出将几何形状表示为模板的变形来刻画精细的几何细节。变形模板为不同模型提供了一致的参数化映射，可以将三维几何纹理的生成转化为二维图像的生成，并设计了一种量化网络来编码与合成高频的几何纹理，从而达到精细几何纹理合成的效果。提出了基于多目彩色图像重建复杂拓扑的三维模型重建方法NeUDF,设计了从可以表达复杂拓扑的无符号距离场到体渲染权重的可微函数，可以重建具有复杂拓扑结构的模型。面对透明物体具有成像二义性而难以实现三维重建的问题，提出了二阶段的嵌套透明物体重建方法NU-NeRF，仅通过普通彩色相机获取的图片就可以重建精确的几何表面。相关工作与中科院地质与地球物理研究所合作，应用于对月壤颗粒的几何形状和高频纹理进行精细建模的工作，被包括新华社在内的250余家媒体报道。

图2. 面向精细几何细节、复杂拓扑和透明材质的三维重建与生成方法

低成本高效高可控的图像与视频合成方法

生成模型的另外一个挑战是如何精确地控制生成结果，通过文本合成图像往往只能指定大致内容，无法准确控制合成的细节。线稿可以精确表示图像的几何细节，提供了一种用户友好的交互方式来进行细节控制。因此，针对已有人脸合成方法存在的合成质量差、可控性差的问题，研究了一系列使用线稿精确控制人脸图像、视频的生成与编辑方法。提出局部到全局分层策略，并设计了流形投影方法对手绘的线稿进行正则化表征，针对不同风格的线稿都能生成高真实感人脸图像。为了控制肤色、发色等纹理特征并避免突变，设计了几何和纹理的无监督解耦方法，保持人脸生成和编辑过程中的纹理一致性。进一步地，将线稿编辑方法扩展到了视频编辑，基于生成网络先验对视频和编辑进行编码，解决了线稿编辑在人脸不同表情和姿态间的传播问题，并设计了局部融合方法和平滑策略，同时保证了纹理和时序一致性。为了可控的生成高真实感的三维数字人脸，提出了通过线稿预测至生成模型的隐空间的方法和基于可微渲染的反向优化方法，生成了和线稿一致的可控高真实感数字人脸生成方法。为了可控地生成更加一般的三维模型，构建了基于线稿的多视角图像生成模型，并设计了可控反向蒸馏算法，实现基于线稿的可控高质量的三维模型生成。相关工作入选ACM TOG期刊封面，在线系统被国内外用户广泛使用，单日最高访问量超过4万次，用户遍布全球186个国家或地区，并获得了CCF CAD&CG优秀图形开源软件奖。

图3. 低成本高效高可控的图像与视频生成方法

委员专访

问：请问您的研究领域包括哪些？最近进展如何？

我的研究领域包括三维表示、建模与生成，研究如何对三维模型进行精确的表示；包括表示三维模型的大尺度变形、复杂拓扑与精细高频的纹理，并对其进行建模和重建，属于三维计算机视觉和计算机图形学的研究范畴。最近三维表示与生成是三维视觉中非常活跃的研究方向，从神经辐射场到高斯泼溅，从图像模型蒸馏到原生三维生成，三维表示和生成的技术方法在快速迭代，并不断在工业界革新着传统应用。随着空间智能、具身智能、智能驾驶的不断发展，人工智能逐步由虚入实，三维表示和生成技术将在其中起到关键技术底座的作用。

问：请向我们科普一下您研究领域相关的一项技术在应用中的具体体现。

与中科院地质与地球物理研究所的研究人员合作，对嫦娥五号采集的月壤进行了人类探月史上首个月壤颗粒的三维重建的工作，月壤颗粒矿物质丰富，纹理高频、多样，为了科学研究，立体月壤颗粒被研磨化验用于分析元素比例，所以这些月壤颗粒仅留下单张彩色照片。需要通过拍摄的单张彩色图像来重建具有形态万千的月壤颗粒的三维高频纹理问题是非常有挑战性的。为了解决欠定条件下的月壤颗粒三维重建问题，我们将月壤颗粒的三维重建问题转化为带约束的生成问题，基于之前的研究工作，提出了基于量化的高频纹理编码方法，以实现高真实感精细纹理合成。这一重建成果在“阅壤——月壤科研成果主题艺术展”上进行了展示，在线观众达400余万人，并且被新华社等250余家媒体报道。

问：您对您未来的工作有什么展望？

我围绕几何表示、重建和生成式方法展开讨论。生成式人工智能的应用层出不穷，比如文本生成ChatGPT、DeepSeek，图像生成Stable Diffusion，视频生成Sora、可灵等；要对未来的应用发展进行展望，可以先回顾历史总结它们的共同特点。这些成功的生成式人工智能的应用具有以下特点：包括照片级真实（photo Realistic）、高效（Efficiency）、可扩展（scalAble）、低成本（Low cost）。这些特点取其中大写字母可以总结为REAL，即真实感的含义。近期的几何表示快速发展，先后出现了神经辐射场、高斯泼溅等新型表征，本质上看，这些表征具有混合表示的特点。神经辐射场实际上可以看做神经网络和隐式场的混合表达，基于这一思考，我们基于高斯泼溅和网格表达的显式和隐式表达提出了高斯网，可以发挥高斯泼溅的高效表示特点和网格易于编辑的特点，取两种表示各自的优势进行混合表达，这一思路会进一步影响未来几何表达的发展。

同时，生成式方式将不断深刻的革新三维几何建模与渲染的计算方法，生成模型已在三维重建中起到日益关键的作用。近期已有诸多工作使用生成模型进行三维重建，其中就包括我们使用单张图片重建三维月壤颗粒的工作。此外，针对数字人的许多研究工作也使用到了生成模型。例如，LHM通过前向生成的方式实现单张图片的高真实感数字化身构建；IDOL同样利用了前向生成的方法，将3D人体的高斯参数化到uv空间来实现高斯参数的预测，两者仅需数秒即可生成可驱动数字化身。而对于一般物体，Trellis以单目图像为输入，通过两阶段过程同时生成网格、神经辐射场和高斯泼溅等多种表示的三维模型。3DTopia-XL则同时预测PBR物理材质属性，支持基于物理引擎的高质量渲染。同时，生成模型在渲染中也将逐步发挥重要的作用，将三维信息作为生成模型的输入，可以合成和三维模型相一致的高真实感的图片，并且能达到REAL的效果。

除此之外，三维表征、生成和渲染的发展也将和关键产业应用相互促进。随着空间智能、具身智能、智能驾驶、低空经济的快速发展，对REAL的三维重建的需求日益迫切，尤其是对于欠定条件下的三维重建任务（如高速、遮挡、抖动、稀疏视角下的基于图像的三维重建），混合三维表征和生成式重建与渲染将起到关键推动作用。