CSIG中国图象图形学会-青年委员风采-任文琦

【青年委员风采】-任文琦

1 委员基本情况：

(个人形象照)

2 委员简介：

任文琦，中国图象图形学学会高级会员，中山大学网络空间安全学院副教授，主持国家自然科学优秀青年基金，天津大学与美国加州大学Merced分校联合培养博士，从事计算机视觉与多媒体内容安全领域的研究。在CCF-A类期刊和会议长文发表学术论文70余篇（6篇ESI高被引论文，2篇热点论文），Google学术引用11000余次，入选爱思唯尔中国高被引学者、百度全球高潜力AI华人青年榜。多次担任CVPR、ICLR、AAAI等AI和CV领域重要学术会议的领域主席和高级程序委员会委员。主持国家自然科学基金3项，深圳市优秀科技创新人才培养项目，华为、腾讯、百度等企业合作项目。获中国计算机学会优博奖、吴文俊人工智能优秀青年奖、华为难题揭榜火花奖等。 

3 委员亮点工作介绍：

基于频率选择的图像修复

图像修复旨在从低质输入中恢复出高质、清晰的图像，在遥感、医学成像、摄影以及无人系统中扮演者重要角色。为提升图像修复的质量和效率，任文琦团队进行了基于频率选择的图像修复算法研究，主要思想是“频率分解+频率调制”。具体创新包括：1）提出了多分支动态频率选择方法。该方法利用轻量化的卷积网络生成能够根据输入信息自适应变化的高低通滤波器，实现了动态分频功能，从而将最需要恢复的频率分量提取出来；利用通道注意力方法对所提取的频率分量分别进行调制，使重要的频率分量得到重点恢复。2）提出了多分支紧致频率选择方法。该方法利用平均池化作为低通滤波器，在全局范围和窗口范围内提取低频和高频信息，并利用可学习的通道级权重参数，对所获得的频率分量进行调制，为深度网络提供了大范围、多尺度的感受野，有利于去除多种尺寸的低质因子。所提深度神经网络的架构图如图 1所示，该方法在图像去雾、去雪、去雨、去噪、运动去模糊、散焦去模糊等图像修复任务的20个数据库上获得了领先性能，同时兼具较高的效率，促进了图像修复的发展。

图1.基于频率选择的图像修复方法

计算成像域信息引导的光学像差矫正

针对不同成像系统存在不同光学特性和像差差异，不同成像系统的光学像差矫正缺乏点扩散函数（PSFs）提供的计算成像域信息引导的问题，任文琦团队提出了“景深感知的点扩散函数引导的光学像差矫正方法”（如图1所示），主要思想是：“可迁移的景深编码成像仿真+计算成像域信息引导的光学像差矫正”。1）提出一种通过改变少量镜头/传感器相关参数，进行多波长、景深感知、空间变化的四维点扩散函数(4D-PSFs)估计方法，实现可迁移的景深编码计算成像仿真， 模拟了真实场景的相机成像过程，减少了数据采集配准开销。2）融合空间可变PSFs提供的成像域知识(镜头和传感器)，以及估计的场景深度信息，引导建立多尺度光学像差矫正网络，利用景深感知的PSFs，预测自适应滤波器进行动态卷积，提高模型在各种场景下的泛化能力，实现景深感知空间可变的图像像差矫正。

图2.景深感知点扩散函数引导的光学像差矫正

双投影融合的全景图像超分辨率

作为新兴的数字多媒体媒介，全景图像在教育、医疗和工业等领域具有广阔的应用前景，引起了工业界和学术界的广泛关注。然而，由于存储和传输的限制，当前全景图像的分辨率往往无法提供沉浸式虚拟现实体验。为了解决这一难题，任文琦团队构建了一种"双投影融合的全景图像超分辨率"的方法。通过对全景图像投影进行详细探究，首次提出了全景图像特有的水平相似性和视角多变性两个图像先验。通过将全景图像的几何先验特征融入到网络结构设计中，建立了高效的双投影融合的全景图像超分辨率网络，较好的进行了图像的细节重建。大量实验证明，所提出的网络达到了先进水平。

图3. 双投影融合的全景图像超分辨方法

4 委员专访：

1. 请问您的研究领域包括哪些？最近进展如何？

任文琦：近年来，团队的研究领域主要包括图像视频恢复与增强及其应用的研究。我们聚焦低质量视觉内容增强与感知对抗展开研究，针对重建过程存在的“1→∞解”欠定性问题：（1）图像视频增强过程缺乏解析知识和解释性，（2）低质量目标的鲁棒安全感知，（3）超高分辨率视频处理资源消耗三个挑战问题，开展了三个方面的理论与关键技术研究。

2. 请向我们科普一下您研究领域相关的一项技术在应用中的具体体现。

任文琦：我们团队的部分研究成果分别应用于公安部专项、腾讯、华为等实际场景中。（1）研发的人脸增强算法应用于公安部组织开展的命案积案攻坚会战中，我们通过人脸图像复原的技术，对在逃人员模糊的黑白照片进行了有效的清晰化处理，提升照片的可辨识度。（2）研发的图像去雾和暗光增强算法应用在腾讯开发的小程序中进行了应用示范，做到了实时有效的终端图像增强处理，处理了超过百万张真实网络图像。

3. 您对您未来的工作有什么展望？

任文琦：我将进一步提升自身道德理论水平和教师的职业道德修养，从教学和科研方面不断突破自己。

在人才培养方面，我将继续坚持教学内容创新注重培养学生探索人工智能、网络空间安全相关的国内外新理论、新技术，为国家网安领域培养更多的优秀人才。

从科研方面，我将具体从以下两方面开展研究。（1）多模态数据融合感知：在前期的低质数据增强和感知方面的研究，我将研究多模态数据融合感知方法，进一步提升在复杂环境下的场景理解和感知准确性。（2）多媒体信息安全：近年来，AIGC图像视频大量生成，团队将从多媒体篡改检测为出发点，使用多模态学习技术对深度伪造技术生成的多媒体数据进行检测和识别，以应对网络空间中不断演化的威胁。

4. 在您招收研究生时，一般会倾向于招收具备什么技能的学生？

在招收研究生时，我会着重观察具备以下三个方面能力的学生：1.主动学习能力。学习需要主动，实验需要主动，总结需要主动，主动性学习、主动性工作是做学术研究的一个非常重要的素养，也是决定研究生学习是否顺利很关键的方面。2.解决复杂问题的能力。学生能否通过进行外部视角的反思，澄清影响问题的关键因素有哪些，进而设定目标，从而突破路径依赖，得出解决问题的新方法。3.信息搜集能力。其中包括识别信息渠道的可靠性、拓展高质量信息渠道、拆解提取关键信息和收集归纳关键信息。