简介：任冬伟，天津大学英才副教授、特聘研究员，博士生导师。主要研究方向为图像视频复原与生成，发表中科院一区期刊/CCF A类会议论文40余篇，谷歌学术引用10000余次，以第一作者/通讯作者发表的3篇论文单篇引用超1000次（单篇最高5000余次）。主持国家自然科学基金项目3项，负责国家自然科学基金联合项目课题、国家重点研发子课题等，华为、商汤等企业合作项目。获得2024年天津市自然科学一等奖、2020年黑龙江省自然科学一等奖、2024年中国人工智能学会吴文俊科技进步一等奖。
生成式插帧旨在通过利用两个关键帧作为输入来生成中间帧序列。尽管视频生成模型取得了显著进展，但由于两个关键帧之间的插值路径模糊，当输入帧之间存在较大的运动间隙时，生成式插帧在保持时间稳定性方面仍面临挑战。团队提出了“逐帧条件驱动的生成式视频插帧方法”（如图1所示），主要思想是“条件引导+特征融合”。具体创新包括：1）从两个关键帧中提取匹配线以建立可靠的对应关系，并可融入人体骨架信息，以更好地捕捉姿态变化。随后对这些初始条件进行逐帧插值，获得用于视频生成的逐帧条件。2）所提出的逐帧条件可以无缝集成到现有的预训练图像到视频扩散模型（如Stable Video Diffusion）中。通过显式指定每一帧的条件，极大地缓解了前向和后向路径之间的歧义性，使得简单的平均融合就能产生高质量结果，无需使用复杂的噪声再注入等技术。该方法在多个视频插帧数据集上取得了优异性能，推动了视频插帧技术的发展。
卷帘快门（Rolling Shutter, RS）是现代消费级相机普遍采用的成像机制，它通过逐行扫描场景来捕获图像，这在动态场景下会导致RS失真。为校正RS失真，现有方法通常采用全监督学习，需要获取超高帧率全局快门（Global Shutter, GS）视频帧作为真值监督。这样的超高帧率视频实际难以采集，现有方法通常采用仿真方式。为解决这一挑战，团队提出了“自监督双反向卷帘快门图像校正方法”，主要思想是“循环一致的自监督学习+自蒸馏策略”。具体创新包括：1）提出了自监督学习框架SelfDRSC（如图2所示），该框架利用双向畸变形变模块根据RS成像机制将校正后的全局快门（GS）图像重建为双反向RS图像，并通过对输入RS图像和重建的双反向RS图像进行一致性约束，以完成模型自监督训练。2）引入自蒸馏策略有效减轻生成的GS图像中的边界伪影问题。该方法在合成数据和真实世界数据上的实验结果表明，SelfDRSC在生成高帧率GS视频方面取得了优异的性能，同时具备良好的泛化能力和运行效率，促进了RS图像校正领域的发展。
视频任意倍率超分辨率旨在根据实际应用需要提升视频帧的分辨率，相较于标准固定倍率超分辨，其能更好地满足多样化的用户需求，提供了更个性化、更高效的解决方案。现有任意倍率视频超分辨率方法缺乏有效的先验信息并且计算存在冗余，为解决这些问题团队提出了“结合结构和纹理先验的任意倍率视频超分辨方法”，其主要思想是“结构先验和纹理先验 + 高效计算方式”。具体创新包括：1）设计了强大的基线模型（如图3所示），通过整合三种基本模块——流引导循环单元、流精炼交叉注意力单元和超采样单元，有效聚合时空特征并实现高效任意尺度上采样，其中超采样单元只需要超分倍率作为输入，实际运行中可以进行预计算，实现算法的高效运行。2）进一步引入多尺度结构和纹理先验，利用预训练的VGG网络提取特征图，区分不同尺度和位置的结构与纹理信息，从而显著提升超分辨率效果的稳定性和准确性。所提出的方法在多个基准数据集上取得了优异的性能，展现了卓越的超分辨率质量、泛化能力和推理速度，推动了任意倍率视频超分辨率技术的发展。图3. 结合结构和纹理先验的任意倍率视频超分辨方法
问：如何平衡科研与日常教学工作的关系？
平衡科研与日常教学工作，对我来说是通过这些年一步步摸索出来的一些经验。作为一线教师和研究员，我发现两者可以相互支持：因为我的教学内容和计算机视觉紧密相关，备课和上课能让我复习基础知识，顺便激发一些新想法；反过来，科研成果能带到课堂上分享，让课变得更实用和有趣。我会主动把科研元素加到教学中，比如在图像复原课程里，请团队成员来讲讲和企业的合作案例，这样学生不光听课，还能参与讨论。教学中的学生反馈也帮我调整科研方向，例如他们提到模型效率问题时，我就顺势去优化算法。这样的安排不仅教学效果好了，科研也更有针对性，一些论文和项目想法就是从课堂上来的。最重要的是，这让我工作节奏稳当些，不那么疲惫，还多出点满足感。当然，这只是我的个人看法，大家可以根据自己情况慢慢找准步调，我也还需要继续摸索。问：作为研究生导师，在指导学生时最注重培养哪些科研素养？我觉得这个问题要从博士生和硕士生两个角度来考虑。硕士生阶段重点是打好基础、快速上手；博士生阶段则更侧重独立创新和长远规划。对于博士生的培养，我聚焦批判性思维和独立科研能力的培养。博士培养过程长，要做出原创东西，所以我鼓励他们从文献阅读入手，不光总结，还要敢于思考质疑。同时，鼓励他们参与企业合作项目，从纯理论转向实际验证。我用里程碑方式管理：每半年定小目标，比如独立提一个想法，然后团队路演讨论，同时也可以帮他们提升表达能力。从我的角度理解博士指导更像合作，他们主导具体的研究内容，确保毕业时不只懂怎么做研究，还能够独立成长和发展。对于硕士生，我更注重培养执行力和问题诊断能力。硕士培养时间短，需要尽快出可靠结果，所以从入门就强调可复现实验和问题拆解，养成规范的代码和数据分析习惯。同时，用简单框架教他们分析问题，再一步步优化。这样他们的毕业论文就不只是应付任务，而是学会基本的问题解决。特别有独立思考能力的硕士生，我会提前转入博士生培养模式，让他们多接触更为有挑战性的课题。总之，这种分层培养能够让硕士生上手快、执行稳，博士生看问题广、想法新。CSIG青工委是我学术生涯中的重要支持，加入后最深刻的感受是活跃的交流环境。这里汇集了全国图象图形领域的年轻研究者，从线上沙龙到线下workshop，每次活动都让我学到新东西、认识新朋友。更重要的是，青工委很包容，不管处于哪个阶段的教师和学生，都能平等发言。我觉得青工委不只是个平台，还是推动大家成长的动力，它激发了我们的干劲。作为受益者，我也有些建议，希望青工委能继续优化、做得更好。比如，加强个性化支持：根据不同职业阶段的青年教师，增加分层活动，为每个人提供针对性的帮助。另外，可以增加趣味活动，比如“AI生成图像图形艺术展”等，也可以让大家生动形象地了解图象图形领域的最新进展。最后，希望青工委会能够再上台阶，成为青年学者离不开的组织。我很期待，继续多出力，一起努力扩大CSIG青工委的影响力。
