简介：刘琦，华南理工大学未来技术学院教授，博士生导师，IEEE高级会员，AI赋能主动健康校企联合实验室主任，入选广东省、广州市青年拔尖人才。主要从事多模态感知、重建与生成，包括目标估计、稀疏感知、场景三维重建/渲染、音乐/场景生成、多模态大模型平台及其智慧医疗应用。主持包括国家自然科学基金、广州市基础研究、华为等多项科研项目；开源“扁鹊”和“灵心”主动健康大模型，推动多模态大模型平台建设；发表学术论文50余篇，包括TIFS、TCSVT、ICCV、CVPR、AAAI等；参与起草了国家标准《上下肢运动功能评估与训练设备通用要求》。大规模场景的高精度新视角合成（视角渲染）在3D计算机视觉中具有挑战性。现有方法能够准确渲染特定场景，但是在不同轨迹的泛化性受到一定限制。为此，刘琦团队提出了基于图方法的大规模场景高精度新视角合成算法，能够适用于任意轨迹的大规模场景。具体创新包括：1）提出基于图分割的方法划分大规模场景，能够自适应地把共视性强的相机划分到同一个区域，每个子区域并行训练，在提升新视角合成精度的同时减小显存消耗。2）提出了高斯泼溅的正则化约束显著提升新视角合成效果。基于图结构在无序图像中选择每一个相机的邻域帧，使用多视角约束和多尺度高斯分别提升纹理细节和远景的渲染效果。3）提出渐进渲染策略去除高斯椭球堆叠产生的浮点。所提出的框架图如图1所示，该方法在大规模航空数据集和地面数据集上均表现出优越的性能。
人-物体之间的交互建模是实现三维场景理解任务中高层语义推理的关键。当前交互检测方法多聚焦于实体间的直接接触区域，严重依赖于人和物体的边界框重叠信息（IoU>0），难以有效处理“间接交互”场景，如牵引风筝、拿水管洗车、挥拍击球。刘琦团队提出了面向三维交互理解的新型分散式注意力交互建模方法（如图2所示）。具体创新包括：1）该方法引入分散注意力机制作为感知引导模块，将二维高斯分布中采样的卷积核嵌入Transformer解码结构，显式增强模型对人-物体周边环境信息的捕捉能力，实现跨区域、跨实例的语义联动建模。2）设计了辅助判断机制，利用人-物体之间的相对位置、方向关系、面积比等空间先验信息，更合理地语义约束交互类别，有效提升复杂场景中多实体交互理解的鲁棒性与泛化能力。大量实验结果表明，所提方法达到了先进水平。
问：请问您的研究领域包括哪些？最近进展如何？
最近，团队的工作主要聚焦于助眠音乐生成与可控创作及其应用的研究。针对音乐生成存在的“序列长度-可控质量”权衡问题、助眠干预方式缺乏神经响应闭环与实时性保障等问题，开展了以下两个方面的理论与关键技术研究：（1）锚定循环范式的长序列建模与可控生成：针对长序列建模误差累积严重的问题，基于音乐的层次性和结构性特征，设计（分层）锚定循环解码框架，循环矫正生成内容，确保长序列音乐的结构完整性和音乐逻辑连贯性。融合文本、音频、视频、脑电等多模态信息，建立跨模态对齐和COT反思生成机制，保障音乐生成可控，且支持音乐可编辑。（2）多任务睡眠检测系统与干预引擎：针对多导睡眠信号的高维特征空间与个体差异、睡眠分期与睡眠呼吸暂停等任务关联复杂，构建多任务学习、低资源消耗、端到端的多功能睡眠监测系统与干预引擎，通过生理状态与声学属性的深度特征映射关系，结合感知反馈进行动态优化，实现助眠音乐实时合成，提升深度睡眠质量。问：您的团队大致由多少人组成？与图像图形相关的团队有多少人，有哪些不同的职位划分？团队包括3名博士后、10名博士研究生和12名硕士研究生。主要从事三维场景重建、音乐/场景生成与编辑，以及场景人物关系检测与识别。其中，15人专注于图像图形相关领域，分为三个核心小组，团队采用学科交叉协作模式，成员背景包括计算机、数学、物理、医学等多元化，注重学术创新与技术落地。问：在您招收研究生时，一般会倾向于招收具备什么技能的学生？在招收研究生时，我会更看重学生是否具备以下三个方面：1.乐观的心态。科研是一个充满失败和不确定性的过程，乐观的学生能更快从挫折中恢复，保持探索热情。2.自主学习能力。研究生阶段需从“知识接受者”转变为“问题解决者”，导师更多是方向引导，这就需要学生能够通过文献阅读、技术文档查找独立复现论文代码，能够将复杂问题分解为可解决的子任务，而不是过度依赖导师督促。3.数学知识储备和编程基础。无论是理论推导还是实验验证，数学和编程都是做好科研的两大基础。当然，实际招生时会综合权衡，如果某方面暂时薄弱但学习意愿强，我也期待这样的学生能够加入团队。
