报告摘要:近年来,深度学习的范式有了显著的发展,将知识迁移和模型编辑结合起来,超越了传统的监督学习。虽然这些新兴技术在增强性能、加速训练和减少标记数据依赖方面表现出了较大潜力,但它们对大型基础模型的可扩展性仍未得到探索。为此,我们对深度神经网络的知识迁移和模型融合技术开展了系统研究。本报告概述了这一快速发展的深度学习领域,主要内容包括:(1)模型融合的背景、动机和现有的方法;(2)对这些技术的分类法和每一类方法的定义;(3)我们最近在该领域的贡献,包括自适应模型集成,改进的模型合并技术,自适应模型混合等;(4)讨论了模型融合技术的优势、挑战和未来方向。
讲者简介:罗勇,武汉大学计算机学院教授,博士生导师,国家级青年人才。主要从事机器学习、模式识别及其在多媒体、医学影像分析和理解等方面的科研和教学工作。主持国家自然科学基金联合重点和面上项目;共发表包括Nature子刊在内的100余篇高水平论文;获中国计算机学会(CCF)优秀博士学位论文奖,国际人工智能联合会议IJCAI 2017最佳论文提名(2540选3)和IEEE Globecom 2016多媒体应用专题唯一最佳论文奖,指导学生获IEEE MMSP 2022最佳学生论文奖,并与他的合作者获得IEEE TMM 2023、IEEE ICME 2019和IEEE VCIP 2019最佳论文奖。担任多媒体汇刊IEEE TMM编委,CCF A类会议NeurIPS、ACM MM领域主席,以及AAAI和IJCAI的高级程序委员会委员。