大模型轻量化与高效推理

会程安排

9 月 21 日 上午

分论坛主席

蒋铼
北京航空航天大学
蒋铼,北京航空航天大学副教授, 中组部海外高层次人才,中国图象图形学学会青工委副秘书长。主要研究方向为视觉感知模型、多媒体计算、医学图像处理等。主持国家自然科学基金、启元国家实验室、国家互联网应急中心、华为、阿里等科研项目。在国际权威期刊和会议上发表论文40余篇,其中第一或通讯作者论文30余篇,包括TPAMI、IJCV、TIP、TMI等。谷歌学术引用2200余次,单篇最高引用300余次。入选中国科协青年人才托举工程、中组部海外博后引才专项、华为卓越青年学者等,获北京市/CSIG优秀博士学位论文、CVPR质量增强/ECCV立体匹配大赛冠军等多个荣誉。
刘祥龙
北京航空航天大学
刘祥龙,北京航空航天大学教授,博士生导师,现任北京航空航天大学计算机学院党委书记、复杂关键软件环境全国重点实验室副主任、中国仿真学会视觉计算与仿真专业委员会副主任。长期从事模型量化压缩、人工智能安全等研究,发表TPAMI、IJCV、CVPR等人工智能国际顶级期刊和会议100余篇,主持国家重点研发计划项目、科技创新2030重大项目课题等国家级项目,研究成果被英特尔、微软、华为、百度等国内外知名企业集成使用,受到IEEE Spectrum、新华社、人民网等权威媒体和杂志关注报道。连续入选爱思唯尔中国高被引学者,获省部级/一级学会科技奖一等奖2项。

分论坛报告

大模型软硬协同压缩及高效部署技术进展
王培松 中国科学院自动化研究所
报告摘要:近几年,大规模预训练模型在自然语言处理、图像生成等任务中展现了强大的能力;与此同时,指数级增长的模型参数规模和高昂的计算成本为大模型的实际应用带来严峻挑战,成为制约大模型广泛落地应用的瓶颈。在这种条件下,大规模预训练模型压缩与高效部署成为人工智能技术在更大范围内应用落地的重要一环。本次报告将简要介绍当前大模型压缩和加速领域面临的难题,并介绍团队最近几年在模型轻量化压缩与高效部署方向的最新研究进展。
讲者简介:王培松,博士,中国科学院自动化研究所副研究员,硕士生导师。2013年在山东大学获得学士学位,2018年在中国科学院大学获得博士学位。目前主要从事高效智能计算、神经网络加速与压缩等方面的研究。在IEEE TPAMI、TNNLS、NeurIPS、ICML、CVPR、ICCV、ECCV等国际期刊和会议发表论文50余篇。主持国家自然科学基金青年基金、中科院战略先导子课题,参与国家重点研发计划、基金重点、以及华为、阿里巴巴、三星等多项科研项目。曾获Nvidia奖学金、IEEE国际标准突出贡献奖、NeurIPS国际神经网络压缩竞赛MicroNet Challenge冠军,入选中科院特聘研究骨干、北京市科协青年人才托举工程、微软亚洲研究院“铸星计划”、CCF-百度松果基金学者等。
面向终端的大模型轻量化算法进展
张宇伦 上海交通大学
报告摘要:面向端侧的大模型轻量化技术旨在解决大规模深度模型在资源受限环境下部署与推理效率低的问题。通过结构重设计、模型剪枝、量化、蒸馏等技术手段,在保持模型精度的同时,显著压缩参数规模与计算开销,从而实现大模型在移动终端、智能设备、边缘计算平台等端侧场景的高效运行。该方向在智能手机、自动驾驶、智能制造及安防监控等领域具有广泛应用价值。本报告将系统介绍当前主流的大模型轻量化策略及其在端侧部署中的关键挑战与最新进展。
讲者简介:张宇伦,上海交通大学,任长聘教轨副教授,入选国家海外高层次青年人才。主要研究方向是计算机视觉和机器学习,具体包括图像/视频复原与合成,模型压缩,计算成像,多模态计算,大语言模型等。在计算机视觉,机器学习,多媒体,人工智能等领域的顶级国际期刊和会议上发表学术论文100余篇。论文Google学术引用26000余次,一作论文单篇最高引用6100余次。获得2015年IEEE VCIP最佳学生论文奖,2019年IEEE ICCV RLQ Workshop最佳论文奖,全球AI华人新星百强(2021年),连续多年入选斯坦福“全球前2%顶尖科学家”榜单(2021-2024年),入选2024年爱思唯尔“中国高被引学者”。近年来担任顶级会议CVPR, ICCV, ECCV, ICLR, NeurIPS, ICML, ACM MM, IJCAI领域主席。
面向多种模态应用的大模型系统工具及相关算法探索
龚睿昊 商汤科技研究院
报告摘要:大模型时代的模型生产成本更加高昂,模型尺寸大、并行规模大、服务并发高,体系化的大模型工具链和系统对于提升模型迭代和落地效率至关重要,本报告将分享在大模型工具和系统建设的实践经验,介绍搭建的大模型训练、压缩和推理部署系列工具,覆盖多种模态和应用场景,通过分析阐述其中的相关算法创新与系统实现原理,汇报团队在多种模态大模型的训练系统优化、模型压缩算法和大规模并行服务上的系列探索。
讲者简介:龚睿昊,商汤科技研究院大模型工具体系团队负责人,主要负责工业级模型工具链,包括大规模模型训练、多平台部署、模型压缩和软硬件协同技术体系。通过算法和工具实现规模化工业落地,支持智慧城市、智能驾驶、AIOT、手机场景等大量业务模型的模型生产,团队支撑了商量等商汤大模型体系的底层技术搭建,致力于 ML+System 的综合效率提升。在 ICLR、NeuIPS、CVPR、ICCV、IJCV 等期刊会议发表四十余篇论文,多次获得低功耗计算机视觉比赛 LPCV 冠军、无人机追逐赛亚军等奖项。