国产大模型的部署与优化

会程安排

9 月 20 日 下午

分论坛主席

尹芷仪
中国科学院
尹芷仪,博士、高级工程师、硕导,中国科学院特别聘请研究骨干,算法治理方向负责人,CCF数发委人工智能数据安全与隐私组副组长。2010-2020年任职于国家安全部,曾任国家网络空间安全协调小组部际处级联络员、副调研员以及安全部和人社部高级工程师。2020年调入计算所从事智能算法安全研究,支撑出台国际首个算法治理专门规章和国内首个算法安全评估国家标准,牵头研制算法风险监测和安全评估、大模型安全测评等技术系统,受到业务单位高度肯定,获2024年电子学会科学技术一等奖、中国科学院科苑名匠等。
蔡博仑
字节跳动
蔡博仑,现任字节跳动算法研究员,博士毕业于华南理工大学。主要研究方向为计算机视觉和多模态内容理解,已发表国际期刊会议论文40余篇,Google Scholar引用5000余次。近三年连续入选全球前2%顶尖科学家“年度影响力”榜单,曾获2023年度广东省自然科学一等奖、2023年度广东省计算机学会优秀论文一等奖、2020年度中国电子学会优秀博士毕业论文、2016年度ESI高被引及热点论文、PCM2016最佳学生论文、ICIP2017最佳论文提名、ICASSP2023 Top3%优秀论文等。
王文海
香港中文大学
南京大学博士,曾任上海人工智能实验室青年科学家,研究方向为视觉基础模型研究,上海人工智能实验室“书生”系列视觉基础模型核心开发者;主要成果发表在顶级期刊和会议:TPAMI、CVPR、ICCV、ECCV、ICLR、NeurIPS等共31篇论文,其中17篇为一作/共一/通信;研究成果获得了总共超9800次引用,单篇最高引用超2100次;其中1项成果分别入选CVPR 2023最佳论文,CVMJ 2022最佳论文候选,一次入选ESI高被引论文(前1%)和热点论文(前0.1%),4项分别入选CVPR 2020,ICCV 2021,NeurIPS 2021,ECCV 2022十大最具影响力论文,一次入选2022年百篇最高引AI论文;担任IJCAI 2021的高级程序委员会委员,以及TPAMI、IJCV、CVPR、ICCV、ECCV等多个国际会议/期刊的程序委员会委员/审稿人。
许倩倩
中国科学院计算技术研究所
许倩倩,中国科学院计算技术研究所,研究员,博士生导师。研究方向为机器学习、知识图谱、媒体分析。主持国家自然科学基金青年科学基金A类(原杰青)、B类(原优青)、联合基金重点等项目10余项。发表CCF-A类论文100余篇(包括TPAMI 20余篇),获授权专利10余项。担任国际期刊TMM、TCSVT、ACM TOMM和Multimedia Systems编委,多次担任CCF-A类国际会议领域主席。现/曾任CSIG青工委副秘书长、CSIG多媒体专委会副秘书长、CCF多媒体专委会副秘书长、CAAI深度学习专委会副秘书长。曾获中国图象图形学学会自然科学一等奖(第一完成人)、吴文俊人工智能自然科学一等奖(第三完成人)、茅以升北京青年科技奖、中国图象图形学学会石青云女科学家奖、2024年ACM MM Honourable Mention Award、获NeurIPS/CVPR/ICCV等CCF-A类国际会议竞赛冠军10余项。研究成果成功应用于国家安全部门、阿里巴巴、百度等。

分论坛报告

SAIL-VL——面向抖音业务的多模态大语言模型
冯超 抖音
报告摘要:随着大模型技术的不断发展,越来越多的业务场景开始开发基于大模型的各类应用,并针对各自场景的需求打造出符合业务需求的基础大模型。抖音内容技术团队也研发了自己的多模态大语言基础模型——SAIL-VL。该模型针对短视频平台的内容理解、交互需求及场景特性,融合视觉、文本、语音等多模态信息,同时探索了面向抖音业务场景的数据收集、模型架构设计、多模态大模型的多阶段训练范式等经典的模型技术,并结合了抖音业务的下游应用场景,在短视频内容理解、文案生成、智能推荐等核心业务场景中实现高效表现,既提升了用户内容消费体验,又增强了创作者工具的易用性。实验表明,该模型在抖音真实业务数据上的多模态理解准确率与生成质量均优于主流通用模型,为短视频平台的智能化升级提供了技术支撑。
讲者简介:冯超,硕士毕业于中科院计算所,现任抖音内容技术方向负责人,主要研究方向包括多模态内容理解、多模态大模型、推荐大模型等。从 0 到 1带领算法团队构建起抖音及相关产品平台的多模态表征能力、多模态大语言模型能力,公司级小样本训练平台,推荐基础特征能力,团队的工作产出在公司内的众多业务有着深入地应用,对各产品业务的增长与运营模式地进化有着极大地推动作用。个人出版过《深度学习轻松学》、《强化学习精要》、《人工智能:深度学习核心算法》书籍,有多篇论文发表工作和对外的技术分享工作。
面向产业级应用的高性能大模型部署方案
蒋佳军 百度
报告摘要:随着生成式AI大模型在各行业多场景的广泛落地,大模型推理的成本瓶颈日益凸显。百度飞桨在深度学习模型推理部署技术上沉淀多年,同时深度支持文心大模型的推理优化,持续降低推理成本,并于2025年6月对外开源大模型推理套件FastDeploy。本次会议将会分享飞桨在大模型部署中的各类加速策略和优化技术。
讲者简介:蒋佳军,飞桨大模型部署技术负责人,负责文心大模型在线推理服务,同时负责飞桨大模型高效推理部署套件FastDeploy开源工作 ,在自然语言处理、计算机视觉和推理部署等领域拥有国内外20余件发明专利。
终端跨平台大语言模型部署与性能优化
马子扬 腾讯
报告摘要:由于体积、性能、生态等原因,主流大语言模型多部署于以 GPU 为主的云端,通过网络向用户提供服务。然而,随着推理成本的不断攀升,以及对数据隐私保护、低延迟、低带宽消耗和增强离线可用性等需求的日益增长,端侧部署语言模型已成为业界高度关注的方向之一,但同时也带来了严峻的工程挑战。本报告聚焦于探讨端侧语言模型部署实践中所面临的平台、内存、性能瓶颈与限制,以及微信高性能计算团队如何通过各种优化手段克服这些挑战,从而在推理效率、内存占用等关键性能指标上均显著超越现有解决方案。
讲者简介:马子扬,博士毕业于中科院软件所,研究方向是计算机图形学、视觉和并行计算,在国际顶级学术会议发表多篇论文。现任腾讯微信高性能计算团队负责人,主导多硬件架构下的计算优化,带领团队自主研发业界领先的跨平台并行计算与渲染引擎,将图形/图像/AI 核心计算的性能做到极致,在主流硬件上的表现甚至超越厂商自己的加速库。特别是,基于自研跨平台 GPU 编程设施,以极小的人力和包体积,在多种硬件上实现了优于竞品的大语言模型推理性能。相关技术已广泛应用于微信对话、表情、扫一扫、文字识别、VOIP、视频号、直播、小程序、广告、支付、输入法、微信读书、游戏、企业微信、腾讯视频等数十种核心业务场景,显著提升了低功耗高性能计算与渲染能力。
情感交互领域垂直大模型共情对齐研究
邢晓芬 华南理工大学
报告摘要:人工智能在心理健康和情感陪伴领域的垂直应用面临多重挑战。当前大模型的情商和共情能力与专业人员、人类存在明显差距,主要受限于三大瓶颈:伦理约束导致高质量对话数据稀缺;强化学习阶段面临奖励信号模糊、多轮整体难以反馈等难题;现有架构难以支撑有效的长期关联记忆,难以维持持续性、递进性共情交互。针对这些痛点,本报告聚焦探讨如何通过高质量数据合成、模糊与整体强化微调、关联记忆机制建模,与多模态表达等优化手段,突破现有的瓶颈问题,为构建具有持续情感陪伴能力的智能系统提供可行路径,推进通用大模型在心理、情感陪伴领域的发展。
讲者简介:邢晓芬,华南理工大学电子与信息学院副教授,博士生导师,主要研究方向为多模态大模型与数字孪生。教育部“人体数据感知”工程研究中心与广东省“数字孪生人”重点实验室核心成员, 主持国家自然科学基金项目、广东省/广州市重点研发计划课题、广东省自然科学基金等项目 13 项,承担广州市十四五规划重点项目“机器人智能交互”开放创新平台的建设,获得广东省电子学会科技进步一等奖 1 项。在人工智能顶会顶刊等发表文章60余篇,获得人工智能相关国际竞赛,3项冠军、3项亚军,包括第二届未来对话大模型知识增强检索竞赛、第十一届国际对话系统挑战赛等。在国内率先开源主动健康大模型扁鹊Bianque、灵心Soulchat等,开源模型/数据获得超38000次下载。
新技术赋能新生态——MiniMax技术创新与业务实践
彭韬 稀宇极智科技有限公司
报告摘要:主要结合MiniMax开展大模型技术研发和对外业务落地实践案例,讲解近期国产多模态大模型技术进展趋势和最新产业赋能情况。具体内容包括MiniMax企业简介、模型矩阵和产品体系、近期旗下各类模型(文本、声音、视频、Agent)以及原生产品的技术进展、业务落地案例、技术普惠案例等方面。
讲者简介:彭韬,中共党员,现任国内人工智能大模型企业稀宇极智科技有限公司(MiniMax)总编辑、副总裁,负责公司人工智能安全治理和公共事务相关工作。曾在某中央部委任职十余年,较丰富的互联网信息安全与数据安全治理经验;曾在多家中大型互联网平台任高级管理职位;曾参与多部互联网管理政策拟定和生成式人工智能领域国家标准编写。
面向EDA垂域大模型的标记增强学习
徐宁 东南大学
报告摘要:复杂语义对象具有复杂且丰富的类别信息,对构建强泛化性模型提出了新挑战。标记增强学习可以使预测模型在更为丰富的监督信息下进行训练,为处理复杂语义对象问题提供了新思路。该报告将介绍标记增强学习理论与方法,以及基于标记增强学习构建的开源芯片设计领域大模型ChipExpert和EDA脚本生成工具iScript。目前,相关产品已在国内头部存储企业落地应用。
讲者简介:徐宁,东南大学计算机科学与工程学院副教授、博导,国家EDA技术创新中心首席科学家,东南大学“紫金青年学者”,从事机器学习领域的研究,研究成果发表于ICML、NeurIPS、ICLR、IEEE TPAMI等机器学习领域国际著名会议和期刊上,获2021年CCF优秀博士学位论文奖,2020年德国DAAD AInet奖,担任CCF人工智能与模式识别专委会执行委员,FCS青年编委,NeurIPS、ICLR领域主席。