大模型测评

会程安排

9 月 21 日 上午

分论坛主席

马坷
副教授 ⋅ 中国科学院大学
马坷,中国科学院大学副教授,研究领域涉及对抗学习、鲁棒优化及鲁棒博弈等。在TPAMI、TKDE、ICML、CVPR、AAAI、ACM Multimedia等IEEE汇刊及CCF-A类会议共发表/录用论文20余篇,其中第一作者7篇(包括TPAMI三篇),CCF-A类国际会议IJCAI/ACM MM竞赛冠军2项。先后获得中国电子学会优秀博士学位论文、中科院百篇优秀博士学位论文、小米青年学者以及2020年国际华人数学家大会(ICCM)若琳奖(Distinguished Paper Award)等。
黄龙涛
阿里巴巴安全AGI实验室负责人
黄龙涛,阿里巴巴安全AGI实验室负责人,研究领域涉及安全垂域大模型的构建与应用、大模型安全等。曾就职于中国科学院信息工程研究所,任副研究员。目前还担任中国科技新闻学会数据新闻专业委员会常务理事,中国中文信息学会语言与知识计算专业委员会委员。在ACL、AAAI、IJCAI、WWW、SIGIR等人工智能领域顶级会议及期刊发表论文50余篇,Google Scholar累计引用2000余次,曾获得2022年吴文俊人工智能科技进步二等奖、入选第二届中国科协优秀科技论文遴选计划、中科院青促会。
闵雄阔
副教授 ⋅ 上海交通大学
闵雄阔,上海交通大学副教授。研究方向为多媒体信号处理,主持自然基金面上/青年等项目;入选博新、浦江等人才计划;获吴文俊人工智能青年科技奖、中国电子学会优博等国内奖励,以及IEEE TBC最佳论文奖、IEEE TMM最佳论文提名奖等国际奖励,多次获CVPR、ICCV、ECCV等国际挑战赛冠军;在IEEE/ACM汇刊与CCF A类期刊/会议上发表论文100余篇,其中10篇入选ESI热点/高被引,谷歌学术引用1万余次;任ACM TOMM、Elsevier SPIC等期刊编委。
梁孔明
副教授 ⋅ 中国邮电大学
梁孔明,北京邮电大学副教授,博士生导师,中国图象图形学学会青年工作委员会副秘书长、中国人工智能学会智能服务专业委员会委员,北京物联网学会理事,入选北京市科技新星计划。研究方向为视觉概念理解、视觉语言大模型优化及评测、医学影像分析。发表国际会议期刊论文50余篇,其中CCF-A类及领域顶级论文25篇。主持国家自然科学基金面上项目和青年科学基金项目,作为子课题负责人参与新一代人工智能国家科技重大专项,参与国家自然科学基金联合基金重点支持项目等。获得2022年度MICCAI ISLES国际竞赛冠军、2023年度IEEE IC-NIDC国际会议最佳论文、2023年度中国智能技术与大数据会议优秀论文、2023年度中国图象图形学学会技术发明奖一等奖、2024年度吴文俊人工智能科技进步奖二等奖、2024年度北京青年优秀科技论文。
翟广涛
特聘教授 ⋅ 上海交通大学
翟广涛,上海交通大学电子信息与电气工程学院教授,IEEE Fellow,国家自然科学基金杰出青年基金获得者,多年从事多媒体智能相关研究,入选Clarivate全球高被引学者,获IEEE多媒体汇刊最佳论文奖等国际奖励20余项。以第一完成人获得中国电子学会自然科学一等奖、技术发明一等奖及中国图象图形学学会技术发明一等奖,主持国家自然科学基金重点、国家重点研发计划等项目。任Elsevier期刊Displays主编、上海市图像图形学学会理事长。

分论坛报告

大模型安全评测:从认知视角解析
刘祥龙 教授 ⋅ 北京航空航天大学
报告摘要:大模型广泛应用于自动驾驶、智慧金融等诸多领域,已经成为人类社会和产业发展广泛依赖的关键信息基础设施。但大模型在实际应用中普遍面临对抗攻击、越狱攻击等问题,极易引发行为失控、内容失真的安全风险,亟待探索大模型的安全边界,建立安全评测评估能力。本报告围绕大模型安全,从内生安全和衍生安全视角,回顾当前国际研究进展,系统介绍团队近年来从认知视角开展的初步探索,主要包括大模型安全内因分析、对抗攻防、安全评测等方面的研究工作,以及评测平台和应用实践。
讲者简介:刘祥龙,北京航空航天大学教授,博士生导师,国家高层次青年人才,现任计算机学院党委书记、复杂关键软件环境全国重点实验室副主任、中国仿真学会视觉计算与仿真专委会副主任。长期从事安全可信人工智能的教学和科研,负责《人工智能安全导论》、《人工智能安全》等本科和研究生国家级课程。研究方向包括智能安全(对抗攻防等)、开放认知(目标识别等)、轻量计算(模型量化等),发表TPAMI、IJCV、NuerIPS、CVPR、ICCV等人工智能领域国际顶级会议/期刊论文100余篇,主持国家重点研发计划项目、国家优秀青年基金、科技创新2030重大项目等国家项目和课题。在智能安全领域,研发国际首个智能算法安全评测平台,集成到国家新一代人工智能开源社区启智,研究成果受到新华社、人民网等权威媒体关注,受邀在党刊《半月谈》发表评论文章;在开放认知领域,提出了国际上首个高质量X光安检复杂目标检测基准集,受到全球200余机构的学者关注和使用;在轻量计算领域,研究成果受邀集成到英特尔、微软、华为、百度等国内外知名开源项目,应用于多家头部企业商业产品。担任Pattern Recognition、IET Image Processing等SCI期刊编委,智能安全、Frontiers of Computer Science、航空学报等期刊(青年)编委,AAAI、ACM MM等国际顶级会议领域主席,多次组织CVPR、IJCAI、AAAI等国际顶会Workshop和竞赛。连续入选爱思唯尔中国高被引学者,获中国仿真学会科学技术一等奖、陕西省自然科学一等奖、北京市科技新星、微软铸星计划、中国计算机学会青年人才发展计划、中国计算机学会优秀博士学位论文等。指导学生获得亚太多媒体大会最佳学生论文、CSIG博士学位论文奖励计划、IEEE低功耗计算机视觉挑战赛全球冠军、中国科协青年人才托举工程博士生专项计划、字节跳动奖学金、启智开源社区首批优秀开源项目、首都挑战杯特等奖等。
大模型能力动态评测
张奇 教授 ⋅ 复旦大学
报告摘要:本报告聚焦大模型能力动态评测。通过构建多维度评测体系,对主流大模型在语言理解、生成、逻辑推理及特定领域应用等能力进行持续追踪。同时将介绍EvaLearn模型评测框架,聚焦于量化大语言模型学习能力与效率的基准,以 “连续问题求解” 作为核心,重新界定了大语言模型的评估逻辑 。
讲者简介:张奇(Qi Zhang),复旦大学计算机科学技术学院教授,博士生导师。上海市智能信息处理重点实验室副主任。2009 年于复旦大学获得理学博士学位。研究领域为自然语言处理与信息检索。在 ACM/IEEE Transactions、IJCAI、AAAI、SIGIR、ACL、EMNLP 等自然语言处理和信息检索领域著名学术期刊和会议上发表论文 80 余篇。其中曾获 WSDM 2014 最佳论文推荐奖,COLING 2018 领域主席推荐奖(Area Chair Favorites)。承担 10 余项国家自然科学基金、国家 863 计划、国家科技支撑计划和国际合作项目。担任中国中文信息学会信息检索委员会常务委员、社会媒体处理专委会常务委员、青年工作委员会执行委员、计算语言学专委委员、语言与知识计算专委会委员、中国人工智能学会青年工作委员会常务委员、WSDM 2015 Local Chair、2019 年全国信息检索大会程序委员会联合主席。长期担任包括 ACL、EMNLP、SIGIR、IJCAI、AAAI、TKDE 等自然语言处理和人工智能领域重要国际刊物和会议的领域主席、程序委员会高级委员、程序委员会委员、审稿人等。2012 年获得上海市科技进步二等奖以及教育部科技进步二等奖、2015 年获得 ACM 上海新星提名奖、2016 年获得了钱伟长中文信息处理科学技术奖——汉王青年创新奖、2016 年获得 IBM Global Faculty Award 奖。
深度模型融合
罗勇 教授 ⋅ 武汉大学
报告摘要:近年来,深度学习的范式有了显著的发展,将知识迁移和模型编辑结合起来,超越了传统的监督学习。虽然这些新兴技术在增强性能、加速训练和减少标记数据依赖方面表现出了较大潜力,但它们对大型基础模型的可扩展性仍未得到探索。为此,我们对深度神经网络的知识迁移和模型融合技术开展了系统研究。本报告概述了这一快速发展的深度学习领域,主要内容包括:(1)模型融合的背景、动机和现有的方法;(2)对这些技术的分类法和每一类方法的定义;(3)我们最近在该领域的贡献,包括自适应模型集成,改进的模型合并技术,自适应模型混合等;(4)讨论了模型融合技术的优势、挑战和未来方向。
讲者简介:罗勇,武汉大学计算机学院教授,博士生导师,国家级青年人才。主要从事机器学习、模式识别及其在多媒体、医学影像分析和理解等方面的科研和教学工作。主持国家自然科学基金联合重点和面上项目;共发表包括Nature子刊在内的100余篇高水平论文;获中国计算机学会(CCF)优秀博士学位论文奖,国际人工智能联合会议IJCAI 2017最佳论文提名(2540选3)和IEEE Globecom 2016多媒体应用专题唯一最佳论文奖,指导学生获IEEE MMSP 2022最佳学生论文奖,并与他的合作者获得IEEE TMM 2023、IEEE ICME 2019和IEEE VCIP 2019最佳论文奖。担任多媒体汇刊IEEE TMM编委,CCF A类会议NeurIPS、ACM MM领域主席,以及AAAI和IJCAI的高级程序委员会委员。
大模型知识创新能力评测
张宁豫 副教授 ⋅ 浙江大学
报告摘要:现有评测往往只聚焦于大模型的知识记忆与推理能力,却很少量化其“创造新方法”的潜能。本次报告将介绍一套专门面向知识创新的评测基准,围绕专业的知识密集型任务场景,引导模型自主构思并设计新方法,并对其效果进行自动化验证。初步实验显示,主流大模型虽能灵活运用已有知识设计方法,但在提出真正原创且有效的方案方面仍有显著提升空间。
讲者简介:张宁豫,博士,浙江大学副教授,特聘研究员,智能科学与工业软件所副所长,入选斯坦福全球前2%顶尖科学家榜单、副省级市高层次人才引进计划、启真优秀青年学者,担任CCF计算机术语审定委员会委员、信息系统专委执行委员,中国中文信息学会青工委委员、语言与知识计算专委委员、情感计算专业委员会执行委员、大模型与生成专委委员、社会媒体处理专委委员,IP&M、ACM TALLIP、Data Intelligence Associate Editor,ACL、EMMLP、NeurIPS、ICLR、KDD领域主席,ARR Action Editor,IJCAI 高级程序委员,主要研究方向为自然语言处理、知识图谱等。
概念引导的视觉语言大模型评测方法
梁孔明 副教授 ⋅ 北京邮电大学
报告摘要:视觉语言大模型作为人工智能领域的关键技术,其性能评估与优化对推动学术研究和实际应用至关重要。然而,现有评测方法多依赖静态数据集与固定任务范式,存在数据泄露风险且难以全面反映模型的真实能力。本报告围绕概念引导的视觉语言大模型评测方法,以概念为桥梁,对齐视觉与语言两种模态,应对评测数据易泄露、指标维度不完整、领域知识难获取等挑战,从评测数据扩增、评测指标构建和评测知识嵌入三个方面介绍当前国际研究进展和团队近年来的相关工作,形成以模型创新带动应用评测、以应用评测促进模型创新的良性循环。
讲者简介:梁孔明,北京邮电大学副教授,博士生导师,中国图象图形学学会青年工作委员会副秘书长、中国人工智能学会智能服务专业委员会委员,北京物联网学会理事,入选北京市科技新星计划。研究方向为视觉概念理解、视觉语言大模型优化及评测、医学影像分析。发表国际会议期刊论文50余篇,其中CCF-A类及领域顶级论文25篇。主持国家自然科学基金面上项目和青年科学基金项目,作为子课题负责人参与新一代人工智能国家科技重大专项,参与国家自然科学基金联合基金重点支持项目等。获得2022年度MICCAI ISLES国际竞赛冠军、2023年度IEEE IC-NIDC国际会议最佳论文、2023年度中国智能技术与大数据会议优秀论文、2023年度中国图象图形学学会技术发明奖一等奖、2024年度吴文俊人工智能科技进步奖二等奖、2024年度北京青年优秀科技论文。
大模型前沿安全风险与评估方法
戴俊韬 研究员 ⋅ 北京智源研究院
报告摘要:随着通用人工智能系统向多模态及具身智能持续演进,大模型能力边界不断拓展的同时,其安全风险也呈现出全新态势。模型从语言推理扩展至图像、语音、视频乃至动作域,跨模态融合带来了更复杂的行为控制与环境交互风险,亟需统一且细粒度的安全评估框架以衡量模态迁移下的对齐稳定性。同时,伴随模型规模增长与推理能力增强,欺骗性对齐现象日益凸显——模型在表面顺从的交互中掩盖真实意图,通过策略性思维链伪装出“对齐”的假象,严重威胁评估的可信性与治理有效性。本报告将探讨当前前沿评估方法在揭示“全模态失控”与“对齐伪装”中的作用与挑战,分享针对欺骗倾向建模、动作模态对齐验证、自我监控机制等实践路径,推动安全评估范式的演进。
讲者简介:戴俊韬,北京智源研究院大模型安全中心研究员。他主要研究方向是强化学习和大模型价值对齐,并在计算机领域顶级会议和期刊上发表了十余篇论文,其中包括三篇口头或亮点论文。他的工作在谷歌学术上获得引用量2千余次,参与开源项目超2万颗星。