报告题目： 开放世界的多模态大模型研究与应用

报告人：徐常胜研究员

主持人：陈俊颖教授

报告时间：2026年1月16日

报告地点：软件学院B8报告厅

报告摘要：

 与视觉和语言大模型相比，多模态大模型能够从不同模态数据中学习共性知识，因此具有更强的通用性，也更接近人类的认知能力，是目前人工智能进一步发展的关键所在。尽管目前的多模态大模型已取得了重要进展，在跨模态检索、跨模态生成等任务中取得了优异的性能，但在实际应用中面临的开放世界，已有多模态大模型仍然存在很多尚未解决的挑战。本报告主要探讨解决两个方面的问题:(1)如何在保留不同模态数据本身特性的前提下建模多模态数据关联;(2)如何在保证模型泛化性的前提下实现多模态大模型在下游任务中的跨域迁移和小样本迁移。报告分析了多模态大模型中理想的视觉系统所应具备的要素并提出了基于解耦视觉系统的多模态大模型Libra;同时也介绍了针对多模态大模型的多个泛化性保持的跨域和小样本迁移方法。

报告人简介：

 中国科学院自动化研究所研究员，国家杰出青年基金获得者、国家万人计划领军人才、国家百干万人才工程入选者、首都科技创新领军人才、科技部重点领域创新团队负责人，IEEE/IAPR/CCF/CSIGFellow和ACM杰出科学家。担任ACM多媒体专委会中国区(ACM SIGMM China Chapter) 主席。发表IEEE/ACM会刊论文200余篇，CCF-A类会议论文150余篇，在多媒体领域国际顶级会议和期刊上获得最佳论文奖10余次，以第一完成人获中国电子学会自然科学一等奖和技术发明一等奖，7次获得中国科学院优秀导师奖。