近日,组内研三学生姚泽坤的论文《Probing-Guided Model Merging with Selective Attention》正式被国际权威期刊 IEEE Transactions on Audio, Speech and Language Processing(TASLP)接收,得到了同行专家的高度认可。该论文从研一开始研究并尝试投稿,经过不断修改完善,终于中稿 Trans 期刊,来之不易,可喜可贺!
论文题目:Probing-Guided Model Merging with Selective Attention
作者:Zekun Yao, Huawen Feng, Jianchao Chen*, Qianli Ma*
论文简介:模型融合是大语言模型一条颇具前景的技术路线,它可以把多个微调模型的专项能力整合到同一个模型架构中。然而,现有方法往往忽略了有监督微调(SFT)模型内在的作用机制,限制了融合的上限。我们提出基于探针技术引导的注意力增强方法(Probing-Guided Attention Enhancement, PAE):该方法通过探针分析,系统性定位 SFT 模型中经探测筛选得到的注意力头。我们的核心发现是:在不同任务上微调得到的模型,其性能最优的注意力头重叠度很低;这说明在 SFT 过程里,不同任务主要由互不相同的注意力头子集负责。基于该结论,我们有选择地将这些任务专属注意力头融合进基座模型。实验结果表明,无论是 Decoder-only 架构还是 Encoder-only 架构,PAE 都能在相关任务上有效提升传统模型融合方案的效果。

