自然语言微调技术（NLFT）视频介绍

人工智能大语言模型（LLM）在海量预训练后，往往具备一定的通用能力，而在特定细分领域的表现不尽如人意。

为了提升模型在细分领域的针对性功能，传统的微调方法需要借助大量领域数据进行特定训练，如何在大模型的应用过程中解决高昂的算力需求和数据稀缺等问题，仍然是行业面临的巨大挑战。

在此情境下，陈敏教授科研团队提出的自然语言微调技术（NLFT）为解决这一问题提供了新的可能。在大语言模型（LLMs）微调领域，现有的模型微调技术主要为监督微调技术（SFT）和强化微调技术（ReFT）。陈敏教授科研团队用类比的方式，把大语言模型比作学生，而大模型微调过程则类似学生的学习过程。

监督微调技术（SFT）示意图

SFT 是大自然语言微调技术（NLFT）的核心理念展示模型微调的经典技术路线，在此过程中，学生以“鹦鹉学舌”的方式学习，通过抄写大量问题和标准答案，在看到某些特定问题时能够写下预定的答案这种训练范式依赖大量数据。

强化微调技术（ReFT）示意图

ReFT 则通过几个周期的监督式微调，将学生“预热”起来，获得解题的基本技巧。为了进一步提高技巧，学生提交包含引导问题，解决方案详细分析的“答卷”，通过与标准答案进行比对，给每份“答卷”打分，学生将根据分数调整数学推理的策略，通过强化学习机制习得推理能力。该训练范式通过多轮提交“答卷”，从评估系统中获得反馈，较为耗时。

为解决因可供微调数据量较少而导致微调技术效果不理想的问题，陈敏教授团队率先提出自然语言微调技术（NLFT），省去了基于强化学习微调技术的“预热”环节，减少了对海量数据和高算力资源的依赖。

自然语言微调（NLFT）示意图

自然语言微调技术（NLFT）的核心理念展示

自然语言微调（NLFT）训练时输出显著图

新技术实现三大突破，一是细粒度反馈机制，通过目标模型本身的自然语言理解能力，精准标注每个token的得分点和失分点，避免了传统方法对外部指导的需求；二是零预热学习，NLFT省去ReFT中必需的多轮预训练阶段，直接进行有效微调；三是充分发挥语言模型能力，科研团队利用目标模型本身作为自然语言评价器，发挥其对语言的深刻理解能力，用可解释性强的方式精准标注，帮助模型迭代进步。

日前，陈敏教授团队与部分医院开展合作，利用自然语言微调技术（NLFT）输出诊断报告，结果显示，NLFT技术诊断准确率远超现有基础模型。后续，研究团队将根据实际情况批改诊断报告，并反哺给NLFT技术进行二次微调，NLFT技术在医疗领域的应用指日可待。

陈敏，现任华南理工大学计算机科学与工程学院教授，博导；长期致力于数据驱动型通信、计算与人工智能领域的研究。凭借其在学术界的杰出贡献，当选为国际电气与电子工程师学会（IEEE）会士，并连续多年入选全球高被引学者。目前，陈敏教授已发表SCI论文200余篇，出版学术著作12本，Google Scholar引用超过49,500次，H指数达101，屡获IEEE等国际学术奖项。

陈敏教授研究团队秉持“独树不成林，独智不成谋”的理念，于2024年12月29日在GitHub上开源了所有相关代码、数据和模型，鼓励大家积极探索该技术的应用潜力。除此之外，团队积极寻求在不同领域的泛化应用研究，期望为行业应用提供更多可行的解决方案，研究问题涉及，问答推理、医学诊疗、社会信息管理以及特定工程领域的深度辅助。随着研究推进，NLFT技术将取得更广泛的应用成果

华南理工大学一直致力于推动科技创新和成果转化，尤其在人工智能、数据科学等前沿领域取得了诸多突破。依托交叉学科平台和强大的科研团队，学校不断攻克技术难题，将前沿科技与产业需求紧密对接。此次NLFT技术的成功研发，是学校在技术创新与人才培养方面的又一重要成就。

近年来，学校加大了对创新科研项目的支持力度，优化科研管理机制，提升整体科研水平。与此同时，学校积极推动产学研合作，深化科技创新与产业发展的融合，加速科技成果的转化应用。NLFT技术的推出，不仅是学校科研创新的重要成果，也展示了华南理工大学在推动科技与产业融合、技术应用转化方面的领先优势。

（图文/计算机学院陈敏团队）