一、研究背景与行业痛点

神经网络架构搜索（NAS）在计算机视觉领域已成果丰硕，但文本分类任务的NAS研究仍处于起步阶段。当前主流的文本驱动NAS方法依赖人工设计的有向无环图（DAG）搜索空间，其固有的高时间复杂度（搜索成本随层数呈指数增长）与弱泛化能力（结构冗余导致过拟合），成为制约该领域发展的核心瓶颈。如何在不显著增加计算负担的前提下提升模型泛化能力，已成为文本NAS领域亟待解决的公开难题。

二、核心创新：二分图神经架构搜索（Bipartite Graph NAS, BGNAS）

智能算法研究中心在IEEE TNNLS期刊发表的最新成果，通过重构搜索空间与优化策略，系统性破解了上述挑战：

1. 搜索空间的拓扑革新

- 将传统DAG转化为二分图结构，以更高效地表达搜索空间中不同操作算子之间的上下文关系及其组合方式。如图1所示，首先将DAG转换为其对偶图，再进一步转化为二部图。

                  图1 NAS搜索空间的二部图转换过程

图1的左下部分为原始DAG，节点（如 n0,n1,n2,n3）表示神经网络节点，对应的边（如 o1,o2, o3，o4以及o5）表示候选操作符。粗线表示的路径定义了DAG搜索空间中节点之间的拓扑顺序和连接关系。图的右下部分为DAG搜索空间对应的的对偶图。在该对偶图中，原图的边（操作算子）被表示为顶点，因此，对偶图更关注操作符之间的上下文关系，而非节点之间的直接关系。上部分为转换后对应的二部图搜索空间。在二部图中，对偶图的顶点被分为两个独立的候选操作集（例如 o1,o2,o3,o4,o5），顶点之间的匹配路径表示算子之间的组合关系和顺序。二部图中的不同颜色的粗体线（例如蓝色路径 {< o1,o4>, < o4,o2>}）对应于DAG中的操作路径（如 {< n0,n1>, < n1,n2>, < n2,n3>}）。通过这种转换方式，可以更加直观地定义和分析算子的匹配规则。

同时，如图2所示，我们观察到操作符 o5 在对偶图中是孤立的，即未出现在任何匹配规则中。因此，我们可以利用匹配规则去除这些冗余的操作符，从而有效缩减搜索空间，实现更高效地搜索最优架构。

图2  对偶图中的关联规则实例

通过子模函数下界优化理论，可以证明：如果原始搜索空间能够搜索到最优神经架构，则由关联匹配规则生成的缩减搜索空间同样包含该最优神经架构。 基于此，本文提出了一种基于二部图搜索空间的文本NAS方法，假设这些匹配规则可以用于识别文本表示中最有效的候选操作算子，并指导NAS搜索的优化过程。

- 优势：利用匹配规则去除这些冗余的操作符，从而有效缩减搜索空间，避免无效连接（如跨层直接跳转），实现更高效地搜索最优架构，并显著降低计算冗余。

2. 演化策略与优化理论的融合

- 在二分图匹配规则中引入演化算法迭代地简约二部图搜索空间，从而动态探索高效网络架构。提出的BGNAS总体框架如图4所示。BGNAS算法关键步骤包括初始化种群、逐位变异生成新个体、挖掘并更新二部图匹配规则、利用强化学习搜索最优架构，以及根据关联匹配规则简约搜索空间等。通过二部图表示的搜索空间，BGNAS 能够高效捕获候选算子的上下文信息，从而专注于搜索潜力更大的神经网络架构。

 图 3：BGNAS算法的总体框架

1)神经架构的多匹配编码:在以二部图表示的搜索空间中，我们提出一种多匹配编码方法替代原DAG搜索空间中的集成路径序列编码，即种群中每个个体（即二部图搜索空间）在二部图中的多匹配关系可以在二部图结构进行表示以及编码。

2)近似子模函数的强化搜索NAS:用基于强化学习的搜索算法评估每个个体的搜索代价以及性能。在二部图搜索空间中，利用LSTM编码器采样出子神经网络架构，然后在训练集上训练并在验证集上评估，并通过强化学习更新整个二部图搜索空间的参数。

3)基于关联规则的搜索空间简约:通过分析子代个体中潜在的前后操作符匹配关系，我们挖掘候选算子之间的关联规则，进一步减少二部图搜索空间中的不频繁匹配。 结合子模函数下界估计理论，对搜索过程中的操作算子进行剪枝，过滤低价值候选结构，进一步将搜索时间复杂度降低50%以上。

https://wpyt.microcomputation.com/login论文送审和答辩季，有需要可以用我们智能算法研究中心出品的“文品易通”智能体，提前充分检查论文的问题，有备无患。学生免费使用，覆盖各个专业，本科和研究生都可以用。

三、性能提升与实验验证

   在多个公开的文本分类数据集（SST、SST-B、AG、DBP、YELP-B、YELP、YAHOO 和 AMZ-B）上对 BGNAS 的搜索性能进行了验证。这些数据集涵盖了多个领域、不同的文本主题、各种数据分布以及多种语言，确保我们提出的BGNAS算法在多样化条件下能够得到全面评估。

- 计算效率：

在 SST 数据集上，我们将BGNAS 与其他最先进的算法（包括手动设计的网络和基于 NAS 的方法）进行了评估对比 （详见表2）。从表 2 可以看出，BGNAS 搜索到的神经网络架构在性能上能够与手动设计的网络相媲美，同时显著减少了参数量。与其他 NAS 算法相比，BGNAS 在准确率和参数优化方面均取得了最佳表现。相较于基于随机搜索和梯度优化的 NAS 方法，BGNAS 在准确率和搜索成本方面展现出了一定的优势。与基于种群优化的 NAS 方法相比，BGNAS 在性能上明显优于 AutoAttend。尽管 ECGP 的搜索成本低于 BGNAS，但其参数量显著更多（132.0 M vs. 130.1 M），且准确率较低（47.00% vs. 53.74%）。值得一提的是，BGNAS 是所有基于强化学习 (RL) 的NAS 方法中效率最高的。在 SST 数据集上，BGNAS 的准确率比 ENAS 提高了 2.09%，比 TextNAS 提高了 1.13%。这充分说明了基于二部图搜索空间的优越性，特别是在文本分类任务中的有效性。

- 泛化能力：

   将 BGNAS在 SST 数据集上搜索得到的架构迁移至其他七个文本分类数据集进行验证，实验结果如表3所示。实验结果表明，即使在 SST 这样规模较小的数据集上进行搜索，基于二部图的搜索空间表示和操作算子的拓扑顺序学习依然能够将搜索到的神经结构有效泛化到其他相似的文本分类任务。在数据类别数量更多的数据集（如 DBP 和 YAHOO）上，BGNAS 表现优于现有最先进的 NAS 方法。这说明从 SST 衍生的 BGNAS 架构能够成功迁移到更复杂的文本分类任务，同时保持其卓越的性能。此外，在 AMZ-B 数据集上，BGNAS 的迁移表现略优于专为多语言文本设计的 DNA-MHE。这进一步验证了基于二部图的搜索空间在处理多语言文本分类任务中的泛化有效性。

- 语义捕捉能力：

为了深入理解在二分图搜索空间中所搜索架构的优势，我们在图4 中展示了所提出的 BGNAS在 SST 数据集上搜索得到的架构的可视化结果。这些架构分别在基于二分图的搜索空间和其对应映射的有向无环图（DAG）搜索空间中进行展示。因此，如图 4(a) 所示，该架构在二分图搜索空间中通过多重匹配编码进行组装；而在图 4(b) 中的DAG 搜索空间中则采用基于路径的编码方式。通过对比我们发现，使用二分图搜索空间表示所搜索到的架构比 DAG 搜索空间更清晰，尤其在体现候选算子之间的拓扑关系方面。其中，在基于二分图的搜索空间中，共有 17 个候选算子，其中仅有 6 个被激活用于构建文本分类任务的架构。

   图4: 基于DAG-based 搜索空间和基于二分图的搜索空间的可视化架构展示  

科研项目验收的靠谱第三方测评帮手，超过300多项国家级、省部级科技项目验收的经验。服务内容：提供软件功能、性能、安全检测，软件项目验收测试，软件产品登记测试等。资质：提供带有CMA、CNAS权威认证的检测报告。市场合作：sales@microcomputation.com 公司地址：华南理工大学国家大学科技园顺德创新园区7座9楼903    公司官网：http://www.microcomputation.com/ 联系方式：崔生   13316328117   卢生  13073042423

四、研究价值与行业影响

这项工作首次将二分图理论引入文本NAS领域，不仅为自然语言处理任务提供了可解释性更强、效率更高的架构设计范式，也为跨模态NAS研究（如多模态数据的图结构建模）开辟了新路径。随着大模型轻量化需求的激增，该方法有望在智能问答、情感分析等落地场景中加速应用，推动“AI for Text”领域的技术革新。

论文链接：https://ieeexplore.ieee.org/abstract/document/10817777?

团队解读：智能算法研究中心负责人表示，“二分图NAS的本质是通过图论工具将人类对文本结构的先验知识注入搜索过程，这为解决‘黑箱’模型的可解释性问题提供了新视角。”