FL-NAS:通过大型语言模型实现资源受限设备 NAS 的公平性
摘要
神经架构搜索(NAS)已成为自动化深度神经网络设计的有力工具,尤其适用于计算资源有限的移动和边缘设备。随着大型语言模型(LLM)展现出强大的推理与生成能力,将其引入 NAS 领域成为新趋势。本文进一步探索了这一方向,同时考量模型准确性、公平性及硬件部署效率三个关键指标。我们提出了基于 LLM 的 NAS 框架 FL-NAS,实验表明该框架能发现高性能 DNN,并在多项设计考量上显著优于现有最先进模型。
引言
当前 NAS 技术虽已成熟,但在资源受限场景下的公平性与效率平衡仍是难点。本文提出的 FL-NAS 框架允许在设计新 DNN 模型时灵活权衡多种设计指标。我们首次证明,FL-NAS 能够高效执行架构搜索,在保持性能的同时优化公平性约束。

