论文阅读：FR-LLM 多任务大模型用于联合故障诊断与 RUL 预测

三、多任务指令微调

1. 统一的生成式损失函数

• 传统做法的分歧：诊断用交叉熵，预测用 MSE，导致优化目标不一致。
• FR-LLM 的统一做法：
  • 输出：无论是故障类别还是寿命数值，都被视为文本序列。
  • 损失函数：统一使用负对数似然损失 (NLL)。
  • 意义：模型只需学会生成字符序列，数学层面实现了任务统一。

2. LoRA 参数高效微调

仅更新少量参数矩阵，降低显存占用并防止过拟合。

3. CoBa 动态平衡策略

• 问题：分类任务（FD）收敛快，回归任务（RUL）收敛慢，直接相加会导致梯度被主导。
• 解决方案：CoBa 在每一轮训练中观察两个任务的收敛速度，动态调整权重。
• 关键指标：
  1. ACS (绝对收敛分数)：通过 Loss 下降斜率判断，过快则降低权重。
  2. RCS (相对收敛分数)：对比任务间 Loss 变化率，慢的任务获得更高权重。
  3. DF (发散因子)：调节 ACS 和 RCS 的旋钮。
• 流程：前向传播计算 Loss -> 权重计算 -> 加权求和 -> 反向传播更新 LoRA 参数。

实验设计与结果

1. 单任务 vs. 多任务学习

• 结果：多任务模型的 F1 分数与单任务模型非常接近，RUL 预测略逊但差异极小。
• 结论：微小的精度牺牲换取了部署效率的提升，证明了 FR-LLM 成功兼顾准确性与效率。

2. 不同骨干模型的对比

• 对比对象：MMOE vs. GPT-2 XL vs. DeepSeek vs. LLaMA-3.1-8B vs. Qwen2-7B。
• 结果：所有 LLM 表现显著优于 MMOE；参数量越大性能越好。
• 结论：框架具有良好的扩展性。

3. 消融实验

• w/o FFT：故障诊断性能显著下降。
• w/o EMD：RUL 预测误差上升。
• w/o Prompt：性能全面下降。
• w/o LoRA：全参数微调在小样本下易过拟合。
• w/o CoBa：固定权重无法处理任务间的收敛差异。

4. 敏感性分析与跨工况评估

• 窗口长度：P=30 为最佳平衡点。
• 量化精度：保留 3 位小数效果最好。
• 跨工况：在不同转速/负载间互换训练测试，性能虽有下降但未崩塌，保持较高可信度。

5. 效率分析

• LoRA vs. 全量微调：LoRA 仅需更新 1.2% 的参数，显存占用大幅降低，推理吞吐量提升近 4 倍。

关键概念解析

1. 快速傅里叶变换 (FFT)

• 原理：旋转机械发生故障时产生特定特征频率，在频域表现为明显峰值。
• 文本化：对 FFT 幅值进行量化，将连续浮点数转换为整数序列作为文本 Prompt。

2. 经验模态分解 (EMD)

• 原理：处理非线性非平稳信号，分解为本征模态函数 (IMFs)。
• 作用：分离代表长期退化趋势的低频信息，避免被高频噪声干扰。

3. 多任务学习 (MTL)

• 动机：故障类型和严重程度直接影响寿命衰退轨迹。
• 优势：节省部署资源，通过任务间相互监督提高鲁棒性。

4. CoBa (Convergence Balancer)

• 机制：根据实时表现动态调整损失权重，确保两个任务齐头并进。

5. 负对数似然损失 (NLL)

• 本质：LLM 关注序列整体概率。通过将回归转化为文本生成，消除了 MSE 和 Cross-Entropy 的形式差异。在 PyTorch 中，CrossEntropyLoss 通常包含 LogSoftmax 和 NLLLoss。