LLaMA Factory 微调时报 disable multiprocessing 错误处理

问题描述

由于显卡性能不强，微调模型时会报错，提示 GPU 内存或系统内存不足，尤其在处理大规模数据或大模型时，子进程因内存溢出崩溃。

RuntimeError: One of the subprocesses has abruptly died during map operation.To debug the error, disable multiprocessing.

原因分析

该错误通常由数据预处理阶段的并行进程数设置过高引起。--preprocessing_num_workers 参数指定了数据预处理时使用的进程数量。默认情况下为 0（串行），设置为较大数值（如 16）会启动多个进程并行处理数据集加载、分词等操作。虽然能加速预处理，但过多的进程会占用大量 CPU 和内存资源，导致 OOM（内存溢出）。

解决方案

1. 停止当前运行的 WebUI 进程。
2. 点击'预览命令'查看生成的训练命令，找到 --preprocessing_num_workers 参数。
3. 将该参数值改小（例如改为 4 或 8，根据 CPU 核心数调整）。
4. 复制修改后的命令到命令行工具（CMD）执行。
5. 训练完成后，重新启动 WebUI 进程，即可在网页端查看训练参数和结果。