问题描述
由于显卡性能不强,微调模型时会报错,提示 GPU 内存或系统内存不足,尤其在处理大规模数据或大模型时,子进程因内存溢出崩溃。
RuntimeError: One of the subprocesses has abruptly died during map operation.To debug the error, disable multiprocessing.
原因分析
该错误通常由数据预处理阶段的并行进程数设置过高引起。--preprocessing_num_workers 参数指定了数据预处理时使用的进程数量。默认情况下为 0(串行),设置为较大数值(如 16)会启动多个进程并行处理数据集加载、分词等操作。虽然能加速预处理,但过多的进程会占用大量 CPU 和内存资源,导致 OOM(内存溢出)。
解决方案
- 停止当前运行的 WebUI 进程。
- 点击'预览命令'查看生成的训练命令,找到
--preprocessing_num_workers参数。 - 将该参数值改小(例如改为 4 或 8,根据 CPU 核心数调整)。
- 复制修改后的命令到命令行工具(CMD)执行。
- 训练完成后,重新启动 WebUI 进程,即可在网页端查看训练参数和结果。


