大模型训练：LLaMA-Factory 快速上手

启用多 GPU 训练

#!/bin/bash
CUDA_VISIBLE_DEVICES=4,5,6,7 accelerate launch --config_file config.yaml ../src/train.py \
  --stage sft \
  --do_train True \
  --template qwen3 \
  --finetuning_type lora \
  --model_name_or_path ../Qwen/Qwen3-0.6B \
  --dataset_dir ./vehicle_control_dataset \
  --dataset my_data \
  --output_dir ./saves \
  --overwrite_cache \
  --overwrite_output_dir \
  --cutoff_len 1024 \
  --per_device_train_batch_size 1 \
  --per_device_eval_batch_size 1 \
  --gradient_accumulation_steps 8 \
  --lr_scheduler_type cosine \
  --max_grad_norm 1.0 \
  --logging_steps 10 \
  --save_steps 200 \
  --warmup_steps 0 \
  --learning_rate 5e-5 \
  --num_train_epochs 3.0 \
  --max_samples 100000 \
  --fp16 True \
  --lora_rank 8 \
  --lora_dropout 0.1 \
  --lora_target all \
  --plot_loss True