LLaMA Factory 数据集配置格式说明

LLaMA Factory 数据集

数据集格式

{
  "数据集名称": {
    "hf_hub_url": "Hugging Face 的数据集仓库地址（若指定，则忽略 script_url 和 file_name）",
    "ms_hub_url": "ModelScope 的数据集仓库地址（若指定，则忽略 script_url 和 file_name）",
    "script_url": "包含数据加载脚本的本地文件夹名称（若指定，则忽略 file_name）",
    "file_name": "该目录下数据集文件夹或文件的名称（上述参数未指定时必需）",
    "formatting": "数据集格式（可选，默认：alpaca，可以为 alpaca 或 sharegpt）",
    "ranking": "是否为偏好数据集（可选，默认：False）",
    "subset": "数据集子集的名称（可选，默认：None）",
    "split": "所使用的数据集切分（可选，默认：train）",
    "folder": "Hugging Face 仓库的文件夹名称（可选，默认：None）",
    "num_samples": "该数据集所使用的样本数量。（可选，默认：None）",
    "columns": {
      "prompt"