Linux 远程服务器直接下载 HuggingFace 模型与数据集

Linux 远程服务器直接下载 HuggingFace 模型与数据集 | 极客日志

在 AI 领域如 NLP/CV 等，做实验时经常需要用到 HuggingFace 上的开源模型或数据集，同时依赖远程服务器提供算力。为避免手动下载并传输文件的繁琐过程，可使用官方命令行工具直接在远程服务器下载。

无需额外操作。

pip install -U huggingface_hub

为防止连接超时，需设置环境变量。

# 编辑配置文件 vim ~/.bashrc
# 在末尾添加 export HF_ENDPOINT="https://hf-mirror.com"
# 使更改生效 source ~/.bashrc

使用以下命令，模型 ID 可从网页复制。

huggingface-cli download --resume-download {模型 ID} --local-dir {目标目录}

例如下载 RoBERTa 模型：

huggingface-cli download --resume-download FacebookAI/roberta-base --local-dir ./roberta-base

下载数据集需增加 --repo-type dataset 参数。

huggingface-cli download --repo-type dataset --resume-download {数据集 ID} --local-dir {目标目录}

若需下载数据集中的特定文件，可在数据集 ID 后追加文件名：

huggingface-cli download --repo-type dataset --resume-download {数据集 ID} {文件名} --local-dir {目标目录}

更多推荐文章