Linux 远程服务器直接下载 HuggingFace 模型与数据集
在 Linux 远程服务器上利用 huggingface-cli 工具下载 HuggingFace 模型和数据集。步骤包括安装 huggingface_hub 库,配置 HF_ENDPOINT 环境变量以使用国内镜像解决连接超时问题。使用 download 命令指定模型 ID 和存储目录即可下载模型;下载数据集需增加 --repo-type dataset 参数,并支持指定具体文件或断点续传。

在 Linux 远程服务器上利用 huggingface-cli 工具下载 HuggingFace 模型和数据集。步骤包括安装 huggingface_hub 库,配置 HF_ENDPOINT 环境变量以使用国内镜像解决连接超时问题。使用 download 命令指定模型 ID 和存储目录即可下载模型;下载数据集需增加 --repo-type dataset 参数,并支持指定具体文件或断点续传。

在 AI 领域如 NLP/CV 等,做实验时经常需要用到 HuggingFace 上的开源模型或数据集,同时依赖远程服务器提供算力。为避免手动下载并传输文件的繁琐过程,可使用官方命令行工具直接在远程服务器下载。
无需额外操作。
pip install -U huggingface_hub
为防止连接超时,需设置环境变量。
# 编辑配置文件 vim ~/.bashrc
# 在末尾添加 export HF_ENDPOINT="https://hf-mirror.com"
# 使更改生效 source ~/.bashrc
使用以下命令,模型 ID 可从网页复制。
huggingface-cli download --resume-download {模型 ID} --local-dir {目标目录}
例如下载 RoBERTa 模型:
huggingface-cli download --resume-download FacebookAI/roberta-base --local-dir ./roberta-base
下载数据集需增加 --repo-type dataset 参数。
huggingface-cli download --repo-type dataset --resume-download {数据集 ID} --local-dir {目标目录}
若需下载数据集中的特定文件,可在数据集 ID 后追加文件名:
huggingface-cli download --repo-type dataset --resume-download {数据集 ID} {文件名} --local-dir {目标目录}

微信公众号「极客日志」,在微信中扫描左侧二维码关注。展示文案:极客日志 zeeklog
使用加密算法(如AES、TripleDES、Rabbit或RC4)加密和解密文本明文。 在线工具,加密/解密文本在线工具,online
生成新的随机RSA私钥和公钥pem证书。 在线工具,RSA密钥对生成器在线工具,online
基于 Mermaid.js 实时预览流程图、时序图等图表,支持源码编辑与即时渲染。 在线工具,Mermaid 预览与可视化编辑在线工具,online
解析常见 curl 参数并生成 fetch、axios、PHP curl 或 Python requests 示例代码。 在线工具,curl 转代码在线工具,online
将字符串编码和解码为其 Base64 格式表示形式即可。 在线工具,Base64 字符串编码/解码在线工具,online
将字符串、文件或图像转换为其 Base64 表示形式。 在线工具,Base64 文件转换器在线工具,online