AI / ML 专项stable
Hugging Face 镜像(hf-mirror)
https://hf-mirror.comHuggingFace 模型/数据集下载加速,设置 HF_ENDPOINT 环境变量即可
HuggingFaceAI模型LLM
使用说明
hf-mirror.com Hugging Face 镜像
方法一:设置环境变量(推荐,无需改代码)
export HF_ENDPOINT=https://hf-mirror.com
# 写入 shell 配置永久生效
echo 'export HF_ENDPOINT=https://hf-mirror.com' >> ~/.zshrc
方法二:CLI 下载模型
pip install -U huggingface_hub
export HF_ENDPOINT=https://hf-mirror.com
# 下载整个模型
huggingface-cli download --resume-download \
meta-llama/Llama-2-7b-hf --local-dir ./llama2
# 下载单个文件
huggingface-cli download --resume-download \
bert-base-chinese config.json
方法三:Python 代码中设置
import os
os.environ['HF_ENDPOINT'] = 'https://hf-mirror.com'
from transformers import AutoTokenizer, AutoModel
tokenizer = AutoTokenizer.from_pretrained('bert-base-chinese')
model = AutoModel.from_pretrained('bert-base-chinese')
下载数据集:
from datasets import load_dataset
ds = load_dataset('wikitext', 'wikitext-2-raw-v1')
提示:设置
HF_ENDPOINT后,transformers/datasets/diffusers等所有基于huggingface_hub的库均自动使用镜像,无需其他改动。
