本地高效部署大型语言模型的六种策略
商业人工智能和大型语言模型（LLM）有一个很大的缺点：隐私。在处理敏感数据或专有数据时，我们无法从这些工具中获益。因此，我们需要了解如何在本地运行私人 LLM。开源模型提供了一种解决方案，但它们也有自己的挑战和优势。
设定期望值
开源软件种类繁多，有数以千计的模型可供选择，从 Meta 等大型组织提供的模型到个人爱好者开发的模型，各有不同。然而，运行这些模型也面临着一系列挑战：
- 硬件要求：它们可能需要强大的硬件，须拥有足够的内存和一个 GPU。
- 性能差距：尽管开源模型在不断改进，但它们的功能通常仍无法与 ChatGPT 等更完善的产品相提并论，因为 ChatGPT 得益于庞大的工程师团队的支持。
- 商业用途：并非所有模型都能用于商业用途，需仔细检查许可证。
不过，正如同谷歌的一份文件所指出的，开源和闭源模型之间的差距正在缩小。
Hugging Face 和 Transformers
Hugging Face 相当于机器学习和人工智能的 Docker Hub，提供了大量开源模型。并且，Hugging Face 会定期对模型进行基准测试，并提供排行榜，帮助用户选择最佳模型。
Hugging Face 还提供了一个 Python 库 transformers，可以简化本地运行一个 LLM 的过程。下面的示例使用该库运行了一个较旧的 GPT-2 microsoft/DialoGPT-medium 模型。第一次运行时，Transformers 会下载模型，你可以与它进行五次交互。该脚本还需要安装 PyTorch。
from transformers import AutoModelForCausalLM, AutoTokenizer
import torch
# 初始化 tokenizer 和 model
tokenizer = AutoTokenizer.from_pretrained("microsoft/DialoGPT-medium", padding_side='left')
model = AutoModelForCausalLM.from_pretrained("microsoft/DialoGPT-medium")
chat_history_ids = None
# Let's chat for 5 lines
for step in range(5):
# encode the new user input, add the eos_token and return a tensor in Pytorch
new_user_input_ids = tokenizer.encode(input(">> User:") + tokenizer.eos_token, return_tensors='pt')
# append the new user input tokens to the chat history
if chat_history_ids is not None:
bot_input_ids = torch.cat([chat_history_ids, new_user_input_ids], dim=-1)
else:
bot_input_ids = new_user_input_ids
chat_history_ids = model.generate(bot_input_ids, max_length=, pad_token_id=tokenizer.eos_token_id)
(.(tokenizer.decode(chat_history_ids[:, bot_input_ids.shape[-]:][], skip_special_tokens=)))
