Python 调用大语言模型（LLM）主要有原生 HTTP 请求、封装式 API 调用、OpenAI SDK 及传统 OpenAI 库四种方式。原生方式灵活度高但依赖手动处理请求细节；封装函数便于多模型切换与维护；SDK 稳定性强且支持流式响应；传统库简洁易上手。对比显示不同方案在灵活性、易用性及可维护性上各有侧重，开发者应依据项目规模与技术栈选择，并重视 API 密钥安全与异常处理。
随着大语言模型（LLM）在各类任务中的强大表现，从问答系统到代码生成，从写作助手到数据分析，越来越多的开发者和研究人员希望将这些模型集成到自己的工作流程或产品中。Python 作为最主流的 AI 开发语言，提供了丰富的生态工具，能够灵活、高效地调用各类大模型。
本文旨在帮助开发者掌握不同的 API 调用方式来与各种 LLM 服务进行交互。文章分析了四种不同的 LLM API 调用脚本，涵盖了从最基础的 HTTP 请求到高级 SDK 的使用方法。
data = {
: ,
: [
{: , : }
],
: ,
: ,
: ,
: ,
}
优势：
适用场景：
import requests
import json
# 本地服务的 API 端点
url = "http://127.0.0.1:6790/v1/chat/completions"
# 请求头
headers = {
"Content-Type": "application/json",
# "Authorization": "Bearer your_api_key" # 如果需要的话
}
# 请求体
data = {
"model": "/models/Qwen2___5-32B-Instruct-AWQ",
"messages": [
{"role": "user", "content": "分析当前全球经济形势，并提出你的见解"}
],
"max_tokens": 2048,
"temperature": 0.7,
"top_k": 1,
"top_p": 0.75,
}
# 发送 POST 请求
response = requests.post(url, headers=headers, data=json.dumps(data))
# 解析并打印回复内容
if response.status_code == 200:
response_data = response.json()
print(response_data['choices'][0]['message']['content'])
else:
print(f"请求失败，状态码：{response.status_code}")
print(response.text)
def llm_inference(prompt_list: list, model_name: str):
# 根据模型名称选择不同的服务器配置
if model_name == "qwen2.5_32b_awq":
llm_server = {
"server_url": "http://127.0.0.1:6790/v1/completions",
"path": "/psd/models/Qwen2___5-32B-Instruct-AWQ"
}
优势：
适用场景：
# -*- coding: utf-8 -*-
import requests
import json
def llm_inference(prompt_list: list, model_name: str):
if model_name == "qwen2.5_32b_awq":
llm_server = {
"server_url": "http://127.0.0.1:6790/v1/completions",
"path": "/models/Qwen2___5-32B-Instruct-AWQ"
}
elif model_name == "qwen2.5_7b_awq":
llm_server = {
"server_url": "http://127.0.0.1:6791/v1/completions",
"path": "/models/Qwen2___5-7B-Instruct-AWQ"
}
else:
llm_server = {
"server_url": "http://127.0.0.1:6790/v1/completions",
"path": "/models/Qwen2___5-32B-Instruct-AWQ"
}
rewrite_server_url = llm_server["server_url"]
rewrite_server_headers = {'Content-Type': 'application/json'}
rewrite_server_data = {
'model': llm_server["path"],
'prompt': prompt_list,
'max_tokens': 4096, # 生成长度
'top_k': 1,
'top_p': 0.75,
'temperature': 0,
'stop': ["<|im_end|>"]
}
response = requests.post(rewrite_server_url, headers=rewrite_server_headers, data=json.dumps(rewrite_server_data))
return response.json()
if __name__ == "__main__":
prompt_list = [
f"<|im_start|>system\n{'你是围城智能机器人'}<|im_end|>\n<|im_start|>user\n{'你是谁'}<|im_end|><|im_start|>assistant\n"
]
answer = llm_inference(prompt_list, "qwen2.5_32b_awq")
for i in range(len(prompt_list)):
print(answer['choices'][i]['text'])
client = OpenAI(
api_key=openai_api_key,
base_url=openai_api_base,
)
response = client.chat.completions.create(
model=model_name,
messages=messages,
temperature=0.0
)
优势：
适用场景：
#!/usr/bin/env python3
# -*- coding: utf-8 -*-
""" 极简化的 API 请求测试脚本 只保留发送请求的核心功能 """
from openai import OpenAI
def send_test_request(client, model_name, test_message="im testing, response me latter 'test' only"):
""" 发送测试请求
Args:
client: OpenAI 客户端
model_name: 模型名称
test_message: 测试消息
Returns:
str: 响应内容
"""
messages = [{"role": "user", "content": "你叫什么名字！"}]
response = client.chat.completions.create(
model=model_name,
messages=messages,
temperature=0.0
)
print(f"Response: {response}")
return response.choices[0].message.content
if __name__ == "__main__":
# API 配置
openai_api_key = "YOUR_API_KEY"
openai_api_base = "https://www.api.com/v1"
model_name = "gpt-4o" # gemini-2.5-pro gpt-4o Claude 3.5 Sonnet o3-mini
# 初始化客户端
client = OpenAI(
api_key=openai_api_key,
base_url=openai_api_base,
)
test_message = "你好"
try:
response_content = send_test_request(client, model_name, test_message)
print(f"Success! Response content: {response_content}")
except Exception as e:
print(f"Error: {e}")
openai.api_key = "YOUR_API_KEY"
openai.api_base = "https://www.api.com/v1"
response = openai.ChatCompletion.create(
model=model_name,
messages=[{"role": "user", "content": "你叫什么名字！"}],
max_tokens=512,
temperature=0.7
)
优势：
适用场景：
import openai
# 设置 API 密钥（如果本地服务需要）
openai.api_key = "YOUR_API_KEY"
# 设置 API 基础 URL 为本地模型服务的地址
# openai.api_base = "http://127.0.0.1:6790/v1"
openai.api_base = "https://www.chataiapi.com/v1"
# 指定要使用的模型名称
# model_name = "/models/Qwen2___5-32B-Instruct-AWQ"
model_name = "gemini-2.5-pro"
# 创建聊天完成请求
response = openai.ChatCompletion.create(
model=model_name,
messages=[{"role": "user", "content": "你叫什么名字！"}],
max_tokens=512,
temperature=0.7
)
print("response:", response)
print(response['choices'][0]['message']['content'])
| 特性 | llm_request.py | api_inference.py | llm_openai.py | llm_request_local.py |
|---|---|---|---|---|
| 灵活性 | ⭐⭐⭐⭐⭐ | ⭐⭐⭐⭐ | ⭐⭐⭐ | ⭐⭐⭐ |
| 易用性 | ⭐⭐ | ⭐⭐⭐⭐ | ⭐⭐⭐⭐⭐ | ⭐⭐⭐⭐⭐ |
| 可维护性 | ⭐⭐ | ⭐⭐⭐⭐⭐ | ⭐⭐⭐⭐ | ⭐⭐⭐ |
| 功能丰富度 | ⭐⭐⭐ | ⭐⭐⭐ | ⭐⭐⭐⭐⭐ | ⭐⭐⭐ |
| 学习成本 | ⭐⭐ | ⭐⭐⭐ | ⭐⭐⭐⭐ | ⭐⭐⭐⭐⭐ |
这四种调用方式各有特色，适用于不同的开发场景。开发者应该根据具体需求选择合适的方式：
无论选择哪种方式，都要注意 API 密钥的安全性和错误处理的完整性。在实际项目中，建议根据项目规模和团队技术栈做出合理选择。
微信公众号「极客日志」，在微信中扫描左侧二维码关注。展示文案：极客日志 zeeklog
生成新的随机RSA私钥和公钥pem证书。 在线工具，RSA密钥对生成器在线工具，online
基于 Mermaid.js 实时预览流程图、时序图等图表，支持源码编辑与即时渲染。 在线工具，Mermaid 预览与可视化编辑在线工具，online
解析常见 curl 参数并生成 fetch、axios、PHP curl 或 Python requests 示例代码。 在线工具，curl 转代码在线工具，online
将字符串编码和解码为其 Base64 格式表示形式即可。 在线工具，Base64 字符串编码/解码在线工具，online
将字符串、文件或图像转换为其 Base64 表示形式。 在线工具，Base64 文件转换器在线工具，online
将 Markdown（GFM）转为 HTML 片段，浏览器内 marked 解析；与 HTML转Markdown 互为补充。 在线工具，Markdown转HTML在线工具，online