GpuGeek 大模型平台概览及 API 调用教程

API 调用

我们可以请求 HTTP、Node.js、Python，针对文本对话类的官方 API，支持 OpenAI 格式兼容。API 调用需要使用 API Token，可在 API Token 页面查看并管理您的 API Token。

使用 Node.js 客户端调用 API

导入 axios 模块和 stream 模块

const axios = require('axios'); 
const { Readable } = require('stream');

设置 API_KEY 变量

const API_KEY = 'your_api_token';

设置请求 URL

const url = 'https://api.gpugeek.com/predictions';

设置请求头

const headers = {
  "Authorization": "Bearer API_KEY", 
  "Content-Type": "application/json", 
  "Stream": "true"
};

请求体数据

const data = {
  "model": "GpuGeek/Qwen3-32B",
  "input": {
    "frequency_penalty": 0,
    "max_tokens": 8192,
    "prompt": "",
    "temperature": 0.6,
    "top_k": 50,
    "top_p": 0.7
  }
};

发送 POST 请求

axios.post(url, data, { 
  headers: headers, 
  responseType: 'stream' 
})
.then(response => {
  const readableStream = Readable.from(response.data);
  readableStream.on('data', (chunk) => {
    console.log(chunk.toString('utf-8'));
  });
  readableStream.on('error', (err) => {
    console.error('Stream error:', err.message);
  });
})
.catch(error => {
  if (error.response) {
    console.error("Error:", error.response.status, error.response.statusText);
  } else {
    console.error("Error:", error.message);
  }
});

使用 Python 客户端调用 API

导入 requests 模块

import requests 

设置 API_KEY 变量

API_KEY = "your_api_key"

设置请求 url

url = 'https://api.gpugeek.com/predictions';

设置请求头

headers = {
  "Authorization": f"Bearer {API_KEY}",
  "Content-Type": "application/json",
  "Stream": "true"
}

设置请求参数

data = {
  "model": "GpuGeek/Qwen3-32B",
  "input": {
    "frequency_penalty": 0,
    "max_tokens": 8192,
    "prompt": "",
    "temperature": 0.6,
    "top_k": 50,
    "top_p": 0.7
  }
}

发送 POST 请求

response = requests.post(url, headers=headers, json=data)

检查响应状态码并打印响应内容

if response.status_code == 200:
  for line in response.iter_lines():
    if line:
      print(line.decode("utf-8"))
else:
  print("Error:", response.status_code, response.text)

使用 HTTP 方式调用 API

curl -X POST "https://api.gpugeek.com/predictions"\
  -H "Authorization: Bearer your_api_key"\
  -H "Content-Type: application/json"\
  -H "Stream: true"\
  -d "{\"model\": \"GpuGeek/Qwen3-32B\", \"input\": { \"frequency_penalty\": 0, \"max_tokens\": 8192, \"prompt\": \"\", \"temperature\": 0.6, \"top_k\": 50, \"top_p\": 0.7 }}"

OpenAI 兼容模式

安装 OpenAI

pip install openai==1.63.2 

导入 OpenAI 模块

from openai import OpenAI 

初始化 OpenAI 客户端

client = OpenAI(
  api_key="your_api_key", 
  base_url="https://api.gpugeek.com/v1"
)

发送请求

stream = client.chat.completions.create(
  model="GpuGeek/Qwen3-32B", 
  stream=True, 
  frequency_penalty=0, 
  max_tokens=8192, 
  messages=[{"role":"user", "content":"", }], 
  temperature=0.6, 
  top_p=0.7, 
)
for chunk in stream:
  print(chunk.choices[0].delta.content)

总结

GpuGeek 平台凭借丰富多样的镜像资源，极大地简化了开发环境的搭建流程，让开发者能将更多精力投入到核心项目开发中。同时，其强大的算力资源为各类复杂的模型训练提供了稳定且高效的支持，显著缩短了项目周期。贴心的技术支持与服务，及时解决了开发者在项目推进过程中的各种难题，有力保障了开发工作的顺利进行。

GpuGeek 在全球范围内合理布局资源节点，国内多地及香港、达拉斯等海外地区均有覆盖。用户可就近接入，实现模型镜像秒级加载，跨国推理延迟低至 0.5 秒。这种全球资源布局，确保了数据同步的及时性，为跨国项目的顺利开展提供有力支持。

GpuGeek 官网：https://gpugeek.com/login