AI 大模型收费指标 Tokens 概念与计费原理解析 | 极客日志

AI 大模型收费指标 Tokens 概念与计费原理解析 | 极客日志

文章配图

Token 收费举例

文章配图

使用大模型时，用户通常关注按 Token 的计费方式。例如：

推理输入：0.6 元 / 百万 tokens
- 含义：向大模型提问、上传文档、粘贴上下文等'给模型看的内容'，每消耗 100 万个 tokens，收费 0.6 元。
- 示例：发送一段 1000 字的文章给模型，约 1300 tokens（按 1 字≈1.3 token 粗算）。费用 ≈ 0.6 元 / 1,000,000 × 1,300 ≈ 0.00078 元。
推理输出：3.6 元 / 百万 tokens
- 含义：模型生成的回答、代码、文案等'给你的内容'，每消耗 100 万个 tokens，收费 3.6 元。
- 示例：模型生成一篇 1000 字的回答，同样约 1300 tokens。费用 ≈ 3.6 / 1,000,000 × 1,300 ≈ 0.00468 元。

Token 是什么？

Token 是大语言模型（LLM）处理文本的最小单位，可理解为模型'读'和'写'的单词、字符或子词。它是一套贯穿模型训练、推理和部署的核心机制。

1. 本质：文本的数字化编码

Token 是模型将人类可读的文本（中文、英文、数字、符号等）切分并编码后得到的数字 ID。
模型不直接处理汉字或字母，而是处理这些数字 ID。
切分规则由模型的**分词器（Tokenizer）**决定，不同模型（如 GPT、Doubao、Claude）的分词规则略有差异。

2. 常见的 Token 类型

英文/拉丁语言：通常是子词（Subword），例如 unhappiness 会被切分为 un, happiness。
中文：通常是单字或双字词，例如'我爱中国'可能被切分为 我, 爱, 中, 国 或 我爱, 中国。
特殊符号：空格、标点、换行符等也会被编码为独立的 Token。

3. 直观例子

以 Doubao/OpenAI 的分词器为例：

输入文本：Hello, 我是豆包，一个 AI 助手。
分词结果（Token）：Hello, ,, 我, 是, 豆, 包, ，, 一, 个, AI, 助, 手, 。
每个 Token 对应一个唯一的数字 ID，例如 Hello → 15496，我 → 1770。

Token 对应的核心技术点

1. 分词器（Tokenizer）：文本到 Token 的桥梁

技术角色：负责将输入文本切分为 Token，并将 Token 映射为模型可处理的数字 ID。
关键技术：
- BPE（Byte Pair Encoding）：最主流的分词算法，通过统计语料中高频出现的字符组合，逐步合并为子词。
- Unigram 模型：从大的初始词汇表中，通过概率模型逐步移除低频 Token。
- 字节级分词：直接对 UTF-8 字节进行编码，避免处理生僻字或 emoji 时出现'未知 Token'。
技术意义：分词器的质量直接影响模型对文本的理解能力。

2. 嵌入层（Embedding Layer）：Token 到向量的转换

技术角色：将每个 Token 的数字 ID 转换为一个高维向量（Embedding），包含 Token 的语义信息。
关键技术：
- 词嵌入（Word Embedding）：通过训练学习到的向量，相似概念的向量在空间中距离较近。
- 位置编码（Positional Encoding）：Transformer 模型本身不具备时序感知能力，位置编码会为每个 Token 添加位置信息。
技术意义：嵌入层是模型理解文本语义的第一步。

3. 上下文窗口（Context Window）：Token 的记忆容量

技术角色：模型在一次推理中能处理的最大 Token 数量，包括输入和输出。
关键技术：
- 注意力机制（Attention Mechanism）：计算 Token 之间的注意力权重，复杂度是 O(n²)。
- 滑动窗口（Sliding Window）：突破上下文窗口限制的技术。
- KV 缓存（KV Cache）：在多轮对话中缓存之前的 Key 和 Value 向量。
技术意义：上下文窗口决定了模型能'记住'多少信息。

4. 推理成本（Cost）：Token 的经济价值

技术角色：Token 是计算和存储成本的基本单位。
关键技术：
- 计算成本：Token 数量越多，GPU 资源消耗越大。
- 存储成本：KV 缓存占用的显存随 Token 数量增加。
- 缓存命中（Cache Hit）：复用之前的计算结果降低成本。
技术意义：优化 Token 数量是降低大模型部署成本的关键。

Token 技术栈的完整流程

文本输入：用户输入 Hello, 我是豆包。
分词：Tokenizer 将文本切分为 Token，并映射为数字 ID。
嵌入：嵌入层将数字 ID 转换为高维向量，并添加位置编码。
推理：Transformer 模型通过注意力机制处理向量，生成新的 Token 序列。
解码：Tokenizer 将生成的 Token 序列转换回人类可读的文本。
计费：根据输入和输出的 Token 数量，计算使用成本。

总结：Token 为什么重要？

它是模型的'语言'：模型通过 Token 来理解和生成文本。
它是成本的'标尺'：Token 数量直接决定了模型的计算和存储成本。
它是能力的'边界'：上下文窗口的大小决定了模型能处理的文本长度和复杂程度。