AI 大模型收费指标 Tokens 概念与计费原理解析

Token 对应的核心技术点

1. 分词器（Tokenizer）：文本到 Token 的桥梁

• 技术角色：负责将输入文本切分为 Token，并将 Token 映射为模型可处理的数字 ID。
• 关键技术：
  • BPE（Byte Pair Encoding）：最主流的分词算法，通过统计语料中高频出现的字符组合，逐步合并为子词。
  • Unigram 模型：从大的初始词汇表中，通过概率模型逐步移除低频 Token。
  • 字节级分词：直接对 UTF-8 字节进行编码，避免处理生僻字或 emoji 时出现'未知 Token'。
• 技术意义：分词器的质量直接影响模型对文本的理解能力。

2. 嵌入层（Embedding Layer）：Token 到向量的转换

• 技术角色：将每个 Token 的数字 ID 转换为一个高维向量（Embedding），包含 Token 的语义信息。
• 关键技术：
  • 词嵌入（Word Embedding）：通过训练学习到的向量，相似概念的向量在空间中距离较近。
  • 位置编码（Positional Encoding）：Transformer 模型本身不具备时序感知能力，位置编码会为每个 Token 添加位置信息。
• 技术意义：嵌入层是模型理解文本语义的第一步。

3. 上下文窗口（Context Window）：Token 的记忆容量

• 技术角色：模型在一次推理中能处理的最大 Token 数量，包括输入和输出。
• 关键技术：
  • 注意力机制（Attention Mechanism）：计算 Token 之间的注意力权重，复杂度是 O(n²)。
  • 滑动窗口（Sliding Window）：突破上下文窗口限制的技术。
  • KV 缓存（KV Cache）：在多轮对话中缓存之前的 Key 和 Value 向量。
• 技术意义：上下文窗口决定了模型能'记住'多少信息。

4. 推理成本（Cost）：Token 的经济价值

• 技术角色：Token 是计算和存储成本的基本单位。
• 关键技术：
  • 计算成本：Token 数量越多，GPU 资源消耗越大。
  • 存储成本：KV 缓存占用的显存随 Token 数量增加。
  • 缓存命中（Cache Hit）：复用之前的计算结果降低成本。
• 技术意义：优化 Token 数量是降低大模型部署成本的关键。

Token 技术栈的完整流程

1. 文本输入：用户输入 Hello, 我是豆包。
2. 分词：Tokenizer 将文本切分为 Token，并映射为数字 ID。
3. 嵌入：嵌入层将数字 ID 转换为高维向量，并添加位置编码。
4. 推理：Transformer 模型通过注意力机制处理向量，生成新的 Token 序列。
5. 解码：Tokenizer 将生成的 Token 序列转换回人类可读的文本。
6. 计费：根据输入和输出的 Token 数量，计算使用成本。

总结：Token 为什么重要？

• 它是模型的'语言'：模型通过 Token 来理解和生成文本。
• 它是成本的'标尺'：Token 数量直接决定了模型的计算和存储成本。
• 它是能力的'边界'：上下文窗口的大小决定了模型能处理的文本长度和复杂程度。