AI 大模型收费指标 Token 详解

Token 对应的核心技术点

1. 分词器（Tokenizer）：文本到 Token 的桥梁

• 技术角色：负责将输入文本切分为 Token，并将 Token 映射为模型可处理的数字 ID。
• 关键技术：
  • BPE（Byte Pair Encoding）：最主流的分词算法，通过统计语料中高频出现的字符组合，逐步合并为子词，平衡词汇表大小和分词效率。
  • Unigram 模型：从一个大的初始词汇表中，通过概率模型逐步移除低频 Token，优化分词效果。
  • 字节级分词：直接对 UTF-8 字节进行编码，避免处理生僻字或 emoji 时出现'未知 Token'的问题。
• 技术意义：分词器的质量直接影响模型对文本的理解能力。好的分词器能准确切分专业术语、方言词汇，避免语义丢失。

2. 嵌入层（Embedding Layer）：Token 到向量的转换

• 技术角色：将每个 Token 的数字 ID 转换为一个高维向量（Embedding），这个向量包含了 Token 的语义信息。
• 关键技术：
  • 词嵌入（Word Embedding）：通过训练学习到的向量，例如 猫 和 狗 的向量在空间中距离较近，因为它们都是动物。
  • 位置编码（Positional Encoding）：Transformer 模型本身不具备时序感知能力，位置编码会为每个 Token 添加位置信息，让模型知道'我'在'爱'之前。
• 技术意义：嵌入层是模型理解文本语义的第一步，高质量的嵌入能让模型更好地捕捉文本中的上下文关系。

3. 上下文窗口（Context Window）：Token 的'记忆容量'

• 技术角色：模型在一次推理中能处理的最大 Token 数量，包括输入和输出。
• 关键技术：
  • 注意力机制（Attention Mechanism）：Transformer 模型的核心，通过计算 Token 之间的注意力权重，让模型关注文本中的关键信息。注意力机制的计算复杂度是 O(n²)，n 是 Token 数量，因此上下文窗口越大，计算成本越高。
  • 滑动窗口（Sliding Window）：为了突破上下文窗口的限制，一些模型会采用滑动窗口技术，只关注当前窗口内的 Token。
  • KV 缓存（KV Cache）：在多轮对话中，模型会缓存之前的 Key 和 Value 向量，避免重复计算，提高推理效率。
• 技术意义：上下文窗口决定了模型能'记住'多少信息。256k 的上下文窗口意味着模型可以处理长达 19 万字的文本，这对于长文档理解、代码生成等场景至关重要。

4. 推理成本（Cost）：Token 的'经济价值'

• 技术角色：Token 是计算和存储成本的基本单位。
• 关键技术：
  • 计算成本：每个 Token 都需要经过多层 Transformer 块的计算，Token 数量越多，计算时间越长，GPU 资源消耗越大。
  • 存储成本：KV 缓存需要存储之前的 Key 和 Value 向量，Token 数量越多，占用的显存越大。
  • 缓存命中（Cache Hit）：如果输入 Token 序列与之前的请求高度相似，模型可以直接复用之前的计算结果，大幅降低成本。
• 技术意义：Token 数量直接决定了模型的使用成本。优化 Token 数量（例如使用更高效的分词器、压缩文本）是降低大模型部署成本的关键。

Token 技术栈的完整流程

1. 文本输入：用户输入 Hello, 我是豆包。
2. 分词：Tokenizer 将文本切分为 Hello, ,, 我, 是, 豆, 包, 。，并映射为数字 ID。
3. 嵌入：嵌入层将数字 ID 转换为高维向量，并添加位置编码。
4. 推理：Transformer 模型通过注意力机制处理这些向量，生成新的 Token 序列。
5. 解码：Tokenizer 将生成的 Token 序列转换回人类可读的文本。
6. 计费：根据输入和输出的 Token 数量，计算使用成本。

总结：Token 为什么重要？

• 它是模型的'语言'：模型通过 Token 来理解和生成文本。
• 它是成本的'标尺'：Token 数量直接决定了模型的计算和存储成本。
• 它是能力的'边界'：上下文窗口的大小决定了模型能处理的文本长度和复杂程度。