本文介绍了大语言模型中的分词（Tokenization）机制，解释了 1 token 约等于 3/4 单词的经验法则。详细阐述了分词的三种粒度（词级、字符级、子词级）及主流子词算法（BPE、WordPiece、Unigram）。通过 Python 的 transformers 库演示了 AutoTokenizer 的 tokenize、encode 和 decode 流程，分析了 Vicuna 模型的配置参数与词表结构。内容涵盖分词对成本的影响及实际编码操作，包括截断、填充策略及特殊 Token 处理，帮助开发者深入理解文本预处理技术。
ChatGPT API 按 token 数量收费，那么 1 个 token 究竟是多少？
按 OpenAI 的估算，1 token ~= 3/4 words，100 个 token 大约是 75 个单词。
输入的文本是如何被分解为 token 的呢？在大语言模型处理文本时，分词（Tokenization）是最基础又相对独立的一个环节，在整个流程中非常重要，但又经常容易被忽略。今天我们就一起来梳理分词（Tokenization）相关的知识。
分词（Tokenization）是为了将自然语言转换为计算机可以理解的数值形式。分词的过程是将文本分解为更小单元的过程，这些更小的单元通常被称为 token。这些 token 可以是单词、子词或者字符，具体取决于所选用的分词方法。这些 token 将会进一步被转换为数字 ID，再转换为向量，从而成为计算机可以理解的输入形式。
分词（Tokenization）有三种主要的粒度：
常见的 subword 分词方法大致可分为以下两类：
基于规则的分词方法：比如 python 中的 NLTK、spaCy 等等，通常是依赖于预定义的规则和模式来识别分词的边界。
from nltk.tokenize import word_tokenize
text = "Don't you love eating apples?"
word_tokens = word_tokenize(text)
print(word_tokens)
# ['Do', "n't", 'you', 'love', 'eating', 'apples', '?']
基于预训练模型的分词方法：比如 python 中的 transformers，可以加载不同的预训练模型，这些模型已经在大量文本上进行了训练，学习了单词的上下文表示。
from transformers import AutoTokenizer
tokenizer = AutoTokenizer.from_pretrained("lmsys/vicuna-7b-v1.5")
text = "Don't you love eating apples?"
print(tokenizer.tokenize(text))
# ['▁Don', "'", 't', '▁you', '▁love', 'e', 'ating', '▁app', 'les', '?']
在目前主流的大语言预训练模型中，常见的 subword 分词算法有三种：
使用 transformers 库可以方便地调用预训练的分词器。
from transformers import AutoTokenizer
tokenizer = AutoTokenizer.from_pretrained("lmsys/vicuna-7b-v1.5")
text = "Don't you love eating apples?"
print(tokenizer.tokenize(text))
# ['▁Don', "'", 't', '▁you', '▁love', 'e', 'ating', '▁app', 'les', '?']
text = "He is eating an apple."
print(tokenizer.tokenize(text))
# ['▁He', '▁is', '▁e', 'ating', '▁an', '▁apple', '.']
注意输出中的 ▁ 符号，这通常代表空格。在 SentencePiece 等子词分词器中，为了区分单词开头的空格和单词中间的空格，会使用特殊标记。
可以使用 tokenizer.encode 直接将文本转换为词表中的 token ID 列表（带 cls 和 sep，带 truncation，带 padding）：
text = "Don't you love eating apples?"
ids = tokenizer.encode(text)
print(ids)
# [1, 3872, 29915, 29873, 366, 5360, 321, 1218, 623, 793, 29973]
也可以分两步，tokenize 和 convert_tokens_to_ids，将文本转换为词表中的 token ID 列表（不带 cls 和 sep）：
text = "Don't you love eating apples?"
tokens = tokenizer.tokenize(text)
print(tokens)
# ['▁Don', "'", 't', '▁you', '▁love', 'e', 'ating', '▁app', 'les', '?']
ids = tokenizer.convert_tokens_to_ids(tokens)
print(ids)
# [3872, 29915, 29873, 366, 5360, 321, 1218, 623, 793, 29973]
大语言模型在完成推理后，输出的是词表中的 token ID，可以使用 decode 将其解码成文本。
text = "Don't you love eating apples?"
tokens = tokenizer.tokenize(text)
ids = tokenizer.convert_tokens_to_ids(tokens)
decoded_text = tokenizer.decode(ids)
print(decoded_text)
# Don't you love eating apples?
类似的，也可以用 convert_ids_to_tokens 和 convert_tokens_to_string 两步来实现：
output_tokens = tokenizer.convert_ids_to_tokens(ids)
decoded_text = tokenizer.convert_tokens_to_string(output_tokens)
print(decoded_text)
# Don't you love eating apples?
from transformers import AutoTokenizer
tokenizer = AutoTokenizer.from_pretrained("lmsys/vicuna-7b-v1.5")
print(list(tokenizer.vocab.items())[:5])
# [('▁програм', 20796), ('prüng', 21563), ('▁Level', 21597), ('adu', 13467), ('▁prob', 2070)]
在前文的'编码 encode'步骤中，可以看到 ▁Don 被编码为 3872，t 被编码为 29873，现在可以在词表中验证一下：
print(tokenizer.vocab['▁Don']) # 3872
print(tokenizer.vocab['t']) # 29873
print(len(tokenizer.vocab))
# 32000
小羊驼（Vicuna）的 config.json 如下：
{
"_name_or_path": "vicuna-7b-v1.5",
"architectures": ["LlamaForCausalLM"],
"bos_token_id": 1,
"eos_token_id": 2,
"hidden_act": "silu",
"hidden_size": 4096,
"initializer_range": 0.02,
"intermediate_size": 11008,
"max_position_embeddings": 4096,
"model_type": "llama",
"num_attention_heads": 32,
"num_hidden_layers": 32,
"num_key_value_heads": 32,
"pad_token_id": 0
从中也可以印证词汇表的大小是 32000。
小羊驼（Vicuna）的 tokenizer_config.json 如下：
{
"add_bos_token": true,
"add_eos_token": false,
"bos_token": {"__type": "AddedToken", "content": "<s>", "lstrip": false, "normalized": false, "rstrip": false, "single_word": false},
"clean_up_tokenization_spaces": false,
"eos_token": {"__type": "AddedToken", "content": "</s>", "lstrip":
从以上配置中可以看到，最大支持 4096 个 token，分词类使用的是 LlamaTokenizer，开始符定义为 <s>，结束符定义为 </s>，超出词汇表的定义为 <unk>。
在前文的'编码 encode'中使用 tokenizer.encode 时，会添加开始符，就是在最前端添加 <s>，验证如下：
text = "Don't you love eating apples?"
ids = tokenizer.encode(text)
print(ids) # [1, 3872, ...]
print(tokenizer.vocab['<s>']) # 1
print(tokenizer.vocab['</s>']) # 2
print(tokenizer.vocab['<unk>']) # 0
在实际开发大模型应用时，除了理解基本的分词原理，还需要注意以下几点：
max_position_embeddings 时，模型无法处理。通常需要在编码时设置 truncation=True，并指定 max_length。例如 tokenizer.encode(text, truncation=True, max_length=512)。padding=True 自动填充到 batch 中最长的序列，或指定 max_length。注意填充 token 通常是 pad_token_id（如 Vicuna 中为 0）。▁）。在解码时，convert_tokens_to_string 会自动处理这些符号还原为正常空格，但在调试时需注意观察原始 token 列表。分词是大语言模型处理文本的第一步，直接影响模型的理解能力和 API 调用成本。理解 BPE、WordPiece 等算法原理，掌握 transformers 库中 AutoTokenizer 的使用，能够帮助开发者更好地优化提示词工程，控制上下文长度，并准确预估模型调用的费用。通过本文对 Vicuna 模型配置的分析，读者可以进一步了解分词器与模型架构之间的关联，为后续的微调和部署打下基础。
微信公众号「极客日志」，在微信中扫描左侧二维码关注。展示文案：极客日志 zeeklog
使用加密算法（如AES、TripleDES、Rabbit或RC4）加密和解密文本明文。 在线工具，加密/解密文本在线工具，online
生成新的随机RSA私钥和公钥pem证书。 在线工具，RSA密钥对生成器在线工具，online
基于 Mermaid.js 实时预览流程图、时序图等图表，支持源码编辑与即时渲染。 在线工具，Mermaid 预览与可视化编辑在线工具，online
解析常见 curl 参数并生成 fetch、axios、PHP curl 或 Python requests 示例代码。 在线工具，curl 转代码在线工具，online
将字符串编码和解码为其 Base64 格式表示形式即可。 在线工具，Base64 字符串编码/解码在线工具，online
将字符串、文件或图像转换为其 Base64 表示形式。 在线工具，Base64 文件转换器在线工具，online