Tokenizer 知识体系地图：从子词算法原理与主流工具实现，到多语言、推理等工程议题与多模态延伸——词表如何塑造模型的能力边界与成本结构。
算法原理
- Tokenizer 概述 — token/词表/编解码管线，全体系入口
- BPE 算法原理 — merge 规则训练与贪心编码，子词算法基石
- WordPiece 与 Unigram LM — 概率视角双子词算法，与 BPE 的本质差异
- BBPE 字节级分词 — 字节级兜底消 OOV，GPT 系词表路线
主流实现
- SentencePiece — 语言无关设计，bpe/unigram 双模式
- Tiktoken — OpenAI 词表演进与高性能实现
- Hugging Face Tokenizers 实操 — 五件套管线与自定义 tokenizer 训练
工程议题
- 特殊 Token 与 Chat Template — 保留 token 语义与对话模板机制
- 中文与多语言分词 — token 膨胀量化、成本与语言配额
- 数字与代码的 Tokenization — 数字切分与算术能力、FIM 与缩进 token
- Tokenizer 对推理的影响 — glitch tokens、prompt 边界敏感、token healing
- 词表设计与裁剪 — vocab size 权衡与 embedding 瘦身
多模态与演进
- 视觉 Tokenizer — 离散码本与连续注入两条路线
- 多模态统一词表 — 统一 token 空间与跨模态对齐
综述入口
- 大语言与视觉语言模型的分词策略演进、主流技术与工业级实测对比 — 演进史、库实测对比与选型的横向综述，本体系的广度入口