分词

Token，模型眼里的世界

模型不直接读字符，而是把文本切成 token；本文解释 BPE 如何合并片段、中文与英文的 token 差异，以及 token 如何影响计费和上下文。