Tokenization：大模型的碎碎念
前言：大模型的"第一步"你有没有想过，当你输入 "今天天气真好" 给 ChatGPT 时，它看到的是什么？不是汉字，不是字母，而是一串数字：这个把文本变成数字的过程，就是 Tokenization（分词/标记化）。看起来很简单对吧？其实这里…
3 0
11 分钟 阅读全文
标签
Tokenization
共 1 篇文章
没有更多了
共 1 篇文章
前言：大模型的"第一步"你有没有想过，当你输入 "今天天气真好" 给 ChatGPT 时，它看到的是什么？不是汉字，不是字母，而是一串数字：这个把文本变成数字的过程，就是 Tokenization（分词/标记化）。看起来很简单对吧？其实这里…