Next-token prediction

Next-token prediction，一个字一个字地猜

大模型每次根据已有上下文预测下一个 token。文章用 logits、softmax 和生成循环解释输出速度、无法回改已生成内容，以及先推理后作答的价值。