Transformer 与 Attention,不推公式的直觉版
用直觉串起 token embedding、attention 和多层 Transformer,解释模型如何整合上下文,并说明这些机制与 Agent 的能力、成本和窗口长度的关系。
1 0
15 分钟 阅读全文
共 1 篇文章
用直觉串起 token embedding、attention 和多层 Transformer,解释模型如何整合上下文,并说明这些机制与 Agent 的能力、成本和窗口长度的关系。