Transformer 与 Attention，不推公式的直觉版
用直觉串起 token embedding、attention 和多层 Transformer，解释模型如何整合上下文，并说明这些机制与 Agent 的能力、成本和窗口长度的关系。
2 0
15 分钟 阅读全文
标签
attention
共 2 篇文章
🐒Attention变体：注意力的七十二变
上一篇我们学会了 Self-Attention，这一篇我们来学习如何把它玩坏。前言：Attention 很好，但是...上一篇文章，我们搞懂了 Transformer 的核心——Self-Attention。它很强大，但有一个致命的问题：太…
1 0
12 分钟 阅读全文
没有更多了