Transformer 与 Attention，不推公式的直觉版
用直觉串起 token embedding、attention 和多层 Transformer，解释模型如何整合上下文，并说明这些机制与 Agent 的能力、成本和窗口长度的关系。
11 0
15 分钟 阅读全文
标签
Transformer
共 3 篇文章
GPT vs BERT：两条路的故事
前言：同一个 Transformer，两种命运2017 年，Google 发布了 Transformer。2018 年，基于 Transformer，两个重量级模型几乎同时诞生：6 月：OpenAI 发布 GPT-110 月：Google …
9 0
14 分钟 阅读全文
Transformer架构：从入门到放弃
前言：一切的起点如果要评选"21 世纪最重要的 AI 论文"，《Attention Is All You Need》绝对是头部选手。GPT、BERT、LLaMA、Claude、DeepSeek……这些你听过的大模型，全部基于 Transfo…
4 0
13 分钟 阅读全文
没有更多了