RAG：让大模型拥有外部记忆
前言：大模型的"知识困境"大模型很强大，但有几个致命问题：问题 1：知识有截止日期问题 2：不知道你的私有数据问题 3：会"幻觉"——一本正经地胡说八道RAG（Retrieval-Augmented Generation，检索增强生成） 就…
4 0
13 分钟 阅读全文
分类
AI/大数据
共 113 篇文章
Gemini 2.5：从入门到放弃（然后又捡回来）
🎭 前言：一场关于"信任"的爱恨情仇2025年的AI圈，就像迪拜的夏天——热到让人怀疑人生，但你又不得不活在其中。作为一个在UAE做支付系统的后端架构师，我每天面对的是NPSS、Aani、IPP这些真实存在、容不得半点错误的金融基础设施。在…
7 0
11 分钟 阅读全文
vLLM：大模型推理的速度与激情
前言：推理的瓶颈在哪里？你训练好了一个大模型，部署上线，结果发现：单次请求延迟 5 秒并发 10 个用户就卡死GPU 利用率只有 30%每天的 GPU 费用让你肉疼问题出在哪？大模型推理有两个阶段：Prefill（预填充）：处理用户输入，计…
20 0
11 分钟 阅读全文
模型量化：大模型的减肥手册
前言：大模型太"胖"了大模型的参数量越来越大：模型参数量FP16 显存普通人能跑吗？LLaMA-7B7B14 GB⚠️ 勉强LLaMA-13B13B26 GB❌ 困难LLaMA-70B70B140 GB❌ 不可能GPT-41.8T?3.6 …
16 0
10 分钟 阅读全文
LoRA/PEFT：穷人的微调指南
前言：微调的"贫富差距"你想微调一个 LLaMA-7B 模型，让它学会你的业务知识。全量微调需要什么？84GB 显存！ 一张 A100 80GB 都不够用！这就是为什么需要 PEFT（Parameter-Efficient Fine-Tun…
11 0
7 分钟 阅读全文
RLHF/DPO：让大模型学会"讨好"人类
前言：SFT 之后，还差什么？上一篇我们讲了 SFT（监督微调），模型学会了"对话格式"。但 SFT 有几个致命问题：问题 1：不知道什么是"好"回答问题 2：没有偏好概念问题 3：幻觉和有害内容这就是为什么需要 RLHF（Reinforc…
8 0
13 分钟 阅读全文
MCP 从入门到放弃：给大模型装上"手和脚"
前言：大模型的"残疾"困境2024 年底，你用 Claude、GPT、DeepSeek 聊天，感觉它们无所不知。但你让它帮你：查一下今天的天气 → "我无法访问实时数据"读一下这个文件 → "我看不到你的本地文件"帮我发个邮件 → "我没有…
25 0
12 分钟 阅读全文
DeepSeek 本地部署与训练：穷人的 GPT-4 平替
前言：DeepSeek 凭什么这么火？今年初，DeepSeek 横空出世：DeepSeek 的"逆天"之处：维度GPT-4DeepSeek-V3参数量1.8T（传闻）671B（MoE，激活 37B）训练成本$100M+$5.5M开源❌✅可商…
17 0
7 分钟 阅读全文
SFT：让大模型学会听话
前言：从"续写机器"到"AI 助手"预训练模型很强大，但有个问题：它只会续写，不会对话。看出区别了吗？预训练模型：把你的问题当成文章开头，继续往下写SFT 模型：理解你在"提问"，然后"回答"SFT（Supervised Fine-Tuni…
6 0
2 分钟 阅读全文
预训练：如何喂出一个大模型
前言：从"白纸"到"博学"一个刚初始化的神经网络，参数是随机的，什么都不会。经过预训练后，它能：写诗、写代码、写论文回答问题、做数学题理解上下文、遵循指令这个从"白纸"到"博学"的过程，就是预训练（Pre-training）。本文我们来搞懂…
11 0
11 分钟 阅读全文
Tokenization：大模型的碎碎念
前言：大模型的"第一步"你有没有想过，当你输入 "今天天气真好" 给 ChatGPT 时，它看到的是什么？不是汉字，不是字母，而是一串数字：这个把文本变成数字的过程，就是 Tokenization（分词/标记化）。看起来很简单对吧？其实这里…
17 0
11 分钟 阅读全文
GPT vs BERT：两条路的故事
前言：同一个 Transformer，两种命运2017 年，Google 发布了 Transformer。2018 年，基于 Transformer，两个重量级模型几乎同时诞生：6 月：OpenAI 发布 GPT-110 月：Google …
9 0
14 分钟 阅读全文
🐒Attention变体：注意力的七十二变
上一篇我们学会了 Self-Attention，这一篇我们来学习如何把它玩坏。前言：Attention 很好，但是...上一篇文章，我们搞懂了 Transformer 的核心——Self-Attention。它很强大，但有一个致命的问题：太…
9 0
12 分钟 阅读全文
Transformer架构：从入门到放弃
前言：一切的起点如果要评选"21 世纪最重要的 AI 论文"，《Attention Is All You Need》绝对是头部选手。GPT、BERT、LLaMA、Claude、DeepSeek……这些你听过的大模型，全部基于 Transfo…
4 0
13 分钟 阅读全文
DeepSeek的冲击：当奇点不再是书本上的预言
前言：这个被DeepSeek震撼的春节DeepSeek的声势已成，中国甚至世界的大部分人都已经知道了这样一个免费好用的工具，涌进来使用的人越来越多，大家对AI的认知已经从听说到上手使用了。而我作为一个相关从业者，我的反应不是兴奋，而是一种说…
6 0
6 分钟 阅读全文