Gemini 2.5：从入门到放弃（然后又捡回来）
🎭 前言：一场关于"信任"的爱恨情仇2025年的AI圈，就像迪拜的夏天——热到让人怀疑人生，但你又不得不活在其中。作为一个在UAE做支付系统的后端架构师，我每天面对的是NPSS、Aani、IPP这些真实存在、容不得半点错误的金融基础设施。在…
2 0
11 分钟 阅读全文
标签
大模型
共 25 篇文章
vLLM：大模型推理的速度与激情
前言：推理的瓶颈在哪里？你训练好了一个大模型，部署上线，结果发现：单次请求延迟 5 秒并发 10 个用户就卡死GPU 利用率只有 30%每天的 GPU 费用让你肉疼问题出在哪？大模型推理有两个阶段：Prefill（预填充）：处理用户输入，计…
12 0
11 分钟 阅读全文
模型量化：大模型的减肥手册
前言：大模型太"胖"了大模型的参数量越来越大：模型参数量FP16 显存普通人能跑吗？LLaMA-7B7B14 GB⚠️ 勉强LLaMA-13B13B26 GB❌ 困难LLaMA-70B70B140 GB❌ 不可能GPT-41.8T?3.6 …
5 0
10 分钟 阅读全文
LoRA/PEFT：穷人的微调指南
前言：微调的"贫富差距"你想微调一个 LLaMA-7B 模型，让它学会你的业务知识。全量微调需要什么？84GB 显存！ 一张 A100 80GB 都不够用！这就是为什么需要 PEFT（Parameter-Efficient Fine-Tun…
1 0
7 分钟 阅读全文
RLHF/DPO：让大模型学会"讨好"人类
前言：SFT 之后，还差什么？上一篇我们讲了 SFT（监督微调），模型学会了"对话格式"。但 SFT 有几个致命问题：问题 1：不知道什么是"好"回答问题 2：没有偏好概念问题 3：幻觉和有害内容这就是为什么需要 RLHF（Reinforc…
2 0
13 分钟 阅读全文
DeepSeek 本地部署与训练：穷人的 GPT-4 平替
前言：DeepSeek 凭什么这么火？今年初，DeepSeek 横空出世：DeepSeek 的"逆天"之处：维度GPT-4DeepSeek-V3参数量1.8T（传闻）671B（MoE，激活 37B）训练成本$100M+$5.5M开源❌✅可商…
5 0
7 分钟 阅读全文
SFT：让大模型学会听话
前言：从"续写机器"到"AI 助手"预训练模型很强大，但有个问题：它只会续写，不会对话。看出区别了吗？预训练模型：把你的问题当成文章开头，继续往下写SFT 模型：理解你在"提问"，然后"回答"SFT（Supervised Fine-Tuni…
4 0
2 分钟 阅读全文
预训练：如何喂出一个大模型
前言：从"白纸"到"博学"一个刚初始化的神经网络，参数是随机的，什么都不会。经过预训练后，它能：写诗、写代码、写论文回答问题、做数学题理解上下文、遵循指令这个从"白纸"到"博学"的过程，就是预训练（Pre-training）。graph L…
4 0
11 分钟 阅读全文
Tokenization：大模型的碎碎念
前言：大模型的"第一步"你有没有想过，当你输入 "今天天气真好" 给 ChatGPT 时，它看到的是什么？不是汉字，不是字母，而是一串数字：这个把文本变成数字的过程，就是 Tokenization（分词/标记化）。看起来很简单对吧？其实这里…
3 0
11 分钟 阅读全文
🐒Attention变体：注意力的七十二变
上一篇我们学会了 Self-Attention，这一篇我们来学习如何把它玩坏。前言：Attention 很好，但是...上一篇文章，我们搞懂了 Transformer 的核心——Self-Attention。它很强大，但有一个致命的问题：太…
1 0
12 分钟 阅读全文
没有更多了