LLM 评估：如何知道模型有多强？
前言：为什么评估这么重要？你训练/选择了一个大模型，但怎么知道它好不好？训练时：Loss 下降了，但模型真的变强了吗？选型时：市面上几十个模型，选哪个？部署后：用户反馈"不好用"，哪里不好？评估的目的：比较不同模型的能力发现模型的强项和弱点…
8 1
11 分钟 阅读全文
分类
AI+
共 58 篇文章
Prompt Engineering：与大模型对话的艺术
前言：提示词的力量看两个例子：普通提示词：优化后的提示词：Prompt Engineering（提示词工程） = 设计最优的输入，让大模型输出最好的结果。一、Prompt 基础结构1.1 Prompt 的组成部分组件作用示例角色定义 AI …
8 0
12 分钟 阅读全文
多模态：让大模型看懂世界
前言：从"读文字"到"看世界"GPT-3 时代的大模型只能处理文本：GPT-4V 时代的多模态大模型：多模态（Multimodal） = 多种信息形式：文本、图像、音频、视频...一、多模态大模型全景1.1 多模态的类型1.2 主流多模态模…
5 0
10 分钟 阅读全文
Agent：让大模型自己干活
前言：从"工具"到"助手"大模型的进化路径：传统 AI：你说一句，它做一步，完全被动。Agent：你说目标，它自己规划、执行、反思。一、什么是 Agent？1.1 Agent 的定义Agent = LLM + 规划能力 + 工具使用 + 记…
7 0
12 分钟 阅读全文
RAG：让大模型拥有外部记忆
前言：大模型的"知识困境"大模型很强大，但有几个致命问题：问题 1：知识有截止日期问题 2：不知道你的私有数据问题 3：会"幻觉"——一本正经地胡说八道RAG（Retrieval-Augmented Generation，检索增强生成） 就…
4 0
13 分钟 阅读全文
Gemini 2.5：从入门到放弃（然后又捡回来）
🎭 前言：一场关于"信任"的爱恨情仇2025年的AI圈，就像迪拜的夏天——热到让人怀疑人生，但你又不得不活在其中。作为一个在UAE做支付系统的后端架构师，我每天面对的是NPSS、Aani、IPP这些真实存在、容不得半点错误的金融基础设施。在…
7 0
11 分钟 阅读全文
vLLM：大模型推理的速度与激情
前言：推理的瓶颈在哪里？你训练好了一个大模型，部署上线，结果发现：单次请求延迟 5 秒并发 10 个用户就卡死GPU 利用率只有 30%每天的 GPU 费用让你肉疼问题出在哪？大模型推理有两个阶段：Prefill（预填充）：处理用户输入，计…
20 0
11 分钟 阅读全文
模型量化：大模型的减肥手册
前言：大模型太"胖"了大模型的参数量越来越大：模型参数量FP16 显存普通人能跑吗？LLaMA-7B7B14 GB⚠️ 勉强LLaMA-13B13B26 GB❌ 困难LLaMA-70B70B140 GB❌ 不可能GPT-41.8T?3.6 …
16 0
10 分钟 阅读全文
LoRA/PEFT：穷人的微调指南
前言：微调的"贫富差距"你想微调一个 LLaMA-7B 模型，让它学会你的业务知识。全量微调需要什么？84GB 显存！ 一张 A100 80GB 都不够用！这就是为什么需要 PEFT（Parameter-Efficient Fine-Tun…
11 0
7 分钟 阅读全文
RLHF/DPO：让大模型学会"讨好"人类
前言：SFT 之后，还差什么？上一篇我们讲了 SFT（监督微调），模型学会了"对话格式"。但 SFT 有几个致命问题：问题 1：不知道什么是"好"回答问题 2：没有偏好概念问题 3：幻觉和有害内容这就是为什么需要 RLHF（Reinforc…
8 0
13 分钟 阅读全文
MCP 从入门到放弃：给大模型装上"手和脚"
前言：大模型的"残疾"困境2024 年底，你用 Claude、GPT、DeepSeek 聊天，感觉它们无所不知。但你让它帮你：查一下今天的天气 → "我无法访问实时数据"读一下这个文件 → "我看不到你的本地文件"帮我发个邮件 → "我没有…
25 0
12 分钟 阅读全文
DeepSeek 本地部署与训练：穷人的 GPT-4 平替
前言：DeepSeek 凭什么这么火？今年初，DeepSeek 横空出世：DeepSeek 的"逆天"之处：维度GPT-4DeepSeek-V3参数量1.8T（传闻）671B（MoE，激活 37B）训练成本$100M+$5.5M开源❌✅可商…
17 0
7 分钟 阅读全文
SFT：让大模型学会听话
前言：从"续写机器"到"AI 助手"预训练模型很强大，但有个问题：它只会续写，不会对话。看出区别了吗？预训练模型：把你的问题当成文章开头，继续往下写SFT 模型：理解你在"提问"，然后"回答"SFT（Supervised Fine-Tuni…
6 0
2 分钟 阅读全文
预训练：如何喂出一个大模型
前言：从"白纸"到"博学"一个刚初始化的神经网络，参数是随机的，什么都不会。经过预训练后，它能：写诗、写代码、写论文回答问题、做数学题理解上下文、遵循指令这个从"白纸"到"博学"的过程，就是预训练（Pre-training）。本文我们来搞懂…
11 0
11 分钟 阅读全文
Tokenization：大模型的碎碎念
前言：大模型的"第一步"你有没有想过，当你输入 "今天天气真好" 给 ChatGPT 时，它看到的是什么？不是汉字，不是字母，而是一串数字：这个把文本变成数字的过程，就是 Tokenization（分词/标记化）。看起来很简单对吧？其实这里…
17 0
11 分钟 阅读全文