LLM 应用架构：从原型到生产
前言：Demo 到生产的鸿沟你做了一个 LLM 应用的 Demo：但生产环境需要考虑：一、整体架构设计1.1 典型 LLM 应用架构1.2 核心组件说明组件作用推荐技术API Gateway认证、限流、路由Kong, Nginx, AWS …
5 0
10 分钟 阅读全文
标签
AI
共 56 篇文章
模型安全：让 AI 不作恶
前言：能力与风险并存大模型可以写代码、做分析、创作内容，但也可能：🔓 教人制造危险物品🎭 生成虚假信息😈 被诱导输出有害内容🔐 泄露隐私数据⚖️ 产生歧视性输出本篇内容：AI 安全的核心概念常见攻击方式防御策略安全评估方法实践建议一、AI …
7 0
10 分钟 阅读全文
长上下文：让大模型读完一本书
前言：上下文长度的进化大模型上下文长度的演进：模型上下文长度相当于GPT-34K3000 字GPT-48K/32K2.4万字Claude 2100K7.5万字Claude 3200K一本小说Gemini 1.51M多本书为什么长上下文重要？…
4 0
6 分钟 阅读全文
MoE：用更少的计算训练更大的模型
前言：大模型的算力困境大模型越来越大：模型参数量训练成本GPT-3175B460万美元PaLM540B900万美元GPT-41.8T?1亿美元?问题：参数量翻倍，计算量也翻倍，成本指数增长。MoE 的解决方案：模型很大，但每次只用一部分。核…
8 0
9 分钟 阅读全文
LLM 评估：如何知道模型有多强？
前言：为什么评估这么重要？你训练/选择了一个大模型，但怎么知道它好不好？训练时：Loss 下降了，但模型真的变强了吗？选型时：市面上几十个模型，选哪个？部署后：用户反馈"不好用"，哪里不好？评估的目的：比较不同模型的能力发现模型的强项和弱点…
8 1
11 分钟 阅读全文
Prompt Engineering：与大模型对话的艺术
前言：提示词的力量看两个例子：普通提示词：优化后的提示词：Prompt Engineering（提示词工程） = 设计最优的输入，让大模型输出最好的结果。一、Prompt 基础结构1.1 Prompt 的组成部分组件作用示例角色定义 AI …
8 0
12 分钟 阅读全文
多模态：让大模型看懂世界
前言：从"读文字"到"看世界"GPT-3 时代的大模型只能处理文本：GPT-4V 时代的多模态大模型：多模态（Multimodal） = 多种信息形式：文本、图像、音频、视频...一、多模态大模型全景1.1 多模态的类型1.2 主流多模态模…
5 0
10 分钟 阅读全文
Agent：让大模型自己干活
前言：从"工具"到"助手"大模型的进化路径：传统 AI：你说一句，它做一步，完全被动。Agent：你说目标，它自己规划、执行、反思。一、什么是 Agent？1.1 Agent 的定义Agent = LLM + 规划能力 + 工具使用 + 记…
7 0
12 分钟 阅读全文
RAG：让大模型拥有外部记忆
前言：大模型的"知识困境"大模型很强大，但有几个致命问题：问题 1：知识有截止日期问题 2：不知道你的私有数据问题 3：会"幻觉"——一本正经地胡说八道RAG（Retrieval-Augmented Generation，检索增强生成） 就…
4 0
13 分钟 阅读全文
vLLM：大模型推理的速度与激情
前言：推理的瓶颈在哪里？你训练好了一个大模型，部署上线，结果发现：单次请求延迟 5 秒并发 10 个用户就卡死GPU 利用率只有 30%每天的 GPU 费用让你肉疼问题出在哪？大模型推理有两个阶段：Prefill（预填充）：处理用户输入，计…
20 0
11 分钟 阅读全文
模型量化：大模型的减肥手册
前言：大模型太"胖"了大模型的参数量越来越大：模型参数量FP16 显存普通人能跑吗？LLaMA-7B7B14 GB⚠️ 勉强LLaMA-13B13B26 GB❌ 困难LLaMA-70B70B140 GB❌ 不可能GPT-41.8T?3.6 …
16 0
10 分钟 阅读全文
LoRA/PEFT：穷人的微调指南
前言：微调的"贫富差距"你想微调一个 LLaMA-7B 模型，让它学会你的业务知识。全量微调需要什么？84GB 显存！ 一张 A100 80GB 都不够用！这就是为什么需要 PEFT（Parameter-Efficient Fine-Tun…
11 0
7 分钟 阅读全文
RLHF/DPO：让大模型学会"讨好"人类
前言：SFT 之后，还差什么？上一篇我们讲了 SFT（监督微调），模型学会了"对话格式"。但 SFT 有几个致命问题：问题 1：不知道什么是"好"回答问题 2：没有偏好概念问题 3：幻觉和有害内容这就是为什么需要 RLHF（Reinforc…
8 0
13 分钟 阅读全文
MCP 从入门到放弃：给大模型装上"手和脚"
前言：大模型的"残疾"困境2024 年底，你用 Claude、GPT、DeepSeek 聊天，感觉它们无所不知。但你让它帮你：查一下今天的天气 → "我无法访问实时数据"读一下这个文件 → "我看不到你的本地文件"帮我发个邮件 → "我没有…
25 0
12 分钟 阅读全文
预训练：如何喂出一个大模型
前言：从"白纸"到"博学"一个刚初始化的神经网络，参数是随机的，什么都不会。经过预训练后，它能：写诗、写代码、写论文回答问题、做数学题理解上下文、遵循指令这个从"白纸"到"博学"的过程，就是预训练（Pre-training）。本文我们来搞懂…
11 0
11 分钟 阅读全文