HuggingFace,Ollama与OpenRouter: 大模型工具三件套从入门到放弃
以前我们讨论"用哪个框架"，现在我们讨论"用哪个模型"。框架还能学一学，模型是真的学不过来——你刚背熟一个名字，它已经出到下一个版本了。
2 0
13 分钟 阅读全文
标签
大模型
共 25 篇文章
Token，模型眼里的世界
模型不直接读字符，而是把文本切成 token；本文解释 BPE 如何合并片段、中文与英文的 token 差异，以及 token 如何影响计费和上下文。
2 0
15 分钟 阅读全文
Agent 从入门到放弃:教程大纲
用了两年 AI，一直分不清模型和 Agent 的区别？不丢人，厂商自己都没分清。这个系列从"它到底是个啥"讲起，一路讲到亲手写一个能改代码的 Agent。最后你会发现，所谓放弃，是放弃对魔法的幻想。
7 0
12 分钟 阅读全文
开源大模型横评 2025：谁才是真正的王者？
前言：开源模型的黄金时代2024-2025 年，开源大模型百花齐放：现状：开源模型在很多场景已经能替代 GPT-4。问题：模型太多，怎么选？graph TB subgraph 开源模型江湖 QwenQwen3阿里 LLaMALLaMA4Me…
5 0
11 分钟 阅读全文
大模型的未来：我们正站在哪里？
前言：回顾这一路2022 年 11 月 30 日，ChatGPT 发布。从那天起，世界变了。timeline title 大模型发展简史 2017 : Transformer 诞生 : Attention Is All You Need 2…
2 0
8 分钟 阅读全文
LLM 应用架构：从原型到生产
前言：Demo 到生产的鸿沟你做了一个 LLM 应用的 Demo：但生产环境需要考虑：mindmap root((生产环境考量)) 性能延迟吞吐量并发可靠性错误处理重试机制降级方案成本 Token 优化模型选择缓存策略安全输入输出过滤权限控…
0 0
10 分钟 阅读全文
模型安全：让 AI 不作恶
前言：能力与风险并存大模型可以写代码、做分析、创作内容，但也可能：🔓 教人制造危险物品🎭 生成虚假信息😈 被诱导输出有害内容🔐 泄露隐私数据⚖️ 产生歧视性输出graph LR subgraph 风险类型 A有害内容生成 B隐私泄露 C偏见…
5 0
10 分钟 阅读全文
长上下文：让大模型读完一本书
前言：上下文长度的进化大模型上下文长度的演进：模型上下文长度相当于GPT-34K3000 字GPT-48K/32K2.4万字Claude 2100K7.5万字Claude 3200K一本小说Gemini 1.51M多本书为什么长上下文重要？…
1 0
6 分钟 阅读全文
MoE：用更少的计算训练更大的模型
前言：大模型的算力困境大模型越来越大：模型参数量训练成本GPT-3175B460万美元PaLM540B900万美元GPT-41.8T?1亿美元?问题：参数量翻倍，计算量也翻倍，成本指数增长。MoE 的解决方案：模型很大，但每次只用一部分。g…
2 0
9 分钟 阅读全文
LLM 评估：如何知道模型有多强？
前言：为什么评估这么重要？你训练/选择了一个大模型，但怎么知道它好不好？训练时：Loss 下降了，但模型真的变强了吗？选型时：市面上几十个模型，选哪个？部署后：用户反馈"不好用"，哪里不好？评估的目的：比较不同模型的能力发现模型的强项和弱点…
5 1
11 分钟 阅读全文
Prompt Engineering：与大模型对话的艺术
前言：提示词的力量看两个例子：普通提示词：优化后的提示词：Prompt Engineering（提示词工程） = 设计最优的输入，让大模型输出最好的结果。graph LR subgraph 提示词的影响 P1普通提示词 -- R1普通结果 …
4 0
12 分钟 阅读全文
多模态：让大模型看懂世界
前言：从"读文字"到"看世界"GPT-3 时代的大模型只能处理文本：GPT-4V 时代的多模态大模型：多模态（Multimodal） = 多种信息形式：文本、图像、音频、视频...graph TB subgraph 单模态时代 T1文本输入…
4 0
10 分钟 阅读全文
Agent：让大模型自己干活
前言：从"工具"到"助手"大模型的进化路径：graph LR A聊天机器人只能对话 -- BRAG能查资料 B -- CFunction Calling能用工具 C -- DAgent能自主行动 style D fill:4ecdc4传统 …
1 0
12 分钟 阅读全文
RAG：让大模型拥有外部记忆
前言：大模型的"知识困境"大模型很强大，但有几个致命问题：问题 1：知识有截止日期问题 2：不知道你的私有数据问题 3：会"幻觉"——一本正经地胡说八道RAG（Retrieval-Augmented Generation，检索增强生成） 就…
0 0
13 分钟 阅读全文