前言：为什么要自建知识库？

事情是这样的。

老板说："我们需要一个知识库，把公司文档都丢进去，员工问什么都能答。"

产品经理说："最好能像 ChatGPT 一样智能，还要有知识图谱，要酷炫。"

我说："好的，预计两周完成。"

三个月后，我决定写下这篇文章。

一、知识库到底是个什么东西？

在动手之前，我们先搞清楚一个"智能知识库"到底要做什么。

1.1 传统知识库 vs 智能知识库

简单来说：

看到最后一行了吗？对，这就是为什么要写"从入门到放弃"。

1.2 我们要实现的功能

既然要做，就做个全的：

二、技术选型：选择困难症发作现场

2.1 整体架构

先上一张让老板觉得你很专业的架构图：

2.2 技术栈选择

经过无数次纠结和重构，最终选定：

为什么不用 GPT-4？

因为穷。DeepSeek 百万 token 几块钱，GPT-4 要几十美元。老板看到账单会让你从入门到离职。

2.3 向量数据库深度对比

这是个关键决策，值得多说几句：

Chroma 的甜点区：10 万条以内的文档，它就是最优解。超过这个数，老老实实换 Qdrant。

三、核心流程设计

3.1 文档处理管道

文档从上传到可被检索，要经历九九八十一难：

智能分块策略

分块是 RAG 效果的关键，分得不好，检索出来的都是残句断章。

分块参数建议：

3.2 RAG 检索流程

RAG（Retrieval-Augmented Generation）是整个系统的灵魂：

混合检索的威力

单纯的向量检索有个致命问题：对专业术语不敏感。

比如用户问"IBAN 迁移方案"，向量检索可能会返回"银行账户变更流程"这种语义相似但不相关的结果。

融合策略：RRF（Reciprocal Rank Fusion）

RRF_score = Σ 1/(k + rank_i)

其中 k 通常取 60，rank_i 是文档在第 i 个检索器中的排名。

3.3 知识图谱构建

知识图谱是这个系统的"创新点"（也是最容易让你放弃的点）。

LLM 抽取 Prompt 设计

这是个 Prompt Engineering 的活儿：

从以下文本中抽取实体和关系。

实体类型：Person, Organization, Technology, Concept, Product
关系类型：属于, 使用, 开发, 依赖, 包含, 负责

要求：
1. 实体名称使用原文表述
2. 关系必须有明确依据
3. 不确定的不要抽取

输出 JSON 格式：
{
  "entities": [{"name": "xxx", "type": "xxx"}],
  "relations": [{"source": "xxx", "relation": "xxx", "target": "xxx"}]
}

文本：{text}

图谱可视化效果

用 Pyvis 可以生成这样的交互式图谱：

3.4 多模型路由

为什么要支持多模型？因为：

1. 成本优化：简单问题用便宜模型，复杂问题用强模型
2. 可用性兜底：一个挂了还有备选
3. 效果对比：A/B 测试哪个模型更好

复杂度评估维度：

四、创新点与技术亮点

4.1 查询改写（Query Rewriting）

用户的问题往往不是最优检索 query。

改写策略：

4.2 答案溯源（Citation）

这是企业级知识库的刚需：回答必须有据可查。

4.3 增量更新机制

文档更新后不需要全量重建索引：

4.4 对话记忆与上下文管理

多轮对话需要维护上下文：

五、踩坑实录

5.1 Embedding 模型选择的坑

5.2 分块策略的坑

5.3 LLM 幻觉的坑

大模型最大的问题：一本正经地胡说八道。

缓解策略：

1. 强制引用：Prompt 中要求必须基于检索结果回答
2. 置信度过滤：检索相关度太低时，直接回复"未找到相关信息"
3. 事实核查：关键信息二次检索验证
4. 用户反馈：让用户标记错误答案，持续优化

5.4 知识图谱的坑

实体抽取看起来简单，实际上：

建议：先做好 RAG，图谱锦上添花。不要本末倒置。

六、性能优化

6.1 检索性能优化

6.2 缓存策略

七、部署架构

7.1 开发环境

适合：PoC 验证、功能开发、个人使用

7.2 生产环境

资源估算（10 万文档规模）：

八、什么时候该放弃自建？

写了这么多，最后说点实在的。

8.1 自建 vs 买现成的

8.2 放弃自建的信号

当你遇到以下情况，考虑用现成方案：

8.3 推荐的现成方案

九、总结

回顾一下这趟"从入门到放弃"之旅：

核心收获：

1. RAG 不是银弹：检索质量决定生成质量，垃圾进垃圾出
2. 分块是玄学：没有最优，只有最适合
3. 图谱是锦上添花：先把 RAG 做好
4. 成本要算清楚：自建的隐性成本（人力、维护）往往被低估

最后，无论你是选择自建还是放弃，希望这篇文章能帮你少走一些弯路。

毕竟，放弃也是一种智慧。