RAG(检索增强生成)的基本思路是:先从您的文档里检索出相关片段,再让模型只依据这些片段作答,并附上出处。这样答案可以被核对,数据也不需要被训练进模型。下面按流水线顺序展开。
一、六个环节
标准流水线是:文档解析 → 切分与元数据 → 混合检索 → 重排序 → 带出处的生成与拒答 → 评估与回归。每个环节对应的失败模式与处理方式,见 AI 私有化部署:技术架构。本文侧重搭建时的实操要点。
二、几个关键细节
文档要先“治理”,再入库
知识库里的每份文件都应该有明确的版本、生效日期和责任部门。过期版本要么下线,要么在答案中明确标识。没有人负责维护的知识库,三个月后答案就会陈旧。启动前要先确认:谁维护、多久更新、更新流程是什么。
权限要在检索阶段就生效
如果等模型生成答案之后再屏蔽越权内容,敏感片段已经进入了模型的上下文。正确做法是检索阶段就按用户权限过滤,无权访问的文档根本不进入候选集。律所的利益冲突隔离、学校的学生信息分级,都依赖这一点。
“拒答”是功能,不是缺陷
一个从不回答“不知道”的系统是不可信的。应当刻意在评估集里加入知识库中不存在答案的问题,检查系统是否会合理拒答。
三、怎样验收
用评估集验收,而不是凭演示:检索命中率、答案有据率、合理拒答率、人工复核工作量、响应时间。指标含义与用法见 效果如何衡量。评估集由业务人员与实施方共同构建,一般 100~300 题,题目与标准答案归客户所有;我们不会在没有见到真实数据之前,承诺任何具体的准确率数字。
四、落地顺序建议
- 选 1~2 个场景,不要一次铺开。
- 清点文档数量、格式与版本状态,确认维护责任人。
- 建评估集,用脱敏真实材料做 PoC,拿到基线数据。
- 达标再工程化:权限、日志、管理后台与增量更新。
- 与原工作方式并行试运行,回流 Bad case,再正式移交。
更详细的能力边界与部署形态,见 AI 私有化部署与业务智能体;硬件量级可以用 配置计算器 估算。
常见问题
搭知识库最容易失败在哪一步?
需要多少文档才能开始?
想结合您的实际情况算一遍?
文章里的数字是通用参考。是否需要本地硬件、选哪一档、预算怎么构成,需要结合您的使用规模和数据要求评估。
- 用配置计算器先估算硬件量级
- 比较云端、专属云与本地部署的成本
- 给出硬件、软件、实施、培训与服务的分项估算