一、RAG 知识库要评估哪些环节
RAG 通常先从知识库召回相关片段,再将片段交给模型生成回答。任何一环出错都会影响最终结果:检索不到内容会导致无答案,召回了错误版本会导致事实错误,引用范围不当则可能带来权限风险。
二、核心评估指标
| 评估维度 | 关注指标 | 检查问题 |
|---|---|---|
| 检索质量 | 命中率、相关性、召回完整性 | 正确文档是否进入结果 |
| 引用质量 | 来源准确、版本正确、定位清晰 | 引用能否支持答案结论 |
| 回答质量 | 事实准确、表达完整、不编造 | 是否回答了真实问题 |
| 权限质量 | 身份匹配、范围正确、变更及时 | 是否出现越权内容 |
| 运营质量 | 无答案率、反馈处理、更新时效 | 问题能否持续改进 |
三、测试集应该怎么准备
- 收集员工真实提问,覆盖制度、产品、流程和项目场景;
- 为每个问题标记标准答案、应引用的文件和适用版本;
- 加入同义表达、模糊问题、跨文档问题和无答案问题;
- 使用不同角色账号测试可见范围和权限变化;
- 记录检索结果、引用片段、最终回答和人工评价。
四、发现问题后如何调优
检索不到
检查文件是否已导入、OCR 是否成功、标题和标签是否清晰,以及文本切分是否破坏了上下文。
引用不准确
检查文档版本、重复内容和来源元数据,必要时归档旧版本或提高权威文档权重。
回答不完整
补充标准问答和业务术语,调整召回范围,并通过问题拆分或多轮追问明确需求。
出现越权
立即检查索引权限、缓存和引用过滤,暂停高风险场景,完成多角色复测后再恢复。
五、常见问题
RAG 知识库只看回答准确率够吗?
不够。还要检查检索是否召回正确来源、引用是否支持结论,以及不同用户是否只能看到授权内容。
测试问题越多越好吗?
测试集应覆盖真实场景和风险类型,质量比数量更重要。先建立有标准答案的代表性问题,再持续补充。
RAG 项目什么时候适合扩大范围?
当高频问题的检索、引用、回答和权限结果达到可接受水平,并且有持续运营责任人时,再逐步扩大资料范围。
先用真实问题建立一套可复核的测试集。
了解知识管理能力

企业云盘
AI 知识库
浙公网安备 33011002015048号
在线客服
电话咨询