知识库答不准？先分清这 4 种错

为什么一定要先建评测集？

因为「感觉不准」没法指导改哪里。同一个用户说「答得不好」，可能是没找到文档，也可能是找到了但模型没用，改法完全不同。没有评测集，所有优化都是猜。

评测集的建法很简单，30 道题就够：

• 来源：客服记录、群聊提问、销售问过的问题，全部用真实问法，不要自己改写。
• 答案：每道题人工写标准答案，并标出依据的文件与段落。
• 分类：标清这题属于哪类任务（参数查询 / 流程步骤 / 判断结论 / 术语解释）。
• 维护：每补一批资料就加 5 道题，三个月后这套题会变成最有价值的资产。

30 道题跑一遍不到 1 小时，但能省掉后面几个月的瞎调。我们接手的所有优化项目，第一件事都是先要这 30 道题；客户没有，就一起花半天建一份。

四种错，四种改法

错误类型	怎么判断	改哪里	典型收益
没检索到	候选片段里没有正确段落	切分粒度、同义词、混合检索	命中率 +10 到 20 点
检索到无关	候选里有错段落，排序还靠前	重排模型、元数据过滤	+5 到 15 点
检索到没用上	正确段落在候选里，答案却没引用	提示词、上下文组织、片段数量	+10 到 25 点
用上了但答偏	引用了正确段落，结论仍错	换模型、拆问题、加约束	+5 到 15 点

按经验分布，第三类「检索到没用上」出现得最多，也最容易改——往往是提示词里没要求「只依据给定片段回答」，模型就自己发挥了。第二类最隐蔽，因为看日志时候选片段里有对的，容易误判为「答得还行」。

切分粒度怎么调？

切分是影响命中率最大的单一因素，也是最容易被忽略的。三种典型问题：

• 切得太碎：一句话一片，检索命中了但没上下文，答案断章取义。表现为「检索到没用上」。
• 切得太大：一章一片，检索命中了但关键句被稀释，重排排不到前面。表现为「检索到无关」。
• 切口不对：把表格和表头切开、把警告和步骤切开。表现为「用上了但答偏」。

调整方法：先按标题层级切到最小节，超过 800 字的再按自然段拆，每片保留上一级标题作为路径。表格单独成片并带表头。这套规则在多数技术文档与制度文件上都适用。

改完切分要重建索引，通常几小时到一天。所以切分规则要在项目前期定好，上线后再改成本高得多。

混合检索和重排什么时候上？

这两个是提效手段，但不是第一步。顺序建议：

1. 先把纯向量检索跑通。如果 30 题命中率不到 50%，问题多半在切分与资料质量，加什么都救不回来。
2. 加关键词检索做混合。型号、编号、专有名词这类精确匹配，向量检索天然弱。混合后能补上这块，通常 +5 到 10 点。
3. 加重排模型。候选 30 条重排到 5 条，解决「对的在候选里但排不上来」。加一次重排多几十毫秒，值得。
4. 考虑查询改写。用户口语与文档表述差距大时有用，比如「红灯闪三下」映射到「故障代码 E03」。改写会引入新错误，要单独评测。

这四步的成本依次上升，收益依次下降。多数项目做到第二步就够用，硬上四步反而增加维护负担。

提示词能解决多少问题？

能解决第三类错的一大半，也就是「检索到但没用上」。三个关键约束：

• 只依据给定片段回答。明说「若片段中没有答案，回答不知道」。这一句能挡掉大部分编造。
• 要求引用出处。每条结论后标注片段编号，方便核对，也逼模型回看原文。
• 限定输出结构。「先给结论一句，再列依据，最后给适用条件」。结构固定后，答偏会明显减少。

提示词的天花板在于：它只能让模型用好手里的材料，不能让材料变对。如果正确段落在候选里根本没有（第一类错），写多好的提示词都没用。

优化到什么程度算够？

不要追求百分之百。三条停止线：

• 答案命中率 80% 以上。剩下 20% 通过转人工兜住，继续优化的边际收益很低。
• 出处准确率 95% 以上。这条比命中率更重要。答不出可以转人，答错还带错误出处会误导决策。
• 同一类错不再重复出现。如果每周复盘都发现新类型的错，说明资料结构还有问题，先治资料。

达到这三条就冻结版本，把精力转到覆盖更多场景上。见过太多团队卡在 85% 到 90% 之间反复调，三个月过去，使用的人还是一个没多。

如果错的根源在资料本身（版本乱、扫描件、口径不一），先看资料清洗与知识库长期维护；如果还没建库，从苏州企业AI知识库搭建的 5 步流程开始。交付范围写在企业AI知识库服务页。

揽明AI 团队深耕 B2B 企业服务 19 年，累计服务企业 5000+，办公地在苏州高新区，苏州本地可上门。预约一次 30 分钟诊断，把 30 道错题和日志发过来，我们先做一次错误分类，再谈怎么改。