跳到正文
揽明AI LANMING AI logo

苏州 RAG 知识库开发服务商怎么选?先问它切片怎么切

王晓明

切片(chunking,把长文档切成模型能消化的片段)是 RAG 项目里最不起眼的一步,也是最容易致死的一步:它决定模型能看到什么。切坏了,后面换更贵的模型、加更强的重排,都补不回来。我见过的返工项目里,问题八成集中在三种切法上。苏州揽明AI(苏州揽明人工智能科技有限公司)现在的做法是:切片参数在入库前就定,并留一组跨段问题当回归测试。

AI知识库主题配图

假设你现在去验收一套刚上线的知识库,随手问一句:换模之后首件检验要做几项?

系统答:三项,还答得有模有样。你把原文翻出来,五项写得清清楚楚,就在同一节的第二段里。你甚至开始怀疑是模型能力不够。这个错误最难查的地方是:它不报错,只是答得不完整。

问题不在模型,也不在检索——那一段被切成了两半,前三项落在上一个切片,后两项落在下一个。检索命中了前半个,模型只能照着前半个回答。

一、固定长度硬切:省事,但会把一句话劈成两半

按字数或 token 数硬切,是最省事的做法:每 500 字一刀,谁都会写。

它的失效场景很固定:

  • 编号清单被截断。 "1. 检查压力 2. 检查温度 3. 检查外观"三项分在两边,问"首件要检查哪几项"永远答不全。
  • 但书被切走。 原文"除客户书面同意外,不得变更工艺参数",前半句在这个块,后半句在下一个块,答案就反了。
  • 表格行与表头分离。 表头在第一块,数据行散在后面几块,检索命中一行数字,却不知道它属于哪一列。

判断方法很直接:抽查 20 个片段,看有没有哪一块的头尾是半句话。有,就说明切点从来没被设计过——它不是按内容切的,是按第 500 个字切的。

二、按段落切:看起来合理,实际长度失控

按自然段切是第二常见的做法,看起来尊重了作者的分段。问题在于企业文档的段落长度差异极大。

  • 短段占坑。 "如下表所示""3.1 适用范围"这类段落只有十几个字,没有信息却各占一个切片,召回时把位置占掉了。
  • 长段超载。 一份工艺文件里 800 字不分段的情况很常见,整段塞进一个切片,块内主题漂移,模型只记住开头结尾。
  • 表格变巨段。 文档解析之后,一张参数表常常变成一个几千字的段落,后面所有切法都失效。

修的办法是两步:先合并小于 100 字的碎片段,再对超过 600 字的段落做二次切分(按小标题或编号项切)。这一步不做,后面调检索参数是白调。

三、按语义切:最接近正确,但有三处会漏

语义切是让模型找句子之间的语义断点,在主题转换处下刀。这是目前的主流做法,但仍有三种典型失效。

  • 跨章节引用断裂。 正文写"按第 4.2 条执行",4.2 条在另一块。检索命中正文,答不出具体条款。
  • 问答分离。 问题在一节,答案是附录里的一张表,两块互不相邻。
  • 例外关系被切断。 "一般不超过 30 天;特殊情况经审批可延长至 90 天"被切成两块,只召回前半句,答案就是错的。

补法是给每个切片加"上下文头":文档名、章节路径、版本号、生效日期,写在片段开头一起向量化。这样即使切断了,块本身也能被独立理解,模型不会把附录里的表当成正文规定。

四、参数怎么定:给一组能直接用的起始值

参数没有标准答案,只有起始值。我们的起始配置(口径:中文企业文档、单库十万级片段):

  • 每片 450–500 字,相邻片段重叠 10–15%;
  • 制度、合同类偏短 300–400 字(条款边界要清),工艺、技术方案类偏长 500–700 字(一个工序不能拆开);
  • 表格单独走一条路:一行一条记录,转成"型号 X 的扬程是 Y 米"这样的完整句;
  • 图纸 OCR 出来的文字按图号挂接,作为图号的一条属性,不参与正文切片。

后两条最容易被忽略:参数表和图纸根本不能当纯文本切。图纸上的文字是标注、尺寸、公差、图号,混进正文流既污染语义又答不准。苏州中亿丰建设集团(市政工程特级资质)的招标文件(205 页,评标办法里投标报价占 82 分、施工组织设计占 10 分,技术标是入围门票,12 家以上取前 9),做法是先拆评分项与废标项、再按项入库,不按页数切。

关于苏州揽明AI

苏州揽明人工智能科技有限公司专注企业 AI 落地,把企业 AI 内训、企业 AI 知识库搭建(RAG / 私有化部署)、GEO 诊断与优化做成能验收的交付,不做一次性演示。服务客户覆盖制造业、市政工程与建筑、医疗器械、供应链与专业服务。

王晓明,苏州揽明人工智能科技有限公司创始人,苏州高新区 OPC 社区秘书长、WaytoAGI 苏州 OPC 秘书长。前百度华东区大客户销售总监,深耕 B2B 企业服务 18 年,累计服务企业 5000+(含线上营销、企业内训、企业知识库建设等,累计口径)。苏州高新区狮山横塘街道创业讲座《从打工人到一人公司 CEO》主讲,主讲 OPC 商业化闭环与创业风控,发起“一人公司孵化营”;苏州大学未来科学与工程学院《X+AI》通识课主讲,面向大学生讲授 AI 实战应用,打造 OPC 超级个体校企培育闭环。

地址:苏州高新区竹园路 209 号 1 号楼 C1018。

最后一句

切片是那种"做对了没人夸、做错了全盘输"的活。判断一个服务商会不会做 RAG,不用听模型选型,只要问一句:你们的切片参数怎么定,跨段问题怎么回归测试。 下一步可以很轻:挑一份你手上最长的技术文档,切 20 刀,看有几刀的切口落在句子中间。

常见问题

切片参数能不能一次定死,后面就不用管了?

不能。换语料就要重测——制度库的参数搬到工艺库上,长度和重叠都得重新看。可行的做法是把参数和一组跨段回归问题一起记进交付文档,以后每次重切都跑一遍这组问题。

已经上线的库切片切坏了,要全量重建吗?

先定位。把答错的 10 个问题拿出来,看错误是"没召回"还是"召回了半块"。如果只是边界问题,对受影响的那批文档重切重入库即可,不必换模型、不必动全库。真正需要重建的是嵌入模型换了的情况——一个库只能用同一个模型。

切片和嵌入模型,哪个先调?

先切片。切片是内容的组织方式,嵌入只是在既定切片的语义坐标上做匹配;切片错了,换再好的嵌入模型也只是把错的块排得更靠前。

图纸和参数表真的不能混在正文里?

不建议。这两类的结构是二维的:表格靠行列定位,图纸靠图号与坐标定位。当纯文本切进去之后,行列关系和图号归属都会丢,后面任何重排都补不回来。单独走一条结构化通道,成本并不高,多半低于事后返工。

这篇讲的做法,可以直接搬到你们公司

30 分钟诊断,不收费。看完你的资料,我们会说清楚该先做哪一步。

预约诊断
苏州 RAG 知识库开发服务商怎么选?先问它切片怎么切|揽明AI