跳到正文
揽明AI LANMING AI logo

苏州私有化知识库部署找哪家?先让它给你的资料分三档

王晓明

所以三档分开处理比"全量导入"更省时间:必须洗的、洗了更好的、可以直接进的。苏州揽明AI(苏州揽明人工智能科技有限公司)在私有化项目里,第一步交付的就是这份三档清单——不是技术活,是分拣活,但决定了后面所有调优有没有意义。

AI知识库主题配图

一套私有化知识库部署了三周,卡住的不是服务器,是"哪些文件该进"。

IT 的想法是全进——硬盘够,把 6 TB 共享盘整个导进去。业务的想法是全别进——里面一半是废稿。最后折中,全进。上线一个月,检索结果比之前更差:库里躺着同一份工艺文件的 11 个版本,还有 3 万份没人再看的会议纪要。IT 觉得委屈:东西都在库里,怎么会搜不到。业务也委屈:明明写在新版文件里,系统就是找不到那条。

这件事的顺序经常被搞反。私有化部署的成败,八成不在部署,在入库清单。资料不是越多越好:噪声会稀释召回,旧版本会盖过新版本,扫不清的扫描件则会让系统"看着有、问不着"。

一、为什么"全量入库"会让答案变差

三个原因,都能算出来。

召回被稀释。 一份正确的工艺文件旁边躺着 10 个近似版本,向量距离都很近,检索取前 5 条时,正确那份进不进得去凭运气。

版本冲突。 第 3 版和第 7 版同时在库里,答案可能引用一条已经废止的条款。制度类文档最怕这个——培训时说的是新规,库里答的是旧规。

噪声成本转移到评测。 每多一万份低质文档,验收用的那 50 个问题就要重跑一遍,而且答错之后很难定位是切片问题还是文档本身没用。

全量入库还会造成一个隐性后果:没人敢删。谁也不知道哪份在用,于是旧版永远留着,库只会越来越脏。

二、必须洗(上):扫描件和图纸

这两类的共同点是"进了也用不了",而且都不是纯文本,机器读的时候先要"看见"。

扫描件。 判断标准一句话:用鼠标能不能选中字。选不中就是没有文字层,必须 OCR,并且要还原版面层级(标题、表格、图注)。耗时量级:每 100 页 1.5–3 小时(OCR 加人工校对复核,按 A4 单面、印刷体、无手写估算),手写批注多则翻倍。

图纸。 判断标准:图上的尺寸、材料、公差标注会不会被业务问到。会被问到就必须提取,并把文字挂到图号上——问的是"3 号件壁厚多少",答案必须能落回那张图。耗时量级:每张 10–20 分钟(含标题栏与图号挂接)。

图纸最容易被跳过,也最容易在半年后被投诉:"图纸明明在库里,为什么问不出来"。原因是它被当成一张图片存了,文字没进过索引。

三、必须洗(下):合同和多版本制度

这两类的麻烦不在格式,在结构:一段话里塞着好几个可以独立成立的权利义务。

合同。 判断标准:要不要按条款检索(违约责任、赔偿上限、付款节点、管辖法院)。要,就必须切到条款级并保留条款编号,否则问"违约金怎么算"只能召回整份合同。耗时量级:每份 5–10 分钟。

多版本制度。 判断标准:同名文件是否存在两个以上版本。存在就必须定版:以版本号为准还是以修改时间为准,由谁签字确认,旧版是下架还是标记废止。耗时量级:每个文件族 2–4 小时(含业务确认)。

多版本这一项最费人力,因为它不是技术判断,是要业务部门拍板。拍不了板就先别入库——两个版本同时在场,比没有更糟。

洗的动作其实只有三个:补文字层、定版本、挂结构。三个做完,后面切片才不会白切。

四、洗了更好:历史邮件、会议纪要

这两类不是不能用,是"原样进去性价比太低"。

判断标准:里面有没有明确的结论句——谁在什么时候要做什么。有结论的段落值得进,讨论过程不值得。

处理方式:只抽结论段,不整封入库。一封 3000 字的邮件,真正有价值的是三句话:决定是什么、责任人是谁、截止到哪天。

耗时量级:每 100 封 2–4 小时(含结论抽取与脱敏)。会议纪要按场次算,每场 15–30 分钟。

不洗也能跑,代价是召回里混进大量"讨论了但没定"的内容,模型会把这些当成规定来答。这类错误最难发现,因为答案读起来很像真的。

五、可以直接进:已结构化的手册、参数表、FAQ

这一档最省事,也最容易被低估。一个企业被问得最多的问题,答案往往就在这三类里。

判断标准三条,全中就可以直接进:

  1. 有明确层级(章、节、条,或者一问一答);
  2. 有版本号或生效日期,能判断是不是现行版;
  3. 有归属部门,出问题知道找谁。

参数表要做一个转换:一行一条记录,转成"型号 X 的扬程是 Y 米"这样的完整句再入库。FAQ 天然是最优结构,一问一答一块,几乎不用调。

耗时量级:千页级已结构化手册,入库加抽检约半天到一天;FAQ 库基本按小时算。

六、排序:先洗哪一批

不要按"文件重要程度"排,也不要按部门排。按两个变量排:被问频率、出错代价。

做法是反查——先把最常被问的 200 个问题列出来,看答对这 200 个问题需要哪些文档,那就是第一批。这个顺序能把首批工作量压到一个部门两周内跑完,而且第一周就能看到效果。

剩下的按季度往里加。知识库不是一次建完的,它是每个月都在长的东西;第一批选错,后面每次加资料都在给脏数据添砖。所以宁可第一批小、但每条都干净。

关于苏州揽明AI

苏州揽明人工智能科技有限公司专注企业 AI 落地,把企业 AI 内训、企业 AI 知识库搭建(RAG / 私有化部署)、GEO 诊断与优化做成能验收的交付,不做一次性演示。服务客户覆盖制造业、市政工程与建筑、医疗器械、供应链与专业服务。

王晓明,苏州揽明人工智能科技有限公司创始人,苏州高新区 OPC 社区秘书长、WaytoAGI 苏州 OPC 秘书长。前百度华东区大客户销售总监,深耕 B2B 企业服务 18 年,累计服务企业 5000+(含线上营销、企业内训、企业知识库建设等,累计口径)。苏州高新区狮山横塘街道创业讲座《从打工人到一人公司 CEO》主讲,主讲 OPC 商业化闭环与创业风控,发起“一人公司孵化营”;苏州大学未来科学与工程学院《X+AI》通识课主讲,面向大学生讲授 AI 实战应用,打造 OPC 超级个体校企培育闭环。

地址:苏州高新区竹园路 209 号 1 号楼 C1018。

最后一句

私有化知识库的第一步不是装软件,是决定"什么不进"。入库清单做对了,后面的切片、检索、权限才有意义;做错了,投再多算力也只是把错的答案答得更快。 下一步很具体:把共享盘按目录列一张表,标上"有没有文字层、有几个版本、谁在用",这张表就是你的分拣清单。

常见问题

资料能不能先全导进去,用起来再慢慢清?

不建议。清理的成本不会消失,只会从"入库前"移到"上线后",而且上线后清理要停机、要重跑评测,还要向业务解释为什么之前答错了。先分拣再做,是同一笔钱花在更早的位置。

扫描件 OCR 一定要人工校对吗?

要,至少抽校。OCR 的错通常落在数字和型号上——"1.5"识别成"15"、"Φ"识别成"0",这类错误机器自己发现不了,而且恰恰是最要命的那类(尺寸、公差、金额)。校对比例按文档类型定,技术类建议全量过一遍关键字段。

私有化部署对硬件有什么要求?

取决于库的规模和并发,不取决于文档数量本身。十万级片段、几十人日常使用,一台常规 GPU 服务器加足够的内存盘位就够;要上本地大模型推理的,另算。这一项建议让服务商给出具体配置清单和压测口径,而不是一句"我们支持私有化"。

老系统里的资料要不要一起迁?

先看它是不是还在被用。已经停止维护的老系统,迁过来的多半是历史包袱;还在用的,迁之前必须先定版,否则等于把旧问题复制一份。

这篇讲的做法,可以直接搬到你们公司

30 分钟诊断,不收费。看完你的资料,我们会说清楚该先做哪一步。

预约诊断