私有化知识库部署：硬件、模型与验收

什么情况必须私有化？

私有化不是「更安全」的默认答案，它有明确的适用条件。中了下面任意两条，就该走私有化：

• 资料不能出内网。注册申报资料、未公开财报、客户名单、工艺参数。这类资料连脱敏都不放心。
• 内网根本没有公网出口。车间、实验室、涉密办公区，物理隔离，公有云 API 调不通。
• 有明确的数据合规要求。行业监管或客户审计要求说明数据流向，必须能证明「不出机房」。
• 调用量很大。每天几千次以上，公有云按量付费的长期成本会超过自建。

反过来，如果只是内部制度问答、资料本来就在公众号或官网上，公有云 API 更省事，没必要为了「感觉安全」多花十万块。

一台服务器能支撑多少人？

这个问题没有统一答案，取决于「同时在线几人」而不是「一共几人」。经验值如下：

使用场景	日常活跃	峰值并发	显存建议
部门试点（1 个场景）	10–20 人	2–3 路	16–24GB
单场景全公司（售后、制度）	50–100 人	5–8 路	24–48GB
多场景并行（含销售、技术）	200 人以上	10–20 路	80GB 以上或多卡

并发不等于人数：100 个人里同时提问的通常只有 3–5 个。真正常见的瓶颈不是显卡，是文档检索与文件解析——那部分吃 CPU 和内存，配 32GB 内存起步比较稳。

模型选多大？

模型不是越大越好，要看任务类型。我们按实际交付经验给一张对照表：

任务	够用的模型量级	原因
资料检索与条款定位	7B–14B	主要在库内找，不靠模型自己推理
参数问答、字段提取	14B	需要读懂表格结构，7B 容易漏列
报告初稿、方案撰写	32B 及以上	长文组织能力差距明显
多轮排查对话	14B–32B	要维持上下文，小模型容易跑偏

实践中更省钱的做法是「小模型检索、大模型写作」：先用 7B 做意图识别与检索，需要写长文时再调 32B。两套模型同机部署，显存要一起算。

部署要多久，卡在哪一步？

1–2 周是常见周期，四步：

1. 环境准备（2–3 天）。装系统、显卡驱动、容器环境。内网要提前申请端口与镜像仓库权限，这一步最容易拖。
2. 模型与索引部署（2–3 天）。拉起模型服务、建索引库、打通文档解析。
3. 资料入库与调优（3–5 天）。清洗、切分、建评测集、调检索。和公有云方案的这一步一样费时间。
4. 验收与交付（1–2 天）。跑评测集、测并发、交文档与运维手册。

实际项目里，卡得最久的往往不是技术，是「服务器什么时候到」和「谁能批端口」。这两件事企业自己推，比我们催有效。

断网环境怎么更新资料？

这是私有化项目上线后最常见的运维问题。四种做法，按企业条件选：

• 内网文件服务器同步。指定一个共享目录，系统定时扫描增量文件。最省事，适合有内网 NAS 的企业。
• 离线包导入。外网机器打包，U 盘或摆渡机拷进内网，管理端上传。适合完全物理隔离。
• 单向网闸。有网闸的企业走这条，配置好目录映射即可。
• 人工上传。管理后台加一个上传入口，由指定人负责。量小时够用，量大了会漏。

不管哪种，都要解决两个问题：怎么知道有新文件、怎么保证旧版本作废。前者靠目录监听或人工清单，后者靠入库时的版本字段。这一块我们单独写在资料清洗与知识库长期维护里。

怎么验收私有化系统？

不要验收「能跑起来」，那只是部署完成。验收四个数字：

指标	测法	参考线
答案命中率	30 道真实评测题，人工判对错	80% 以上
出处准确率	抽查 20 条，核对引用段落是否支持结论	95% 以上
首字响应	5 路并发下测，从提问到出首字	3 秒内
数据流向	抓包或日志确认无外网请求	零外联

第四条最容易被忽略，也最该测。有的方案号称私有化，实际把 embedding 请求发到了云端，资料照样出去了。验收时让 IT 同事开一次抓包，十分钟能确认。

权限与答案溯源的配置方式，见权限管理与答案来源引用；如果还在评估要不要做知识库，先读苏州企业AI知识库搭建的 5 步流程。交付内容与硬件清单写在企业AI知识库服务页。

揽明AI 团队深耕 B2B 企业服务 19 年，累计服务企业 5000+，办公地在苏州高新区，苏州本地可上门。预约一次 30 分钟诊断，把人数、并发和资料量告诉我们，我们先给一版硬件配置建议，不收费。