知识库不是文档仓库:从入库到可检索的四步
入库、解析、分段、向量化——缺任何一步,知识库都只是文件夹。
第一步是入库:把 PDF、Word、网页统一收进来。
第二步是解析:抽取正文,去掉页眉页脚与噪声。
第三步是分段:按语义切块,控制长度与重叠,避免一句事实被切成两半。
第四步是向量化:为每个片段生成向量,检索时按相似度召回。
四步都做到,知识库才真正「可检索」。
第二步是解析:抽取正文,去掉页眉页脚与噪声。
第三步是分段:按语义切块,控制长度与重叠,避免一句事实被切成两半。
第四步是向量化:为每个片段生成向量,检索时按相似度召回。
四步都做到,知识库才真正「可检索」。