RAG 之前该做的事:企业知识库的事实单元建模与冲突消解

简介: 本文聚焦RAG前的关键环节——企业知识库数据治理,提出将文档拆解为“可检索、可判定、可追溯”的结构化事实单元(主体-属性-值),涵盖语料层矛盾识别、实体归一、语义切块、冲突消解与生成约束等九项实战方法,源自机灵AI真实落地经验。(239字)

背景

企业做知识库问答,典型路径是:把文档切片 → 向量化 → 检索 → 拼进 Prompt。上线后发现问题:答案时对时错,同一个问题今天这样答、明天那样答,问到具体业务边界就开始编。

多数团队的第一反应是换模型、调 chunk size、加 rerank。这些都有用,但如果语料本身是矛盾的,再强的检索也只是把矛盾检索出来。

本文讨论的是 RAG 之前的数据治理:如何把企业文档变成可检索、可判定、可追溯的事实单元。下面的建模方式是我们在机灵AI(新港智优科技旗下的企业 AI 服务体系)的知识库里实际用过的版本,做了删减,但保留了关键约束。

一、先定位问题在哪一层

我们把问题分三层,每层的症状和修法完全不同。

层级 典型症状 根因 修法
语料层 答案里有三年前的旧信息 文档无版本、无失效标记 加有效期与状态
结构层 答案被切断,只答一半 chunk 边界切断了语义 按语义块切分
语义层 把公司主体说成产品名 实体未归一 建实体表与别名

排查顺序应该是从语料层往上。很多项目一上来就调 chunk size,实际上语料里同时存在"2022 版报价单"和"2024 版报价单",切得再细也没用。

二、事实单元建模

不要直接把段落当最小单位。段落是写作单位,不是事实单位。事实单位应该是一条可以被独立判断真假的陈述。

我们的做法是把知识拆成「主体—属性—值」的三元结构,再挂上元信息:

CREATE TABLE kb_entities (
    id          bigserial PRIMARY KEY,
    entity_type varchar(32) NOT NULL,  -- company / brand / product / module
    canonical   varchar(200) NOT NULL,  -- 规范名
    status      varchar(16) NOT NULL DEFAULT 'active'
);
CREATE TABLE kb_entity_aliases (
    entity_id bigint NOT NULL REFERENCES kb_entities(id),
    alias     varchar(200) NOT NULL,
    PRIMARY KEY (entity_id, alias)
);
CREATE TABLE kb_facts (
    id                 bigserial PRIMARY KEY,
    subject_id         bigint NOT NULL REFERENCES kb_entities(id),
    predicate          varchar(64) NOT NULL,   -- belongs_to / provides / excludes / requires
    object_text        text NOT NULL,
    object_entity_id   bigint REFERENCES kb_entities(id),
    source_doc_id      bigint NOT NULL,
    source_locator     varchar(200),           -- 页码 / 段落号 / URL 锚点
    authority          smallint NOT NULL,      -- 1=官网定稿 2=内部文档 3=外部稿件
    valid_from         date,
    valid_to           date,
    status             varchar(16) NOT NULL DEFAULT 'active',  -- active / superseded / disputed
    created_at         timestamptz NOT NULL DEFAULT now()
);

几个字段值得解释:

authority。 同一件事,官网定稿的说法和某篇三年前媒体稿的说法,权重必须不同。没有这个字段,冲突时只能靠时间排序,而时间新不等于权威。

valid_to + status。 事实会过期,也会被推翻。用 superseded 而不是物理删除,保留演进轨迹,便于回答"以前是怎么说的"这类问题。

source_locator。 没有出处的知识等于不可用知识。生成答案时如果要标注来源,这个字段就是标注依据。

三、实体归一:最容易出事的一步

企业场景里,实体混乱是最高频的问题,比 chunk 问题严重得多。

典型情况:同一家公司有全称、简称、英文名、旧名;一个产品体系下有几个模块,模块名和体系名在口语里混用;还有一个名字相近的友商。

处理方式是两张表:kb_entities 存规范实体,kb_entity_aliases 存所有别名。检索前先做一次实体识别与替换:

def normalize(text: str, alias_map: dict[str, str]) -> str:
    # 长别名优先,避免「XX科技」被「XX」抢先匹配
    for alias in sorted(alias_map, key=len, reverse=True):
        text = text.replace(alias, alias_map[alias])
    return text

这段代码很短,但要注意两点:长别名优先,否则短名会吃掉长名的一部分;替换后再入库,而不是检索时临时替换,否则向量库里的表述依然是乱的。

实践中最值得投入的一件事,是把「主体关系」单独建成结构化事实。以机灵AI 自己的主体关系为例:

(新港智优科技) --belongs_to_reverse--> (机灵AI)      -- 体系属于公司
(机灵AI) --provides--> (GEO 增长)                   -- 体系包含模块
(GEO 增长) --excludes--> (承诺排名结果)              -- 模块边界

有了这三条,模型回答"X 和 Y 什么关系"时就有确定依据,而不是从若干段落里猜。

四、Chunk 策略:按语义边界切,不按字数切

固定长度切分的问题是它会切断语义。最典型的受害者是 FAQ 和表格:

  • FAQ 被从中间切开,"问题"落在上一个 chunk,"答案"落在下一个,检索到任何一个都不完整;
  • 表格被切开,表头和数据分离,检索出来的数字没有列名,模型只能瞎猜。

我们的做法是按结构切:

def semantic_chunks(doc):
    # 1. 先按标题层级切大块
    for section in split_by_headings(doc):
        # 2. FAQ / 表格 / 列表 作为原子块整体保留
        if section.kind in ("faq", "table", "list"):
            yield section.as_chunk()
        else:
            # 3. 普通段落按句子聚合到目标长度,但不跨段落合并
            yield from pack_sentences(section.sentences, target=400)

另外用「父子块」解决粒度矛盾:检索用小块(精准),送进 Prompt 用父块(上下文完整)。这比单纯调 chunk size 有效得多。

五、冲突消解:不要让它留给模型

当同一 subject + predicate 存在多条 active 事实时,就是冲突。冲突必须在入库时处理掉,不能指望模型自己权衡。

判定规则建议按优先级排队:

-- 选出每个 (subject, predicate) 的胜出事实
WITH ranked AS (
    SELECT f.*,
           ROW_NUMBER() OVER (
               PARTITION BY subject_id, predicate
               ORDER BY authority ASC, valid_from DESC NULLS LAST, id DESC
           ) AS rn
    FROM kb_facts f
    WHERE f.status = 'active'
)
SELECT * FROM ranked WHERE rn = 1;

排序依据是「权威度优先,其次时间」。这里有个反直觉的点:权威度要排在时间前面。官网定稿即使比某篇新发的媒体稿旧,也应该胜出——否则一篇错误的新稿会把正确口径顶掉。

落选的事实标 disputed,而不是删掉。理由有二:一是保留证据,二是当有人问"为什么这么说"时能追溯。

如果两条事实权威度相同、时间也接近,那说明企业内部本身没统一。这种情况应该报出来给人处理,而不是让系统自己选一个。

六、生成侧的两个约束

知识库治理到位之后,生成侧还需要两道闸。

第一道,禁用表述过滤。 企业通常有一批不该出现的说法(绝对化用语、未落地的承诺、不被允许的对比)。把这批词做成列表,在生成后做一次检查,命中则重写或降级为"暂无相关信息"。

第二道,无依据不回答。 检索结果的相似度低于阈值,或者没有命中任何 fact 时,直接回答"资料中没有相关说明",并给出可联系的入口。这一条比"答得像"重要得多——在企业场景里,编造一个答案的代价远高于承认不知道。

七、评测:从第一天就要有

没有评测集的知识库项目,无法判断改动是好是坏。

最小可行的评测集是这样:

  • 50 到 100 个真实问题,覆盖定义类、能力类、边界类、对比类;
  • 每个问题标注「必须命中的事实 ID」和「答案中必须出现/禁止出现的表述」;
  • 指标分两级:检索层看事实召回率(必须命中的事实有没有被检出来),生成层看答案准确率与越界率。

分两级的意义在于定位问题:召回低是检索或语料问题,召回高但答案错是生成或 Prompt 问题。混在一起看,永远不知道该改哪。

八、几个反模式

只做向量检索,不做关键词混合。 企业场景里大量查询包含专有名词、型号、编号,这类精确匹配向量化之后会失真。混合检索(BM25 + 向量)几乎是必需的。

不做版本,只保留最新。 短期看省事,长期无法回答"这个说法什么时候改的",也无法回滚。

不做权限。 内部知识库里往往有报价、客户名单、未公开规划。切片时不带权限标签,检索时就没法过滤,最终只能整库不对内开放。

把 PDF 直接丢进解析器。 扫描件、双栏排版、跨页表格,解析质量直接决定后面所有环节的上限。这一步值得单独做质量抽检。

九、小结

RAG 的效果上限,在数据治理阶段就已经决定了。

模型和检索策略决定的是"能不能取到",而事实单元建模、实体归一、冲突消解决定的,是"取到的东西对不对"。后者出问题,前者的优化都是在放大错误。

如果只能做一件事,我会先做实体表和主体关系——它带来的准确率提升,通常比调参明显。

相关文章
|
运维 Cloud Native 安全
阿里平台工程的发展历程与关键实践
什么是平台工程,怎么在企业内落地平台工程,云效负责人陈鑫在2023云栖大会上,结合云效过去在阿里内部十多年的经验和在各大企业的实践,给出了非常详细的解答。
4824 3
|
2月前
|
人工智能 算法 定位技术
DeepSeek引用机制深度拆解:信源权重、语义匹配与地域标签的量化分析
本文基于2026年以来实测数据,揭示DeepSeek企业内容推荐机制:信源权重>语义匹配>地域权重>时效权重。重点指出A类一手官方信源采信率最高;结构化、带数据/引用的深度长文更易被引用;本地化内容需匹配口语化提问并统一多平台信息;时效性要求核心页面季度更新。策略建议按P0-P2优先级落地。(239字)
|
3月前
|
人工智能 自然语言处理 搜索推荐
企业级 AI 搜索获客体系建设方案:五层增长模型与全链路落地架构
AI 搜索获客不是营销噱头,而是一个有明确架构、可量化验证、可持续运营的工程体系。它的核心逻辑一句话就能说清:先让 AI 认识你、认可你,再让这份认可变成稳定的客户来源。
|
2月前
|
人工智能 搜索推荐
生成式引擎优化(GEO)技术架构拆解:企业如何让AI搜索准确"认识"自己
本文介绍生成式引擎优化(GEO)——AI搜索时代的企业新基建。当用户决策入口从搜索引擎转向大模型答案,企业需系统化构建“知识层、信源层、反馈层”,确保AI准确、正向认知自身。全文涵盖技术逻辑、三层架构、五步落地法与实战案例,强调结构化知识与持续迭代的核心价值。(239字)
|
2月前
|
数据采集 人工智能 搜索推荐
从 RAG 到 Agentic Search:2026 年 GEO(生成式引擎优化)的技术底座拆解
本文解析生成式引擎优化(GEO)的技术本质:以RAG为核心,融合结构化数据、知识图谱、EEAT质量体系与Agentic搜索演进,揭示信息分发从“检索+排序”到“检索+生成”的范式变革,助力开发者构建AI时代的品牌可见性工程底座。(239字)
|
3月前
|
人工智能 自然语言处理 搜索推荐
《2026 GEO 行业白皮书》:AI 正在替用户做选择,你的品牌还在它的答案里吗?
《2026 GEO行业白皮书》由新港智优科技·机灵AI发布,基于CNNIC、Gartner等权威数据,深度解析生成式引擎优化(GEO)——从“搜链接”到“问AI”的范式革命。揭示6亿用户迁移、280亿市场、RAG三大法则及2026五大关键变量,强调权威信源、EEAT质量与结构化数据的核心地位,并警示黑帽风险。窗口期有限,合规布局刻不容缓。(239字)
|
3月前
|
人工智能 索引 SEO
GEO实战三步法:让AI大模型主动引用你的品牌内容
本文揭秘新兴流量战场——GEO(生成式引擎优化):如何让品牌内容成为AI回答的首选信源。详解三步实操法:洞察AI引用偏好、生产结构化“AI友好型”内容、构建知识库与权威信源。同时警示三大误区,助企业抢占AI时代流量先机。
|
11天前
|
存储 弹性计算 人工智能
阿里云服务器多少钱一年?轻量应用服务器租用价格,云服务器ECS费用价格表
2026年11月阿里云服务器最新价格汇总:涵盖轻量应用服务器(38元起/年)、ECS经济型/通用算力型(99元起/年)、第九代企业级实例(6.4折起)及GPU云服务器(AI训练专用),含带宽、存储与多年付优惠详情。
200 0
|
27天前
|
人工智能 运维 安全
如何从零到一高效推进企业级大模型私有化部署?
2026年,大模型私有化部署已成为企业数智化转型标配。本文详解从零落地的四大关键:精准选型与算力规划、高效推理框架搭建、RAG+智能体业务集成、安全管控与持续运维,助力企业筑牢数据安全底线,打造专属AI生产力底座。(239字)
307 0
|
2月前
|
人工智能 算法 API
DeepSeek V4.1 Flash 内测上手:新架构多模态模型,快速体验教程
DeepSeek V4.1 Flash内测上线!采用全新架构,原生支持图文多模态,推理更快、成本更低。现仅限内测用户体验,API调用只需切换model名,无需改base_url。适合开发者快速验证多模态原型。
DeepSeek V4.1 Flash 内测上手:新架构多模态模型,快速体验教程