03 / GraphRAG

检索增强生成的机制与限制

探索相关概念 ↗

03.1

参数知识与外部证据

语言模型的参数承载训练中形成的统计规律,外部资料则提供可更新、可定位的任务信息。RAG把检索得到的材料加入生成上下文,使模型能够围绕这些材料回答问题。经典研究将参数化生成与非参数记忆结合,形成知识密集任务的一种方法;这一思想不意味着外部知识被永久写进模型权重,也不意味着模型只能使用给定材料。[R06]

在应用中,需要区分模型可能知道什么与系统允许依据什么回答。面向机构资料的问答,往往要求回答以指定版本的内部记录为准,即使模型能凭一般知识生成一个看似合理的答案。如果资料不足,理想行为可能是说明不足,而不是调用常识填满空白。本文建议将回答依据写成可测试规则,例如关于本机构流程的结论必须附有效文档位置。模型是否遵守该规则,应通过缺失资料、过期文件和冲突记录测试,而不能只用正常问题演示。由此,RAG的核心控制对象是证据选择及其使用方式。

03.2

检索单位与切分策略

切分决定检索器能够返回什么对象。固定长度片段容易实现,但可能把条件与结论、表头与数值、图片与说明分开。按标题、段落或版面区域切分,能够保留更多结构,却仍需处理跨页表格和跨段指代。片段越小,定位通常更精细,但独立理解所需的上下文可能不足;片段越大,信息更完整,却会占用更多上下文并引入无关内容。本文把切分视为证据边界设计,而不是一个只需调节长度的预处理步骤。

可检索对象应保留父文档、相邻片段和结构位置。检索命中一个数值时,系统还要知道对应指标、单位、时间和人群;命中一个图片区域时,也要知道它来自哪一页和哪一版本。图结构能够连接这些对象,但首先必须在数据处理时保留连接所需的标识。对于条款、流程和实验材料,建议建立小片段定位与大范围补充的双层机制,先召回具体证据,再补充解释它所需的局部结构。是否有效应通过答案支持率与上下文成本共同判断。

03.3

候选召回与排序组合

不同检索信号可以互补。关键词匹配擅长保留专名、编号和明确表达,向量相似性可帮助找到措辞不同但语义相关的材料,图邻域能扩展到关联对象,时间与权限则限定候选是否可用。组合检索需要说明每个信号承担的职责。把多个分数直接相加并不天然合理,因为量纲、分布和校准方式可能不同。融合方法应以开发集检验,避免根据少数演示问题手工调出一个看似优越的结果。

重排序将较少的候选交给更精细的相关性模型或规则。它可以改善候选顺序,却不能找回召回阶段从未返回的必要证据。若答案依赖两条彼此分散的记录,仅让每个片段分别与问题打分,也可能遗漏它们组合后的价值。本文建议同时记录候选来源、被过滤原因和排序变化,并评价集合是否覆盖完整证据链。与其只追求首条结果相似,不如明确哪些问题需要单条证据、哪些需要关系闭合、哪些需要覆盖多个主题。检索策略由此才能与研究问题保持一致。[R09][R13]

03.4

上下文组织与生成约束

检索之后仍有一个独立问题:怎样组织材料,才能让模型正确使用它们。证据顺序、重复内容、来源冲突和长距离依赖都会影响上下文。研究曾观察到,在所测试模型和任务中,相关信息的位置会改变表现,因此“能放入上下文”与“能有效利用”需要分别验证。这个发现不应被扩展为对所有后续模型的固定性能判断,但它提醒我们保留位置与长度的控制实验。[R29]

本文建议把上下文包装成有来源和状态的证据集合,清楚区分原文摘录、机器摘要与推测说明。对需要精确引用的问题,应优先保留支持结论的直接片段;对需要概括的问题,可以提供摘要,但同时保留回溯入口。生成指令应要求在证据不足、条件不匹配或记录冲突时表达相应限制。指令的存在不等于约束已生效,评价必须检查实际输出。一个常见错误是把模型自己的上一轮答案再次作为证据加入上下文,形成自我支持的闭环。若允许使用先前生成内容,就必须保留其派生身份及原始依据。

03.5

多跳问题与问题路由

多跳问题要求把若干证据步骤连接起来,但步骤数量与推理难度并不完全一致。一个两跳问题可能需要困难的实体消歧,一个较长路径则可能只是明确的层级展开。系统应辨认所需关系、对象类型和限制条件,而不是机械地增加遍历深度。对于“哪些窗口供应含鸡肉菜品”,需要连接窗口、菜品与食材;若问题再限定日期,还必须加入菜单版本。缺失其中一个条件时,路径即使连通也不完整。

问题路由可以把请求分配给具体查找、关系扩展、全局摘要或跨模态核查等处理方式。路由器本身也会出错,因此要保留回退路径和运行记录。一个稳妥的研究设计应比较固定路由、规则路由和模型路由,并让它们共享相同语料与生成预算。若路由使用了测试集答案或人工事后选择,得到的优势就不能代表真实在线表现。本文建议把路由错误作为独立失败类别:系统可能拥有足够证据,却选择了不适合该问题的组织方式。定位这一点有助于避免无必要地重做整个图谱。

不同检索路径应按任务比较
F03 · 不同检索路径应按任务比较

本报告原创设计

03.6

端到端失败的分解

一个错误答案可能来自数据、抽取、检索、组织、生成或展示环节。原文缺少必要信息时,再强的检索器也无法提供真实依据;实体错误合并时,图检索可能忠实返回错误路径;证据正确却未进入最终上下文时,问题属于组织或预算;模型忽略清晰证据时,则需检查生成行为。只有端到端分数,很难区分这些原因。评价应保留各阶段的中间对象,形成从结果回查输入的诊断链。[R25][R26]

本文提出按最早可定位失败点归因的实践方法。首先检查数据是否包含足够证据,再检查表示是否保留证据,然后检查召回和排序,最后检查结论及引用。对同一问题可构造“提供正确证据”的对照条件,以观察生成层在理想检索下是否仍然失败。这个对照不代表部署性能,但有助于测量改进检索的上限。错误分析还应包含正确答案使用错误依据的情况,因为只检查答案文本可能把这种脆弱成功漏掉。可靠系统需要同时解释回答是否正确以及为什么有资格这样回答。