15 / GraphRAG

可复算的微型图谱实验

探索相关概念 ↗

15.1

资料与实验范围

本实验使用七条人工编写资料,不涉及真实门店或真实供餐。D1描述窗口A宫保鸡丁含鸡肉和花生;D2描述窗口B麻婆豆腐含豆腐和牛肉;D3描述窗口A晚高峰等餐较久;D4描述同一窗口晚高峰订单较多;D5描述窗口C鸡肉沙拉含鸡肉和生菜;D6描述该沙拉口味清淡;D7描述窗口A宫保鸡丁不含花生。为单独演示冲突,实验暂把D1与D7视为适用于同一版本;真实系统必须先核实这个条件。

实验中的关系由人工明确录入,程序只进行确定性筛选、状态判断和算术计算,没有调用语言模型抽取、视觉模型识别或真实GraphRAG框架。因此结果能够证明代码遵循了给定逻辑,却不能证明自动构图、语义检索或生成质量。这个范围说明是实验设计的一部分。资料规模很小,便于读者逐条检查,也适合课堂手工复算。后续若接入模型,应把人工关系作为参考标注,并另行测试抽取错误、同名实体和版本歧义。不能把手工提供的正确结构当成模型已经学会的能力。

15.2

关系查询与来源回溯

查询“哪些记录中的菜品含鸡肉”时,程序筛选正向食材观察,得到窗口A宫保鸡丁和窗口C鸡肉沙拉,分别由D1和D5支持。这里回答的是资料中明确出现的关系,不是对全部菜品配方的常识推测。若把查询改为“哪些菜实际一定含鸡肉”,实验资料不足以支持更强措辞,因为这些记录只是人为设定的陈述。这个例子说明检索结果与现实保证之间还隔着来源可信度和适用范围。

回溯路径可以写成问题到食材、食材到观察、观察到菜品版本、观察到来源。每条答案都应带来源,避免把两个对象连接后丢失最初支持。假如删除D5,窗口C沙拉的鸡肉关系应失去唯一支持并退出当前回答,而不是因为菜名中有鸡肉就自动继续保留。名称可以帮助召回候选,不能替代证据关系。若存在另一条独立确认,则应保留关系但更新支持集合。这个简单删除思想实验也解释了工程章依赖图的作用:系统需要知道结论依赖哪些观察,才能在来源变化后正确调整,而不只是保存一个固定答案。

15.3

冲突未知与因果边界

程序对窗口A花生属性返回冲突,因为D1明确肯定而D7明确否定。它不会按多数、最新文件名或更长句子自动选一方。对窗口B花生属性返回未知,因为没有相关观察。未知不同于明确不含,这个区别是开放世界资料中的基本要求。如果后来获得版本信息,发现D1与D7适用于不同日期,原先冲突可被重新解释为时间变化。由此可见,冲突状态不是永久标签,而是相对于当前身份与时间假设的判断。

D3与D4共同描述晚高峰现象,但实验没有建立因果边。程序可以把两条记录同时检索出来,答案应表述为资料同时提到等待久与订单多,不能写成订单多已经被证明导致等待久。要研究原因,需要更多时间、流程和比较证据。这个例子也可用于检查生成模型是否擅自补充关系:给模型同样资料,观察其是否使用导致、因此或必然等超出支持的词。若实际运行这样的测试,必须保存提示、模型和输出版本。本报告只执行了确定性状态检查,没有把这一后续生成实验伪装成已完成结果。

人工模拟资料中的冲突与未知
F22 · 人工模拟资料中的冲突与未知

本报告模拟D1—D7;无模型推理

15.4

排名指标的手工复算

排名演示返回五项,相关等级依次为3、0、2、0、1;还有一项等级为1的相关候选未召回,完整集合因此有六项、四项相关。前五项中三个相关,精确率为0.60,召回率为0.75。按本章声明的指数增益与对数折扣,DCG约为8.886853,完整集合的理想前五项3、2、1、1、0的IDCG约为9.823466,nDCG约为0.904656。这些值由脚本计算,并与Wolfram计算结果核对。数据是为解释指标构造的,不是任何检索器的实测排名。

这个例子可说明精确率与nDCG关注不同方面。前五项包含两个不相关候选,使精确率不高;最高等级证据排在第一位,使分级排序分数仍较高。若把等级3移到最后,相关项总数不变,精确率与召回率不变,但nDCG会下降。若不知道全部相关项数量,就不能得到同样意义的召回率。实验记录因此保存相关等级、理想排序、相关总数和公式定义,而不仅保存一个最终分数。读者可以修改序列观察变化。指标解释必须与标注规则一起交付,否则相同数字可能对应完全不同的检索质量。

15.5

假设成本情景与盈亏平衡

成本演示设基线构建成本100单位、每次查询1单位,图方案构建400单位、每次查询0.6单位,暂忽略更新与运维。查询量为100、500、1,000和5,000时,两方案总成本分别为200与460、600与700、1,100与1,000、5,100与3,400单位。两条直线在750次查询处相等。这些参数是明确假设,不代表真实模型价格、实际性能或图方法普遍更省。计算只说明较高固定成本与较低边际成本如何随用量变化。

真实决策还需加入更新频率、图维护、人力审核和任务分布。如果图方案的单次查询并不更便宜,就可能不存在正向盈亏平衡点;如果其价值主要是减少严重错误,也不能只按计算费用比较。可以对构建成本与单次成本分别做敏感性分析,找出结论最依赖哪些假设。报告附带CSV与JSON,读者可以替换参数重新计算。图中横轴必须写查询次数,纵轴写假设成本单位,并在标题中标明情景性质。成本可视化的作用是展示条件关系,而不是用一条交叉曲线证明某种架构必然值得采用。

固定成本与边际成本的假设情景
F23 · 固定成本与边际成本的假设情景

本报告假设;数据见CSV与JSON

15.6

从微型逻辑实验扩展到真实研究

微型实验通过五项代码检查,覆盖鸡肉关系结果、花生冲突、另一对象的未知状态、冲突来源保留以及排名数值一致性。它的优点是可逐条解释,局限是没有自然语言理解、视觉噪声和大规模检索。扩展研究时,第一步应加入真实但可审核的小资料集,保持人工参考标注;第二步接入抽取与链接模型;第三步加入检索与生成;最后才扩大规模。每一步都保留上一阶段检查,避免最终回答掩盖中间错误。

建议在真实实验中增加同名不同对象、同对象不同日期、否定表达、缺失图片和错误配对。比较基线与图方法时固定资料、模型和预算,并记录额外构建成本。对于输出差异,逐条定位到候选、路径与引用,而不仅统计总分。若结果没有提升,可以检查图质量不足、路由错误或问题本身不需要关系结构等解释,再设计下一轮实验。研究价值来自可证伪的判断与可复查过程。一个小而诚实的实验能够成为后续工作的可靠起点;一个未经执行却写满性能数字的实验则无法提供这种基础。