评价质量与治理

12.1 评价完整链条

知识图谱评价必须把组件质量与应用结果连接起来。实体抽取准确，仍可能身份归一很差；查询很快，证据却可能不全；答案流畅，也可能遗漏重要矛盾。分组件评价帮助定位缺陷，完整工作流评价则判断缺陷对用户是否重要。两者不能相互替代。建议评价方案同时使用诊断测试集与代表性研究任务。

诊断测试覆盖解析、实体检测、链接、关系抽取、限定保留、验证、检索和答案生成，每阶段输入都应代表实际运行条件。只用完美实体标签测试关系抽取器，可以测量孤立能力，却不能反映实体错误发生后的部署表现。只要明确每个分数来自何种设置，两类结果都可能有用。

精确率是预测为正的项目中正确项目的比例，召回率是参考正例中被恢复的比例，F1是二者的调和平均。设合成评价中正确抽取关系90条、错误抽取10条、遗漏参考关系30条，精确率为90/100＝0.90，召回率为90/120＝0.75，F1约为0.8182。这些是解释性计数，不是真实抽取器结果。

计分前应固定“正确关系”的定义。有的实验只要求实体身份与关系标签正确，有的还要求数据集版本和极性正确，不同评价契约会产生不同数值。因此，分数应附带匹配规则与标注政策；否则两个系统看似可比，实际上其中一个可能只需完成远不完整的抽取。

微平均汇总各类别计数，使高频类别占较大影响；宏平均先计算各类分数再取平均，给予稀有类别更大影响。两者都有价值。若研究图谱有大量简单作者关系、少量困难矛盾关系，即使最重要分析关系表现很差，也可能得到较高微平均。按关系类别报告，有助于防止问题消失在总平均中。

平均倒数排名对正确答案排名的倒数取平均。三个合成查询的正确答案排名为1、2、4时，MRR约为0.5833，Hits@1为1/3，Hits@3为2/3。这些指标说明指定候选集合中的排序，不测量答案是否有充分证据，也不说明候选集是否涵盖所有有效答案。

图谱补全基准有时采用过滤排名，避免模型因把另一已知正确答案排在目标前面而受罚。报告应说明过滤政策及使用了哪些已知三元组。过滤可提高基准比较的一致性，却不能解决不完整图谱中的未知真值问题。真实部署还需决定何时展示候选、何时暂不判断，以及哪些关系可以自动接受。

检索评价应检查给定上下文预算下的证据召回，而非仅看长列表某处是否出现相关文档。系统可能找到正确论文，却漏掉解释结果必需的表格脚注。多来源问题还应检查是否找到全部关键证据组成及相关矛盾，才能真实判断生成器可以合理回答什么。

数据泄漏指评价信息不当影响训练或系统设计。图任务中的逆关系与近重复记录可能造成隐蔽泄漏：测试三元组的等价逆关系若已在训练图中，预测几乎不需真正泛化；同一论文的不同版本分别出现在训练与测试中，也会因重复措辞提高抽取表现。数据划分应考虑这些依赖。

应用需要处理未来到达的信息时，时间评价很有用。模型与图谱只能使用截止点前可得的信息，评价反映后续时期，这也包括辅助文本和嵌入：若语言模型输入含未来描述，图谱划分便不是真正按时间隔离。基础模型训练数据不明时，应识别无法避免的暴露风险，不能声称实现了完美历史模拟。

分布漂移可能来自新领域、新语言、新版面或来源惯例变化。用摘要训练的系统可能不善于处理表格与技术报告。应保留真实域外案例，并监测部署后的变化。置信度下降可能揭示部分漂移，但仍会出现自信错误，因此对已接受输出随机抽样复核，是自动监测的有益补充。

人工评价应提供明确标准和证据访问，分别考察正确性、来源支持、完整性、不确定性处理与有用性。单个“好答案”分数会混合维度，使分歧难解释。若系统身份可能导致偏见，就不应告知评审者；多人评价同一样本时，应分析分歧，不能不作说明地平均掉。

语言模型评审可扩大初步评价规模，但应针对任务与人工判断校准。它们可能偏好流畅语言、与生成模型共享偏见，或忽略无依据细节。实际流程可用自动检查发现明确结构失败，用模型评价分流，再对代表样本与重大案例人工审核，并说明哪些评价结论依赖哪种方法。

不确定性区间应反映数据依赖。同一文档中的多项主张不是独立观察，若错误按文档聚集，逐条主张重采样可能产生过窄区间。按文档或来源家族重采样可能更符合变异单位。统计方法应匹配研究设计，小样本结果应标为初步，而不是靠增加小数位制造精确感。

治理规定谁为图谱的含义、记录与使用负责。重要数据集应有拥有者、允许用途、更新政策与纠正路径。FAIR原则强调科学数据管理中的可发现、可访问、可互操作与可复用[49]。应用到图谱时，不只是公开一个端点，还要提供可理解的标识、元数据、访问条件，以及正确复用所需的情境。

质量维度可能冲突。严格接受政策提高精确率，却可能降低覆盖；宽泛公开图谱促进复用，却可能对部分来源产生隐私或许可问题。合适政策取决于任务与数据权利。治理记录应解释权衡，并明确谁有权修订，使用户能够理解遗漏，而非假定图谱代表全部可得知识。

建议发布决策同时考察最低质量要求和现实维护计划：是否准确回答能力问题，重要错误能否纠正，团队能否保持来源更新。仅通过一次演示、却没有更新负责人的图谱，还不足以成为智能体的可靠来源。可持续运行属于质量的一部分，而非部署后可选工作。