09.1
先定义任务与数据划分
评测首先回答系统要帮助谁完成什么工作。事实查询、跨文档关系发现、主题概括和视觉定位需要不同的成功标准，不能只用一个通用问答分数覆盖。建议为每个问题记录用户意图、可接受答案、必要证据、不可接受推断和无答案条件。标注者应能看到这些规则，并在存在争议时记录理由。对于开放式概括，可以定义需要覆盖的主题和必须保留的分歧，不必假设只有一段唯一正确文本。评测综述和RAGAs提供不同层次的评估思路，但具体量表仍需适配本地任务。[R25][R26]
数据划分应阻断与目标部署不一致的信息泄漏。若系统将服务新门店，可按门店划分；若服务未来资料，可按时间划分；若要检验新实体泛化，可把相同实体的近重复资料放在同一侧。训练、提示开发和最终测试也需要区分。测试问题如果由同一批社区摘要自动生成，再用这些摘要作检索材料，可能过度奖励摘要自身的措辞。应加入独立编写的问题和用户真实问题，并把问题来源作为分析维度。评测集不是装饰性附件，它明确了结论可以支持的使用范围；范围之外的迁移需要新测试。
09.2
检索指标要匹配相关性的定义
精确率衡量返回结果中有多少相关，召回率衡量全部相关证据中找回多少。二者都需要先定义相关证据集合；当标注不完整时，未标注结果不能直接视为无关。对于分级相关性，可使用nDCG衡量较重要证据是否排在前面。其计算依赖增益函数、折扣与截断位置，报告时必须写清。本文演示采用增益为二的相关等级次幂减一、按排名加一的二进对数折扣，理想排序来自全部已标注候选，不能只重排已返回项。不同定义的nDCG不能直接混在同一张比较表里。
图检索还应检查路径层次的完整性。找到了两个端点却没有连接证据，不等于完成多跳问题；找到了路径但遗漏关键的否定条件，也不能算完整支持。可为每个问题标注最小证据集合或若干可替代集合，并统计是否至少覆盖其中一组。全局主题问题则需要覆盖不同来源和观点，避免高频重复片段占满前若干结果。建议同时记录重复率、来源多样性和无关扩展比例。指标越接近实际证据需求，越能解释为什么一套看似召回很多的系统仍然回答不好。排名质量是中间目标，最终还要看证据能否支持任务。
09.3
回答质量与引用质量分开判断
一段回答可能写得正确却引用错误，也可能忠实复述一份本身有误的材料。因此至少需要区分事实正确性、对给定证据的忠实性、问题覆盖程度和引用支持。可将答案拆成可核验陈述，为每条陈述标记直接支持、部分支持、矛盾或证据不足。引用精确率关注被引用材料是否真正支持相应陈述，引用覆盖关注需要证据的陈述是否得到支持。只检查引用链接能否打开，无法说明内容支持关系成立。对于摘要产生的答案，应继续追踪到原文，而不止停在另一段模型摘要。
评审还要保留不确定性的质量。问题证据不足时，明确承认未知往往优于完整但无依据的答案；证据冲突时，列明不同来源及适用时间可能优于强行综合。可以将合理拒答与过度拒答分别计数，避免系统靠拒绝所有问题获得高安全分。中英对照报告或跨语言问答还应检查数字、否定、量词和条件是否一致，因为翻译流畅并不保证事实边界相同。一个有用的审核样本应同时包含容易回答、部分可答、存在冲突和完全无答案四类问题。只有覆盖这些情形，才能评估系统是否知道何时应该停止推断。
本报告原创设计
09.4
多模态贡献必须用对照证明
多模态评测需要确认问题真的要求多种模态。有些标称视觉问答的数据，仅凭标题或文字就能猜中答案；这种情况下，即使多模态系统得分高，也不能证明它读懂了图像。MultiModalQA与WebQA提供跨模态复杂问答的研究实例，Visual-RAG进一步关注视觉知识密集查询。采用这些基准时，仍应检查具体版本、任务和证据标注，不把数据集名称当成视觉必要性的充分保证。[R30][R31][R21]
建议设计文字单独、图像单独、完整融合和错误配对四种条件，并保持生成模型与预算可比。如果完整融合优于单独模态，同时错误配对明显损害相关问题，才更有理由认为系统使用了跨模态联系。还可以遮蔽答案区域、移除表头或替换相似图片，检查回答是否相应改变。对图结构，可比较无图、随机边、真实边和只保留实体名四种条件。所有消融都应说明哪些组件实际运行，哪些只是计划。本报告不报告未执行的模型消融分数，而是提供可用于后续研究的实验模板。缺少执行结果时，明确假设比绘制虚构性能柱状图更有研究价值。
本报告原创设计
09.5
自动评审需要校准与人工复核
语言模型评审能降低大规模人工检查的负担，但它也是测量工具，需要验证。评审器可能偏好更长、更流畅或与自身表述相近的答案，也可能被错误引用的外观说服。应先由人工对一组样本建立判断，再比较自动评审在不同错误类型上的一致性，而不只看总体相关性。对低一致性类别，可以改写量表、增加证据定位或直接保留人工判断。RAGAs的自动化思路适合构建反馈回路，但自动分数不能独自承担最终正确性的证明。[R25]
评审提示应明确允许不知道，要求引用支持位置，并避免把系统名称或作者身份暴露给评审器。比较两套答案时，可随机交换顺序并检查顺序效应。人工标注也不是绝对真值：需要多人独立标注、分歧讨论和规则修订，特别是开放摘要中的重要性判断。对高影响错误，应保存案例而不只保留分数，让团队能看到错误如何产生。报告结果时可以同时提供自动指标、人工抽查比例与主要不一致类型。这样读者能判断测量的可靠程度，并理解为什么某个分数变动还不足以支持上线或替换现有系统。
09.6
报告差异分布而不只报告平均值
实验结果应按问题类型、来源、实体频率和证据长度分组。平均提升可能来自少数容易问题，也可能掩盖某类重要问题的退步。对于同一测试问题上的两套系统，宜分析成对差异，并报告样本量和不确定性。若使用重采样估计区间，应说明重采样单位；当多个问题来自同一文档时，把每题视为完全独立可能低估不确定性。多次尝试后只报告最好一次，也会使结果显得过于稳定。模型随机性、索引随机性和标注差异应在研究设计中分别考虑。
统计显著与实际价值不是同一判断。一个很小但稳定的分数提升，可能不足以承担额外构图成本；一个总体不显著的变化，也可能对少数高价值关系问题很重要。建议把效果大小、成本、错误严重性和维护负担放在同一决策表中。数据不足时，应报告证据仍不充分，并设计下一轮更有辨别力的实验，而不是用复杂统计掩饰薄弱样本。本报告的演示排名只用于说明计算方法，不能估计真实系统效能；业务案例中的百分比也不在缺少原始样本时被赋予虚构区间。清楚报告测量边界，是让研究能够被继续验证的必要条件。