06.1
模态成为属性节点还是观察证据
多模态知识图谱把不同形式的信息纳入同一知识组织，但“纳入”存在不同深度。最简单的方式是在实体上附一张图片；进一步可以把图片作为独立节点，保存拍摄时间、来源与许可；更细的方式会把图片区域、文字框、音频区间或视频片段建成可定位的证据对象。三种方式各有用途：展示型目录可能只需属性，跨文档识别需要独立资源，细粒度问答通常需要局部证据。多模态图谱综述讨论了不同构建与学习任务，不能把有图片附件的数据库自动视为完成了语义对齐。[R15][R16]
设计应从需要回答的问题倒推。如果用户问“这道菜的配料表在哪里”，图片资源和文档位置足够；如果问“图中左上方的绿色叶片是什么”，就需要区域坐标与辨认依据；如果问“视频中哪一步加入调味料”，则需要时间区间。粒度越细，标注、索引和维护代价越高。因此建议建立逐级细化策略：先保存完整原始资源，再按实际查询需要增加局部结构，避免一开始对所有图片进行无目标的密集标注。局部结构还必须保留回到原图的变换关系，否则缩放裁剪后，正确的框也可能指向错误位置。
本报告原创设计
06.2
共享嵌入空间提供相似线索
CLIP展示了利用图文配对监督学习可迁移视觉表示的路径，为跨模态检索提供重要基础。共享空间让文本查询和图片候选可以计算相似度，却没有自动赋予相似度以事实语义。文字“宫保鸡丁”和一张菜品照片相近，可能因为颜色、摆盘或训练中的共现模式；它不能独立证明这张照片对应某个门店的真实商品，更不能证明其中不存在不可见原料。嵌入分数首先是候选排序信号，应与商品标识、上下文和来源信息一起使用。[R17]
应用中最好把相似、匹配与确认设置为不同状态。相似表示模型建议查看；匹配表示通过一组业务条件；确认表示已达到明确审核规则。每次状态变化记录依据，能避免将视觉模型输出悄悄升级为知识事实。对难以辨认的细节，应允许返回多个候选或不知道，并把需要补充的证据说明清楚。评估也不只计算总体检索命中，还要加入外观相近但身份不同的困难负例，例如同名菜在不同门店的版本、相同包装中的不同产品，以及背景很像却属于另一对象的照片。这样的负例能揭示模型依赖了什么捷径。
本报告原创设计
06.3
实体链接是跨模态身份判断
实体链接要回答某个提及、图像区域或商品记录指向哪一个已存在实体。它不同于识别类别：认出一盘鸡肉菜属于视觉分类，把它链接到某门店某日期的菜单商品则需要身份条件。多模态实体链接研究尝试结合视觉、文字和图结构线索，但来源稀缺、同名和域变化仍应在具体数据中检验。本报告将KGMEL作为这一研究方向的检索入口，不依据摘要之外的材料推断其全部实现细节或部署性能。[R22]
可实施的链接流程应包含候选生成、条件核验和拒绝机制。先用别名、编号和向量召回候选，再比较门店、时间、包装文字及邻接关系。若两个候选都合理，不应强制合并，而应建立待判定的观察节点。还可以把同一实体与同一类别作为不同关系保存，让系统表达“看起来属于这类菜，但无法确认是哪份商品”。误合并通常比漏链接更难修复，因为它会把不同对象的证据混在一起并影响下游摘要。对于高影响实体，应优先降低误合并率，同时提供人工快速检查界面。正确拒绝也是链接系统的有效输出。
06.4
局部证据与版面信息不可随意压平
文档中的图表和版面本身携带关系。一个数值位于哪个列标题下，图片注释对应哪个对象，流程箭头连接哪两个步骤，都可能在纯文本转换时丢失。ColPali以视觉语言模型开展文档检索研究，提供了直接利用文档视觉表征的另一思路；它与显式知识图谱是可组合而非等同的技术。保留页面图像可以弥补文字解析的损失，但若要解释答案，仍需指出具体页、区域和相关文字。[R23]
对于研究报告或设备手册，建议同时保留逻辑结构和视觉坐标。表格单元格应能回到行列标题，图中标记应能回到图例，跨页续表应保持表身份。生成答案时可用文字说明结论，并附局部图像证据供读者核验。这里需要防止一种新的错误：裁剪图像去掉单位、坐标轴或否定注释后，看似清楚的局部证据反而改变了原意。因此局部证据应包含必要上下文，并能一键查看整页。图像是否有助于答案，可以通过保留与移除图像的对照测试判断；仅仅让回答页面更漂亮，不构成多模态检索的实质收益。
06.5
缺失冲突与不可靠模态
多模态融合不应假设每种模态都完整而可靠。商品可能只有文字没有图片，照片可能过期，视频声音可能与画面不同步，评论可能谈的是过去的版本。如果模型把缺失模态当作零值向量，很容易学到与真实内容无关的模式；如果强迫不同模态一致，则可能掩盖数据中的真实冲突。建议为每个观察保存可用性、质量、时间和适用范围，并在检索时显式使用这些信息。某一种模态缺失，应该影响系统能回答什么，而不是由模型默默补齐事实。
冲突需要先定位层次。文字说有花生、图片未检出花生，不一定矛盾，因为花生可能不可见；文字明确说不含花生、另一份同版本配料记录说含花生，才构成需要处理的陈述冲突。系统可以区分内容矛盾、身份不确定、时间不一致和观察能力有限四种原因，并给出相应的补充证据请求。训练与测试中应主动遮蔽某些模态、替换过期图片、加入错误配对，检查系统是否能降低确信程度。融合的成熟标志，不是所有输入都被合成一个流畅答案，而是系统知道哪些输入不能共同支持该答案。
06.6
从多模态图谱走向多模态GraphRAG
多模态图谱主要解决知识如何表示、关联和更新，多模态GraphRAG还要解决如何围绕问题选择证据并生成可核验回答。MuRAG提供图像与文字外部记忆的早期研究实例；MMGraphRAG、mKG-RAG以及RAG-Anything则体现了后续将多模态信息与结构化组织结合的不同探索。这些名称属于不同研究系统，不能拼接成一个已经标准化的统一架构。本报告只把它们作为设计空间的证据，不在缺少同条件复现时排列统一性能榜单。[R18][R19][R20][R24]
可迁移的设计原则是让图谱、检索和生成共享同一证据标识。图像区域支持哪个观察，观察链接哪个实体，检索为何选择它，答案哪句话依赖它，都应能串起来。若图谱只保存概念、检索只返回图片文件名、答案只给一段总结，这三部分虽然都运行成功，却无法共同完成证据追踪。建议将最小输出定义为“回答陈述＋证据定位＋关系路径＋不确定性说明”。对不需要视觉信息的问题，不必强行增加视觉处理；对必须看图的问题，也不能仅用图片的自动描述代替全部原始证据。模态选择应由问题的证据需求决定。