大学教学 / 人工智能导论

GraphRAG与多模态知识图谱：90分钟可视化课程

22页课件、两项课堂活动与证据核查练习。面向大学入门学生，无需编程或付费账号。

下载可编辑课件 PPTX PDF 完整教学包 ZIP

90分钟课堂安排

导入10分钟 → GraphRAG 30分钟 → 小组建图12分钟 → 多模态26分钟 → 迁移与复盘12分钟。

学习目标：比较检索路径、追溯证据、构建图文关系，并解释未知与冲突。

中文PPT保留既有V4成品；英文PPT逐页翻译，并提供英文讲者备注。原始案例图片中的中文标注保留，配有英文解释。

配套研究报告交互知识图谱英文模拟语料 CSV

课堂活动与作业

活动A（12分钟）：依据D1与D5补全“窗口—菜品—鸡肉”两条证据路径；加入D7冲突记录后保留来源并修订。活动B（9分钟）：为校园植物档案设计6个节点、5条命名关系、一个问题与一个异常条件。

评分：证据30、关系25、流程25、边界20。课后提交一页关系图和200字解释，标明来源、正常结果与缺失或冲突出口。

逐页浏览

01 GraphRAG 与多模态知识图谱

文字内容

大学入门 · 90分钟 · 两篇技术文章的案例研读

知识怎样连接，答案怎样获得依据

文档中的证据

实体与关系

图像中的食材

组织

补充

02 本章学习目标与课堂安排

文字内容

比较检索方式

用同一语料解释片段检索、关系关联与全局概括

追溯回答证据

为结论找到来源，并处理缺失或矛盾材料

构建多模态关系

画出菜品、食材、图片区域之间的带标签关系

迁移并解释边界

设计一个新场景，说明输入、处理、输出和限制

导入10分　GraphRAG 30分　建图12分　多模态26分　迁移复盘12分

03 检索片段如何进入回答

文字内容

检索结果进入本次上下文；这个过程不等于重新训练模型。

文档与文本片段

相似性检索

问题＋检索片段

模型回答

建立索引

选择片段

生成

用户问题

检索决定模型看见哪些材料

04 三类问题需要不同的证据

文字内容

教学模拟：所有问题使用同一组校园餐饮资料。

问题类型

校园餐饮问题

所需证据

具体查找

宫保鸡丁含什么食材？

某一条明确记录

关系关联

哪些窗口供应含鸡肉菜品？

窗口、菜品、食材的关系

全局概括

这些资料涉及哪些话题？

覆盖整批资料的代表性证据

05 校园餐饮微型语料

文字内容

D1—D6 均为教学编写，无真实学校或商户数据。

菜品记录

窗口A的宫保鸡丁含鸡肉和花生。

菜品记录

窗口B的麻婆豆腐含豆腐和牛肉。

学生评价

窗口A晚高峰等餐较久。

运营记录

窗口A晚高峰订单较多。

菜品记录

窗口C的鸡肉沙拉含鸡肉和生菜。

学生评价

窗口C的鸡肉沙拉口味清淡。

06 实体与关系连接分散记录

文字内容

GraphRAG用大模型抽取实体与关系；本图为教学模拟，来源为D1、D5。

窗口 A

窗口 C

宫保鸡丁

鸡肉沙拉

鸡肉

供应 [D1]

供应 [D5]

包含 [D1]

包含 [D5]

07 图谱社区与主题层级

文字内容

社区由图中的关联组织；社区名称是摘要结果，仍需核查。

校园餐饮资料

菜品组成

服务体验

主题群组

D1、D2、D5、D6

D3、D4

08 全局搜索的分批汇总

文字内容

依据官方文档绘制；下方回答为教学示例。

问题：这批资料涉及哪些话题？

菜品组成报告

服务体验报告

食材与口味

等餐与订单

筛选并汇总

形成整体回答

分批回答

保留相关要点

09 回答中的证据与推断

文字内容

D3 与 D4 同时出现，不能单独证明因果关系。

来源记录

D3：窗口A晚高峰等餐较久

D4：窗口A晚高峰订单较多

可支持的描述

两条记录都涉及窗口A的晚高峰

仍需验证的推断

订单较多造成等餐较久

10 GraphRAG 的实验结论与边界

文字内容

2024年2月原文报告初步比较，没有给出通用准确率提升百分比。

评价方面

原文报告

阅读时应保留的条件

全面性与视角多样性

优于所比较的基线

与提问和语料范围有关

支持人工核查

提供来源线索

逐项核对引用与结论

对来源的忠实性

与基线相近

不能推论为消除幻觉

11 活动 A：补全证据路径

文字内容

先独立尝试2分，小组建图5分，互测与修订5分。

问题：哪些窗口供应含鸡肉的菜品？

窗口？

菜品？

鸡肉

关系？来源？

提交：两条完整路径＋带来源的回答＋一处证据限制

互测条件 D7：窗口A的宫保鸡丁不含花生。原图应怎样修订？

12 图文分别提供什么食材信息

文字内容

图片截取自美团原文图2.1的菜谱样例，保留原标注。

文本可能提及

食材名称、调料与烹饪步骤

图像补充证据

可见食材及其所在区域

13 CMIngre 数据集的来源与标注

文字内容

论文介绍：8,001对图文、429种食材、95,290个位置框。

标注粒度

食材名称

食材位置框

同义名称统一

松花蛋＝皮蛋

14 食材检测与跨模态检索

文字内容

检测实验将429个细分类别归并为67个较高层级类别。

任务一：食材检测

菜品图片

检测与定位

识别区域

输出：类别＋位置

任务二：跨模态检索

图像区域特征

食材组合特征

共同表示

匹配排序

对齐

15 多模态知识的抽取与融合

文字内容

流程依据美团文章重绘。图文不一致时需要保留来源并核查。

菜名／菜谱／评论

菜品图片

文本实体抽取

食材区域检测

同名对齐与信息融合

文字

图像

属性与来源

区域与来源

教学建议：矛盾证据保留并核查

16 原文流程中的跨模态关系

文字内容

原图：美团文章图5.1。精读问题：哪一处体现了图片对文字的补充？

17 多模态知识对业务指标的影响

文字内容

左图为属性知识评测，右图为下游商品识别任务。口径不同，不能合成总分。

属性知识（越高越好）

商品识别错误率（越低越好）

18 可见食材与未知信息的边界

文字内容

图中没看见某食材，不能直接推论菜品不含该食材。

候选结论

请给出证据状态

需要补充什么

A：D1记录宫保鸡丁含花生

来源支持／推断／待核查

指出记录编号

B：图片里没有花生，所以不含花生

来源支持／推断／待核查

说明视觉证据边界

C：识别出鸡肉，所以知道克数

来源支持／推断／待核查

区分类别识别与用量测量

19 两篇文章在知识处理中的位置

文字内容

维度

GraphRAG

美团菜品知识图谱

输入

文本文档

图片与文字

核心处理

实体关系、社区与摘要

食材检测、图文匹配与融合

图谱作用

组织证据，支持问答

补充属性，关联菜品

典型输出

有来源的回答与主题概括

食材知识与业务识别能力

20 活动 B：独立迁移到新场景

文字内容

先独立作答5分，再互评4分。联合系统为教学设计题。

情境：为校园植物图文档案设计一个问答系统

输入证据

抽取与关联

回答与来源

你将传递什么？

如何检查？

提交：6个节点、5条带名称的关系、一个问题、一个异常条件

评价：证据30分　关系25分　流程25分　边界20分

21 离堂检查与课后作业

文字内容

离堂检查

画出一条“来源支持结论”的路径，并写出其限制

课后提交

任选一个图文场景，提交一页关系图与200字解释

必须包含

来源编号、关系名称、正常结果、缺失或冲突出口

可用纸笔、PPT或文字表格完成，无需付费平台

22 原文与延伸阅读

文字内容

课件按2024年文章组织；官方文档仅补充流程细节。访问日期：2026-10-18。

微软研究院文章

GraphRAG: Unlocking LLM discovery…

GraphRAG 官方文档

索引流程与全局搜索

美团技术团队文章

基于多模态信息抽取的菜品知识图谱构建

研究团队数据集

CMIngre：标注与双向检索示例

GraphRAG 研究论文

From Local to Global…

主要来源

Microsoft Research: GraphRAG (2024-02-13)

美团：基于多模态信息抽取的菜品知识图谱构建 (2024-05-17)