第 18章 / 24

术语与前沿研究议程

在图谱中探索本章概念 ↗

18.1

从感知到生成再到行动

近年来的多模态研究逐步把视觉从输入扩展为推理过程的一部分。较早系统常把图片转成语言描述,再以文字进行后续推断;工具增强方法则可以在图上画框、裁剪、标记或计算;新的统一模型探索文本与视觉生成交替进行。不同路线在信息保留、可解释性、成本和控制方面存在不同取舍,不能只用一个“多模态”标签概括。

2025年的Latent Sketchpad预印本探索在模型中生成视觉潜在表示,并通过解码形成可解释草图。[42]2026年的一项世界模型研究提出,在适合视觉建模的任务上交替视觉与语言生成可能有益,但在其他任务上未显示明确优势。[41]这些工作提示表征与任务匹配仍然重要。它们属于特定技术研究,不能直接证明人类教育效果,也不应从标题中的“类人”推断相同认知机制。

对应用者而言,判断重点可以分成三问:系统是否真正使用了新的视觉信息;视觉中间材料是否保留重要约束;加入视觉步骤是否在准确性、成本或人的理解上带来收益。若只是在文字回答旁边附上一张图,它可能是展示,而不是视觉推理。若图被用于下一步操作,也仍要检验图本身是否正确。技术前沿没有取消基本验证要求,反而使验证对象更复杂。

视觉AI研究路线的层次
图 20. 视觉AI研究路线的层次

根据[20][25][41][42]绘制 路线比较不是能力排名 Approach comparison not a capability ranking

图内保留中英双语标签;正文提供相应解释。点击查看大图。

18.2

需要统一的几个术语

视觉思维指使用视觉与空间表征进行认知活动;视觉素养指阅读、评价与制作视觉信息的能力;视觉表征指承担信息功能的图形、空间或符号形式;可视化指把数据或结构映射到视觉形式的过程;图解推理指借助图中关系完成推断;可视分析指把分析与交互视觉结合的活动。教学中可以用简短语言解释,但应避免把这些词交替当作同义词。

对象想象与空间想象描述不同维度,不能分别等同于“会画画”与“会逻辑”。概念图强调概念之间有含义的关系,思维导图通常以层级或辐射组织联想,流程图强调顺序与条件,因果图强调假设的影响结构。知识图谱还涉及类型化数据与可查询关系。一个带箭头的图可以同时具备部分特点,但作者必须说明连接语义。

AI相关术语也应保持精确。模型、工具、工作流与智能体不是同一层次;检索不等于验证,生成不等于执行,执行成功不等于结果正确。提示模板可以指导行为,却不必然提供确定性能力。专家角色是职责安排,不自动等于专业可靠性。把这些概念放在一个层次清楚的术语表中,有助于学生在不同平台之间迁移,而不依赖某个产品的命名。

表 18. 核心术语中英文对照
中文英文使用边界
视觉思维Visual thinking认知实践 不等于美化
视觉素养Visual literacy读图评价与制作
对象想象Object imagery对象细节维度 非固定类型
空间想象Spatial imagery关系转换 不自动等于因果
图解推理Diagrammatic reasoning基于图中关系完成推断
多重外部表征Multiple external representations多种形式需要对应与整合
可视分析Visual analytics交互视觉与分析结合
检索增强生成Retrieval augmented generation检索约束生成 仍需核查
认识性行动Epistemic action操作帮助发现与理解
可追溯性Traceability判断可定位到资料与变换
本报告的综合分析与设计建议 Report synthesis and design recommendations

18.3

五个值得优先研究的问题

第一,AI降低制作劳动之后,人是否仍进行足够的选择、组织与整合。第二,视觉反馈比文字反馈在哪些任务与基础条件下更有效。第三,学生能否把在AI辅助中形成的结构带到独立任务。第四,如何让图中的不确定性被正确理解,而不被误读为系统不可靠或可以忽略。第五,双语图文能否帮助跨语言理解,以及何时增加额外负担。这些问题应通过具体任务研究,而不是凭一般态度回答。

每个问题都需要区分短期与长期。第一次使用时的新鲜感、界面熟悉度和教师支持可能影响结果;持续使用后,工具习惯与能力发展又可能改变。建议研究包含多次任务与延迟测量,关注个体变化和任务差异。对无法进行大规模实验的教师,可以采用连续的小规模改进研究,保留相同测量并坦诚说明限制。

还应研究失败而不只是成功示范。哪些图让人过度自信,哪些中间表示难以维护,哪些任务不值得加入AI,哪些群体因界面或语言受到排除。失败案例如果结构、来源与修改过程清楚,同样具有知识价值。研究领域需要的不只是更强生成能力,也包括更成熟的比较、测量与报告方法。

18.4

对理论与实践的综合判断

视觉思维在AI时代的作用,不是因为机器让文字失去价值,而是因为信息生产越来越容易,结构判断与证据判断更加需要训练。人可以借图看见联系,也可能被图的完整感误导;AI可以扩展表征,也可能复制错误。因此,最值得建设的是一个有来源、有操作、有反馈和有独立检验的认知环境。环境中的每一种表征都承担任务,每一种自动化都说明责任。

对本报告所关注的AI导论课程,建议把课程地图、行业问题、工具使用和学习评价放在同一设计中。教师用图解释,学生用图建构,AI帮助转换与比较,计算工具核验数量关系,真实任务检验迁移。这是一个可以逐步实施、检验和修订的方向,而不是一次采购平台或安装Skill就能完成的改革。其价值最终取决于学生是否更会理解问题、解释依据并负责任地行动。