18.1
从感知到生成再到行动
近年来的多模态研究逐步把视觉从输入扩展为推理过程的一部分。较早系统常把图片转成语言描述,再以文字进行后续推断;工具增强方法则可以在图上画框、裁剪、标记或计算;新的统一模型探索文本与视觉生成交替进行。不同路线在信息保留、可解释性、成本和控制方面存在不同取舍,不能只用一个“多模态”标签概括。
2025年的Latent Sketchpad预印本探索在模型中生成视觉潜在表示,并通过解码形成可解释草图。[42]2026年的一项世界模型研究提出,在适合视觉建模的任务上交替视觉与语言生成可能有益,但在其他任务上未显示明确优势。[41]这些工作提示表征与任务匹配仍然重要。它们属于特定技术研究,不能直接证明人类教育效果,也不应从标题中的“类人”推断相同认知机制。
对应用者而言,判断重点可以分成三问:系统是否真正使用了新的视觉信息;视觉中间材料是否保留重要约束;加入视觉步骤是否在准确性、成本或人的理解上带来收益。若只是在文字回答旁边附上一张图,它可能是展示,而不是视觉推理。若图被用于下一步操作,也仍要检验图本身是否正确。技术前沿没有取消基本验证要求,反而使验证对象更复杂。
根据[20][25][41][42]绘制 路线比较不是能力排名 Approach comparison not a capability ranking
图内保留中英双语标签;正文提供相应解释。点击查看大图。18.2
需要统一的几个术语
视觉思维指使用视觉与空间表征进行认知活动;视觉素养指阅读、评价与制作视觉信息的能力;视觉表征指承担信息功能的图形、空间或符号形式;可视化指把数据或结构映射到视觉形式的过程;图解推理指借助图中关系完成推断;可视分析指把分析与交互视觉结合的活动。教学中可以用简短语言解释,但应避免把这些词交替当作同义词。
对象想象与空间想象描述不同维度,不能分别等同于“会画画”与“会逻辑”。概念图强调概念之间有含义的关系,思维导图通常以层级或辐射组织联想,流程图强调顺序与条件,因果图强调假设的影响结构。知识图谱还涉及类型化数据与可查询关系。一个带箭头的图可以同时具备部分特点,但作者必须说明连接语义。
AI相关术语也应保持精确。模型、工具、工作流与智能体不是同一层次;检索不等于验证,生成不等于执行,执行成功不等于结果正确。提示模板可以指导行为,却不必然提供确定性能力。专家角色是职责安排,不自动等于专业可靠性。把这些概念放在一个层次清楚的术语表中,有助于学生在不同平台之间迁移,而不依赖某个产品的命名。
| 中文 | 英文 | 使用边界 |
|---|---|---|
| 视觉思维 | Visual thinking | 认知实践 不等于美化 |
| 视觉素养 | Visual literacy | 读图评价与制作 |
| 对象想象 | Object imagery | 对象细节维度 非固定类型 |
| 空间想象 | Spatial imagery | 关系转换 不自动等于因果 |
| 图解推理 | Diagrammatic reasoning | 基于图中关系完成推断 |
| 多重外部表征 | Multiple external representations | 多种形式需要对应与整合 |
| 可视分析 | Visual analytics | 交互视觉与分析结合 |
| 检索增强生成 | Retrieval augmented generation | 检索约束生成 仍需核查 |
| 认识性行动 | Epistemic action | 操作帮助发现与理解 |
| 可追溯性 | Traceability | 判断可定位到资料与变换 |
18.3
五个值得优先研究的问题
第一,AI降低制作劳动之后,人是否仍进行足够的选择、组织与整合。第二,视觉反馈比文字反馈在哪些任务与基础条件下更有效。第三,学生能否把在AI辅助中形成的结构带到独立任务。第四,如何让图中的不确定性被正确理解,而不被误读为系统不可靠或可以忽略。第五,双语图文能否帮助跨语言理解,以及何时增加额外负担。这些问题应通过具体任务研究,而不是凭一般态度回答。
每个问题都需要区分短期与长期。第一次使用时的新鲜感、界面熟悉度和教师支持可能影响结果;持续使用后,工具习惯与能力发展又可能改变。建议研究包含多次任务与延迟测量,关注个体变化和任务差异。对无法进行大规模实验的教师,可以采用连续的小规模改进研究,保留相同测量并坦诚说明限制。
还应研究失败而不只是成功示范。哪些图让人过度自信,哪些中间表示难以维护,哪些任务不值得加入AI,哪些群体因界面或语言受到排除。失败案例如果结构、来源与修改过程清楚,同样具有知识价值。研究领域需要的不只是更强生成能力,也包括更成熟的比较、测量与报告方法。
18.4
对理论与实践的综合判断
视觉思维在AI时代的作用,不是因为机器让文字失去价值,而是因为信息生产越来越容易,结构判断与证据判断更加需要训练。人可以借图看见联系,也可能被图的完整感误导;AI可以扩展表征,也可能复制错误。因此,最值得建设的是一个有来源、有操作、有反馈和有独立检验的认知环境。环境中的每一种表征都承担任务,每一种自动化都说明责任。
对本报告所关注的AI导论课程,建议把课程地图、行业问题、工具使用和学习评价放在同一设计中。教师用图解释,学生用图建构,AI帮助转换与比较,计算工具核验数量关系,真实任务检验迁移。这是一个可以逐步实施、检验和修订的方向,而不是一次采购平台或安装Skill就能完成的改革。其价值最终取决于学生是否更会理解问题、解释依据并负责任地行动。