2.1
从视觉知觉到视觉推理
视觉思维并不是最近因AI而出现的概念。Arnheim在1969年的《Visual Thinking》中强调知觉与思考之间的紧密联系,挑战把看见当成被动输入、把推理完全归于语言的划分。[1]这一理论传统提醒我们,分类、组织和抽象也可以发生在视觉活动之中。不过,哲学和心理学意义上的总体主张,不能直接转换成“任何课程加图都会更好”的教学结论。课程设计仍要说明图提供了什么信息,以及学习者进行了什么操作。
可以用三个层次理解视觉活动。第一层是辨认,例如识别酒店平面图中的出口。第二层是理解关系,例如判断前台、客房和消防通道之间的距离与连接。第三层是推理,例如在高峰时段改变人员配置后,预测排队和响应速度如何变化。许多AI系统擅长给图片命名,却未必能够稳定完成后两层任务。把图像识别、结构理解和情境推演分开,是评估AI视觉能力的必要起点。
外部图也不只是内部想法的复制。有时人只有把几个节点画出来,才发现分类标准不一致;只有把一条流程拉长,才看到重复审批;只有把两个时间尺度放在一起,才发现短期转化增长伴随长期复购下降。在这些情形中,图参与了想法的形成。研究视觉思维因而应关注“人如何与表征互动”,而不仅是“最后生成了什么图片”。
2.2
葛兰汀的启示及其适用范围
Grandin在2022年的《Visual Thinking》中,以个人经验、职业实践和研究讨论强调思维方式的多样性,并区分偏重对象细节的视觉想象与偏重模式和空间关系的思维。[2]这对教育的启发,是扩大能够展示能力的任务形式,让制图、建模、观察、设计和动手解决问题获得充分位置。报告不把这本大众著作当作随机实验,也不以一位杰出人物的经历推断所有孤独症人士的能力、需求或成长路径。
附件把两种模式简化为“建造火车”和“让火车动起来”,这一比喻适合引发讨论,却不宜被当成严格分类标准。对象想象并不只处理静态外观,空间推理也不自动等于因果推理;理解动力传递需要专业知识、力学关系和经验约束。一个擅长画出设备的人可能同时擅长推演结构,一个偏爱语言的人也能通过训练掌握流程图。教育应用应把比喻转换成具体的任务要求,避免从偏好直接推断能力。
对中国教育的反思,也应从宏大定性转为可观察问题。某门课程是否只奖励长篇文字?学生是否能用模型和图说明理解?实验、设计与改错是否进入评价?这些问题可以通过作业、课堂记录和评分规则检验。将“成绩一般的学生可能存在未被看见的优势”作为开放假设有教育价值;直接断言大量低分学生都是视觉天才,或者把某种认知方式当作创新的唯一来源,都超出了现有依据。
2.3
心像 外部表征与视觉素养
心像指没有相应外部刺激时对视觉或空间内容的内部表征。外部表征则是可以共享和操作的图、物件、符号与界面。二者可能互相支持,但并不相同:一个人即使难以产生鲜明心像,也可能借助纸笔、坐标、关系图和计算工具完成出色推理。因此,课堂不应要求所有学生报告相同的“脑内画面”,而应允许多种到达理解的路径。
视觉素养强调阅读、解释、评价与制作视觉信息的能力。在AI环境中,它还包括识别生成痕迹、检查来源与判断呈现方式是否误导。可视化则通常指把数据或结构映射到视觉形式的设计与计算过程。视觉思维可以使用可视化,但它的范围更广:前者关注人在理解中做了什么,后者常关注信息被怎样编码。保持这些区分,有助于避免把软件操作熟练误认为思维能力提高。
视觉分析把交互可视化与分析过程结合,使人能够提出问题、调整筛选、比较结果并形成解释。图解推理关注图形结构如何支持推断。设计思维关注问题发现、原型与迭代,其过程经常运用视觉思维,但两者并非同义。知识图谱是一种具有类型化实体和关系的数据结构,也不能等同于任何带节点连线的知识地图。教学中应允许入门比喻,同时逐步建立这些边界。
本报告提出的概念与设计示意 Conceptual design proposed in this report
图内保留中英双语标签;正文提供相应解释。点击查看大图。2.4
一项任务需要怎样的表征
表征的选择可以从问题动词开始。要列举,用清单;要比较,用对照表或共用尺度的图;要说明先后,用流程;要说明谁与谁有关,用关系网络;要检验原因,用带假设说明的因果图;要寻找空间冲突,用平面图;要观察参数变化,用交互模型。一个任务可能需要多种表征,但每一种都应承担明确职责。没有职责的图,通常只是在增加观看成本。
同一酒店问题可以由不同表征提出不同问题。问题树回答“可能有哪些因素”,时间序列回答“变化何时发生”,渠道分组图回答“变化集中在哪里”,流程图回答“信息和责任如何流动”,收益曲线回答“在某个假设下如何权衡”。这些图不能互相替代。尤其不能由一张原因清单直接宣布原因成立,也不能由一条拟合曲线直接决定真实价格。报告后续案例将反复展示表征之间的互相约束。
| 表征 | 适合的问题 | 主要局限 |
|---|---|---|
| 问题树 | 可能因素怎样分类 | 分支不能证明因果 |
| 概念图 | 概念间有何明确关系 | 连线必须命名 |
| 流程与泳道 | 谁在何条件下做什么 | 需要例外与权限 |
| 数据图 | 大小分布变化怎样比较 | 口径与尺度决定解释 |
| 空间图 | 位置距离冲突在哪里 | 比例与尺寸要可靠 |
| 交互模型 | 假设变化后结果怎样 | 模型内结果不是实证 |