第 15章 / 24

评价实验与研究设计

在图谱中探索本章概念 ↗

15.1

区分制作质量 理解与迁移

评价视觉思维至少包含三个层面。制作质量关注图是否准确、清晰、可访问与可维护;理解关注学习者是否能解释图中关系、识别条件并发现错误;迁移关注能否在新场景中选择或修改表征。三者有联系,却不能互相代替。一张由AI生成的高质量图,可能出自理解有限的学生;一个尚不熟练排版的学生,也可能提出准确而有洞察的结构。评分应把这些维度拆开。

可以使用分析性量规,每个维度给出可观察描述。语义准确看关键节点与连接是否符合资料;推理完整看条件、例外与反例是否处理;证据可追溯看主要判断能否定位;表达可读看编码、层级和文本是否清楚;迁移看新条件下修改是否合理。美观可以作为表达的一部分,但不应压过证据与推理。评分例子应同时包含漂亮错图和朴素正确图,帮助学生理解标准。

评价还应检查解释能否脱离成品成立。教师可以随机选一条连接,要求学生说明其来源、作用和删除后的后果;也可以提供一个新的资料片段,要求现场修改。这样的短答辩不需要很长,却能揭示图是否成为学生自己的理解。对大班课程,可以采用小样本抽查与全班独立小测结合,避免评价成本失控。

15.2

一个可检验AI代画与AI反馈的实验

若要研究AI怎样支持视觉思维,可以比较四个条件:学生阅读教师提供的图;学生独立画图;学生获得AI成图后解释修订;学生先画再获得AI问题式反馈。所有条件使用相同学习内容、相近总时间和共同测验。研究假设可以预先写明:AI成图可能提高制作速度,问题式反馈可能更有利于关系解释,但这些只是待检验假设,不应在设计阶段宣布结果。

主要结果可以设为新情境中的关系推断或迁移表现,次要结果包括知识保持、用时、认知负荷、图的准确性和自信校准。立即测验与一周后的延迟测验分别反映不同问题。没有AI的短迁移任务尤其重要,因为最终目标是人的能力。若只评价使用AI时的成品,就无法区分能力提高与工具代劳。研究还应记录学生实际做了哪些修改。

随机分配条件可以降低部分混杂,但仍需考虑班级、教师、先验知识与合作关系。若只能按班级实施,应报告班级层面的限制与分析方法。样本量不应凭习惯指定,可依据有意义的最小差异、测量可靠性与聚类结构进行功效分析。本报告不提供一个脱离这些条件的通用样本数,也不把探索性课堂活动包装成已完成的随机试验。

AI辅助绘图的四条件研究设计
图 16. AI辅助绘图的四条件研究设计

本报告提出的概念与设计示意 Conceptual design proposed in this report

图内保留中英双语标签;正文提供相应解释。点击查看大图。

15.3

测量过程与识别机制

过程数据可以帮助解释为什么某种条件有效或无效。记录学生阅读来源、修改节点、请求提示和回看反馈的顺序,可能显示他们是否进行整合。记录不应无限收集个人行为,而应围绕明确研究问题,经过适当告知和权限安排。对普通教学改进,保留少量关键版本与解释通常已很有价值,未必需要复杂眼动或全程监控。

机制解释应谨慎。例如修订次数与成绩相关,可能因为能力强的学生更愿意修订,也可能因为修订帮助学习,不能仅凭相关决定方向。若要检验反馈是否通过提高关系准确性影响迁移,需要适当设计与分析,并承认中介推断的条件。AI日志的丰富性不等于因果证据的充分性。报告建议先建立可靠测量,再追求复杂模型。

自信校准是值得加入的指标。学生在每次判断后估计自己有多确定,再与正确性比较。AI可能使成品看起来更完整,从而提高信心,却未同步提高准确性。比较这一差距,比笼统询问学生是否喜欢AI更能发现问题。教师还可以观察学生是否能说出“我不知道哪条关系成立”,把适当的不确定性视为专业判断的一部分。

15.4

分析 报告与复现

结果报告应同时给出估计、区间与任务描述,不只列显著与否。若某种方法对低基础学生帮助较大,应说明这一分析是否预先计划,避免从许多分组中挑出偶然结果。图表应展示合适的分布或个体变化,不把平均值当作所有学生的经历。没有显著差异也不等于完全等效,需要结合测量精度和研究设计解释。

研究包应保存匿名化任务、教学材料、评分规则、分析代码、图表数据和版本说明。不能公开的数据应说明限制与可替代材料。模型名称、使用日期、提示模板和关键参数可能影响结果,也应记录;但无需公开学生无关私人对话。双语研究材料应检查任务难度是否因翻译变化,必要时采用语言熟悉度作为解释条件。

最后,课堂证据应进入下一轮改进。若AI反馈提高准确性却耗时过长,可以缩短反馈并保留关键问题;若学生成图更快但迁移下降,应增加独立建构;若对部分任务无明显价值,就允许不用AI。课程研究的目标是找到条件与机制,而不是证明所有新工具都有效。视觉思维提供的可见过程,恰好有助于形成这种可修订的教学知识。

表 15. 视觉推理分析性量规
维度基础表现较强表现
语义准确主要节点可识别关系与资料一致
推理完整正常路径大致连贯例外条件反例得到处理
证据给出总体来源关键元素可定位依据
可读性文字与结构可辨编码服务任务且可访问
修订能够修改外观解释概念变化与影响
迁移复现已学案例新条件下合理调整
本报告的综合分析与设计建议 Report synthesis and design recommendations