7.1
语言到结构再到图形
最适合课程与管理场景的起点,是把自然语言转换为明确结构,再由确定性工具渲染。输入可以是教材段落、业务规则、会议纪要或学生口述。模型先提取实体、关系、顺序和条件,输出中间表示;人检查语义后,系统再生成流程图、概念图或表格。这个分层避免把内容理解、布局选择和像素绘制混在一次不可检查的生成中。模型可以有创造性,但图的关键关系应当能被逐项检查。
中间表示可以非常简单:节点编号、节点类别、显示名称、来源、连接起点、终点、关系类型、条件和确认状态。比如一条连接写明从“检索政策”到“检查版本”,关系是执行顺序,来源是课程教师确认的操作规范。后来更换布局时,语义可以保持不变;后来发现政策版本判断应更早出现,也可以修改关系而不必重新手绘所有元素。稳定编号还能支持中文与英文标签保持一致。
Mermaid等文本图形工具适合表达许多常见流程和结构,其官方文档列出相应语法与限制。[34]但一种工具不能自然覆盖所有需求。复杂的数量关系需要图表语法,精确空间需要坐标或建模工具,丰富的版式可能需要矢量编辑。报告建议先决定语义结构,再选择渲染器;不要因已经熟悉某种语法,就把所有问题改造成它擅长的形状。
7.2
数据到代码再到可复算图表
第二条路线从结构化数据出发。模型帮助解释字段、提出分析问题、生成清洗与绘图代码,人检查字段口径和变换步骤,再执行代码得到图。LIDA展示了利用大模型组织自动可视化流程的研究方向。[21]Data Formulator则通过高层概念与视觉通道的绑定,帮助用户表达意图,并展示变换后的数据以供检查。[22][23]这些系统提供了设计启发,不应被误解为所有自动图表已经具备可靠事实判断。
实际流程需要保留输入数据、转换脚本、输出数据和图表规范四种对象。只有图片而没有变换记录,读者无法判断重复订单是否被计了两次;只有代码而没有字段解释,也无法确认“收入”是否包含税费和佣金。一个可信的AI助手应能回答:“这根柱子用了哪些记录?采用什么过滤条件?缺失值怎么处理?为什么选择这个时间粒度?”这些问题比询问模型是否有信心更有用。
Vega-Lite等声明式语法可以明确编码与转换,使数据、映射和呈现更容易分离。[35]Python或其他分析语言则适合复杂计算。无论采用哪一种,都需要实际执行,而非把模型写出的代码当成已经得到的结果。执行后还应选取少量数据点手算核查,检查异常范围、排序与单位。对于高风险决策,还需要独立复核和真实业务验证。
7.3
草图与图像作为输入
第三条路线允许人先画。教师可以拍下一张白板,学生可以提交粗糙流程,设计人员可以上传空间草图。多模态模型帮助转录标签、识别候选节点、整理层级并提出疑问。这里最大的价值不是把笔迹变整齐,而是降低表达入口:人可以先用擅长的形式组织想法,再借AI转成可编辑结构。系统应保留原图与识别结果的对应,允许逐项纠正。
图像输入也会发生误读。箭头交叉不一定相连,近邻不一定表示从属,手写否定词一旦漏掉就可能反转含义。建议识别阶段输出两类内容:已经看清的观察与需要确认的解释。比如“看到A与B之间有一条线”是观察,“A导致B”是解释。让用户确认关系意义之后再清洁排版,可以减少把识别错误固化成漂亮成品的风险。
对学生作业,可以采用先解释再整图的顺序。模型先复述自己读到的结构,提出最多三项关键疑问,学生回答后再生成规范图。教师可以比较原图与整理图之间哪些概念发生变化,避免工具把不成熟但有价值的想法自动改成常见模板。保存这些差异,也能成为评价学生思考过程的材料。
7.4
图像生成与视觉推理的区别
文生图能够帮助探索服务场景、空间气氛、产品外观和故事分镜,适合需要形象联想的任务。精确流程、统计图、公式与政策文字则需要其他控制机制。一幅图看似符合“酒店AI系统”的风格,并不能证明其中的按钮、数字与连接正确。建议把生成图中的艺术部分与文字数据层分离,关键文字用可编辑排版加入,关键关系由结构文件决定。
Visual Sketchpad研究让多模态模型使用线条、框和标记等工具产生视觉中间材料,再基于这些材料继续解题。[20]它表明绘图动作可以进入AI推理流程,而不只是最后输出阶段。但这类基准结果仍针对特定模型和任务,不能证明AI拥有与人相同的心像体验,也不能保证它在真实课程或企业中具有同样收益。技术能力、认知解释与应用成效需要分别讨论。
本报告提出的概念与设计示意 Conceptual design proposed in this report
图内保留中英双语标签;正文提供相应解释。点击查看大图。| 路线 | 主要产物 | 适用条件与核查 |
|---|---|---|
| 语言到结构 | 节点关系与结构图 | 核对遗漏关系与来源 |
| 数据到代码 | 变换数据与数量图 | 实际执行并复算 |
| 草图到结构 | 转录与可编辑图 | 确认箭头与手写否定 |
| 情境到图像 | 外观与场景候选 | 精确文字另行排版 |
| 视觉中间材料 | 标记裁剪计算草图 | 检查中间材料和任务收益 |
| 交互计算 | 参数控制与结果状态 | 区分模型探索与实证 |