GPT-6 Astra也会「看错」流程图? Einsia AI发布PPTBench，视觉编程还有多远？

• 2026-09-30
• 热点资讯

Coding Agent 正在从屏幕里的终端世界走向屏幕外的物理世界。 过去，Agent 面对的主要是文本：给它一个任务，它通过调用工具、修改代码、运行测试，最终交付软件。整个过程，本质上都发生在字符串之间。 但如今，越来越多的任务开始将 「视觉世界本身作为输入」 一幅流程图、一张网页设计稿、一个 3D 场景草图，甚至一整页 PPT，都可以成为 Agent 需要理解并用代码重建的目标。于是，Coding Agent 正在面临一项新的考验： 「Visual Coding」—— 看懂一个视觉目标，并把它转化为可执行、可编辑的代码。 这看起来只是多了一层视觉输入，实际上却引入了一个全新的挑战：在保证代码能运行的基础上，Agent 必须还要从视觉输入中理解对象、结构、空间关系和语义，再把这些信息准确地编码进程序。 那么，如何才能既看清 Agent 在 Visual Coding 上走到了哪一步，又推动它继续向前？ 一个好的测试载体，既要有足够丰富的视觉结构，又要能够被程序化地表达和编辑。 PPT 恰好满足了这两个条件。 一页 PPT 不是一张简单的图片，而是由文本、形状、连接线、分组和空间布局共同组成的可编辑对象集合。它既保留了视觉世界中的结构，又给出了一个天然的程序化表达空间。视觉上的相似，并不意味着语义上的正确。 一条箭头接错节点，流程关系就变了；一个小节点被漏掉，整个过程的含义也可能随之改变。 这也正是 Einsia AI 旗下 Navers Lab 最新发布的 PPTBench 想回答的问题： 「今天的 AI Agent，能不能真正看懂视觉目标，并把它准确转化成代码？」 论文题目：PPTBench: Can Coding Agents Reconstruct the Visual World through Structured, Editable Slides 项目主页：https://lab.einsia.ai/pptbench GitHub：https://github.com/Einsia/PPTBench arXiv: https://arxiv.org/abs/2609.29718 AgentGit（查看部分评测Session）: https://agent-git.com/@einsia/ppt-bench 当 Agent 不再只是写代码，而是要理解 “图在说什么” PPTBench 的任务来自真实科学论文中的流程图和架构图。研究团队从中构建了 500 个任务 ，覆盖系统与软件、人工智能、计算机视觉、语言与语音、量子与基础物理、天文、机器人、生物医学等 13 个领域 ，同时包含多面板图、层级结构、重复网格、复杂连线和文字密集等不同类型的布局。 对 Agent 来说，任务非常直接： 给定一张流程图，用代码把它重建成一页 PowerPoint。 输入是一张确定的视觉目标，输出则是一份真正由代码生成的、可编辑的 PPTX。Agent 不能简单地把原图贴进幻灯片，而需要用文本、形状、连接线等原生 PowerPoint 对象，把看到的内容重新表达出来。 真正困难的地方，也恰恰藏在这里。 Agent 首先要看懂这张图：识别其中有哪些节点、文字和关系，理解连接线从哪里出发、指向哪里；然后要把看懂的内容写出来：将这些结构准确地映射到二维画布，处理节点大小、间距、文字和连线的位置；最后还要交付一个正确的程序化产物：生成的 PPTX 能够正常打开，里面的内容也必须是真正可编辑的对象。 换句话说，这不是简单地 “把一张图画出来”。 它要求 Agent 同时解决三个问题：看懂、写对、交付。 流程语义错了，图表达的就是另一个算法；几何位置错了，虽然还能看懂，却失去了原图的精确结构；产物本身出了问题，则连后续查看和编辑都无法进行。 也正因为如此，一个看似简单的 “照着图做 PPT”，实际上成为了检验 Visual Coding 能力的一道综合测试。 输入：一张流程图 输出：Agent重建成为可编辑的PPT Agentic Judge：让 “看懂” 和 “做对” 都能被评测 一张还原出来的 PPT，可能和原图看上去几乎一模一样。但如果它本质上只是一张截图，就无法真正编辑；如果箭头方向反了，流程表达的语义也随之改变；如果出现大面积渲染错误、文字溢出或严重遮挡，整张幻灯片甚至失去了基本的可读性。 更复杂的是， PPT 中的同一个视觉元素，往往可以有完全不同的对象表达方式 一个田字格可以由四个方块组成，也可以由一个方块和两条直线组成；一个对勾可以由两条直线拼成，也可以由一个多边形直接绘制。对于传统的规则系统来说，很难穷举这些 “一对多” 的表达方式。 PPTBench 因此设计了一套 Agentic Judge 。它不要求 Agent 按照某一种固