Agent领导力大考!Einsia AI发布WorkflowArena,行业首个多智能体编排基准
机器之心发布 智能体正从单打独斗走向多智能体协同。 如今的 Claude Code、Codex 等框架,已经允许模型在运行时自己拉起子智能体,甚至直接写出调度它们的可执行工作流:任务怎么拆、每个子智能体拿到什么上下文、中间结果在哪里校验、最后如何整合。过去由工程师预先设计好的多智能体结构,正在交给模型自己临场决定。 这意味着,多智能体编排本身成了一项关键能力。同样一批智能体,组织得好可以事半功倍,
机器之心发布 智能体正从单打独斗走向多智能体协同。 如今的 Claude Code、Codex 等框架,已经允许模型在运行时自己拉起子智能体,甚至直接写出调度它们的可执行工作流:任务怎么拆、每个子智能体拿到什么上下文、中间结果在哪里校验、最后如何整合。过去由工程师预先设计好的多智能体结构,正在交给模型自己临场决定。 这意味着,多智能体编排本身成了一项关键能力。同样一批智能体,组织得好可以事半功倍,组织得不好则会互相拖累。但现有评测要么只看任务最终有没有完成,要么在设计者预先规定好的协作结构里测试,始终没有回答一个问题: 「面对真实的长程任务,大模型能不能自己把多智能体系统组织好?」 为此,Einsia AI 旗下 Navers Lab 发布WorkflowArena,专门评测大模型的多智能体编排能力。基准包含145 项长程任务,覆盖软件工程、企业运营、科学研究、数学推导、金融、法律、内容设计与 3D 制作8 大专业领域,对9 个主流前沿模型的 25 种推理配置进行了全面评测。 WorkflowArena 的 145 项任务分布在 8 大领域、17 种任务形态 论文题目:WorkflowArena: Benchmarking Executable Workflow Orchestration in LLM-Based Multi-Agent Systems 项目主页:https://lab.einsia.ai/workflowarena GitHub:https://github.com/Einsia/WorkflowArena Arxiv:https://arxiv.org/pdf/2611.12856 不规定怎么分工,只看最终交付 WorkflowArena 的每道题,都是一份真实的专业交付:修改一个开源代码库、复现一项科学结果、完成一套 Lean 形式化证明、编制一份多主体合并报表、分析一起多被告案件,或在 Blender 里搭出一座完整的建筑群。 这些交付物的共同点是,各部分环环相扣:代码改动要通过原有的回归测试,财务数据要在不同主体之间对得上,法律结论要在多份文书间保持一致,3D 场景的各个部件要拼得严丝合缝。每一块单独做对还不够,整合在一起才算数。 能拆、但拆完必须对齐,正是编排能力的用武之地:比如合同组合分析,每份合同可以分头审,但合同之间的冲突必须合起来才看得出。 WorkflowArena 构建流程:真实素材 → 筛选「可拆分但相互耦合」的工作 → 只规定目标、不规定工作流 → 校验结果与整合。 评测中,模型拿到的是一个空白的「指挥台」: 怎么编排,模型自己定。它可以自己动手,也可以通过 Workflow 工具同时调度多个子智能体,并随时查看、终止、修改工作流。要不要分工、怎么分工,完全由模型决定。每个子智能体该知道什么,也由它来交代。 编排也要花时间。主智能体和所有子智能体共享推理预算,规划、调度、返工都算在里面。 判题隐藏,过程留痕。模型看不到判题器和标准答案,评分只看交付结果,与用了多少子智能体无关;同时,每一次调度都被完整记录下来。 这样一来,WorkflowArena 不仅能看到「做得怎么样」,还能看到「是怎么组织起来做的」。 最强系统也只解决 36.95%,没有全能选手 WorkflowArena 采用严格的完全解决率:只有交付物满足全部验收标准,才算真正解决。各部分都做对、却没整合好的提交,同样判为失败。 25 种配置在 8 大领域的完全解决率(%),按总体结果排序。 榜首是Claude Opus 5.5(max),平均完全解决率36.95%。换句话说,即便是当前最强的系统,也有六成以上的任务没能完整交付。 领域之间的差距更加悬殊。形式化数学已接近饱和,Claude Opus 5.5 解决了95.83%;但软件工程最高只有 29.41%,金融最高 18.75%,法律最高仅9.09%。 而且,没有一个系统能通吃全部领域:Claude Opus 5.5 领跑软件工程、科学与数学,Claude Sonnet 5.5 拿下法律和内容设计,GPT-6 Astra 与 Doubao-Seed-Evolving 则拿下企业运营的并列第一。 Claude 与 GPT:两种截然不同的编排风格 由于每一次调度都被记录在案,WorkflowArena 把不同模型「怎么组织多智能体」摆在了同一张图上。 每道题平均调用 Workflow 的次数(左)与每个 Workflow 平均调度的子智能体数(右)。 结果显示出两种鲜明的风格: Claude 系「谋定后动」:调用少,规模大。Claude Opus 5.5 和 Claude Sonnet 5.5 平均每题只调用 0.86 和 0.76 次 Workflow,但每次平均调度