终于,我上线了一个多Agent、多用户实时协作的云端无限画布项目

大家好,我是 woopsion! 花了大量的时间和精力做了个多智能体创作平台,Pecan Studio。已经上线了 https://ai.pecan.wang/

pecan这个东西具备大多数无限画布的能力,但是更加突出的是多智能体和画板的深度结合、协作能力。我认为它更是偏向生产化、云端智能体saas服务 沙盒计算资源 云虚拟工作空间 的一种实际落地的解决方案。

不废话,简单解释一下pecan studio:

  • 无限画布的基础能力:参考图、分镜、视频、音频、各种md文档 pdf 都可以在上面直接渲染,并且支持HTML文档、3D建模相关结点的渲染;选中对象、框选区域、各种关系线、画板上的标记文字等就是给 Agent直观的上下文。

  • Pecan 主 Agent + 四个领域 Agent:Pecan 主 Agent 带队,橘子负责故事,小a负责的是视觉,蓝莓负责视频,悦悦负责的是声音模块(这些名字都是我随便起的!没有特殊含义!);画布上能看到实时的操作痕迹,除此之外各个子agent可以委派自己的内存级别即用即丢的子智能体(但是目前系统约束不建议使用,之后会优化系统架构)

  • 用户、系统 Agent Team、MCP客户端等协作于同一个项目(一个项目有多个画板):画布每次变化你都能实时感知,也能看到是谁在操作画布上的对象——操作用户、或其附属的 Agent Team、或第MCP客户端都会实时出现在画布上。

  • 外部 Agent 也能指挥它:在 Claude Code 或 Codex 里可以直接指挥 Pecan 在画布上接着做;同一个 Pecan、同一份上下文,网页上能看到这是一条 MCP 任务。

  • 长任务异步回调,等待时不占算力:图片、视频、音乐、声音生成,Blender 渲染,委派子 Agent等这些长任务都异步调度到后台;结果回调后 Agent 接着干,等待期间它可随时释放自己的计算资源,由统一巡检模块在回调后把它拉起来,资源弹性分配的方式把服务器算力、存储等资源省下来。(这个涉及到很多具体的架构设计,如果有兴趣的可以展开其中的细节仔细的聊)

  • 人机协作有边界:关键动作你拍板(HITL),11 类操作可配边界、可审计:删除、付费生成、开沙盒默认要确认,查询类自动放行,也能设“总是允许 / 总是询问”;小到一次沙盒 Bash,大到发起生成任务,人机确认、操作边界和审计记录都在。

  • 随时对接、随时指挥各个 Agent:上下文压缩做了大幅优化;无限画布里的项目数据、云端工作区的现有成果,加上模型能力,让 Agent 始终带着足够丰富的上下文——你指哪,它打哪,并且这些智能体都是有独立人格的小伙伴 不仅仅是作为一个子智能体协作的身份!

  • Skill 随装随用,内置专业、精品的视频创作流程,还能“画”出来:自己的 Skill 能装能卸;系统还自带专业、精品的 AI 视频创作流程 Skill。工作流被可视化后接进画布,Agent 既用 Skill 的专业性,也借画布的可视化、灵活性、实时性和多 Agent 协作。

可以先看一下pecan studio 的环境 🤣

▼
text
复制代码
产品原生工作室界面;图中角色消息和工作状态为演示数据。 谁在忙、谁在等人拍板、谁已经交付,一眼就能看到;点一下角色就能直接对话。它比一排聊天窗口更像一个真的工作间。 真正难的地方,不是让几个 Agent 互相说话,而是让它们能长时间干活、失败还能续上。底层是在 deepagents / LangGraph 上改的,按 SaaS 的形态把 Agent 架构重做了一版,分布式异步调度也重新设计过:Session Supervisor → Session Host → 分布式 Agent 运行时状态 → Task Run / LangGraph 状态;谁在跑、任务做到哪、失败后由谁拉起,每一层都得说清楚。沙盒也从“Agent 一启动就开”拆成了项目级资源,用完自己回收。 做之前我以为最难的是让模型听话,做完发现最难的是架构取舍:计算和存储怎么省,服务之间的数据流怎么少绕路,到底能扛住多少并发而不炸机,以及这套东西是不是 真的能可靠闭环、真正落地。用户感觉到的“靠谱”,基本都来自这些不性感的部分。

Pecan Studio 的像素工作室

▼
text
复制代码
用户在具体交互的过程中、不同的状态 不同的阶段 调用不同的工具会有不同的实时动画的渲染,我更偏向做一个有意思的东西,这里也是有趣的一点吧

Pecan 主 Agent、橘子、小a、蓝莓、悦悦的头像 实时协作

做它的起因挺简单:我不想再做一个更大的聊天框。我自己用聊天框做东西,最烦的是来回描述“刚才那张图”“左边那个视频” 亦或者大量的文字堆砌 以及各种繁琐的文档、流程等! 聊天是线性的,创作不是。画布上选中一个对象、拉一条线,一片区域这些本身就是给 Agent 的上下文,不用再写一段话解释

另一个我比较坚持的点是:不让 Agent 全自动,也不让人每一步都盯着,我觉得这个度很难平衡。但是对于这个影视创作流程来说,人机交互的频率肯定是更高的,需要用户自身的审美判断、因此这里做了很多的人机交互,人类审批的系统限制,你可以控制11种类型的操作权限

会话权限演示 案例:工作室与人工确认面板 会话权限演示

15 秒真实协作:pecan Agent 在实时操作画板: 15 秒真实协作:pecan Agent 在实时动节点,人在旁边看着

感觉还是有非常大的可玩性吧,这里再简单放点实际案例:

项目影视风格可视化:

影视风格可视化 具体剧本分镜可视化: 剧本与分镜

还有具体的多人协作的3d建模 以及其他细节可以看一下介绍页面 https://ai.pecan.wang/

不过这个非盈利项目 非商业化项目 可以直接找我要积分 (如果还有的话)的兑换码去体验一下其中的乐趣 更欢迎影视制作方面的朋友过来体验 由于我个人资金有限 服务器是个小弱鸡 4c8g 的弱鸡 以及本人确实太穷了 给不了太多体验的积分 八月份刚离职 目前还在找工作的状态中~

热烈欢迎交流!

Pecan Studio 是我个人的作品,非商业项目 它更像一个探索性、学习性的产品,用来验证多智能体、无限画布和实时协作这些创新想法;后面有开源计划,具体看情况。

0个评论
点击登录,快来和大家讨论吧~
表情
图片
暂无评论
下载 APP