xiaoduan/track-108

Fork 0

forked from opc-2026-youth-w3/track-108

【S3W3 交叉评测】云匠短剧引擎：LLM 代理安全、审核返工闭环与当前架构一致性建议 #2

New issue

Open

opened 2026-08-06 13:28:17 +08:00 by Michael · 0 comments

Michael commented

2026-08-06 13:28:17 +08:00

1. 项目理解

我理解“云匠 · 精品短剧剧本创作引擎”是一套面向短剧创作者的 AI 全流程剧本生产系统。

项目将创作过程拆分为创意捕捉、剧本策划、大纲构建、人物塑造、世界与结构设定、剧本正文、质量审核和交付等阶段，并设计了多名专业 AI 专家负责不同任务。

当前产品还提供四节点人机协作流程，用户可以逐步确认大纲、人物、分集大纲和正文，对每个节点进行人工编辑、AI 修改和上游回退。

项目希望通过“平台级智能体—阶段子智能体—专业专家”的结构，形成生成、审核、返工和最终交付的创作闭环。

2. 项目亮点

专家模块数量和领域覆盖较丰富，已包含故事策划、人物、结构、对白、场景、视觉、合规、质量和终审等专业分工。
短剧方法论、文化知识、合规红线和剧本质量标准已经沉淀为独立代码和知识库。
四节点交互支持人工确认、手动编辑、AI 修改、节点回退和下游失效，比一次性生成完整剧本更适合真实创作。
支持 SSE 流式输出、Session 持久化、断线恢复和 Token 次数控制。
项目同时提供静态前端、FastAPI 后端、CLI、Docker 和 Railway 配置，交付形态较完整。
项目已经开始把泛化效果宣传改成具体测评结果，证据意识值得肯定。

3. 当前问题和疑点

3.1 正式部署配置会暴露无认证的通用 LLM 代理

当前 Dockerfile 启动根目录 server.py。该服务公开提供 /chat/completions 和 /api/v1/stream，使用服务端配置的模型 API Key，但没有登录、访问 Token、Origin 白名单、请求频率和费用限制。

客户端还能自行提交任意 messages、model 和较大的 max_tokens。

这意味着线上 Demo 可能被第三方作为通用模型代理使用，消耗项目模型额度，甚至导致正常评审时无法继续使用。

建议关闭通用聊天代理，只提供短剧业务接口；或增加短期访问凭证、来源白名单、模型白名单、Token 上限、IP/Session 限流和每日费用硬上限。

3.2 审核失败和红色风险没有真正阻断流程

README 描述六阶段子智能体会对验收项打分，不合格时自动点名责任专家返工。

但当前 Python Orchestrator 中，validation_passed=false 和 risk_level=red 均只记录结果，随后继续执行并最终把流程标记为 completed。

质量评分中的“合规一票否决”实际上也是合规分数达到 7 分即可通过。

建议建立明确的执行状态：

passed；
needs_revision；
needs_human_review；
blocked。

失败项应映射到责任专家，重新生成并再次复核；红色合规风险必须暂停，不能只作为普通评分项。

3.3 当前 Docker 部署的 Agent API 是占位实现

根 server.py 中：

/api/v1/create 只保存 started 状态，没有启动工作流；
/api/v1/step/{expert_id} 返回固定的“专家处理中”；
/api/v1/progress 始终显示第 0 步且没有已完成专家。

仓库中的 src/api/server.py 才连接真实 Python Orchestrator，但 Dockerfile 并未启动它。

建议确定正式 Agent 后端，移除或明确标记占位接口，并让前端、Docker、README 和 Demo 指向同一实现。

3.4 WebSocket 工作流存在同步与异步调用错误

src/api/server.py 使用：

asyncio.create_task(orchestrator.run_full(...))

但 run_full 是同步函数，因此会先阻塞执行，再把非协程结果传给 create_task。

异步 step 回调也没有被 Orchestrator await，可能无法向 WebSocket 推送步骤完成消息。

建议将工作流改成真正的 async 实现，或通过 asyncio.to_thread 执行同步工作流，并统一支持异步回调。

3.5 Session 没有用户身份和数据权限

创作 Session 以 JSON 明文保存完整创意、剧本和修改记录，但 Session 结构没有用户所有权、访问 Token 和有效期。

所有接口只依赖 URL 中的 session_id，获得该 ID 的调用方可以读取或修改创作内容。

剧本和创意可能属于用户未公开的知识产权，建议增加 Session Token、用户绑定、自动清理、删除接口和生产数据存储策略。

3.6 当前产品架构和文档口径需要统一

当前材料中同时存在：

15 专家；
17 专家；
默认 8 专家工作流；
四节点模式；
六阶段子智能体；
两套 FastAPI 服务；
新旧两个前端入口。

README 的 Python 启动命令包含连字符模块名，无法正常运行；README 所称的最新版 HTML 文件也不在仓库中，而正式 Docker 服务托管的是被标为旧版的 demo-v7.html。

建议增加一份 Current Architecture，明确：

当前专家数量；
六阶段与四节点的关系；
当前正式前端和后端；
Agent 在浏览器还是服务器执行；
正确启动与测试命令；
Demo 对应的 Commit。

3.7 质量评分应明确为启发式预检

当前评分主要依赖“突然、因为、镜头、匕首”等关键词和固定扣分规则。

这种方法适合快速提醒，但不能直接证明人物、对白、因果、合规和商业质量已经达到专业标准。

建议将其标记为本地启发式预检，并结合结构化 LLM 评审、原文证据定位和人工确认形成正式验收结果。

4. 优先改进建议

建议按以下顺序处理：

立即保护公开 LLM 代理，增加认证、限流、模型和费用边界。
让 validation failure 和红色合规风险真正阻断或触发返工。
统一正式后端，删除或标记占位 Agent API。
修复 WebSocket 的同步/异步执行与回调问题。
为 Session 增加用户身份、访问授权和数据清理策略。
统一 15/17/8 专家、四节点/六阶段以及前后端入口的文档口径。
补充端到端测试，覆盖审核失败、自动返工、Session 隔离、代理限流和完整导出。

5. 综合评价

云匠引擎的领域方法论、专家分工和人机协作设计较完整，已经明显超过普通的一次性剧本生成工具。

当前最大的不足不是专家数量，而是几套实现尚未完全统一：前端、通用模型代理、Python Orchestrator、四节点 Session 和六阶段审核之间缺少一个由服务端强制执行、可以测试和审计的主流程。

完成 LLM 代理安全、合规阻断、返工执行和当前架构统一后，项目才能更有力地证明“17 专家和六阶段子智能体”不仅是界面与方法论设计，也是一套完整、可靠的 Agent 执行系统。

## 1. 项目理解我理解“云匠 · 精品短剧剧本创作引擎”是一套面向短剧创作者的 AI 全流程剧本生产系统。项目将创作过程拆分为创意捕捉、剧本策划、大纲构建、人物塑造、世界与结构设定、剧本正文、质量审核和交付等阶段，并设计了多名专业 AI 专家负责不同任务。当前产品还提供四节点人机协作流程，用户可以逐步确认大纲、人物、分集大纲和正文，对每个节点进行人工编辑、AI 修改和上游回退。项目希望通过“平台级智能体—阶段子智能体—专业专家”的结构，形成生成、审核、返工和最终交付的创作闭环。 ## 2. 项目亮点 - 专家模块数量和领域覆盖较丰富，已包含故事策划、人物、结构、对白、场景、视觉、合规、质量和终审等专业分工。 - 短剧方法论、文化知识、合规红线和剧本质量标准已经沉淀为独立代码和知识库。 - 四节点交互支持人工确认、手动编辑、AI 修改、节点回退和下游失效，比一次性生成完整剧本更适合真实创作。 - 支持 SSE 流式输出、Session 持久化、断线恢复和 Token 次数控制。 - 项目同时提供静态前端、FastAPI 后端、CLI、Docker 和 Railway 配置，交付形态较完整。 - 项目已经开始把泛化效果宣传改成具体测评结果，证据意识值得肯定。 ## 3. 当前问题和疑点 ### 3.1 正式部署配置会暴露无认证的通用 LLM 代理当前 Dockerfile 启动根目录 server.py。该服务公开提供 `/chat/completions` 和 `/api/v1/stream`，使用服务端配置的模型 API Key，但没有登录、访问 Token、Origin 白名单、请求频率和费用限制。客户端还能自行提交任意 messages、model 和较大的 max_tokens。这意味着线上 Demo 可能被第三方作为通用模型代理使用，消耗项目模型额度，甚至导致正常评审时无法继续使用。建议关闭通用聊天代理，只提供短剧业务接口；或增加短期访问凭证、来源白名单、模型白名单、Token 上限、IP/Session 限流和每日费用硬上限。 ### 3.2 审核失败和红色风险没有真正阻断流程 README 描述六阶段子智能体会对验收项打分，不合格时自动点名责任专家返工。但当前 Python Orchestrator 中，validation_passed=false 和 risk_level=red 均只记录结果，随后继续执行并最终把流程标记为 completed。质量评分中的“合规一票否决”实际上也是合规分数达到 7 分即可通过。建议建立明确的执行状态： - passed； - needs_revision； - needs_human_review； - blocked。失败项应映射到责任专家，重新生成并再次复核；红色合规风险必须暂停，不能只作为普通评分项。 ### 3.3 当前 Docker 部署的 Agent API 是占位实现根 server.py 中： - `/api/v1/create` 只保存 started 状态，没有启动工作流； - `/api/v1/step/{expert_id}` 返回固定的“专家处理中”； - `/api/v1/progress` 始终显示第 0 步且没有已完成专家。仓库中的 `src/api/server.py` 才连接真实 Python Orchestrator，但 Dockerfile 并未启动它。建议确定正式 Agent 后端，移除或明确标记占位接口，并让前端、Docker、README 和 Demo 指向同一实现。 ### 3.4 WebSocket 工作流存在同步与异步调用错误 `src/api/server.py` 使用： `asyncio.create_task(orchestrator.run_full(...))` 但 run_full 是同步函数，因此会先阻塞执行，再把非协程结果传给 create_task。异步 step 回调也没有被 Orchestrator await，可能无法向 WebSocket 推送步骤完成消息。建议将工作流改成真正的 async 实现，或通过 `asyncio.to_thread` 执行同步工作流，并统一支持异步回调。 ### 3.5 Session 没有用户身份和数据权限创作 Session 以 JSON 明文保存完整创意、剧本和修改记录，但 Session 结构没有用户所有权、访问 Token 和有效期。所有接口只依赖 URL 中的 session_id，获得该 ID 的调用方可以读取或修改创作内容。剧本和创意可能属于用户未公开的知识产权，建议增加 Session Token、用户绑定、自动清理、删除接口和生产数据存储策略。 ### 3.6 当前产品架构和文档口径需要统一当前材料中同时存在： - 15 专家； - 17 专家； - 默认 8 专家工作流； - 四节点模式； - 六阶段子智能体； - 两套 FastAPI 服务； - 新旧两个前端入口。 README 的 Python 启动命令包含连字符模块名，无法正常运行；README 所称的最新版 HTML 文件也不在仓库中，而正式 Docker 服务托管的是被标为旧版的 demo-v7.html。建议增加一份 Current Architecture，明确： - 当前专家数量； - 六阶段与四节点的关系； - 当前正式前端和后端； - Agent 在浏览器还是服务器执行； - 正确启动与测试命令； - Demo 对应的 Commit。 ### 3.7 质量评分应明确为启发式预检当前评分主要依赖“突然、因为、镜头、匕首”等关键词和固定扣分规则。这种方法适合快速提醒，但不能直接证明人物、对白、因果、合规和商业质量已经达到专业标准。建议将其标记为本地启发式预检，并结合结构化 LLM 评审、原文证据定位和人工确认形成正式验收结果。 ## 4. 优先改进建议建议按以下顺序处理： 1. 立即保护公开 LLM 代理，增加认证、限流、模型和费用边界。 2. 让 validation failure 和红色合规风险真正阻断或触发返工。 3. 统一正式后端，删除或标记占位 Agent API。 4. 修复 WebSocket 的同步/异步执行与回调问题。 5. 为 Session 增加用户身份、访问授权和数据清理策略。 6. 统一 15/17/8 专家、四节点/六阶段以及前后端入口的文档口径。 7. 补充端到端测试，覆盖审核失败、自动返工、Session 隔离、代理限流和完整导出。 ## 5. 综合评价云匠引擎的领域方法论、专家分工和人机协作设计较完整，已经明显超过普通的一次性剧本生成工具。当前最大的不足不是专家数量，而是几套实现尚未完全统一：前端、通用模型代理、Python Orchestrator、四节点 Session 和六阶段审核之间缺少一个由服务端强制执行、可以测试和审计的主流程。完成 LLM 代理安全、合规阻断、返工执行和当前架构统一后，项目才能更有力地证明“17 专家和六阶段子智能体”不仅是界面与方法论设计，也是一套完整、可靠的 Agent 执行系统。

👍 1

No labels

No milestone

No project

No assignees

1 participant

Notifications

Due date

The due date is invalid or out of range. Please use the format "yyyy-mm-dd".

No due date set.

Dependencies

No dependencies set.

Reference

xiaoduan/track-108#2

No description provided.

Rows
Columns