【S1W3 交叉评测】MedRoundTable Wave 3 — 项目评测意见与评分 #4
Loading…
Add table
Add a link
Reference in a new issue
No description provided.
Delete branch "%!s()"
Deleting a branch is permanent. Although the deleted branch may continue to exist for a short time before it actually gets removed, it CANNOT be undone in most cases. Continue?
交叉评测意见
1. 项目理解
我理解该项目为 "MedRoundTable Wave 3"，是一个基于 A2A（Agent-to-Agent）多智能体架构的医学科研协作平台。项目以"输入一个临床/科研问题 → 输出一份经 14 位专家协作讨论、质量评估后可执行的报告（含 JSON + Markdown）"为核心链路。
系统架构为：1 个统一入口 → 自动识别问题类型 → 路由到 4 大核心 Skill（临床试验设计 / 药物重定位 / 罕见病诊断 / 论文智能合著）→ 14 个独立 AI Agent（临床主任/博士生/流病学家/统计学家/研究护士等）通过真实 LLM API 调用进行圆桌讨论 → QualityAssessor 进行 5 维质量评估 → 导出报告。
技术栈为 Python + FastAPI + DeepSeek API + Docker，前端提供 46 个 HTML 页面。
2. 项目优点
2.1 A2A 多 Agent 架构极其成熟
14 个独立 Agent 各自拥有独立的 system_prompt、专业领域知识 expertise 和独立的 LLM API 调用路径。与常见的"单次调用 + prompt 切角色"的形式化多 Agent 不同，MedRoundTable 是真正的多 Agent 系统——每轮发言都是一次真实的 DeepSeek API 请求，且采用"选择性上下文注入"策略（仅保留当前阶段消息 + 最近 4 位同僚观点），而非全量塞入 prompt。在有评测过的项目中属于技术架构最领先的。
2.2 文档体系极为完善
2.3 质量评估体系完整
QualityAssessor 实现了 5 维独立评分（参与度、观点多样性、证据引用率、可操作性、辩论深度），并有专门的评估标准和机制，这在评测项目中是独一无二的。
2.4 工程化程度高
2.5 Citation Manager 实时引用注入
独立于 Agent 讨论流程之外的引用管理模块，可实时注入 PubMed 文献引用，增强讨论的学术严谨性。
3. 当前不足
3.1 核心 AI 能力依赖外部 API Key
所有 Agent 的真实讨论依赖 DeepSeek API Key（config.env.example 中为占位符）。在比赛评测场景下若无有效 Key，demo.sh 将无法完整运行，14 Agent 协作讨论和 QualityAssessor 评估能力无法验证。
3.2 无前端 Demo 部署地址
虽然提供了 46 个前端 HTML 页面和 Docker 配置，但未提供线上部署地址。评测人员需要本地搭建 Python + Docker 环境并配置 API Key 才能体验，评测门槛较高。
3.3 仅 3 次提交，迭代过程不可见
仓库仅有 3 次提交记录，缺少从 S1W1→S1W2→S1W3 的迭代演进痕迹，评审无法了解项目的开发过程和优化历程。
3.4 Agents 数量与核心 Skill 的对应关系不够直观
文档宣称"14 位 AI 专家 × 4 大核心 Skill"，但实际代码中 14 个 Agent 具体如何分配到 4 个 Skill 的编排逻辑在快速阅读时不够直观，需要深入阅读 orchestrator.py（1522 行）才能理解。
3.5 测试覆盖不完整
虽然 skills_wave2/ 目录下有 test_skills.py，但核心的 orchestrator、quality_assessor、LLM client 等模块缺少独立的单元测试，Agent 协作链路的正确性依赖完整集成测试。
4. 建议
4.1 提供线上 Demo 地址或离线演示视频
建议将 Docker 镜像部署到可公开访问的服务器，或录制 3-5 分钟的演示视频，展示 14 Agent 协作讨论和 QualityAssessor 评估的完整流程，降低评测门槛。
4.2 提供无 API Key 的演示模式
建议为 demo.sh 添加 --mock 参数，在无 DeepSeek API Key 时使用预设对话数据模拟 Agent 讨论流程，让评测人员至少可以看到系统的讨论流程和输出格式。
4.3 补充 Agent→Skill 路由的可视化
建议在 README 或 ARCHITECTURE.md 中添加一个映射表或流程图，明确展示"输入问题类型 → 匹配 Skill → 激活 Agent 集合"的路由逻辑。
4.4 补充核心模块的单元测试
为 orchestrator 的 Agent 调度逻辑、QualityAssessor 的评分算法、citation_manager 的引用注入功能补充独立的单元测试。
4.5 丰富提交历史
建议在后续迭代中保持更细粒度的提交记录，展示开发过程中的思考、重构和优化，方便评审了解项目的演进脉络。
5. 评分（基于 S1W3 官方评审标准）
维度 1：创新性与技术含量（权重 30%）
维度 2：AI+OPC 模式可行性（权重 30%）
维度 3：市场潜力与社会价值（权重 30%）
维度 4：落地临港可行性（权重 10%）
综合得分
最终评分：8.2 / 10 分
S1W3 阶段特别评估
6. 综合评价
从当前材料来看，该项目：技术架构极领先、文档体系极完善、质量评估机制独特。A2A 真实多 Agent 架构（14 个独立 LLM API 调用 + 选择性上下文注入 + QualityAssessor）在评测项目中属于技术实现最成熟、设计理念最前沿的项目之一。核心不足在于缺少线上 Demo 地址和依赖外部 API Key，评测人员无法快速直接体验。建议后续补充无 Key 演示模式和线上部署地址。