针对数学,物理,化学,算法,计算机等包含大量抽象信息,精确度要求高的领域,并不适合直接用AI生视频模型,这个项目探索了针对这个领域的AI辅助视频制作技术。
  • TypeScript 81.9%
  • Python 18.1%
Find a file
2026-07-26 21:45:55 +08:00
agents chore: bootstrap ProVideo Agent 2026-07-26 21:37:34 +08:00
artifacts chore: bootstrap ProVideo Agent 2026-07-26 21:37:34 +08:00
manim_scenes chore: bootstrap ProVideo Agent 2026-07-26 21:37:34 +08:00
public chore: bootstrap ProVideo Agent 2026-07-26 21:37:34 +08:00
scripts chore: bootstrap ProVideo Agent 2026-07-26 21:37:34 +08:00
skills chore: bootstrap ProVideo Agent 2026-07-26 21:37:34 +08:00
src chore: bootstrap ProVideo Agent 2026-07-26 21:37:34 +08:00
.gitignore chore: bootstrap ProVideo Agent 2026-07-26 21:37:34 +08:00
agent.md docs: clarify demo output positioning 2026-07-26 21:45:55 +08:00
design.md chore: bootstrap ProVideo Agent 2026-07-26 21:37:34 +08:00
EVIDENCE.md docs: clarify demo output positioning 2026-07-26 21:45:55 +08:00
package-lock.json chore: bootstrap ProVideo Agent 2026-07-26 21:37:34 +08:00
package.json chore: bootstrap ProVideo Agent 2026-07-26 21:37:34 +08:00
platform-compatibility.md chore: bootstrap ProVideo Agent 2026-07-26 21:37:34 +08:00
README.md docs: clarify demo output positioning 2026-07-26 21:45:55 +08:00
spec.md docs: clarify demo output positioning 2026-07-26 21:45:55 +08:00
tsconfig.json chore: bootstrap ProVideo Agent 2026-07-26 21:37:34 +08:00

ProVideo Agent

以可组合 Skills 驱动的专业知识视频智能体:从课程策划、数据动画和旁白生成,到成片质检,形成可复现、可评测的生产闭环。

本项目参加“滴水湖全球 OPC 人工智能挑战赛暨第二届燕缘·协创者号 AI+ 国际创业大赛——雪窦山 AIGC 品牌出海赛道”,选择 方向一:研发 AI 智能体工具

项目文档

项目的需求、能力边界与验证方法记录在以下公开文档中:

  • 项目 Specs:创作问题、目标用户、核心功能、本轮验证能力与评测方法
  • Agent 架构Skills、调度流程、运行方式与当前边界
  • 验证证据:交互、数据、音频和成片质量证据索引

项目同时提供可运行的 Agent、四个 Skills 和端到端视频样例,用于证明技术可行性。

项目解决什么问题

专业知识视频不是若干独立镜头的拼接。它要求长内容叙事连续、跨镜头数据一致、口播与画面同步,而且最终结果必须可检查、可修改、可重新生成。通用生成工具往往缺少这条工程闭环。

ProVideo Agent 将工作拆成四个可组合 Skills

Skill 负责内容 当前验证结果
plan-course-video 课程目标、分镜、口播 完成 14 镜头 ROC/AUC 脚本
build-data-visuals 统一数据源与程序化动画 100 名受检者跨镜头联动
generate-narration-audio 逐镜头旁白生成与时长检查 14 段音频全部通过校验
validate-video-delivery 数据、工程、音频与成片验收 形成自动验证报告

已完成的端到端样例

《ROC 曲线与 AUC》医学教学视频已经完成

  • 14 个连续教学镜头;
  • 同一批 100 名受检者贯穿 Accuracy、阈值、ROC 和 AUC 推导;
  • 8 分 20 秒1920×108024 fpsH.264 + AAC
  • 自动计算 AUC=0.8368
  • 数据断言、类型检查、音频、解码、黑帧、长静音和逐镜头抽帧验收均通过。

赛事系统中的附加演示视频是 ProVideo Agent 的端到端输出样例用于展示最终视频效果不将成片本身表述为产品交互界面。Agent 的交互方式由本仓库的执行器和真实 CLI 交互记录展示。视频 URL 由赛事系统独立配置,本仓库不维护该链接,也不提交 MP4、逐镜头音频和渲染缓存。轻量预览见 14 镜头抽帧总览,详细结果见 验证报告

Agent 交互

运行轻量 Agent 入口:

npm install
npm run agent -- "制作一支关于 ROC/AUC 的完整课程视频"

Agent 会选择并显式点名所需 Skills

plan-course-video
  -> build-data-visuals
  -> generate-narration-audio
  -> validate-video-delivery

完整代码和交互证据:

本地复现

环境要求Node.js 22+、npm 10+、ffmpeg 8+。Python 命令必须从项目 .venv 运行。

npm install
source .venv/bin/activate
npm run audio:generate
npm run audio:validate
npm run validate
npm run render:preview

最终渲染:

source .venv/bin/activate
npm run render:final

生成的本地成片位于 output/roc-auc-course.mp4,该目录已被 Git 忽略。

主要技术

  • Codex / Claude Code / OpenClawSkills 的宿主与调度环境
  • Remotion、React、TypeScript程序化场景与视频渲染
  • Edge TTS中文旁白生成
  • ffmpeg / ffprobe音视频处理与技术质检
  • Manim复杂数学动画技术验证

仓库结构

agents/          Agent 执行器与运行说明
skills/          四个专业视频 Skills
src/video/       数据、组件、场景和成片组合
scripts/         数据、旁白和音频校验脚本
manim_scenes/    数学动画技术验证源码
artifacts/       仅提交轻量交互与验证证据
spec.md          项目提案与评测标准
EVIDENCE.md      交互与质量验证证据