针对数学,物理,化学,算法,计算机等包含大量抽象信息,精确度要求高的领域,并不适合直接用AI生视频模型,这个项目探索了针对这个领域的AI辅助视频制作技术。
- TypeScript 81.9%
- Python 18.1%
| agents | ||
| artifacts | ||
| manim_scenes | ||
| public | ||
| scripts | ||
| skills | ||
| src | ||
| .gitignore | ||
| agent.md | ||
| design.md | ||
| EVIDENCE.md | ||
| package-lock.json | ||
| package.json | ||
| platform-compatibility.md | ||
| README.md | ||
| spec.md | ||
| tsconfig.json | ||
ProVideo Agent
以可组合 Skills 驱动的专业知识视频智能体:从课程策划、数据动画和旁白生成,到成片质检,形成可复现、可评测的生产闭环。
本项目参加“滴水湖全球 OPC 人工智能挑战赛暨第二届燕缘·协创者号 AI+ 国际创业大赛——雪窦山 AIGC 品牌出海赛道”,选择 方向一:研发 AI 智能体工具。
项目文档
项目的需求、能力边界与验证方法记录在以下公开文档中:
项目同时提供可运行的 Agent、四个 Skills 和端到端视频样例,用于证明技术可行性。
项目解决什么问题
专业知识视频不是若干独立镜头的拼接。它要求长内容叙事连续、跨镜头数据一致、口播与画面同步,而且最终结果必须可检查、可修改、可重新生成。通用生成工具往往缺少这条工程闭环。
ProVideo Agent 将工作拆成四个可组合 Skills:
| Skill | 负责内容 | 当前验证结果 |
|---|---|---|
plan-course-video |
课程目标、分镜、口播 | 完成 14 镜头 ROC/AUC 脚本 |
build-data-visuals |
统一数据源与程序化动画 | 100 名受检者跨镜头联动 |
generate-narration-audio |
逐镜头旁白生成与时长检查 | 14 段音频全部通过校验 |
validate-video-delivery |
数据、工程、音频与成片验收 | 形成自动验证报告 |
已完成的端到端样例
《ROC 曲线与 AUC》医学教学视频已经完成:
- 14 个连续教学镜头;
- 同一批 100 名受检者贯穿 Accuracy、阈值、ROC 和 AUC 推导;
- 8 分 20 秒,1920×1080,24 fps,H.264 + AAC;
- 自动计算 AUC=0.8368;
- 数据断言、类型检查、音频、解码、黑帧、长静音和逐镜头抽帧验收均通过。
赛事系统中的附加演示视频是 ProVideo Agent 的端到端输出样例,用于展示最终视频效果,不将成片本身表述为产品交互界面。Agent 的交互方式由本仓库的执行器和真实 CLI 交互记录展示。视频 URL 由赛事系统独立配置,本仓库不维护该链接,也不提交 MP4、逐镜头音频和渲染缓存。轻量预览见 14 镜头抽帧总览,详细结果见 验证报告。
Agent 交互
运行轻量 Agent 入口:
npm install
npm run agent -- "制作一支关于 ROC/AUC 的完整课程视频"
Agent 会选择并显式点名所需 Skills:
plan-course-video
-> build-data-visuals
-> generate-narration-audio
-> validate-video-delivery
完整代码和交互证据:
本地复现
环境要求:Node.js 22+、npm 10+、ffmpeg 8+。Python 命令必须从项目 .venv 运行。
npm install
source .venv/bin/activate
npm run audio:generate
npm run audio:validate
npm run validate
npm run render:preview
最终渲染:
source .venv/bin/activate
npm run render:final
生成的本地成片位于 output/roc-auc-course.mp4,该目录已被 Git 忽略。
主要技术
- Codex / Claude Code / OpenClaw:Skills 的宿主与调度环境
- Remotion、React、TypeScript:程序化场景与视频渲染
- Edge TTS:中文旁白生成
- ffmpeg / ffprobe:音视频处理与技术质检
- Manim:复杂数学动画技术验证
仓库结构
agents/ Agent 执行器与运行说明
skills/ 四个专业视频 Skills
src/video/ 数据、组件、场景和成片组合
scripts/ 数据、旁白和音频校验脚本
manim_scenes/ 数学动画技术验证源码
artifacts/ 仅提交轻量交互与验证证据
spec.md 项目提案与评测标准
EVIDENCE.md 交互与质量验证证据