这份清单怎么用
网上「AI 开源项目合集」很多,但大部分是按 star 排的,对你做短剧没什么用。star 高只说明热度,不说明它能不能接进你的流程。
所以我按制作链路来排:剧本与分镜 → 角色与场景资产 → 图像生成 → 视频生成 → 对口型 → 配音 → 字幕 → 剪辑。每个环节给两三个真在维护的项目,写清楚它解决哪一步、怎么跑起来、以及坑在哪。
所有 star 数是 2026 年 11 月 22 日的快照,仅供判断热度。许可证我单独标了——代码许可和模型权重许可是两回事,这个后面会专门说。

先看这张图:八个环节,每格下面是我实际会用的工具。不用全装,橙色两格建议先跑通。
一、一站式:不想拼乐高就先看这个
如果你只想装一个东西就把整条链路跑通,目前最值得看的是 Toonflow。
Toonflow|开源 AI 短剧、漫剧创作平台
HBAI-Ltd/Toonflow-app · 约 22.4k star · MIT · TypeScript + Vue 3 + Bun
它把「剧本 → 分镜 → 角色与场景资产 → 按镜头出片 → 剪辑」装进了一个工程里,界面是无限画布。几个我觉得真正解决痛点的设计:
- 白模预演:粘贴剧本,自动按台词分镜、在 3D 场景里排走位,监看窗直接出画面和字幕。走位错了改白模,不用重抽视频——这一步能省掉大量废片。
- 角色与场景资产管理:角色三视图、场景、道具统一存在素材库里,生成视频时用
@引用,不用每次重新描述外貌。这正是解决「第三集换了一张脸」的正解。 - 自由接模型:内置 Seedance、Seedream、MiniMax、Wan 等,也能接第三方 API、本地大模型和 ComfyUI。
- 插件市场 + MCP:节点和技能可扩展,AI 助手能直接读写画布。
怎么跑(Docker 路线最省事):
git clone https://github.com/HBAI-Ltd/Toonflow-app.git
cd Toonflow-app
docker compose up -d --build
# 打开 http://127.0.0.1:3000
也有 Windows / macOS / Linux / Android 客户端,不想碰命令行就下安装包。
必须知道的三件事:
- 服务固定跑 3000 端口,业务页和 API 没有登录鉴权。放公网必须加带认证的反向代理,或者用
ssh -N -L 3000:127.0.0.1:3000做隧道。 - 数据在
data/(Docker 里是卷toonflowData)。别执行docker compose down -v,那个-v会连数据卷一起删。 - 它只是壳,模型 API Key 要自己配。想完全免费就跑本地模型,但那就吃显卡了。
适合:想有一套完整工程管项目的人,尤其是多集连载、角色多、要在画布上反复调分镜的团队。不适合:只想一键出片的纯小白——它给的是控制力,不是魔法。
二、图像与视频生成底座
ComfyUI
Comfy-Org/ComfyUI · 约 148k star · Python · GPL-3.0
节点式生成工作台,几乎市面上所有开源图像/视频模型都能在里面跑。它的价值不在「能生成」,而在流程可固化:把「加载角色参考图 → 生成 → 局部重绘 → 放大」串成一条工作流存下来,下次换角色只改输入。
配 ComfyUI-Manager(约 16.9k star)装节点,不然手动装依赖会疯。
坑:节点生态版本地狱。模型、节点、Python 版本三者对不上就报错,建议一个项目一个环境,用 Docker 或 conda 隔离。
ComfyUI-WanVideoWrapper
kijai/ComfyUI-WanVideoWrapper · 约 6.8k star
在 ComfyUI 里跑 Wan 系列视频模型的封装。相比官方节点,它对显存和精度的控制更细,长视频分段、首尾帧衔接这类活它做得更顺。
ComfyUI_IPAdapter_plus
cubiq/ComfyUI_IPAdapter_plus · 约 6.2k star
用参考图锁定人物面部和风格。做角色一致性时,这是「一张脸贯穿全剧」最直接的插件——比写一百字外貌描述管用。
三、视频生成模型
这三个是模型仓库,不是开箱即用的应用,跑起来要有显卡和一点耐心。
| 项目 | star | 特点 | 适合 |
|---|---|---|---|
zai-org/CogVideo | 约 13.2k | 文/图生视频,社区工作流成熟 | 想自己搭链路研究 |
Tencent-Hunyuan/HunyuanVideo-1.5 | 约 4.6k | 主打轻量 | 显存有限但想本地跑 |
PKU-YuanGroup/Helios | 约 2.3k | 实时长视频生成(论文 TPAMI 2026) | 关注长镜头不漂移 |
如果你只是想出片,用 API 更划算;本地跑模型的真实成本是「调环境的两天 + 显卡电费」。这一点很多合集不会告诉你。
四、对口型与换脸
LatentSync
bytedance/LatentSync · 约 6.3k star · 字节跳动
基于扩散模型的口型同步,给一段视频和一段音频,重绘嘴部让口型对上。相比传统 viseme 方案,它在侧脸和大幅度表情下更自然。
用法上注意:源视频的嘴部最好清晰、别有大面积遮挡,否则重绘区域会糊。
FaceFusion
facefusion/facefusion · 约 30.8k star
换脸平台,成熟度高、速度快。在短剧流程里的正当用途是后期补救:某个镜头人物崩了但动作很好,用换脸把脸换成基准脸,比重抽一条便宜。
必须提醒:换脸涉及肖像权和平台规则。用在虚构角色上没问题,用真人脸(尤其公众人物)会踩线,很多平台直接限流封号。这个风险自己承担。
五、配音
IndexTTS
index-tts/index-tts · 约 25.2k star · B 站开源
零样本音色克隆的 TTS,给几秒参考音频就能复刻音色,官方定位是「工业级可控」。中文表现是它的强项,情绪和停顿能调。
对短剧的意义:同一个角色的配音可以自己养一个音色,不用每集重新找配音老师,也不用担心换人。
Coqui TTS
coqui-ai/TTS · 约 46.3k star · MPL-2.0
老牌 TTS 工具箱,文档全、模型多。但要如实说:Coqui 公司早已停止运营,仓库长期没有实质更新。它的价值现在更多是「代码和训练脚本可以参考」,新项目不建议押在它上面,中文场景优先看 IndexTTS。
六、字幕与语音转写
Whisper / faster-whisper
openai/whisper 约 113k star · MIT;SYSTRAN/faster-whisper 约 27k star · MIT
Whisper 是转写的老大,多语言、抗噪。faster-whisper 是它的 CTranslate2 重实现,同样的模型快好几倍、显存更省,实际项目里基本都用后者。
短剧用法:配音出来先跑一遍转写,直接得到带时间轴的字幕,再人工校对专有名词。比手工敲字幕快一个量级。
Handy
cjpais/Handy · 约 39.5k star · Rust
完全离线的语音转文字桌面应用,装完就能用,不联网。适合不想折腾命令行的场景:录完音直接拖进去出文本。
七、剪辑
LosslessCut
mifi/lossless-cut · 约 46.3k star
无损剪切工具,基于 ffmpeg 但给了图形界面。它不重新编码,所以切一小时的素材只要几秒钟,画质零损失。
短剧里的定位是粗剪:把每个分镜生成的多条片段快速过一遍,掐头去尾留可用的。精剪还是得上正经剪辑软件。
HyperFrames
heygen-com/hyperframes · 约 87.8k star · TypeScript
HeyGen 开源的可编辑 AI 视频编辑器,定位是「生成的视频还能改」——不是给你一段死视频,而是保留结构化的编辑能力。适合「批量出片 + 统一改字幕/改配色」这类需求。
它的生态比较新,插件和教程还在长,上手成本比 LosslessCut 高。
八、按你的硬件选一条路线
不用全装,按预算挑一条:
| 条件 | 组合 | 说明 |
|---|---|---|
| 没显卡 | Toonflow 客户端 + 云端模型 API | 全部算力在云上,本地只做编排 |
| 单卡 16~24G | ComfyUI + WanVideoWrapper + IPAdapter + LatentSync + IndexTTS | 生成、锁脸、对口型、配音本地闭环 |
| 多卡/工作室 | 上面全部 + CogVideo/HunyuanVideo + LoRA 训练 | 追求一致性和产量,才值得自己训模型 |
第一阶段建议只装 Toonflow 或 ComfyUI 其中一个,跑通一条完整链路再扩。同时装五个工具的结果通常是五个都跑不起来。
九、几个通用的坑
star 数不代表适合你。 87.8k 的项目可能跟你的流程毫无关系,2k 的项目可能正好补上你缺的那一环。看功能,不看排名。
代码许可 ≠ 权重许可。 仓库写着 MIT/Apache,不代表里面的模型权重能商用。很多视频模型的权重是「非商业研究用途」,苹果 FastFrames 就是典型。要商用必须逐个查模型卡,别只看仓库首页的 license 徽章。
Windows 上编译是地狱。 带 CUDA 扩展的项目在 Windows 原生环境装依赖失败率很高,优先 Docker 或 WSL2。这不是技术问题,是时间问题。
API Key 别写进代码。 用环境变量或配置文件,配置文件别提交到仓库——很多人的 key 就是这么泄露的。
先跑最小闭环再优化。 用一段 4 秒音频、一张定妆照,把「图 + 音 → 说话视频」跑通,再谈批量。全流程一次搭完,出问题时你不知道是哪一环坏的。
最后
这份清单里我最推荐先试的是 Toonflow——不是因为它 star 最高,而是它把「资产管理」这件事做进了工具里。角色有素材库、场景有素材库、分镜能预演,这些恰好是 AI 短剧最容易翻车的地方。
工具解决的是「有没有」,流程解决的是「稳不稳」。前者可以下载,后者只能自己长出来。
数据说明:star 数为 2026-11-22 通过 GitHub API / shields.io 取的快照,会持续变化;许可证信息取自仓库页面,模型权重与第三方依赖的许可需自行核对;本文所述安装命令来自各项目官方文档,未逐一独立复现全部流程。