AI 短剧开源工具箱:12 个 GitHub 项目怎么接进制作流程

AI短剧开源项目GitHubComfyUI工具AI短剧 开源项目Toonflow 教程ComfyUI 短剧工作流LatentSync 对口型IndexTTS 音色克隆开源视频生成模型 2026AI短剧 工具链
AI 短剧开源工具箱:12 个 GitHub 项目怎么接进制作流程 封面
本文要点:围绕AI 短剧开源工具箱:12 个 GitHub 项目怎么接进制作流程展开,依次讲这份清单怎么用、一、一站式:不想拼乐高就先看这个、二、图像与视频生成底座、三、视频生成模型、四、对口型与换脸、五、配音、六、字幕与语音转写、七、剪辑、八、按你的硬件选一条路线。

这份清单怎么用

网上「AI 开源项目合集」很多,但大部分是按 star 排的,对你做短剧没什么用。star 高只说明热度,不说明它能不能接进你的流程。

所以我按制作链路来排:剧本与分镜 → 角色与场景资产 → 图像生成 → 视频生成 → 对口型 → 配音 → 字幕 → 剪辑。每个环节给两三个真在维护的项目,写清楚它解决哪一步、怎么跑起来、以及坑在哪。

所有 star 数是 2026 年 11 月 22 日的快照,仅供判断热度。许可证我单独标了——代码许可和模型权重许可是两回事,这个后面会专门说。

AI 短剧制作链路与开源工具映射:剧本分镜 → 角色资产 → 图像生成 → 视频生成 → 对口型 → 配音 → 字幕 → 剪辑
AI 短剧制作链路与开源工具映射:剧本分镜 → 角色资产 → 图像生成 → 视频生成 → 对口型 → 配音 → 字幕 → 剪辑

先看这张图:八个环节,每格下面是我实际会用的工具。不用全装,橙色两格建议先跑通。

一、一站式:不想拼乐高就先看这个

如果你只想装一个东西就把整条链路跑通,目前最值得看的是 Toonflow。

Toonflow|开源 AI 短剧、漫剧创作平台

HBAI-Ltd/Toonflow-app · 约 22.4k star · MIT · TypeScript + Vue 3 + Bun

它把「剧本 → 分镜 → 角色与场景资产 → 按镜头出片 → 剪辑」装进了一个工程里,界面是无限画布。几个我觉得真正解决痛点的设计:

怎么跑(Docker 路线最省事):

git clone https://github.com/HBAI-Ltd/Toonflow-app.git
cd Toonflow-app
docker compose up -d --build
# 打开 http://127.0.0.1:3000

也有 Windows / macOS / Linux / Android 客户端,不想碰命令行就下安装包。

必须知道的三件事:

  1. 服务固定跑 3000 端口,业务页和 API 没有登录鉴权。放公网必须加带认证的反向代理,或者用 ssh -N -L 3000:127.0.0.1:3000 做隧道。
  2. 数据在 data/(Docker 里是卷 toonflowData)。别执行 docker compose down -v,那个 -v 会连数据卷一起删。
  3. 它只是壳,模型 API Key 要自己配。想完全免费就跑本地模型,但那就吃显卡了。

适合:想有一套完整工程管项目的人,尤其是多集连载、角色多、要在画布上反复调分镜的团队。不适合:只想一键出片的纯小白——它给的是控制力,不是魔法。

二、图像与视频生成底座

ComfyUI

Comfy-Org/ComfyUI · 约 148k star · Python · GPL-3.0

节点式生成工作台,几乎市面上所有开源图像/视频模型都能在里面跑。它的价值不在「能生成」,而在流程可固化:把「加载角色参考图 → 生成 → 局部重绘 → 放大」串成一条工作流存下来,下次换角色只改输入。

配 ComfyUI-Manager(约 16.9k star)装节点,不然手动装依赖会疯。

坑:节点生态版本地狱。模型、节点、Python 版本三者对不上就报错,建议一个项目一个环境,用 Docker 或 conda 隔离。

ComfyUI-WanVideoWrapper

kijai/ComfyUI-WanVideoWrapper · 约 6.8k star

在 ComfyUI 里跑 Wan 系列视频模型的封装。相比官方节点,它对显存和精度的控制更细,长视频分段、首尾帧衔接这类活它做得更顺。

ComfyUI_IPAdapter_plus

cubiq/ComfyUI_IPAdapter_plus · 约 6.2k star

用参考图锁定人物面部和风格。做角色一致性时,这是「一张脸贯穿全剧」最直接的插件——比写一百字外貌描述管用。

三、视频生成模型

这三个是模型仓库,不是开箱即用的应用,跑起来要有显卡和一点耐心。

项目star特点适合
zai-org/CogVideo约 13.2k文/图生视频,社区工作流成熟想自己搭链路研究
Tencent-Hunyuan/HunyuanVideo-1.5约 4.6k主打轻量显存有限但想本地跑
PKU-YuanGroup/Helios约 2.3k实时长视频生成(论文 TPAMI 2026)关注长镜头不漂移

如果你只是想出片,用 API 更划算;本地跑模型的真实成本是「调环境的两天 + 显卡电费」。这一点很多合集不会告诉你。

四、对口型与换脸

LatentSync

bytedance/LatentSync · 约 6.3k star · 字节跳动

基于扩散模型的口型同步,给一段视频和一段音频,重绘嘴部让口型对上。相比传统 viseme 方案,它在侧脸和大幅度表情下更自然。

用法上注意:源视频的嘴部最好清晰、别有大面积遮挡,否则重绘区域会糊。

FaceFusion

facefusion/facefusion · 约 30.8k star

换脸平台,成熟度高、速度快。在短剧流程里的正当用途是后期补救:某个镜头人物崩了但动作很好,用换脸把脸换成基准脸,比重抽一条便宜。

必须提醒:换脸涉及肖像权和平台规则。用在虚构角色上没问题,用真人脸(尤其公众人物)会踩线,很多平台直接限流封号。这个风险自己承担。

五、配音

IndexTTS

index-tts/index-tts · 约 25.2k star · B 站开源

零样本音色克隆的 TTS,给几秒参考音频就能复刻音色,官方定位是「工业级可控」。中文表现是它的强项,情绪和停顿能调。

对短剧的意义:同一个角色的配音可以自己养一个音色,不用每集重新找配音老师,也不用担心换人。

Coqui TTS

coqui-ai/TTS · 约 46.3k star · MPL-2.0

老牌 TTS 工具箱,文档全、模型多。但要如实说:Coqui 公司早已停止运营,仓库长期没有实质更新。它的价值现在更多是「代码和训练脚本可以参考」,新项目不建议押在它上面,中文场景优先看 IndexTTS。

六、字幕与语音转写

Whisper / faster-whisper

openai/whisper 约 113k star · MIT;SYSTRAN/faster-whisper 约 27k star · MIT

Whisper 是转写的老大,多语言、抗噪。faster-whisper 是它的 CTranslate2 重实现,同样的模型快好几倍、显存更省,实际项目里基本都用后者。

短剧用法:配音出来先跑一遍转写,直接得到带时间轴的字幕,再人工校对专有名词。比手工敲字幕快一个量级。

Handy

cjpais/Handy · 约 39.5k star · Rust

完全离线的语音转文字桌面应用,装完就能用,不联网。适合不想折腾命令行的场景:录完音直接拖进去出文本。

七、剪辑

LosslessCut

mifi/lossless-cut · 约 46.3k star

无损剪切工具,基于 ffmpeg 但给了图形界面。它不重新编码,所以切一小时的素材只要几秒钟,画质零损失。

短剧里的定位是粗剪:把每个分镜生成的多条片段快速过一遍,掐头去尾留可用的。精剪还是得上正经剪辑软件。

HyperFrames

heygen-com/hyperframes · 约 87.8k star · TypeScript

HeyGen 开源的可编辑 AI 视频编辑器,定位是「生成的视频还能改」——不是给你一段死视频,而是保留结构化的编辑能力。适合「批量出片 + 统一改字幕/改配色」这类需求。

它的生态比较新,插件和教程还在长,上手成本比 LosslessCut 高。

八、按你的硬件选一条路线

不用全装,按预算挑一条:

条件组合说明
没显卡Toonflow 客户端 + 云端模型 API全部算力在云上,本地只做编排
单卡 16~24GComfyUI + WanVideoWrapper + IPAdapter + LatentSync + IndexTTS生成、锁脸、对口型、配音本地闭环
多卡/工作室上面全部 + CogVideo/HunyuanVideo + LoRA 训练追求一致性和产量,才值得自己训模型

第一阶段建议只装 Toonflow 或 ComfyUI 其中一个,跑通一条完整链路再扩。同时装五个工具的结果通常是五个都跑不起来。

九、几个通用的坑

star 数不代表适合你。 87.8k 的项目可能跟你的流程毫无关系,2k 的项目可能正好补上你缺的那一环。看功能,不看排名。

代码许可 ≠ 权重许可。 仓库写着 MIT/Apache,不代表里面的模型权重能商用。很多视频模型的权重是「非商业研究用途」,苹果 FastFrames 就是典型。要商用必须逐个查模型卡,别只看仓库首页的 license 徽章。

Windows 上编译是地狱。 带 CUDA 扩展的项目在 Windows 原生环境装依赖失败率很高,优先 Docker 或 WSL2。这不是技术问题,是时间问题。

API Key 别写进代码。 用环境变量或配置文件,配置文件别提交到仓库——很多人的 key 就是这么泄露的。

先跑最小闭环再优化。 用一段 4 秒音频、一张定妆照,把「图 + 音 → 说话视频」跑通,再谈批量。全流程一次搭完,出问题时你不知道是哪一环坏的。

最后

这份清单里我最推荐先试的是 Toonflow——不是因为它 star 最高,而是它把「资产管理」这件事做进了工具里。角色有素材库、场景有素材库、分镜能预演,这些恰好是 AI 短剧最容易翻车的地方。

工具解决的是「有没有」,流程解决的是「稳不稳」。前者可以下载,后者只能自己长出来。


数据说明:star 数为 2026-11-22 通过 GitHub API / shields.io 取的快照,会持续变化;许可证信息取自仓库页面,模型权重与第三方依赖的许可需自行核对;本文所述安装命令来自各项目官方文档,未逐一独立复现全部流程。

常见问题 / FAQ

做 AI 短剧需要装哪些开源工具?

按环节分:剧本分镜和整体编排用 Toonflow;图像与视频生成底座用 ComfyUI,配 ComfyUI-Manager 装插件、WanVideoWrapper 跑视频模型、IPAdapter_plus 锁角色脸;对口型用 LatentSync;配音用 IndexTTS;字幕用 faster-whisper;粗剪用 LosslessCut。不需要全装,先跑通「一张图 + 一段音 → 说话视频」的最小闭环,再按缺口补。

Toonflow 和 ComfyUI 有什么区别,能互相替代吗?

不能替代,定位不同。Toonflow 是项目级平台,把剧本、分镜、角色与场景资产、按镜头出片装进一个工程,带无限画布和 3D 白模预演,解决的是项目组织和走位预演;ComfyUI 是生成底座,用节点编排模型,解决的是具体怎么生成、怎么控制。常见做法是用 Toonflow 管项目、用 ComfyUI 做单个镜头的精细生成。

没有独立显卡能做 AI 短剧吗?

可以。路线是 Toonflow 客户端加云端模型 API:本地只负责编排和剪辑,生成算力放在云上。Toonflow 本身是壳,模型 API Key 需要自己配,内置 Seedance、Seedream、MiniMax、Wan 等,也能接第三方 API。代价是按量付费,好处是不用折腾环境。

这些开源工具能直接商用吗?

要分开看:代码许可证(MIT、Apache 2.0 等)管的是代码,模型权重往往另有条款,很多视频模型的权重限定非商业研究用途。要商用必须逐个查模型卡的许可说明,不能只看仓库首页的 license 徽章。另外换脸类工具(如 FaceFusion)涉及肖像权和平台规则,用真人脸容易踩线。

◂ 返回列表 工具分享 ▸