原生 SwiftUI 界面稳定扩散的本地 AI 视频创作平台
波科拉
Pokora 是一个视频创建平台，它将现有视频剪辑与 AI 生成的视频剪辑相结合，使用稳定扩散，在原生 SwiftUI 界面中，完全本地，无需访问互联网。Pokora 使用输入影片的帧，通过稳定扩散模型运行图像到图像处理。查看 ml-stable-扩散，了解最新的 CoreML 模型更改以及如何转换模型。
🧙 ♂️ Pokora以Hans Pokora的名字命名，Hans Pokora是许多关于收藏迷幻黑胶唱片的书籍的作者。
特征
- 从磁盘✅加载视频
- 使用稳定扩散的工艺框架（提示、种子、强度） ✅
- 导出视频，包括原始视频✅中的音频
- “需要”图标 ✅
- 需要更轻松的模型✅安装
- 在视频过程中调整强度 #7
- 在应用程序#9中播放视频
- 使用 RealESRGAN #8 添加 rezzing
- 在发布之间坚持 #16
- 更新以使用 ControlNET #10
- 处理 #34 时显示预览
- 多选 #36
局限性
- 需要方形视频作为输入
- 需要将模型转换为 CoreML（见下文）
- 目前使用 ml-稳定扩散 v0.3.0
要求
使用下面构建，但尚未在其他地方测试。
- macOS 13.3.1+
- Xcode 14.3+
模型
您需要转换或下载 CoreML 格式的模型。你可以从HuggingFace组织下载。
注意：我在使用 v2.1 型号时遇到了问题，我认为它不喜欢 768×768。我验证了这个模型在这里有效，但是我自己转换的模型速度更快。
许可证
该项目在 MIT 许可证下获得许可 – 有关详细信息，请参阅许可证文件。
