Open-Sora开源项目更新：可生成长达16秒_720P高清视频

摘要： 月日没有信号赵雷年巡演首场在南京举办久违七年赵雷带着满满的诚意再次回归巡演舞台演唱会舞美方面独设巧思围绕没有信号的巡演主题将舞台呈现为离岛造型契合划重点可生成秒高清视频新版本架构升...

3月16日，“没有信号”赵雷2024年巡演首场在南京举办。久违七年，赵雷带着满满的诚意再次回归巡演舞台。 演唱会舞美方面独设巧思，围绕“没有信号”的巡演主题，将舞台呈现为“离岛”造型，契合....

划重点:

⭐ 可生成16秒，720P 高清视频

⭐ 新版本架构升级，稳定性提升

⭐ 多时间 / 分辨率 / 长宽比 / 帧率训练，支持多模态功能

4月29日 消息:潞晨科技旗下文生视频模型开源项目 Open-Sora 近日进行了重大更新，新版本可以生成16秒时长、720P 高清视频。

在本次更新中，团队对1.0版本的 STDiT 架构进行了关键性改进，提高了模型的训练稳定性和整体性能。新版本采用了多阶段训练方法，有效地提升了视频生成质量，训练流程中引入了 QK 归一化技术和旋转位置编码。此外，Open-Sora 还支持多时间、分辨率、长宽比和帧率的训练，具备多模态功能，可以处理文本到图像、文本到视频、图像到视频等任务。

Open-Sora 的架构升级和训练流程优化使得视频生成更加稳定和高效。团队引入了掩码策略来支持图像和视频的条件化处理，提供了详细的掩码策略配置指南，增强了模型在处理图像条件化任务时的学习效果。另外，在数据收集和预处理方面，团队建立了自动化的流程，包括场景分割、字幕处理、数据评分与筛选等步骤，优化了数据集的质量和数量。

Open-Sora 的更新版本在模型稳定性、训练效率和功能扩展等方面都取得了显著进展，为用户提供了更加强大和多样化的视频生成能力。

项目入口:https://top.aibase.com/tool/open-sora