OpenAI 宣布了视频生成模型 Sora，并公布了一份相关的技术报告。Sora 能生成最长 1 分钟的高清视频，OpenAI 公布了数十个示例，展现了其惊人的文本生成视频能力。大模型使用 text tokens 统一代码、数学和自然语言的不同文本形式，而 Sora 使用了 visual patches 统一了所有类型的视觉数据。OpenAI 表示，Sora 能够根据文本指令生成长达 60 秒的视频，同时保持视觉质量并遵守用户提示。Sora 可生成具有多个角色、特定类型运动以及精确主题和背景细节的复杂场景。该模型对语言有深刻理解，能够准确领会提示，生成令人信服的角色。Sora 还可以在单个生成视频中创建多个镜头，准确保留角色和视觉风格。除了能仅从文本指令生成视频外，该模型还能够利用现有的静止图像从中生成视频，精确地将图像内容动画化，也可以利用现有视频进行扩展或填充缺失的帧。Sora 仍在开发中，存在明显“弱点”，特别是在提示空间细节方面会混淆左右，也无法理解因果关系的具体实例，比如制作了一个视频，视频中有人咬了一口饼干，但之后饼干上没有咬痕。

https://openai.com/sora
https://openai.com/research/video-generation-models-as-world-simulators
https://news.sciencenet.cn/htmlnews/2024/2/517566.shtm