可灵AI世界里的古今穿越有多绝

快手公司新推出的国内视频生成模型“可灵”，采用了与Sora相似的技术路径，并融合了众多自主研发的新技术。这一模型能够产生长达120秒、分辨率高达1080p的视频内容，并且在模拟复杂运动和物理特性方面表现出色。

主要功能亮点：

1. 高质量视频制作：

- 时长与帧率：“可灵”支持高达2分钟、每秒30帧的视频输出，确保流畅的视觉体验。

- 分辨率：达到1080p的高分辨率输出，保证了画面的清晰度和细腻度。

- 宽高比：适应各种观看场景和平台需求，支持多宽高比的视频生成。

2. 物理世界模拟：

- 真实物理效果：该模型可以精准地再现诸如重力、光影反射、液体流动等自然物理现象。

- 细节呈现：对物体的运动、表面反光、影子的变化等细节进行了精细的刻画，提供逼真的视觉效果。

3. 复杂运动的精确描绘：

- 动态建模：无论是快速奔跑的动物还是月球上行走的宇航员，都能准确捕捉并重现其动态。

通过上述技术的整合应用，“可灵”大模型不仅提升了视频内容的生成质量，还为各类应用场景提供了强大的技术支持，标志着AI视频生成技术在国产化道路上的一大步。

在生成视频内容方面，我们确保画面的流畅度和连贯性，精准捕捉动态过程中的微小变化。我们的技术支持用户输入多种控制信息，如摄像机运动、帧频率以及边缘、关键点和深度等信息，极大地丰富了内容控制的灵活性。

为了优化文本提示词的处理，我们设计了专门的语言模型，该模型能够对用户的输入进行高效的扩展和优化处理，从而显著提升内容的生成质量。

从技术实现的角度来看：

1. 模型架构：

- 采用了类似Sora的DiT结构，通过使用Transformer来替换传统扩散模型中的卷积网络，这不仅增强了生成能力，还提高了系统的可扩展性。

- 自研的3D VAE网络实现了时空数据的同步压缩，有效提升了视频重建的品质。

- 设计了一种全注意力机制，通过3D Attention进行精确的时空建模，这让我们能够准确模拟复杂的时空动态，同时考虑到计算效率的问题。

2. 数据质量保证：

- 建立了完整的标签体系，通过精细化的数据筛选与调整，确保训练用的视频数据具有高质量。

在视频描述模型的研制上，我们成功构建了一种精确且详尽的模型，通过优化文本指令的响应性，显著提升了其功能。

计算效率的提升

- 分布式训练集群的应用：借助分布式训练集群，我们利用算子和重算策略的优化手段，极大提高了硬件的使用效率。

- 分阶段训练策略：我们采取了一种分阶段的培训策略，先在较低的分辨率阶段通过海量数据来增强模型的能力，随后转入高分辨率阶段以提升细节的呈现效果。

创新案例展示

- 大规模合理动作生成：我们实现了长达两分钟的视频内容生成，展现了流畅且合理的运动效果。

- 物理世界模拟：我们的模型能够模拟物理世界的特性，为画面生成提供了强大的概念组合能力。

- 电影级别画质生成：支持自由调整输出视频的宽高比，能够生成电影级别的画质效果。

- 表情与身体动态驱动：基于自研的3D人脸和人体重建技术，结合背景稳定性与重定向模块，实现了仅需一张全身照片即可体验生动“唱跳”玩法的表情肢体全驱动技术。

官网访问：(https://kling.kuaishou.com/)