Runway公司提供了一个基于网络的视频编辑器,专注于人工智能工具,如背景移除和姿态检测。该公司参与开发了开源文本生成图像模型Stable Diffusion,并在二月份发布了第一个人工智能视频编辑模型Gen-1。
Gen-1主要是对现有视频素材进行转换,让用户输入一个粗糙的3D动画或者抖动的手机拍摄片段,并
应用一个人工智能生成的覆盖层。例如在下面的例子中,纸板包装的视频与一个工业厂房的
图片结合起来,产生了一个可以用于故事板或者提案更精美作品的片段。
相比之下,Gen-2更专注于从零开始生成视频,但是也有很多需要注意的地方。首先,Runway公司分享的演示片段都很短、不稳定、并不是很逼真;其次,访问权限也受限,用户必须通过Runway公司的Discord平台注册并加入等待名单才能使用Gen-2模型;该公司发言人Kelsey Rondenet称,“我们将在未来几周内提供广泛访问。”换句话说:目前我们只能通过一个演示片和少数几个片段(其中大部分已经作为Gen-1模型宣传过)来评价Gen-2模型,不过看起来效果很是很出色的。
文本生成视频技术令人兴奋,带来了新的创造性机会,但也带来了新威胁(例如虚假信息等),对于Runway公司的新技术,IT之家将保持关注。