【CNMO新闻】在最近发表于Arxiv.org的论文中，Facebook的AI科学家介绍了一种从真实世界视频中提取可控人物的人工智能系统。论文作者表示，该方法允许我们从视频中提取出一个人物并控制他的动作。AI模型会生成这个人物的图像序列，进而产生一个可以随意选择视频背景的视频，同时人物的外观和动作变化将不受影响。
Facebook
该团队主要依赖两个神经网络实现这一点，一个是Pose2Pose，它是一个绘制人物现有姿态和控制下个姿态的单一实例操控信号的架构。而另一个就是将现有姿态和新姿态连同视频背景放入输出帧的Pose2Frame。新视频的生成可以被所有的低阶信号控制，例如操纵杆或键盘。研究者声称，该AI系统可以将提取出的人物放入新的动态背景中。
首先，包含有一个或多个任务的原视频会被输入进用于详细分类的Pose2Pose网络中，随后人物的外表和动作会系统识别出来，其中人物的动作变化会被用作人物的质心轨迹。借助这些数据，Pose2Frame网络将基于人物动作的变化和不受人物影响的部分分离开，并最终生成融合了新背景的输出视频。
为了训练该AI系统，研究者使用了三段时长3到8分钟的视频，内容分别为网球、击剑和竞走。
版权所有，未经许可不得转载
