Facebook的人工智能研究团队已经创建了一个名为Vid2Play的人工智能，可以从真实人物的视频中提取可玩角色，创造出更高科技版本的80年代全动态视频(FMV)游戏，如夜间陷阱。神经网络可以分析执行特定操作的人的随机视频，然后在任何环境中重新创建角色和动作，并允许您使用操纵杆控制它们。

该团队使用了两个名为Pose2Pose和Pose2Frame的神经网络。首先，视频被输入Pose2Pose神经网络，该网络专为舞蹈，网球或击剑等特定类型的动作而设计。系统然后计算出人与背景进行比较的位置，并隔离他们和他们的姿势。然后，Pose2Frame将人，连同他们的阴影和他们所持有的任何物体，并将它们插入到具有最少伪影的新场景中。然后，您可以使用操纵杆或键盘根据视频中的姿势控制其移动。

每次活动只需几个简短的视频 - 击剑，跳舞和网球 - 来训练系统。它能够过滤掉其他人并补偿不同的摄像机角度。该研究类似于Adobe的“ 内容感知填充 ”，它也使用AI来移除视频中的元素，如游客或垃圾桶。其他公司，如NVIDIA，也已经建立了人工智能，可以将现实生活中的视频转换为适合游戏的虚拟环境。

动作有点棘手，人物看起来像是在冰上玩，这是3D动画中的一个问题，被称为“脚滑”。最重要的是，运动范围有限。然而，与先前在角色提取方面的努力相比，它们在背景上显得相当逼真。现在还处于研究的早期阶段，所以希望团队可以解决运动问题。

Facebook的Vid2Game合成可以让游戏更加个性化，让你可以将自己的角色或喜爱的YouTube个性插入到游戏中。“[它]解决了之前未完全满足的计算问题，为生成具有逼真图形的视频游戏铺平了道路，”该团队写道。“此外，从类似YouTube的视频中提取的可控角色可以在虚拟世界和增强现实中找到自己的位置。