作家 | ZeR0

裁剪 | 漠影

智东西 12 月 5 日报说念，AGI 竞赛愈演愈烈！就在 OpenAI 书记将于畴昔 12 天直播新发布和 demo 前，昨夜，Google DeepMind 发布大型基础天下模子 Genie 2，能生成千般可限定手脚、可玩的 3D 环境，还不错用于检修和评估具身 agent。

唯有给一张领导图像，Genie 2 就能按照你输入的文本领导，生成对应的交互式诬捏天下。不管是东说念主类一经 AI agent，齐不错使用键盘和鼠标来在由 AI 生成的 3D 游戏天下里探索和互动。

Genie 2 是一个自细腻潜在扩散模子，检修于大型视频数据集。过程自动编码器后，视频中的潜在帧被传递到大型 Transformer 能源学模子。该模子使用与大谈话模子雷同的因果掩码进行检修。

在推理时，Genie 2 能以自细腻面貌进行采样，逐帧得到单个手脚和畴前的潜在帧。Google DeepMind 使用 CFG（无分类器率领，classifier-free guidance）来培植手脚可控性。

博客著作放出多数由未蒸馏的基础模子生成的视频示例，来展示 Genie 2 在行为限定、生成反设事实、长视界缅想、长视频生成、千般环境、3D 结构、物体交互、复杂变装动画、NPC、物理、烟雾、光影、快速原型盘算方面的后果与上风。蒸馏版块撑抓及时交互，但运行时的视觉质地会裁汰些。

输入信得过天下的像片后，它也能很好模拟一些物理划定，比如可模拟风中摇曳的草或河中流动的水。

一、超强空间缅想智商，模拟信得过天下环境

此前天下模子在很猛进程上局限于建模局促的限度。Genie 1 引入了一种生成千般 2D 天下的门径。Genie 2 则进一步在通用性上取得发达，不错生成种类蕃昌的丰富 3D 天下。

以下是与 Genie 2 互动的一些示例视频。模子会使用文生图模子 Imagen 3 生成的单个图像，按照领导词生成一个可交互的 3D 天下。东说念主或 agent 进行键鼠操作，进入这个新创建的天下并与之互动。Genie 2 不错生成长达 1 分钟的一致天下，大多数示例抓续 10-20 秒（本文将部分视频示例转成 gif 动图并只截取片断，完好意思视频请到原博客著作检察）。

1、智能反馈键盘按键操作

Genie 2 不错智能地反馈键盘上的按键操作，正确地识别并挪动变装。比如下图中的几个示例，模子必须能弄明晰标的按键对应要挪动的是机器东说念主，而不是画面中的树、云等其他物体。

树林里的一个可儿的东说念主形机器东说念主。

古埃及的东说念主形机器东说念主。

紫色星球上的机器东说念主的第一视角。

大城市阁楼公寓中的机器东说念主的第一视角。

2、生成反设事实

Genie 2 不错从归并肇端帧生成不同的轨迹，为检修 agent 模拟不共事实的体验。在每一排中，每个视频齐从归并帧初始，但东说念主类玩家袭取的手脚不同，生成的画面本色也反馈不同。

3、长视界缅想

Genie 2 简略记着视线中不再存在的天下部分，并在它们再次可见时准确呈现。

4、使用更生成的本色生成长视频

Genie 2 可动态生成新的合理本色，并在长达 1 分钟的时安分保管一致的天下。

5、千般化环境

Genie 2 可创建不同的视角，举例第一视角、等距视图或第三视角驾驶视频。

6、3D 结构

Genie 2 会创建复杂的 3D 视觉场景。

7、模拟对象互相作用

Genie 2 能模拟千般物体的互相作用，举例爆破气球、灵通门和射击火药桶。

8、变装动画

Genie 2 学习了如何为不同类型的变装制作动画来践诺不同的行为。

9、NPC

Genie 2 简略模拟其他 agent，以至与它们进行复杂的交互。

10、物理

Genie 2 模拟水后果。

11、烟雾

Genie 2 模拟烟雾后果。

12、重力

Genie 2 模拟重力。

13、灯光

Genie 2 模拟光点和定向照明。

14、反射

Genie 2 模拟反射、喷雾减光和彩色灯光。

二、相识物理天下相反，可将想法图改造成交互式环境

Genie 2 模子可快速创建千般交互体验的原型。举例用 Imagen 3 生成不同图像，让 Genie 2 生成模拟纸飞机、龙、鹰、降落伞遨游的视频。不错看到 Genie 2 生成的视频简略相识并模拟出它们遨游的相反。

想法艺术和绘制也不错被 Genie 2 改造成十足交互式环境，以便艺术家、盘算师能快速制作商讨环境想法的原型。

三、AI agent 也能玩，为具身智能提供绝佳检修场

Genie 2 可快速为 AI agent 创建丰富千般的环境，从而生成 agent 在检修技艺未见过的评估任务。

举例，Google DeepMind 与游戏建造商息争建造了 SIMA agent。SIMA agent 被盘算成通过投降天然谈话指示来完成一系列 3D 游戏天下中的任务，因此不错在 Genie 2 合成的、未见过的环境践诺指示。

输入底下 Imagen 3 生成的第三开放天下探索游戏图，Genie 2 可生成一个带有两扇门（一扇是红门，一扇是蓝门）的 3D 环境。

然后向 SIMA agent 淡薄灵通某扇门的指示，Genie 2 则能生成适应条目的画面。

在这个示例中，SIMA 通过键盘和鼠标输入限定变装，而 Genie 2 生成游戏帧。

也不错使用 SIMA 来匡助评估 Genie 2 的功能。通过疏浚 SIMA 环视四周、探索房屋背面等，测试 Genie 2 生成一致环境的智商。

再比如凭据底下这张图来生成视频。

输入不同领导词"上楼"、"去有植物的场所"、"走中间门"，Genie 2 会生成对应的不同视频画面。

天然这项商讨仍处于早期阶段，agent 和环境生成智商齐还有很大的更正空间，但 Google DeepMind 深信 Genie 2 是处分安全检修具体 agent 的结构性问题的阶梯，同期终了迈向 AGI 所需的广度和通用性。

结语：天下模子，AI 限度的下一件大事

游戏是安全测试和鼓吹 AI 智商的理念念环境。检修更通器具身 agent 的传统瓶颈在于枯竭饱和丰富和千般化的检修环境。

Google DeepMind 正将越来越多资源干涉于天下模子商讨。Genie 2 展示了基础天下模子在创建千般化 3D 环境、定制交互式游戏场景、加快 agent 商讨等方面的后劲，可让畴昔的 Agent 在无穷的新天下中接受检修和评估。

该商讨标的尚处于早期阶段，Google DeepMind 计较在通用性和一致性方面链接更正 Genie 的天下生成智商。

与 SIMA 不异，其商讨奋勉于于构建更通用的 AI 系统和 agent，使其简略相识和安全地践诺千般任务，从而匡助在线和实践天下中的东说念主们。

Google DeepMind 还放了一些兴味的"彩蛋"：Genie 2 生成出一些奇怪视频，比如莫得袭取行为的情况下一个幽魂出刻下花圃，在雪场的东说念主物变装比拟滑雪更爱跑酷、一个魔法球把周遭炸成灰。

起原：Google DeepMind火星电竞