刚刚,谷歌重磅发布Genie 4:这才是真正的「世界模型」

谷歌打造的「黑客帝国」式体验,今晚正式变为现实!

就在刚才,Google DeepMind在深夜放出重磅消息,正式推出新一代通用世界模型Genie 4。

这是谷歌迄今为止在逼真度和互动性上表现最出色的AI世界模型。

仅需一个提示词,就能立刻创造出一个能够即兴互动、实时变化的「活体宇宙」!

谷歌CEO皮查伊第一时间表态:从「生成一段视频」升级到「实时运行一个世界」,心想事成的「绿洲」时代已经到来!

重点在于,这次的Genie 4将世界模型提升到了「有声音、有人物、有智能」的全新阶段:

Genie系列首次原生生成声音与即兴对话。同步产生环境音效和背景音乐,还能让角色根据突发情况张嘴即兴交谈。

2分钟的连贯长记忆,24帧的流畅交互。单次连贯世界的维持时间翻倍至约2分钟,实际画面稳定在约24帧/秒。

重塑逼真的人类角色与刚体物理。借助Gemini Omni锚定现实常识,人物的微表情、镜面反射和物理碰撞全面升级。

三大Gemini协作组成「混合世界模型」。Gemini 3.8 Flash在后台监控画面充当「导演」,Gemini 4 Argon将任务分解为22步精细动作指令,指挥机器人下跳棋。

你向前迈一步,世界就实时扩展一寸;你修改一句话,物理法则和NPC台词立刻随之重写。

当视频模型还在比拼几秒钟的镜头美感时,谷歌已经为未来的通用Agent和机器人,构建了一个可以无限试错的平行宇宙。

现在,谷歌已经开始内测Genie 4,Google AI Ultra用户可以申请加入等待名单。

只需一句话,为你当场「创造一个宇宙」

为了展示Genie 4的强大能力,谷歌发布了一系列极具震撼力的演示,风格跨度之大、细节之精细,令人叹为观止。

而且,在Genie 4面前,你不再是观众,你是「第一人称游戏玩家」,是这个世界的「上帝」。

你敢相信,下面这段充满王家卫风格的香港大桥飙车场景,根本不是原片?

后座的女孩刚说完台词,玩家输入两行字:「背景发生爆炸」「毁灭世界的巨型外星触手」。

紧接着,远处的维港天际线立刻火光冲天,外星触手直接从天而降!

连路灯的橘色拖影、女主角的皮肤质感和细微的担忧表情,都在长镜头中被完美呈现。

去年的Genie 3虽然开创了实时交互视频的先河,但有一个致命缺陷——没有声音,生成真人时也漏洞百出。

谷歌直接发布了一段Genie 3与Genie 4的同屏对比。

左边Genie 3还是五官粘连、肢体僵硬的无声纸片人;右边Genie 4在Gemini Omni的现实常识锚定下,已经能呈现化妆镜暖光、演员微表情,甚至镜面的实时倒影,细腻程度如同实拍长镜头。

获得抢先测试资格的沃顿商学院教授Ethan Mollick,分享了第一手实测录屏。

他只输入了一句「一个由马和机器人共同居住的新哥特式粗野主义城市」,不到1分钟,这座城市就出现了。

单帧延迟稳定在23.4至25.3 FPS。随便点一下「巨龙掠空」按钮,一头巨龙几秒内便扇动双翼,呼啸而过!

这还不够过瘾,他又输入:「一只友好的水獭NPC走过来问问题」。

紧接着,街角真的跑出一只穿马甲的水獭,用伦敦腔搭话:「打扰一下,旅行者。」

接着,他又发布了一段神级实测:在Genie 4里运行《毁灭战士(DOOM)》!

他先设定「走进一间每台电脑和墙壁都在跑DOOM的办公室」,接着连续输入三道指令:「恶魔同事出现」「手里拎着加特林机枪」「给我发了一笔奖金」。

话音刚落,真的走出一位恶魔同事,双手转着重型加特林,当场发放奖金!

a16z合伙人Justine Moore也分享了水下潜行实测,称这是巨大的飞跃。

在海底洞穴中点下「受诅咒的紫钻发光」与「电鳗群袭来」,洞穴深处瞬间紫光爆闪、出现巨大电鳗群。

再点一下「幽灵海盗现身」,立刻出现海盗船长亡灵,非常逼真。

前谷歌AR/3D产品经理Bilawal Sidhu,则将Genie 4当成了科幻大片的实时虚拟片场:

他召唤出UFO,输入一句「它把我吸了进去」——UFO瞬间轰开牵引光束,准备把人吸进去。

四大关键功能

谷歌官方博客介绍,Genie 4提升了四大关键功能。

实时塑造世界模拟

我们可以使用自然语言实时修改模拟场景——例如改变天气、移动镜头或引入新的人物或物体——Gemini会根据周围场景调整我们的指令。输入指令的间隙,Gemini还会监控、引导场景,确保整个世界流畅发展。

听起来,简直是盗梦空间成真了?

一个男人在岛上吹着萨克斯,输入「鲸尾出现」,他身后的水中立刻出现鲸鱼。

随后,我们让这个世界开始下雪,鹅毛大雪立刻飘落。

要是把镜头拉到第一人称视角,这种实时改写世界的冲击感还会进一步放大。

这个画面中,我们以140公里的时速骑着巨龙俯冲,掠过古堡,如果下令「城堡发射火球」,塔楼当场喷出烈焰,火球擦身而过,刺激感拉满。

下面这个场景中,Genie 4先根据用户提示生成了南极冰封大地,然后生成了第一人称视角的乘热气球场景。

拓展物理学和人类行为的现实边界

这次,Genie 4为交互模拟引入了全新的真实感标准。

基于对世界物理的超强理解,Genie 4对于真实世界的物理场景模拟得十分逼真,比如空气动力学、碰撞等等。

而Genie 4最显著的进步在于模拟人物,它能创造出自然移动、对环境做出反应、可实时交互式操控的角色。

80年代的日本乡村车站,给一个prompt,乘务员就会喊出发车提示。

再给一个提示,立刻让一位老妇人提着行李箱出现。

接下来的画面,让我们感叹Genie 4物理交互的极度逼真。

户外庭院的台子上,让大理石半身像砸向西瓜。

砰的一声闷响,瓜瓤与汁水四处飞溅——从重力冲击到碎片轨迹,Genie 4在实时交互中还原得恰到好处。

对柔体力学与空气动力学,Genie 4同样手拿把掐。

草甸上的粉色丝绸,只要吹起一阵风,立刻迎风翻涌出层层丝滑波浪,十分真实。

一只枫树种子掉落到地上的特写镜头,都逼真不已。

把镜头推到毫厘之间的微距视角,枫树翅果像直升机螺旋桨一样自旋滑落,轻轻停驻草叶之间。

告别「无声蜡像馆」,Genie 4能模拟声音了!

Genie 4是谷歌的首款原生生成音频的实时世界模型。

每个世界都拥有自身环境的声音,比如树叶沙沙作响,海浪拍打沙滩。

然而,真正的挑战还是人类语言!Genie 4引入了实时互动对话功能。角色会根据你的输入或事件进行实时对话和反应。

这个半透明的3D彩绘玻璃世界中,用提示词召唤出一只鹿。最吸引人的是,它的脚步声都自动变成清脆的琉璃碰撞声。

硬核架构拆解:三大Gemini轮番上阵,搭起「混合世界模型」回路

如果仅仅把Genie 4当成画质更好、能发声的「大号视频生成器」,那就低估了Google DeepMind的野心。

过去的实时世界模型之所以玩不过几十秒就容易崩盘,是因为纯像素预测缺乏长程逻辑规划,往往做完第一步,就把后面的目标忘得一干二净。

为了治愈这个顽疾,谷歌这次端出了极具颠覆性的「混合世界模型」架构,派出三款Gemini模型与Genie 4组团打配合。

这样,世界模拟就增添了一个全新的推理层面,让Genie 4能模拟复杂的多步骤事件,并在将AI引入现实世界之前,测试它们如何在不同环境中运行。

第一重配合,是让Gemini 3.8 Flash在循环回路里充当实时控场的「总导演」。

当Genie 4在前面逐帧生成画面时,Gemini 3.8 Flash就在后台实时盯着画面拆解多步推理序列,一边验证当前步骤是否完成,一边下达下一步指令。

随着用户干预,Gemini会立刻调整,生成具有可靠因果、程序员行为和多步骤推理的世界。

看看下面这场近景魔术:玩家每次关上箱门挥动魔术棒,右上角的Gemini 3.8 Flash就会确认步骤完成,指挥Genie 4先把孔雀变成橘猫,再把橘猫变成复古收音机!

哪怕半途突然改戏,这位「总导演」也能当场重排剧本。

比如在冰天雪地里让一颗流星划过,再指挥灰冠鹤走到电子琴前啄出旋律,最后让它一飞冲天。

如果说Gemini 3.8 Flash解决了「世界怎么按逻辑演进」,那么Gemini 4 Argon与Gemini Robotics的加入,则捅破了具身智能与机器人训练的天花板。

当人类下达一句「跟对面的男孩下跳棋,走一步红棋」,左侧的Gemini 4 Argon会瞬间将任务拆解为22步毫米级动作剧本。

这些高密度指令实时注入Genie 4的生成流中,驱动右侧的Apollo机器人行云流水地完成捏棋、走子与对弈。

甚至,Genie 4还能进实验室做精密科研。

哪怕是工业级的UR5六轴机械臂,也能在Genie 4里精准夹持移液管,插入微孔板滴注液体。

即便中途把目标挪走,模型也能实时重算策略,按新位置完成抓取。

通往ASI的必经之路,是先造出一个世界

什么是真正的「世界模型」?

是你推开一扇门,转身离开30秒,再走回来,那扇门依然开着。

能记住物理规律,能维持空间记忆——这,就是视频模型与世界模型的分水岭!

现在,Google Genie 4做到了。

靠着「海量无标签视频预训练+少量动作轨迹微调」,再加上Gemini的符号逻辑与长程记忆,Genie 4一举将单次连贯世界的维持时间推到了约2分钟。</