World Labs空间智能模型 李飞飞推出首个AI系统——生成从图片到可交互的3D场景
就在今天,李飞飞空间智能首个项目:“世界生成“ 突然发布了
你可能会说这也没什么了不起的地方吧,但是你错了。生成的世界是具有交互性的,可以像玩游戏一样来自由探索。
从任何一张平平无奇的照片,生成一个可以进去闲逛的3D世界。这听起来像是科幻作家的幻想,但从今天开始,靠着World Labs的发明,这成了触手可及的现实。
随便输入一张图:
除了这张图本体,可探索的 3D 世界里,所有东西都是 AI 生成的:
这些每一个场景都是在浏览器中实时渲染的,并且配备了可调的模拟景深效果。
这个世界遵循了基本的物理规则,具有真实的深度感和空间感。
World Labs 还支持模拟推拉变焦,同时调整摄像机的位置和视野,利用这一特性可以实现希区柯克变焦的操作。
效果方面,你还能为场景添加动态效果,让树叶随风摇曳,让水面泛起波纹。改变物体颜色,动态调整背景光影,在场景中插入其他对象。这说明World Labs可以非常好的识别到3D物品的边缘和实体,而非仅仅是复原景深。
最后,World Labs 还展示了一条视频,作者 Brittani Natali 将 World Labs 的技术与 Midjourney、Runway、Suno、ElevenLabs、Blender 和 CapCut 等工具相结合的工作流程。
简单的说就是可以先用文生图模型,从文本世界来到图像世界。因为不同模型有各自擅长的风格特点,3D 世界可以把这些风格迁徙、继承过来。
这么牛的技术官方则表示:这只是 3D 原生生成 AI 未来的一瞥
如果想体验的朋友可以到wordlabs的官网:Generating Worlds
本博客所有文章除特别声明外,均采用 CC BY-NC-SA 4.0 许可协议。转载请注明来自 ChatGPT指导!
评论