李飛飛發(fā)布世界模型新成果:一個(gè)提示,生成無限3D世界
在人工智能領(lǐng)域,李飛飛及其團(tuán)隊(duì)再次引領(lǐng)創(chuàng)新浪潮。他們最新發(fā)布的世界模型,僅需一個(gè)圖像或提示,就能生成一個(gè)可無限探索的 3D 虛擬世界。這個(gè)模型不僅在規(guī)模和風(fēng)格上有了顯著提升,還支持永久持續(xù)的探索,沒有時(shí)間限制。
永久持續(xù)。沒有時(shí)間限制。
李飛飛創(chuàng)業(yè)公司世界模型新成果來了!
只需要一個(gè)圖像或者提示,就能構(gòu)建出一個(gè)可以無限探索的3D世界——
世界更大、風(fēng)格更多樣、3D幾何結(jié)構(gòu)更清晰,并且保持一致性、沒有時(shí)間限制、沒有奇怪的變形。
目前已推出beta預(yù)覽版本,用戶可以申請(qǐng)?jiān)L問模型,查看和創(chuàng)建自己的3D世界。
網(wǎng)友們表示,這將帶來巨大的變革:不僅僅在游戲領(lǐng)域,它讓一切想象成為可能。
李飛飛世界模型最新成果
在探索空間智能前沿領(lǐng)域的過程中,李飛飛的創(chuàng)業(yè)團(tuán)隊(duì)World Labs宣布,現(xiàn)在已經(jīng)能夠生成持久存在、可導(dǎo)航且能自定義操控的3D世界。
不僅如此,得益于模型出色的一致性和風(fēng)格保持能力,如今還可以將多個(gè)獨(dú)立生成的場(chǎng)景無縫拼接,構(gòu)建出更大規(guī)模的虛擬世界,實(shí)現(xiàn)連續(xù)的空間擴(kuò)展。
與之前可加入對(duì)象和角色的模型不同,當(dāng)前的模型專注于構(gòu)建3D環(huán)境,模型表現(xiàn)讓眾多網(wǎng)友贊嘆——太強(qiáng)了!想要報(bào)名!
以下面的場(chǎng)景為例:
這么大的可探索空間,右上角還貼心地提供了路線軌跡圖。完全配得上官方介紹:比以往更大、更好。
除此之外,用戶還能夠?qū)⑸傻氖澜鐚?dǎo)出為高斯點(diǎn)云,并將其應(yīng)用于下游項(xiàng)目(如果有的話)。
借助開源的Spark渲染庫,這一操作尤其方便——Spark可以將高斯點(diǎn)云無縫集成到Three.js中,用于構(gòu)建基于網(wǎng)頁的3D體驗(yàn),并能在臺(tái)式機(jī)、筆記本、移動(dòng)設(shè)備和VR頭顯上實(shí)現(xiàn)高效渲染。
目前,該模型已推出beta預(yù)覽版本,通過World Labs全新推出的Marble平臺(tái),可以立即體驗(yàn)和構(gòu)建3D世界。
話不多說,讓我們一起看看這個(gè)模型的具體細(xì)節(jié)。更好的幾何形狀
對(duì)視覺創(chuàng)作者來說,在連貫、一致的3D世界中自由導(dǎo)航與交互,是眾多工作流程和應(yīng)用場(chǎng)景的核心需求。
World Labs生成的3D世界,支持在用戶瀏覽器中實(shí)現(xiàn)免費(fèi)的自由視點(diǎn)漫游。
與深度圖或點(diǎn)云提供的有限3D體驗(yàn)不同,這個(gè)世界具備更豐富的幾何復(fù)雜性,能構(gòu)建更完整的3D環(huán)境——
用戶甚至可以探索輸入視角之外的隱藏空間,看到畫面背后的內(nèi)容。
更多樣化的風(fēng)格
在生成世界的視覺風(fēng)格上,無論是海綿寶寶還是賽博朋克,這個(gè)模型都能做得相當(dāng)出色。
生成式AI最令人興奮的一點(diǎn),是能在創(chuàng)作過程中自由迭代視覺風(fēng)格。
World Labs能夠?qū)⒏鞣N不同風(fēng)格的輸入內(nèi)容——從扁平化的彩色卡通到寫實(shí)風(fēng)格的精細(xì)圖像——都轉(zhuǎn)化為3D場(chǎng)景。
讓創(chuàng)作者能夠通過持續(xù)探索與調(diào)整,找到最適合的虛擬世界。
更大的虛擬世界
還有相當(dāng)重要的一點(diǎn):生成世界的規(guī)模。
房間大小的虛擬空間是個(gè)不錯(cuò)的起點(diǎn),但創(chuàng)作者的想象力往往遠(yuǎn)超這個(gè)尺度。
不妨設(shè)想一下:就像拼拼圖一樣,用戶將生成的場(chǎng)景組合起來,就能構(gòu)建出更加宏大的環(huán)境。
得益于模型的風(fēng)格一致性與幾何連貫性,現(xiàn)在已經(jīng)可以愉快地探索、瀏覽并暢想這類大型世界的諸多應(yīng)用場(chǎng)景。
想要知道更多,還可以到文末鏈接親自感受一下,在虛擬世界穿墻入地、隨意探索。
支持無限暢游
同樣是優(yōu)秀的世界模型,李飛飛團(tuán)隊(duì)的世界模型難免讓網(wǎng)友想到谷歌的Genie。
那么就有網(wǎng)友問了:這個(gè)模型和谷歌Genie相比有什么不同呢?
李飛飛回答,這個(gè)模型生成的世界是永久持續(xù)的。
該模型生成后的世界可以隨時(shí)訪問,沒有時(shí)間限制,可以創(chuàng)建鏈接并隨時(shí)保存。
而且完全免費(fèi),不需要花錢(這和做慈善有什么區(qū)別)
一些早期用戶已經(jīng)給出了非常積極的反饋:
感興趣可以申請(qǐng)一下試用機(jī)會(huì)~
參考鏈接:
[1]https://x.com/drfeifei/status/1967988112673632594
[2]https://x.com/theworldlabs/status/19680233549187363508
[3]https://x.com/willdepue/status/1968010681942413835
[4]https://www.worldlabs.ai/blog/bigger-better-worlds
親眼看看:
https://marble.worldlabs.ai/world/eaea4512-4a78-4468-b818-1097c0778c77
Marble:https://marble.worldlabs.ai/
本文由人人都是產(chǎn)品經(jīng)理作者【產(chǎn)業(yè)家】,微信公眾號(hào):【產(chǎn)業(yè)家】,原創(chuàng)/授權(quán) 發(fā)布于人人都是產(chǎn)品經(jīng)理,未經(jīng)許可,禁止轉(zhuǎn)載。
題圖來自Unsplash,基于 CC0 協(xié)議。
這個(gè)能生成3D世界的模型讓人眼前一亮,AI的發(fā)展還有更多可能性。