AI教母李飛飛創辦的World Labs,其首款商業化產品Marble,如何利用文字、圖片或影片生成3D空間?
Answer
AI 教母李飛飛 World Labs 首款產品 Marble 如何生成 3D 空間
World Labs 是由 AI 教母李飛飛共同創辦,專注於空間運算的新創公司。近期推出了首款商業化產品 Marble,這是一款生成式世界模型產品,使用者可以通過輸入文字、圖片或影片,快速生成完整的 3D 立體空間。Marble 的核心功能在於,它能夠將文字提示、照片、影片、3D 佈局或全景圖等多模態輸入,轉換為可編輯和下載的 3D 環境。
Marble 的技術與應用
Marble 與其他生成式模型最大的不同之處在於,它可以直接建立一個完整的 3D 環境,而不是在用戶探索過程中即時生成世界。這種方式減少了畫面變形或不一致的問題,並且方便用戶進行後續加工和利用。共同創辦人賈斯汀.強森(Justin Johnson)表示,Marble 是一個「生成 3D 世界的一個全新類別的模型」,並且具備完善的編輯工具,讓用戶可以反覆調整場景,其成果預計可以運用在遊戲、視覺特效和 VR 產品之中。
李飛飛對「世界模型」的定義
李飛飛認為,空間智慧是 AI 技術發展的下一個新領域。她為世界模型下了明確定義,包括三個核心能力:
- 生成能力(Generative):模型能生成多樣且合理的世界,理解世界的過去狀態,並保持與現在的一致性。
- 多模態(Multimodal):模型能從圖片、影片、文字等多種資訊理解世界,並將這些部分訊息整合成完整的世界狀態。
- 互動能力(Interactive):模型能根據動作或目標預測世界變化,並且輸出符合物理規律、語義和動態行為的結果。
Marble 的付費方案
Marble 提供四種分層付費方案,包括免費方案、標準方案、專業方案和極致方案。免費方案提供四次文字、圖像或全景圖生成,而付費方案則提供更多生成次數和進階功能,例如多圖/影片輸入、進階編輯、場景擴展和商業權利。
Marble 作為 World Labs 的首款商業化產品,展示了空間智慧在 AI 領域的潛力,並為未來的虛擬世界創造和互動提供了新的可能性。