relative.berlin

關於 relative.berlin:我們是一家專注於打造獨特動畫與沉浸式體驗的創意工作室。探索新興技術(特別是機器學習與人工智慧)是我們工作的核心,這也持續形塑了我們處理新專案的方式。透過將 AI 整合進工作流程,我們能夠為 VR 打造細節豐富且密集度極高的環境,並以傳統製程難以達成的方式,大幅擴展我們的創意願景。在接下來的章節中,我們將分享具體的實作經驗。

專案名稱:XR 安全實驗室(XR Security Lab)

「XR 安全實驗室」是受「SifoLIFE 伴隨研究:實務中的高效與永續(BeLIFE)」專案委託開發,該計畫由德國聯邦研究、技術與太空部(BMFTR)資助。在此計畫中,我們致力於打造一套 VR(虛擬實境)體驗,將公共安全研究轉化為安全且可重複進行的虛擬環境。

為了達成此目標,我們建構了五個精細的都市場景,分別代表極端氣候事件或大規模事故等複雜情況。這些虛擬環境支援多視角探索,使得應急程序、應變措施以及其中的因果關係變得更加易於理解。

XR 實驗室計畫:商務模擬場景

克服創意與技術挑戰

我們所面臨的是創意與技術的雙重挑戰:必須從零開始設計並建置完整的 VR 體驗,不僅要確保視覺效果極具吸引力,更要在消費級硬體上達成流暢無誤的運行效能。

使用 Character Creator 打造角色陣容

我們的角色開發製程(Character Pipeline)完全圍繞著 Reallusion 的 Character Creator 與 iClone 為核心。非常感謝 Reallusion 慷慨贊助本專案所需的軟體授權,讓我們能立即展開工作,並在 Character Creator 5 中建置所有登場角色。

在 Character Creator 中選定 LOD 等級

為了快速在場景中加入多樣化的背景路人,我們以 Reallusion Content Store 作為基礎,從其龐大的 3D 人體掃描與服飾資料庫中提取資源。光是同一套服裝,我們就能利用 Character Creator 的服飾變體工具,流暢地更換材質、調整配色並加入貼圖(Decals),極其高效地產出大量不同的外型。至於特定的勤務制服,我們則參考現實世界的規格自行建模,並搭配 MetaTailor 等工具,確保服裝能完美貼合角色模型。

在群眾生成方面,我們也運用了 ActorCore 資產商店提供的 3D 動畫與群眾角色。藉由其超過 5,000 種動作與 1,000 名掃描人體模型,我們選用了多樣化的群眾角色,大幅加速了製作進度。特別感謝直覺化的「AI 深度搜尋(AI Deep Search)」功能,它支援關鍵字、自然語言甚至圖片搜尋,讓我們能快速找到所需的資源。這些低多邊形(Low-poly)3D 角色皆已完成臉部、身體與手指的骨架綁定(Rigging),並包含完整的色彩變體,讓群眾生成變得極其高效。

自動化邏輯與 AI 輔助環境建構

在 iClone 8.7 中,我們利用全新的「動態路徑規劃插件(Motion Planning Plugin)」來實現角色邏輯的自動化。透過其「節點式編輯器(Node-based Graph Editor)」,我們得以建立能自主在場景中移動的「智慧型代理人(Intelligent Agents)」,這不僅顯著提升了模擬的真實感,也大幅縮短了建置時間。

與此同時,環境開發團隊則致力於捕捉每座城市獨有的樣貌。我們採用了混合製程,將傳統資產庫與 AI 輔助 3D 工具結合。我們嘗試運用了騰訊混元(Hunyuan)與 Tripo 等平台,直接透過圖片提示詞(Image Prompts)生成建築物與景觀元件,協助我們打造出符合各特定地區風格的在地化建築。

“With iClone 8.7’s Motion Planning, we automated character logic for our VR project — autonomous, reproducible, fast to build. The same workflow is also useful as a stable motion base for AI video-to-video, keeping multiple camera perspectives coherent in complex scenes.”

Marc-André Müller – CoFounder / Technical Director at relative.berlin

「透過 iClone 8.7 的動態路徑規劃功能(Motion Planning),我們成功為 VR 專案實現了角色邏輯自動化——不僅具備自主性與可重複性,開發速度更是驚人。同樣的製程也極具擴充性,能為 AI 影片轉影片(Video-to-Video)提供穩定的動作基礎,確保複雜場景中的多鏡頭視角維持高度一致。」

—— Marc-André Müller,relative.berlin 共同創辦人暨技術總監

動態捕捉與對話生成

在角色動作方面,我們首先進行內部錄製,由團隊成員親自演出所需的特定動作。接著,我們利用 iClone Video Mocap 將原始影片素材轉換為可用的動態捕捉數據。隨後,我們將數據導入 iClone 進行動作重定向(Retargeting)與清理(Cleanup),針對肩膀對齊、腳部貼地性及手部位置等細節進行快速修正。

我們不斷進行迭代優化,直到表演效果完全符合場景需求。在對話方面,我們利用 ElevenLabs 生成語音音檔,並直接導入 iClone,隨後透過 AccuLIPS 自動產生對嘴數據(Lip-sync data)。最後,我們針對必要處進行快速的修飾潤色(Polish pass),這最終為我們省下了極其龐大的動畫製作時間。

Unreal Engine 整合與優化

最後,所有資產都在 Unreal Engine 中進行整合,我們直接在 Sequencer(序列編輯器)中安排動畫角色的登場時機與場景調度。為了確保 VR 場景能流暢運行,我們在角色開發製程的早期就非常重視效能。在從 Character Creator 匯出之前,我們利用其內建的 InstaLOD 整合功能,為每個角色生成多個層次細節(LOD)。這個關鍵步驟協助我們降低了渲染成本並有效控管複雜鏡頭下的繪圖呼叫(Draw calls),確保 VR 體驗維持極高的反應靈敏度。

從 iClone 匯出的動畫現已就緒,可直接在 Unreal Engine 中進行場景合成。

貫穿整個製作過程、具備高度一致性的開發製程(Pipeline),是維持專案進度的核心關鍵。它協助我們保持井然有序,實現快速迭代,並確保品質從初期的測試階段到最終場景都能維持穩定。有了這層穩固的架構基礎,我們得以將精力集中在最核心的領域:創意表現。具體而言,我們能專注於雕琢角色表演、建構虛擬世界並優化使用者體驗,而不會被沉重的技術負擔(Technical overhead)拖慢腳步。正是透過這樣的流程,我們成功賦予了這座「XR 安全模擬實驗室」靈魂與生命。

本專案由德國聯邦研究、技術與太空部(Federal Ministry of Research, Technology, and Space)資助。

聯邦政府 2024 – 2029 框架計畫:安全是自由、生活品質與繁榮的根本基石。透過「民事安全研究 2024-2029」框架計畫,聯邦教育及研究部正致力於投資未來的安全保障,確保德國民眾無論在日常生活或災害情況下,都能獲得最完善的保護。民事安全研究是在不對個人自由造成過度限制的前提下,提升社會各領域安全性的關鍵。

常見問題(FAQs)

Q:Character Creator 如何加速此專案的進度? Character Creator 與 Reallusion Content Store 在開發過程中扮演了舉足輕重的角色。Character Creator 的「服飾變體工具」能與 MetaTailor 完美結合。這套製程讓更換材質、調整配色以及在客製化服裝上添加貼圖(Decals)變得極其流暢,為我們在角色客製化上帶來了極高的效率。

Q:為什麼會考慮使用影片動捕(Video Mocap)來製作動畫? 團隊曾評估過穿戴式動捕服(Mocap suits)與 AI 動捕解決方案。經過測試後,我們發現可以完全依賴 iClone Video Mocap 插件來獲取初步動作,隨後只需在 iClone 中進行少量的動作編輯,即可產出最終所需的動畫。

Q:客製化一個背景角色需要多快? 您可以直接從 Reallusion Content Store 抓取現成的資源包(Content pack)並以此為基礎開始編輯。至於服裝部分,在 Character Creator 中透過 MetaTailor 插件就能以非常快速的方式完成設定。