解決VR社交痛點!谷歌AI識別重現人類表情
前段時間,谷歌機器感知(Google Machine Perception)團隊與 Daydream Labs 和 YouTube Spaces 合作,可以借助AI領域大熱的機器學習技術識別頭顯背后的用戶表情,有助于VR社交和混合現實視頻聊天。
這項研究使用集成了眼球追蹤技術的頭戴顯示器,可以展現一個玩家豐富的面部表情。臉部表情是理解一個人在虛擬現實體驗情緒的關鍵,它傳達著重要的社交活動線索。
以下是 Google Research 的研究成果:
今天,我們提出了一種方法,通過分析臉部一小塊區域來推斷整個面部表情。具體來說,我們在 VR 頭顯中裝入紅外攝像頭,用于捕捉用戶眼睛區域,這足以推斷至少一部分面部表情,而無需使用任何外部攝像頭或額外的傳感器。
左邊:一個用戶戴著虛擬現實頭顯,使用眼球追蹤來進行表情分類
右邊:從監測到的眼睛圖像匹配我們的模型,從而推斷表情的表達
我們使用深度學習來區分眼睛和周圍區域的面部表情,這些區域通常包括虹膜、鞏膜和眼瞼,還可能包括眉毛和臉頰部分。從這樣的新型傳感器中獲取大量的數據是一項具有挑戰性的任務,因此我們收集了 46 個實驗對象的一系列面部表情訓練數據。
為了達成臉部表情分類,我們微調了 TensorFlow 的 Inception 變體,并在 Imagenet 上訓練了模型的權重。由于參與者的外貌差異,我們試圖在一定程度上消除這些差異。
我們已經證明了,這種方式對于各種面部表情的識別是可靠的,而且捕獲眼睛區域的這些信息可以通過使用基于 CNN 的方式進行解碼,即使對人類來說,僅從眼睛區域識別面部表情也是十分重要的。
我們的模型可以實時進行推斷,并可以實時生成帶有面部表情的頭像,它可以用作虛擬現實用戶的社交表達的替代。這種交互機制還能產生一種更直觀的界面,例如在虛擬現實中分享表情,取代以前的手勢或鍵盤輸入。
目前的眼球追蹤技術可完全嵌入到消費者 VR 頭顯中,而無需額外的外部攝像頭,這種方式捕捉用戶面部表情是一個可以移動的解決方案。
這種技術的發展超越了動畫卡通頭像,它可以用來提供更豐富的VR社交體驗,通過更真實和更豐富的情感信息來增強虛擬現實的交流和社交活動。
未經授權,禁止轉載,違者必將追究法律責任。
文章點評
相關閱讀
-
人機交互進行曲:VR游戲將如何改變我們
虛擬現實和增強現實或許會成為人機交互的下一個通用界面。2017年我們仍然能看到不少相關方面的技術進步和內容。盡管目前階段最有可能賺錢的是一些垂直行業領域,例如教育、地產、醫療和電商等,但大眾最熟知的V...
- 惱人還是吸引人?VR廣告會是什么樣
- 廉價VR網吧將至!VR界黑馬HYPEREAL力推VR網吧方案
- 江蘇消協發布VR眼鏡消費調查報告
- 想用三星玩Daydream?我們還得等等
- 面向VRAR 谷歌推出傻瓜式3D建模工具