混合現實（MR）的偉大之處在于，它可以展示人們在VR中正在做什么。

Owlchemy Labs、LIV等初創公司都在努力簡化MR拍攝過程，同時還要提升畫面質量，但目前這些方法都有一個很大限制。人體最具表現力的部分——臉，在拍攝期間總是被頭顯擋住。你得自行想象人們與虛擬世界交互時的表情。

谷歌新研究將MR畫面捕獲提高到一個新的水平。利用一系列新技術，包括改良的HTC Vive和SMI眼動追蹤，谷歌數字化地重建你的臉，用它代替被擋住的本來的臉。

這項成果由谷歌的Research、Daydream Labs和YouTube團隊共同努力得來。其工作原理是：

“我們技術背后的核心思想是把用戶面部的3D模型拿來代替被遮住的臉。它可用于在MR視頻中合成面部，從而給人實現頭顯被拿掉的印象。首先，我們為用戶創建個性化的3D臉部模型。初始校準步驟要求用戶坐在彩色深度相機和顯示器面前，然后他們用眼睛追蹤顯示器的標記。我們利用這種一次性校準程序（通常不到一分鐘）來獲取用戶的3D面部模型，并得到一個數據庫，眼睛注視方向和眨眼不同，形成的外觀圖象也不同，一一對應。”