自2014被高通連續三年投資的中國原創眼球追蹤公司七鑫易維,在VR/AR眼球追蹤產品配件、一體機解決方案、手機眼球追蹤等多個領域開展了多年的深入合作。2018年1月8日,高通與七鑫易維簽訂了眼控技術的官方合作協議,該協議授權七鑫易維眼控技術用在高通發布的驍龍845平臺上。
目前,七鑫易維已成功為驍龍845平臺提供了完整的眼球追蹤解決方案,并且在高通的845 VR一體機上驗證了該方案。
該方案充分利用了驍龍845平臺針對XR(AR/VR)所提供的各項技術優勢:
* 利用驍龍845平臺的Adreno™ 630 GPU,結合高通的SNPE(Snapdragon Neural Processing Engine),推出了適用于移動平臺的眼球追蹤深度學習算法,深度學習算法的應用使眼球追蹤的適用范圍大大擴展,比如戴眼鏡的人群、不同的人種及其他復雜環境等。
* 結合驍龍845平臺的Hexagon™ 685 DSP與高通的FastCV機器視覺算法庫,眼球追蹤算法速度得到進一步的提升,大大降低了對CPU和功耗的壓力,使眼球追蹤算法更加適用于移動平臺。
除了VR,七鑫易維的眼球追蹤技術還應用在基于驍龍平臺的AR產品中,多個AR眼鏡企業已經展開了與七鑫易維的合作。
七鑫易維AR/VR眼球追蹤解決方案可以應用于多種場景:
* 注視點渲染:利用人眼的特征,只對注視點區域的顯示進行高清渲染,可以大幅度降低顯示渲染壓力,降低渲染延遲,減小用戶的眩暈感,降低硬件成本。
* 眼控交互:利用人眼視線在AR或VR中進行輔助交互,結合其他交互手段,可以達到更加自然的交互體驗。
* 眼動數據分析:用戶在AR/VR中的眼動數據對商家來講是非常有價值的,可以用來分析用戶的注意力、興趣點、興奮度等各種情緒信息,應用于市場分析、廣告分析等領域。同時,這些數據也可以用于心理學研究。
* 瞳距自動檢測:通過眼球追蹤技術檢測出用戶的瞳距并通過電動馬達等機械結構為用戶進行自動調節,使用戶可以體驗更加清晰和完美的AR/VR視野場景。
* 虛擬社交眼神交互:在AR/VR社交應用中,可以完美復刻出用戶的視線和眼睛運動,比如眨眼、瞇眼、瞪大眼睛等,這樣使社交應用更加真實,用戶之間的交流會更加順暢。
* 虹膜識別活體檢測:七鑫易維已經推出了結合虹膜識別的眼球追蹤方案,該方案可以實現低成本的活體檢測,在AR/VR電商領域可以有很好的應用。
* 眼疾輔助診斷與康復:七鑫易維的眼球追蹤可以實現特定需求的校準和追蹤,應用于弱視、斜視等眼睛類疾病的輔助診斷和康復訓練。
七鑫易維CEO黃通兵表示,除了在AR/VR領域,在今年下半年,基于高通驍龍845芯片,七鑫易維將陸續推出應用于手機、平板等移動電子設備的眼球追蹤技術以及解決方案,應用的場合包括:
注視感知:通過眼球追蹤技術,進行人眼視線檢測,判斷用戶的注視區域。例如當人眼的關注視線落在手機屏幕上時,可認為此時用戶傳達了交互的目的,即注視感知。而在用戶視線偏離手機屏幕時,視線檢測結果將幫助手機不要進行“非注視”下的操作;
活體檢測:基于眼球追蹤的活體檢測技術,相對傳統生物識別系統的活體檢測技術具有更高的魯棒性,紅外成像技術使眼球追蹤活體檢測技術具有全天時特性,亦可以結合人臉、虹膜等生物技術一同使用,例如在Face ID中,可以防止在用戶不知情的情況下,其他人利用其面部特征解鎖設備;
眼動交互:基于驍龍845芯片,開發包括硬件、圖像算法、視線算法等一系列眼球追蹤技術,實現用戶用眼睛操作手機的目的,目標在于提高人機交互效率和用戶體驗。或者在手機與顯示器結合的場景中,作為輔助交互手段。
除上述領域外,高通還與七鑫易維在醫療、智能駕駛、智能家居等多個領域進行合作。
作為中國高新技術企業領軍者之一,七鑫易維最早發布了全球首款VR眼球追蹤配件,并最早擁有了基于人工智能的眼球追蹤算法。作為高通的眼球追蹤技術合作伙伴,七鑫易維將持續用眼控技術賦能XR與5G,并保持眼控技術在中國與世界的領先性。
(新聞稿 2018-03-17)