索尼曾提交過一份類似于Knuckles風(fēng)格的VR控制器發(fā)明。日前，索尼的研究人員正式展示了利用機器學(xué)習(xí)和電容傳感器來實現(xiàn)全手追蹤的實驗性技術(shù)
索尼曾提交過一份類似于Knuckles風(fēng)格的VR控制器發(fā)明。日前，索尼的研究人員正式展示了利用機器學(xué)習(xí)和電容傳感器來實現(xiàn)全手追蹤的實驗性技術(shù)。
像Leap Motion這樣基于視覺的手部追蹤系統(tǒng)可允許用戶直接用雙手操縱，無需控制器，但它們通常會產(chǎn)生手指遮擋的情況，從而無法在虛擬現(xiàn)實中實現(xiàn)一比一的全手映射。
為了給虛擬現(xiàn)實控制器帶來更強的手部臨在感，索尼研究人員Kazuyuki Arimatsu和Hideki Mori構(gòu)建了一個集成大批電容式接近傳感器的控制器原型，而它非常類似于V社的Index控制器(原Knuckles)和Oculus Touch。
原型包含62個電極，而Kazuyuki Arimatsu和Hideki Mori用所述電極記錄了不同手部尺寸與姿態(tài)的訓(xùn)練數(shù)據(jù)。與Index控制器一樣，索尼的原型采用了一種基于腕帶的開放式手掌設(shè)計。
相關(guān)論文
：
Evaluation of Machine Learning Techniques for Hand Pose Estimation on Handheld Device with Proximity Sensor
https://paper.nweon.com/658
他們在論文中寫道：“我們用2.5D Representation將卷積神經(jīng)網(wǎng)絡(luò)方法應(yīng)用于曲面的電容圖像，并利用我們的數(shù)據(jù)集評估了基于計算機視覺領(lǐng)域最新成果的兩種網(wǎng)絡(luò)架構(gòu)。我們同時使用原型實現(xiàn)了實時交互應(yīng)用程序，并演示了在虛擬現(xiàn)實應(yīng)用程序中使用手指進行直觀交互的可能性。”
下面的視頻展示了相當(dāng)亮眼的結(jié)果。但兩人承認(rèn)，目前的設(shè)計存在一定的缺點：缺乏對所有手部尺寸的支持。
他們指出：“如果我們向全世界的用戶提供我們的方法，這可能會產(chǎn)生問題。由于我們需要一個光學(xué)追蹤系統(tǒng)來記錄訓(xùn)練數(shù)據(jù)集，所以(視頻演示的)每個用戶的微調(diào)訓(xùn)練無法通過我們當(dāng)前的訓(xùn)練方法進行。為了更好地適應(yīng)不同的手部尺寸，我們需要研究一種增強或合成電容圖像的方法。” 目前的算法無法估計用戶手部的形狀，比如說手指的厚度，而這可能會在執(zhí)行捏合動作時造成實際手部姿態(tài)和虛擬手部姿態(tài)的不匹配。用戶當(dāng)然可以在挑選更小的虛擬對象時進行自我調(diào)整，而這對于Knuckles和初代Oculus Touch控制器都是事實(Oculus Touch控制器是第一款采用相對較小的電容傳感器陣列的VR控制器)。
不管是哪種情況，目前尚不清楚索尼是否會繼續(xù)推進所述技術(shù)的商業(yè)化，比如說用于支持PS5的控制器。我們依然在屏息等待下一代PSVR的發(fā)布，但顯然，我們確實希望索尼能夠拋棄原有的PS Move+PS Camera的光學(xué)組合。
關(guān)鍵詞： 索尼
