Neural Finger Tracking
: 페이스북의 오큘러스 퀘스트는 헤드셋의 카메라를 통해 컨트롤러를 사용하지 않고 손의 움직임을 트래킹(controller-free hand tracking) 합니다. 이러한 방식은 작더라도 어느정도의 공간이 필요하면서, 실제 움직임과 트래킹된 신호사이에 딜레이가 발생한다는 문제점이 있었습니다. 심지어 손이 겹치게 될 경우 트래킹이 잘 안되기도 했었습니다.
더 좋은 카메라와 빠른 처리속도를 갖는 칩을 사용하게 되면 이러한 문제를 어느정도 개선할 수는 있지만, 헤드셋 기반의 기술이 갖는 내재적인 한계는 극복하기 어렵습니다. 따라서 페이스북은 이 한계를 극복하고자 2019년 CTRL-Labs을 인수하고 뉴럴 데이터를 통해 손의 움직임을 트래킹하는 기술을 개발합니다.
더 흥미로운 점은, 실제 손가락의 움직임을 트래킹하는 것이 아니라 뉴럴 시그널(neural signal)을 트래킹 하는 것이기 때문에 생각 하는 것만으로도 손가락의 움직임을 구현할 수 있습니다. 실제 CTRL-Lab이 공개한 짧은 비디오 클립을 보면 선천적으로 손이 없는 사람의 뉴럴 신호를 통해 가상의 손을 움직이고 있습니다. 또한, 공룡 게임을 따로 키조작 없이 생각으로만 플레잉하는 모습을 보여주기도 합니다!
Multisensory interaction in VR/AR application
:한편, 우리의 뇌는 시각, 텍스쳐, 진동, 움직임등 여러가지 자극을 종합해서 하나의 이벤트로 인식합니다. CTRL-Labs은 진동(vibration)과 수축(squeeze)등 피드백을 제공함으로써 실질적으로 다중감각(multisensory) 상황을 재현하고자 노력중입니다. 구체적으로 사다리를 오르거나 아래 사진처럼 활을 쏘는 등의 어플리케이션에 적용 중이라고 합니다. 결국 이러한 손목 장착형 햅틱(wrist-mounted haptics) 기술이 AR 글라스와 합쳐진다면 보다 생생한 경험을 전달해줄 수 있을 것이라 전망하고 있습니다.
페이스북은 오큘러스와 연동 가능한 스마트 워치를 2022년 출시 목표로 하고 있습니다. 해당 제품 출시를 통해 페이스북이 하드웨어로까지 생태계를 확장할 수 있을지 기대해봅니다.
참고자료: uploadvr.com/facebook-wrist-based-hand-tracking-haptics/
댓글