Facebook Reality Labs 내부: 차세대 컴퓨팅 플랫폼을 위한 손목 기반 인터랙션

META, 손목 기반 입력 기술로 AR 인터페이스 혁신 예고 Meta(META)가 인간-컴퓨터 상호작용(HCI)의 미래를 위한 새로운 연구 결과를 공개하며 증강현실(AR) 인터페이스 혁신에 대한 기대를 높이고 있습니다. 특히, 손목 기반 입력 방식과 AI 기술의 결합을 통해 더욱 자연스럽고 직관적인 AR 경험을 제공하겠다는 비전을 제시했습니다. Meta Reality Labs(FRL) Research는 10년 후 AR 글래스를 통해 사용자가 공유하는 정보를 바탕으로 사용자의 의도를 파악하고 필요한 기능을 제공하는 AI 기반 인터페이스를 구상하고 있습니다. 이번에 공개된 연구는 이보다 단기적으로 실현 가능한 기술로, 사용자와 주변 환경에 동적으로 적응하는 AI와 결합된 손목 기반 입력 방식입니다. Meta는 올해 말에는 부드러운 로봇 기술을 활용한 편안한 웨어러블 기기 개발과 햅틱 글러브 연구에 대한 업데이트를 발표할 예정입니다. FRL Research의 궁극적인 목표는 AR 환경에서 사용자가 현실 세계와의 상호작용을 포기하지 않으면서도 기기와 자연스럽게 소통할 수 있는 인터페이스를 구축하는 것입니다. 이를 통해 사람들과의 연결 방식을 혁신하겠다는 포부입니다. Meta는 미래의 HCI가 사용자가 항상 현실 세계에 몰입할 수 있도록 하면서도 디지털 세계와 손쉽게 상호작용할 수 있는, 매우 사용하기 쉽고 신뢰할 수 있으며 개인 정보가 보호되는 인터페이스를 요구한다고 강조했습니다. 이러한 인터페이스를 구현하기 위해서는 수많은 혁신이 필요하며, 특히 사용자의 명령과 행동, 그리고 주변 환경의 맥락을 이해하는 AI와 사용자가 시스템과 손쉽게 소통할 수 있는 기술, 즉 '초저마찰 입력(ultra-low-friction input)' 방식이 핵심 요소가 될 것입니다. AI는 사용자와 주변 환경에 대한 이해를 바탕으로 다양한 맥락에서 사용자가 필요로 할 정보나 수행할 수 있는 작업을 추론하고, 맞춤형 선택지를 제시할 것입니다. 입력 방식은 마치 손가락의 작은 움직임으로 가상 버튼을 클릭하는 것처럼, 선택을 매우 쉽게 만들 것입니다. 하지만 이러한 완전한 시스템 구현에는 아직 수년이 걸릴 전망입니다. 이에 Meta는 보다 가까운 시일 내에 실현 가능한 기술로, 사용자와 환경에 동적으로 적응하는 AI와 결합된 손목 기반 입력 방식을 집중적으로 조명하고 있습니다. 손목을 선택한 이유 Meta는 다양한 입력 소스 중 손목을 선택한 이유에 대해 설명했습니다. 음성 인식은 직관적이지만 공공장소에서의 사생활 침해 우려와 주변 소음으로 인한 신뢰성 문제가 있습니다. 또한, 주머니에 넣고 다니는 별도의 기기(스마트폰, 게임 컨트롤러 등)는 사용자와 환경 사이에 추가적인 마찰을 발생시킵니다. 이러한 점들을 고려했을 때, 입력 장치를 손목에 착용하는 것이 명확한 해결책으로 떠올랐습니다. 손목은 전통적으로 시계를 착용하는 장소로, 일상생활과 사회적 맥락에 자연스럽게 녹아들 수 있습니다. 또한, 하루 종일 편안하게 착용할 수 있으며, 사용자가 세상을 조작하는 주요 도구인 손과 가깝다는 이점이 있습니다. 이러한 근접성은 손의 풍부한 제어 기능을 AR로 가져와 직관적이고 강력하며 만족스러운 상호작용을 가능하게 할 것입니다. 손목 기반 웨어러블 기기는 컴퓨팅, 배터리, 안테나를 위한 플랫폼 역할을 수행하면서도 다양한 센서를 지원하는 추가적인 이점을 제공합니다. 여기서 부족했던 부분은 풍부한 입력 방식을 찾는 것이었고, 그 잠재적인 해결책으로 근전도(EMG) 기술이 제시되었습니다. 근전도(EMG) 기술은 센서를 사용하여 손목을 통해 손으로 전달되는 전기적 운동 신경 신호를 디지털 명령으로 변환하여 기기 기능을 제어하는 방식입니다. 이러한 신호는 기기에 명확한 1비트 명령을 전달할 수 있으며, 이는 개인에게 맞춰 고도로 맞춤화되고 다양한 상황에 적응할 수 있는 제어 수준을 제공합니다. 손목을 통과하는 신호는 매우 명확하여 EMG는 손가락의 1mm 움직임까지도 감지할 수 있습니다. 이는 입력이 매우 쉬워질 수 있음을 의미하며, 궁극적으로는 손가락을 움직이려는 의도만을 감지하는 것도 가능해질 수 있습니다. FRL의 신경운동 인터페이스 책임자인 Thomas Reardon은 "우리가 신경 인터페이스를 통해 하려는 것은 뇌 외부의 말초 신경계, 특히 손과 손가락 근육을 움직이는 신경의 출력을 사용하여 기기를 직접 제어하는 것"이라고 설명했습니다. 이는 생각 읽기와는 다르며, 사용자가 사진을 찍고 일부만 공유하거나, 많은 생각 중 일부에만 행동하는 것처럼, 뇌가 손과 손가락에 특정 움직임을 지시하는 신호를 보내는 것을 손목에서 해독하여 디지털 명령으로 변환하는 것입니다. 이는 스마트폰에서 노래를 선택하거나, 마우스를 클릭하거나, 키보드를 타이핑할 때 이미 기기에 보내는 지침에 따라 행동하는 것보다 훨씬 빠른 방식입니다. 손목에서의 동적 제어 초기 EMG는 '클릭'이라고 불리는 1~2비트의 제어 기능을 제공할 것이며, 이는 버튼을 탭하는 것과 유사합니다. 이는 엄지와 검지를 꼬집고 놓는 것과 같은 움직임 기반 제스처로, 걷거나, 말하거나, 앉아 있거나, 손이 옆에 있거나, 앞에 있거나, 주머니에 있든 상관없이 실행하기 쉽습니다. 손가락을 함께 클릭하는 것은 별도의 호출어 없이 항상 작동할 것이며, 이는 AR을 위한 최초의 보편적이고 초저마찰 상호작용이 될 것입니다. 하지만 이것은 시작에 불과합니다. EMG는 궁극적으로 더 풍부한 제어로 발전할 것입니다. AR 환경에서는 시연 영상에서 볼 수 있듯이 가상 UI와 객체를 실제로 만지고 움직일 수 있게 될 것입니다. 또한, 멀리 떨어진 가상 객체를 제어하는 것도 가능해질 것입니다. 이는 마치 '포스'와 같은 초능력을 갖는 것과 같습니다. 그리고 이것은 시작에 불과합니다. 궁극적으로는 테이블이나 무릎 위에서 EMG를 사용하여 현재 키보드보다 더 빠른 속도로 타이핑할 수 있게 될 가능성이 높습니다. 초기 연구는 유망한 결과를 보여주고 있습니다. 실제로 2019년 FRL에 합류한 CTRL-labs 팀은 개인화된 모델을 개발하여 개별 사용자의 타이핑 속도와 기술에 적응하는 맞춤형 키보드 모델을 훈련하는 데 걸리는 시간을 단축하는 중요한 발전을 이루었습니다.