Meta와 BMW: AR 및 VR 경험을 도로 위로 가져가다

메타(META), BMW와 손잡고 차량 내 AR/VR 경험 혁신 나선다 메타(META)가 자동차 제조사 BMW와 협력하여 차량 내 증강현실(AR) 및 가상현실(VR) 기술 통합을 통해 승객 경험을 혁신하겠다는 야심찬 계획을 발표했습니다. 2021년부터 시작된 이 공동 연구 프로젝트는 단순한 이동 수단을 넘어, 차량 안에서의 시간을 더욱 생산적이고, 사회적이며, 즐거운 경험으로 만들 수 있는 가능성을 탐구하고 있습니다. 이번 협력은 미래 모빌리티의 새로운 지평을 열 것으로 기대됩니다. 성공적으로 구현될 경우, 이 기술은 자동차뿐만 아니라 기차, 비행기 등 다양한 이동 수단에서 핸즈프리 커뮤니케이션, 엔터테인먼트, 유틸리티 기능을 강화하여 현재 차량에서 볼 수 있는 화면과 계기판 이상의 가치를 제공할 수 있습니다. 기존 VR 헤드셋의 한계 극복 메타의 VR 헤드셋은 다양한 센서를 탑재하고 있지만, 움직이는 차량 안에서의 정확한 위치 및 움직임 추적은 기술적으로 어려운 과제였습니다. Oculus Insight와 같은 추적 기술은 관성 측정 장치(IMU)와 카메라를 함께 사용하여 헤드셋의 위치와 움직임을 정밀하게 추정합니다. 하지만 차량이 움직이는 환경, 즉 비관성 기준계에서는 카메라가 차량 내부를 기준으로 움직임을 관찰하는 반면, IMU는 전 세계를 기준으로 가속도와 회전 속도를 측정하는 등 두 정보 간의 불일치가 발생합니다. 이러한 불일치로 인해 현재 Meta Quest 2와 같은 VR 헤드셋은 차량이 회전하거나 가속할 때 안정적인 가상 콘텐츠를 표시하기 어렵습니다. 이러한 문제를 해결하기 위해 메타는 BMW와의 협력을 통해 BMW 차량의 센서 배열에서 얻은 IMU 데이터를 실시간으로 Project Aria 연구용 안경의 추적 시스템에 통합했습니다. 이 추가 정보는 시스템이 차량을 기준으로 안경의 위치를 계산할 수 있도록 합니다. 이는 상당한 기술적 성과로, 추적 시스템을 Meta Quest Pro로 이전한 후에는 차량의 디지털 트윈을 사용하여 가상 객체를 움직이는 차량에 정확하게 고정할 수 있게 되었습니다. 새로운 추적 시스템과 Meta Quest Pro를 활용하여 움직이는 차량 안에서 몰입감 있는 가상 및 혼합 현실 승객 경험을 시연하는 데 성공했습니다. 다음 단계는 차량의 전 세계 위치를 파악하여 월드 잠금 렌더링(world-locked rendering)을 가능하게 하는 것입니다. 미래 모빌리티를 위한 협력 강화 메타는 앞으로도 BMW와 지속적으로 협력하여 최신 자동차의 머신 퍼셉션(machine perception) 기능을 더욱 활용하고 미래의 사용 사례를 구현할 계획입니다. 차량의 정밀한 6자유도(6DOF) 포지셔닝 시스템에 접근할 수 있다면, 차량 외부의 가상 콘텐츠를 렌더링하여 랜드마크나 관심 지점을 식별하는 등 월드 잠금 가상 콘텐츠를 구현할 수 있을 것입니다. 이러한 기능은 미래의 AR 안경 및 개인화된 AI 비서에게 매우 유용할 것으로 예상됩니다. 메타는 이러한 혁신적인 비전을 실현하기 위해 BMW와의 파트너십을 통해 미래 모빌리티의 여정을 계속해 나갈 것이라고 밝혔습니다.