Cambridge Consultants: 엔드포인트 AI의 한계를 어떻게 넓혀가고 있는가

ARM, 엣지 AI 시대를 열다: Cortex-M55와 Ethos-U55의 혁신적인 성능 인공지능(AI)은 클라우드 환경에서 성장했지만, 혁신적인 제품과 서비스를 현실 세계에 구현하기 위해서는 데이터센터를 넘어 엣지 디바이스로 나아가야 합니다. ARM의 기술은 이미 가정, 병원, 위성 네트워크, 심지어 인체 내부까지 광범위하게 사용되고 있습니다. 특히 최근에는 '엣지 AI' 기술이 주목받고 있는데, 이는 센서 데이터를 클라우드로 전송하지 않고도 디바이스 자체에서 즉각적으로 의미 있는 정보로 변환하는 것을 가능하게 합니다. ARM은 Cortex-M55 프로세서와 Ethos-U55 뉴럴 프로세싱 유닛(NPU)을 출시한 지 1년 만에 이 기술의 잠재력을 한 단계 끌어올렸습니다. 이 두 기술의 결합은 엣지 디바이스에서 AI 구현의 새로운 가능성을 열었습니다. Cortex-M55와 Ethos-U55: 엣지 AI의 새로운 지평을 열다 ARM의 승인된 디자인 파트너인 한 기업은 Cortex-M55와 Ethos-U55의 출시 직후 이 새로운 AI 듀오를 테스트했습니다. 기존 Cortex-M3 기반의 초저전력 음성 활동 감지(VAD) 레퍼런스 디자인을 Cortex-M55와 Ethos-U55로 마이그레이션한 결과, 놀라운 성능 향상을 경험했습니다. 평균 전력 소비는 7배 감소했지만, 코어 속도는 1,000배 증가했습니다. 이는 단순한 차세대 마이크로컨트롤러를 넘어 엣지 AI의 가능성을 혁신적으로 변화시키는 '단계적 도약'임을 시사합니다. 클라우드 전송 없이 디바이스 자체에서 작동하는 음성 감지 기술은 지연 시간, 개인 정보 보호, 전력 효율성 측면에서 상당한 이점을 제공하며, 이는 향후 소비자 시장에서 더욱 중요해질 것입니다. VAD 레퍼런스 디자인의 성능 향상은 음성 감지와 함께 비전 기능을 통합하는 등 이전에는 불가능했던 새로운 가능성을 열어주었습니다. AI 의료 애플리케이션의 한계를 엣지에서 극복하다 이러한 성능 향상에 힘입어, 연구팀은 클라우드 기반의 복잡한 딥러닝 애플리케이션을 이 마이크로프로세서 듀오에 이식할 수 있는지 탐구했습니다. 이를 통해 적절한 최적화와 실리콘 IP를 활용하면 복잡한 신경망조차 저전력 엣지 디바이스에 배포할 수 있음을 입증하고자 했습니다. 연구에 사용된 애플리케이션은 자원이 제한적인 국가에서 결핵(TB) 치료 모니터링을 개선하기 위한 개념 시스템으로, AI와 스마트폰을 결합하여 실험실 현미경 이미지를 캡처하는 방식입니다. 기존에는 클라우드에서 딥러닝 알고리즘을 통해 염색된 객담 표본 이미지를 분석하여 환자의 질병 상태를 파악했습니다. 이 치료 모니터링 애플리케이션은 일반적인 객체 감지 애플리케이션보다 350배 더 높은 연산 복잡성을 요구합니다. 일반적인 MobileNet V2 신경망의 경우 이미지당 약 0.8억 MACs(곱셈-누산 연산)가 필요하지만, 이 연구에서는 이미지당 70회의 추론에 각각 약 4억 MACs가 필요했습니다. 이러한 복잡한 애플리케이션의 이식은 성공적이었으며, 기존 클라우드 배포와 유사한 실행 시간과 정확도를 유지하면서도 단 몇 와트의 전력만을 소비했습니다. 이러한 전력 감소는 네트워크 구현을 이해하고 최적화하는 과정에서 이루어졌으며, 클라우드에서 엣지로의 마이그레이션 과정에서 실행 시간, 전력 소비 및 정확도에 극적인 영향을 미쳤습니다. 엣지 AI의 광범위한 적용 가능성 이 연구의 적용 가능성은 무궁무진합니다. 실시간 의료 AI를 저전력 엣지 디바이스에 배포하여 인터넷 연결이 어렵거나 부피가 크고 전력 소모가 많은 컴퓨팅 장비가 비현실적인 환경에서도 활용될 수 있습니다. 또한, 엣지에서 AI 데이터를 처리함으로써 지연 시간을 줄이고 전력 소비를 낮추는 이점을 누릴 수 있습니다. 데이터가 사용자 디바이스를 벗어나지 않으므로 개인 정보 보호 및 보안 강화 효과도 기대할 수 있습니다. 이러한 연구 결과는 다양한 애플리케이션 및 시장에 직접적으로 적용될 수 있으며, 디바이스 제조업체들이 복잡한 AI 워크로드를 일상적인 소비자 기기, 공장, 나아가 스마트 시티까지 확장할 수 있도록 지원합니다. ARM은 수십억 개의 휴대폰 신호 처리부터 스마트 흡입기의 AI까지, ARM IP를 활용하여 고객에게 수십억 달러의 가치를 창출해 왔습니다. ARM 승인 디자인 파트너로서, ARM의 최신 IP가 엣지 AI를 얼마나 강력하게 만들 수 있는지 입증하는 것은 ARM, 고객 및 전 세계에 대한 의무라고 생각합니다. ARM은 사물인터넷(IoT) 기기를 위한 AI의 이점을 활용할 수 있도록 새로운 컴퓨팅 기술과 소프트웨어, 도구를 제공하여 기업들이 AI 기반 IoT 애플리케이션의 설계, 개발 및 지원을 간소화하도록 돕고 있습니다.