Arm Ethos-U85: AI 시대 IoT의 고성능 요구 충족

Arm, 엣지 AI 시대 열 새로운 NPU 'Ethos-U85' 공개 인공지능(AI)이 우리 일상에 미치는 영향력이 커지면서, AI 연산은 클라우드 기반에서 엣지 및 엔드포인트로 빠르게 이동하고 있습니다. 엣지 기반 AI는 다양한 사물인터넷(IoT) 기기에 지능을 부여하여 데이터를 로컬에서 처리하고 실시간 의사결정을 가능하게 하며, 데이터 프라이버시와 보안을 강화합니다. Arm은 이러한 엣지 및 엔드포인트 AI 워크로드의 증가하는 수요를 충족시키기 위해 수년간 엣지 AI 가속기를 개발해 왔습니다. Arm의 Ethos-U55와 Ethos-U65 NPU는 이미 엣지 및 엔드포인트에서 고성능, 에너지 효율적인 AI 애플리케이션 솔루션을 제공하며 성공적으로 시장에 안착했습니다. Ethos-U55는 Cortex-M 기반 이기종 시스템에 널리 배포되었으며, Ethos-U65는 Cortex-A 기반 시스템으로 적용 범위를 확장하여 온디바이스 머신러닝(ML) 성능을 두 배로 향상시켰습니다. 두 제품 모두 컨볼루션 신경망(CNN) 및 순환 신경망(RNN)을 포함한 일반적인 ML 네트워크 연산을 지원하며, 통합된 툴체인을 통해 개발 편의성을 제공합니다. 2017년 등장한 트랜스포머(Transformer) 아키텍처는 생성형 AI 분야에 혁신을 가져왔으며, 많은 새로운 신경망의 표준 아키텍처로 자리 잡았습니다. 트랜스포머 기반 모델은 어텐션 메커니즘을 사용하여 순차 데이터를 처리하며, 기계 번역, 자연어 이해, 음성 인식, 분할 및 이미지 캡셔닝과 같은 다양한 AI 작업에서 최첨단 성능을 달성했습니다. 이러한 모델은 정확도를 크게 저하시키지 않으면서 엣지 디바이스에서 효율적으로 실행되도록 조정 및 압축될 수 있으며, 다양한 엣지 및 엔드포인트 사용 사례에서 최첨단 발전을 보여주고 있습니다. Arm은 기존 Ethos-U NPU 제품군의 성공을 바탕으로 새로운 제품인 Ethos-U85를 선보입니다. Ethos-U85는 이전 제품과 동일한 고성능, 에너지 효율적인 철학을 계승하면서도 트랜스포머 기반 네트워크를 활용하는 현재 및 향후 엣지 및 엔드포인트 워크로드를 지원합니다. Ethos-U85는 Arm Ethos-U 제품 라인의 세 번째 세대 NPU로, 현재까지 가장 높은 성능과 에너지 효율성을 자랑합니다. 이전 세대 대비 4배의 성능 향상과 20% 향상된 전력 효율성을 제공하며, 인기 있는 네트워크에서 최대 85%의 활용률을 달성합니다. 이는 공장 자동화, 상업용 또는 스마트 홈 카메라와 같이 성능 요구 사항이 더욱 높아지고 있는 IoT 애플리케이션에 적합합니다. 또한 Cortex-M 및 Cortex-A 기반 시스템 모두와 함께 작동하도록 설계되었으며, 높은 DRAM 지연 시간을 허용합니다. Ethos-U85의 주요 기능은 다음과 같습니다. - 128에서 2048 MACs/cycle까지의 구성 지원 (1GHz에서 256 GOPS/s ~ 4 TOP/s) - int8 가중치 및 int8 또는 int16 활성화 지원 - CNN 및 RNN뿐만 아니라 트랜스포머 아키텍처 네트워크 지원 - 2/4 희소성(sparsity)에 대한 하드웨어 네이티브 지원으로 처리량 두 배 증가 - 29 ~ 267 KB의 내부 SRAM 및 최대 6개의 128비트 AXI5 인터페이스 - 표준 및 빠른 가중치 디코더를 모두 지원하는 가중치 압축 지원 - 확장 압축 지원 Ethos-U55 및 U65에서 현재 지원되는 연산자 외에도, Ethos-U85는 TRANSPOSE, GATHER, MATMUL, RESIZE BILINEAR, ARGMAX와 같은 연산을 지원하여 트랜스포머 네트워크 및 DeeplabV3 의미론적 분할 네트워크에 대한 네이티브 하드웨어 지원을 포함합니다. Ethos-U85는 또한 요소별 연산 체이닝(elementwise operator chaining)을 지원합니다. 체이닝은 요소별 연산을 이전 연산과 결합하여 중간 텐서를 쓰고 읽어야 하는 SRAM 부담을 줄여줍니다. 이는 NPU와 메모리 간의 데이터 전송량을 줄여 NPU 효율성을 향상시킬 수 있습니다. 체이닝은 빠른 가중치 디코더, MAC 배열의 전력 효율성 개선, 요소별 효율성 개선과 함께 Ethos-U85에서 Ethos-U65 대비 향상된 효율성 기능 중 하나입니다. Ethos-U85는 Ethos-U55 및 Ethos-U65와 동일한 시스템 구성 흐름을 따르며, Cortex-A 기반 시스템에서 Ethos-U85를 직접 구동하는 기능이 도입되었습니다. 또한 기존 Ethos-U 제품 라인에서 사용되는 TFLmicro 런타임을 활용하는 동일한 소프트웨어 툴체인을 지원합니다. 이는 Cortex-A/Cortex-M 및 Ethos-U55/Ethos-U65를 사용하는 시스템에 이미 투자된 가치를 확장하여, 트랜스포머 네트워크 기반의 더 넓은 사용 사례를 가능하게 할 것입니다. 향후에는 엣지 디바이스용 PyTorch 런타임인 ExecuTorch 지원도 가능해질 것으로 예상됩니다. Ethos-U85 지원 연산자는 NPU 자체에서 가속되며, 지원되지 않는 특수 연산자는 CMSIS-NN을 사용하는 Cortex-M 기반 시스템에서 가속될 수 있습니다. 예를 들어, tinyLlama의 경우 모델이 CPU로의 연산자 폴백 없이 Ethos-U85에 완전히 매핑되었습니다. 마지막으로, Corstone-320의 일부로서 Ethos-U85는 Arm의 최신 IoT 참조 설계 플랫폼의 핵심에 구축되었습니다. 이는 다양한 AI 기반 IoT 솔루션에 걸쳐 고성능 시스템 온 칩(SoC)의 개발 및 배포를 가속화하는 데 도움이 됩니다. Ethos-U85는 엣지 및 엔드포인트 디바이스에서 최첨단 AI 기능을 실행하는 데 필요한 컴퓨팅 성능을 제공할 것입니다. AI 세계가 발전함에 따라 Arm의 파트너들은 안정적이고 효율적이며 고성능의 Ethos-U 기반 솔루션을 기대할 수 있습니다. Ethos-U85는 스마트 홈, 리테일 또는 산업 환경과 같이 최신 AI 프레임워크 지원과 함께 더 높은 성능의 컴퓨팅 요구가 있는 신흥 엣지 AI 사용 사례에 배포될 것으로 예상됩니다. Arm은 최첨단 하드웨어 및 소프트웨어 솔루션을 통해 파트너와 생태계를 지원하는 데 자부심을 가지고 있습니다. Ethos-U85를 통해 Arm은 세상을 변화시킬 엣지 및 엔드포인트 기반 AI 추론 사용 사례의 세계를 열고 있습니다. Arm은 엣지 AI의 미래를 계속 구축하며 엣지 AI 혁신을 한 단계 끌어올리고 있습니다.