리비안, 단기 최대 위협에 직면하다

Arm, 엣지 AI 성능 혁신 이끌 Ethos-U85 NPU 공개 인공지능(AI)이 우리 일상에 미치는 영향력이 커지면서, AI 연산은 클라우드 기반 추론에서 엣지 및 엔드포인트 추론으로 이동하고 있습니다. 엣지 기반 추론은 다양한 사물인터넷(IoT) 기기에 지능을 부여하여 데이터를 로컬에서 처리하고 실시간으로 의사결정을 내릴 수 있게 하며, 데이터 프라이버시와 보안을 강화합니다. Arm의 Ethos NPU는 이러한 엣지 및 엔드포인트 AI 성능을 어떻게 향상시킬까요? Arm은 수년간 엣지 및 엔드포인트 추론 워크로드의 증가하는 요구를 지원하기 위해 엣지 AI 가속기를 개발해 왔습니다. Arm Ethos-U55와 Ethos-U65 NPU는 엣지 및 엔드포인트 AI 애플리케이션을 위한 고성능, 에너지 효율적인 솔루션을 제공하는 성공적인 제품입니다. Ethos-U55는 Cortex-M 기반 이기종 시스템에 널리 배포되었으며, Ethos-U65는 Cortex-A 기반 시스템으로 적용 범위를 확장하면서 온디바이스 머신러닝(ML) 성능을 두 배로 향상시켰습니다. 두 제품 모두 컨볼루션 신경망(CNN) 및 순환 신경망(RNN)을 포함한 일반적인 ML 네트워크 연산을 위한 통합 툴체인을 제공하여 개발을 용이하게 합니다. 트랜스포머 아키텍처의 AI 개발 영향은? 2017년 도입된 트랜스포머 아키텍처는 생성형 AI에 혁명을 일으켰으며, 많은 새로운 신경망에서 선호되는 아키텍처가 되었습니다. 트랜스포머 기반 모델은 어텐션 메커니즘을 사용하여 순차 데이터를 처리할 수 있으며, 기계 번역, 자연어 이해, 음성 인식, 분할 및 이미지 캡셔닝과 같은 다양한 AI 작업에서 최첨단 결과를 달성했습니다. 이러한 모델은 정확도를 크게 저하시키지 않으면서 엣지 디바이스에서 효율적으로 실행되도록 조정 및 압축될 수 있으며, 다양한 엣지 및 엔드포인트 사용 사례에서 최첨단 발전을 보여줍니다. Ethos-U85 NPU의 엣지 및 엔드포인트 워크로드 핵심 장점은? 이전 Ethos-U NPU 제품군의 성공을 바탕으로, Arm은 새로운 제품인 Ethos-U85를 선보입니다. 이는 이전 Ethos-U NPU의 고성능, 에너지 효율적인 철학을 계승하면서 트랜스포머 기반 네트워크를 사용하는 현재 및 향후 엣지 및 엔드포인트 워크로드를 지원하는 가속기입니다. Arm Ethos-U85 NPU Ethos-U85는 Arm Ethos-U 제품 라인의 세 번째 세대 NPU이며, 현재까지 가장 높은 성능과 에너지 효율성을 자랑하는 Ethos NPU입니다. 이전 모델 대비 4배의 성능 향상과 20% 더 높은 전력 효율성을 제공하며, 인기 있는 네트워크에서 최대 85%의 활용률을 보입니다. 이는 공장 자동화, 상업용 또는 스마트 홈 카메라와 같이 성능 요구 사항이 더욱 높아지고 있는 IoT 애플리케이션에 적합합니다. 또한 Cortex-M 및 Cortex-A 기반 시스템 모두와 함께 작동하도록 설계되었으며 높은 DRAM 지연 시간을 허용합니다. Ethos-U85의 주요 기능은 다음과 같습니다. * 128~2048 MAC/클럭 구성 지원 (1GHz에서 256 GOPS/s ~ 4 TOP/s) * int8 가중치 및 int8 또는 int16 활성화 지원 * CNN 및 RNN과 함께 트랜스포머 아키텍처 네트워크 지원 * 2/4 희소성(sparsity)에 대한 하드웨어 네이티브 지원으로 처리량 두 배 향상 * 29~267KB의 내부 SRAM 및 최대 6개의 128비트 AXI5 인터페이스 * 표준 및 빠른 가중치 디코더를 모두 지원하는 가중치 압축 지원 * 확장 압축 지원 Ethos-U55 및 U65에서 현재 지원되는 연산 외에도, Ethos-U85는 TRANSPOSE, GATHER, MATMUL, RESIZE BILINEAR, ARGMAX와 같은 연산을 지원하여 트랜스포머 네트워크 및 DeeplabV3 의미론적 분할 네트워크에 대한 네이티브 하드웨어 지원을 포함합니다. Ethos-U85는 또한 요소별 연산 체인(elementwise operator chaining)을 지원합니다. 체인 방식은 요소별 연산을 이전 연산과 결합하여 중간 텐서를 쓰고 읽어야 하는 SRAM을 절약합니다. 이는 NPU와 메모리 간의 데이터 전송량을 줄여 NPU 효율성을 향상시킬 수 있습니다. 체인 방식은 빠른 가중치 디코더, MAC 배열의 전력 효율성 개선, 요소별 효율성 개선과 함께 Ethos-U85에서 Ethos-U65 대비 개선된 효율성 기능 중 하나입니다. Ethos-U85 시스템 구성 Ethos-U85는 Ethos-U55 및 Ethos-U65와 동일한 시스템 구성 흐름에서 사용될 수 있으며, Cortex-A 기반 시스템에서 Ethos-U85를 직접 구동하는 기능이 도입되었습니다. Ethos-U85는 TFLmicro 런타임을 사용하는 이전 Ethos-U 제품군과 구축된 동일한 소프트웨어 툴체인을 지원합니다. 이는 Ethos-U85가 이를 기반으로 하고 해당 가치를 활용하여 트랜스포머 네트워크 기반의 더 넓은 사용 사례를 지원함으로써, Cortex-A/Cortex-M과 Ethos-U55/Ethos-U65를 사용하는 시스템에 이미 투자된 가치를 확장할 것입니다. 향후에는 엣지 디바이스용 PyTorch 런타임인 ExecuTorch 지원을 활성화할 것으로 예상됩니다. Ethos-U85 지원 연산은 NPU 자체에서 가속되며, 지원되지 않는 특수 연산이 있는 경우 CMSIS-NN을 사용하여 Cortex-M 기반 시스템에서 가속될 수 있습니다. 예를 들어, tinyLlama의 경우 모델이 CPU로의 연산 폴백 없이 Ethos-U85에 완전히 매핑되었습니다. 마지막으로, Corstone-320의 일부로 Ethos-U85는 최신 IoT 참조 설계 플랫폼의 핵심에 구축되었습니다. 이는 다양한 AI 기반 IoT 솔루션에 걸쳐 고성능 시스템 온 칩(SoC)의 개발 및 배포를 가속화하는 데 도움이 됩니다. 비디오: Arm Ethos-U85 NPU로 엣지 AI 혁신 Ethos-U85는 엣지 및 엔드포인트 디바이스에서 최첨단 AI 기능을 실행하는 데 필요한 컴퓨팅 성능을 제공할 것입니다. AI 세계가 발전함에 따라 Arm의 파트너들은 안정적이고 효율적이며 고성능의 Ethos-U 기반 솔루션을 갖게 될 것입니다. Ethos-U85는 스마트 홈, 리테일 또는 산업 환경과 같이 최신 AI 프레임워크 지원과 함께 더 높은 성능 컴퓨팅에 대한 수요가 있는 신흥 엣지 AI 사용 사례에 배포될 것으로 예상됩니다. Arm은 최첨단 하드웨어 및 소프트웨어 솔루션을 통해 파트너와 생태계를 지원하는 데 자부심을 느낍니다. Ethos-U85를 통해 Arm은 세상을 변화시킬 엣지 및 엔드포인트 기반 AI 추론 사용 사례의 세계를 열고 있습니다. Arm은 엣지 AI의 미래를 계속 구축하면서 엣지 AI 혁신을 한 단계 끌어올리고 있습니다. Arm Ethos-U85에 대해 자세히 알아보십시오.