ARM, 엣지 AI 분야의 기술 격차를 어떻게 해소할 수 있을까?

AI 및 머신러닝(ML)의 급격한 성장이 엣지 디바이스와 임베디드 시스템의 혁신을 가속화하고 있습니다. 하지만 리소스가 제한된 하드웨어에 ML 모델을 성공적으로 배포하려면 데이터 과학, 머신러닝, 전문 임베디드 엔지니어링 분야를 아우르는 엣지 AI 전문성이 필요합니다. 수십 년간 단순한 마이크로컨트롤러 기반 솔루션을 제공해 온 임베디드 설계 분야가 이제 AI의 거대한 흐름에 직면한 것입니다.

대부분의 엣지 AI 개발팀은 새로운 AI 및 ML 워크로드를 활용하고자 할 때, 온디바이스 AI 최적화 및 가속화 능력을 저해하는 기술 격차에 직면해 있습니다. 일부 기업은 내부 AI/ML 팀을 구축하거나, 전담 ML 리더십을 영입하고 스타트업을 인수하는 방식으로 이 격차를 해소하고 있습니다. 그러나 ML 방법론과 모델이 복잡해짐에 따라 기술 발전의 기준선은 계속 높아지고 있습니다. 가까운 미래에는 ChatGPT나 Gemini의 여러 파생 모델이 소형 임베디드 컨트롤러와 엣지 AI에서 실행되어 실질적인 이점을 제공할 것으로 예상됩니다.

또한, 시장 출시 시간 압박은 엄청납니다. 임베디드 엔지니어링 팀이 MLOps(Machine Learning Operations) 역량을 완전히 갖추는 데는 수년이 걸릴 수 있으며, 그 후에도 지속적인 학습이 필요합니다. 엣지에서의 MLOps는 끊임없이 발전하기 때문입니다.

엣지 AI의 핵심 기술 격차는 무엇일까요? 세 가지 주요 영역이 두드러집니다.

데이터 관리

모델 최적화

효율적인 추론

AI 및 ML 솔루션의 확장과 발전을 지원하는 핵심 기술 제공업체인 Arm은 엔지니어와 개발자의 삶을 더 쉽고 효율적으로 만들어 그들의 AI 꿈을 실현하도록 돕는 데 주력하고 있습니다. 이러한 과제들을 자세히 살펴보겠습니다.

데이터 관리가 엣지 AI에서 중요한 이유는 무엇일까요?

데이터 관리: 머신러닝 모델을 개발하고 배포하는 데 있어 데이터를 효과적으로 관리하는 것은 매우 중요하지만, 여기에는 여러 어려움이 따릅니다. 센서로부터 올바르고 편향되지 않은 데이터를 수집하고, 학습을 위해 데이터를 정확하고 일관되게 라벨링하며, 데이터의 개인 정보 보호 및 보안을 보장하는 것이 포함됩니다. 전통적인 임베디드 설계 환경에서 강력한 엔드투엔드 ML 데이터 관리를 위한 도구, 인프라 및 기술을 유지하는 것은 임베디드 팀에게 추가적인 어려움을 야기합니다. 예를 들어, 하드웨어 타겟팅 및 프로토타이핑은 전통적으로 번거롭고 느린 과정이었습니다.

Arm은 Arm Virtual Hardware(AVH)를 통해 이 설계 프로세스의 단순화와 배포 가속화를 추진하고 있습니다. AVH는 Arm 기반 칩의 기능적으로 정확한 모델을 제공하는 클라우드 기반 서비스로, 소프트웨어 개발자가 물리적 하드웨어 없이 Arm 기반 IoT 장치의 동작을 시뮬레이션할 수 있도록 합니다.

이제 ML 애플리케이션의 데이터 입력 복잡성을 고려해 봅시다. 오디오 및 기타 센서 입력 형태가 있습니다. 센서의 다양한 특성 때문에 표준에 집중하는 것이 중요하며, 이는 이러한 데이터 세트 처리를 간소화하는 데 도움이 됩니다. Arm의 새로운 SDS(Synchronous Data Streaming) 프레임워크는 센서 데이터에 대한 표준화된 데이터 수집, 라벨링 및 배포 요구를 충족합니다. 이를 통해 개발 중에 타겟 하드웨어(예: MEMS 자이로스코프 또는 마이크로폰)에서 물리적 센서/오디오 데이터 스트림을 캡처할 수 있습니다. 이 프레임워크는 캡처된 데이터 스트림의 재생, 시각화 및 분석을 위한 Python 기반 유틸리티를 제공합니다. AVH와 결합된 SDS 재생은 CI/CD 파이프라인에 유용한 시뮬레이션 모델에 대한 알고리즘 자동 테스트를 가능하게 합니다. Arm과의 긴밀한 파트너십을 통해 TDK Qeexo는 Machine Learning Platform Qeexo AutoML에 SDS 프레임워크 지원을 추가했습니다.

모델 최적화는 전력 제약이 있는 장치에서 AI 성능을 어떻게 향상시킬까요?

모델 최적화: AI 여정은 사용 사례에서 시작하여 해당 사용 사례에 맞는 데이터로 이어집니다. 사용 사례와 데이터 세트가 결정되면 다양한 방법을 사용하여 복잡한 모델을 학습시킬 수 있습니다. 이를 위해서는 대규모 데이터 세트와 상당한 컴퓨팅 리소스에 대한 액세스가 필요합니다. 그럼에도 불구하고 최적화는 전력 제약이 있는 장치에서 ML 워크로드를 제공하는 데 필수적인 단계입니다. 이는 다양한 형태로 나타납니다. 가지치기(pruning), 양자화(quantization), 지식 증류(knowledge distillation)와 같은 기술을 통해 ML 모델의 크기가 줄어듭니다. 이는 저장 공간 및 메모리 요구 사항을 절감합니다.

한 가지 최적화 예는 Arm과 NVIDIA의 협력입니다. TAO는 TensorFlow 및 PyTorch를 기반으로 구축된 로우코드 AI 툴킷으로, AI 모델 및 딥러닝 프레임워크의 복잡성을 추상화하여 모델 학습 프로세스를 단순화하고 가속화하도록 설계되었습니다. 또한, Arm의 방대한 글로벌 생태계와 기본 하드웨어 기술 및 시스템 설계 요구 사항에 대한 깊은 이해를 바탕으로 구축된 Arm Model Optimization Toolkit은 개발 팀이 최적의 최적화를 달성하는 데 귀중한 도움을 줍니다.

엣지 장치에서 효율적인 추론이 중요한 이유는 무엇일까요?

효율적인 추론: 엣지 장치에서의 효율적인 추론은 말 그대로 실질적인 성과를 내는 부분입니다. 이러한 장치는 일반적으로 리소스가 제한적이므로 엣지에서 모델을 배포할 때 엄청난 주의를 기울여야 합니다. CPU가 일부 워크로드를 처리할 수 있지만, 새롭게 등장하는 특수 워크로드는 성능을 효율적으로 제공하기 위해 이기종 컴퓨팅 솔루션을 요구하는 경우가 많습니다. 실제로 하드웨어 가속을 위해 많은 임베디드 SoC는 ML 워크로드에 최적화된 DSP, TPU, NPU와 같은 가속기를 제공합니다. 따라서 다양한 가속기를 갖춘 임베디드 장치에서 ML 워크로드를 효율적으로 실행하려면 Arm의 Vela 컴파일러와 CMSIS-NN과 같은 소프트웨어 라이브러리를 사용하여 광범위한 튜닝이 필요합니다.

Arm Vela 컴파일러를 사용하면 개발자는 TensorFlow Lite for Microcontrollers 신경망 모델을 Arm Ethos-U NPU(신경망 처리 장치)를 포함하는 임베디드 시스템에서 실행할 수 있는 최적화된 버전으로 컴파일할 수 있으며, 이는 다양한 ML 워크로드를 가속화할 수 있습니다. Vela 컴파일러를 통해 사용자는 메모리 지연 시간 및 대역폭과 같은 Ethos-U 임베디드 시스템의 다양한 속성을 Vela 구성 파일을 다시 작성하여 최적화할 수 있습니다. Edge Impulse, Nota.AI, Qeexo, Plumerai와 같은 Arm 생태계 파트너는 Vela 컴파일러를 자체 툴 플로우에 통합하여 고객이 Ethos-U 가속기를 갖춘 Arm 기반 플랫폼을 쉽게 사용할 수 있도록 했습니다.

기술 역량 강화의 중요성

강력한 엔드투엔드 ML 데이터 관리를 위한 도구, 인프라 및 기술을 유지하는 것은 전통적인 임베디드 설계 및 개발 팀에게 추가적인 기술 과제를 안겨줍니다. 기술 격차를 해소하려면 하드웨어 공급업체, AI/ML 전문가 및 엔터프라이즈 소프트웨어 공급업체의 강점을 조정된 전략과 통합된 툴체인을 통해 결합해야 합니다. Arm의 제품, 도구, 리소스 및 생태계는 엔지니어가 혁신적인 AI 사용 사례를 발굴할 수 있도록 기술 역량을 강화하는 기반 역할을 합니다.

더 자세한 정보는 Arm 웹사이트를 방문하시기 바랍니다.