Mastercard 실적 발표, 역풍 속 성장 강조

AI 및 머신러닝(ML)의 급격한 성장이 엣지 디바이스 및 임베디드 시스템의 혁신을 가속화하고 있습니다. 하지만 리소스가 제한된 하드웨어에 ML 모델을 성공적으로 배포하려면 데이터 과학, 머신러닝, 전문 임베디드 엔지니어링 분야를 아우르는 엣지 AI 전문성이 필요합니다. 수십 년간 단순한 마이크로컨트롤러 기반 솔루션을 구축해 온 임베디드 설계 분야가 이제 AI의 거대한 물결을 맞이하고 있는 셈입니다. 새로운 AI 및 ML 워크로드를 활용하려는 대부분의 엣지 AI 개발팀은 온디바이스 AI 최적화 및 가속화 능력을 저해하는 기술 격차에 직면해 있습니다. 일부 기업은 내부 AI/ML 팀을 구축하여 이 격차를 해소하고 있으며, 다른 기업은 전담 ML 리더십을 영입하거나 스타트업을 인수하여 AI 전문성을 확보하고 있습니다. 하지만 ML 방법론과 모델이 더욱 복잡해짐에 따라 기술 발전의 속도 또한 빨라지고 있습니다. 가까운 미래에는 ChatGPT나 Gemini의 여러 파생 모델들이 소형 임베디드 컨트롤러 및 엣지 AI에서 실행되어 실제 애플리케이션에서 더 큰 이점을 제공할 것으로 예상됩니다. 또한, 시장 출시 시간 압박도 매우 큽니다. 임베디드 엔지니어링 팀이 MLOps(Machine Learning Operations) 역량을 완전히 갖추는 데는 수년이 걸릴 수 있습니다. 설령 그렇다 하더라도 지속적인 학습이 필요합니다. 엣지에서의 MLOps는 끊임없이 진화하기 때문입니다. 엣지 AI의 핵심 기술 격차는 무엇일까요? 세 가지 주요 영역이 두드러집니다. 데이터 관리, 모델 최적화, 효율적인 추론입니다. AI 및 ML 솔루션의 확장과 발전을 지원하는 핵심 기술 제공업체인 Arm은 엔지니어와 개발자의 삶을 더욱 쉽고 효율적으로 만들어 AI의 꿈을 실현하도록 돕고자 합니다. 이러한 과제들을 좀 더 자세히 살펴보겠습니다. 데이터 관리가 엣지 AI에서 중요한 이유는 무엇일까요? 데이터 관리: 머신러닝 모델을 개발하고 배포하는 데 있어 데이터를 효과적으로 관리하는 것은 매우 중요하지만, 여러 가지 어려움이 따릅니다. 센서에서 올바르고 편향되지 않은 데이터를 수집하고, 학습을 위해 데이터를 정확하고 일관되게 레이블링하며, 데이터의 개인 정보 보호 및 보안을 보장하는 것 등이 포함됩니다. 전통적인 임베디드 설계 환경에서 강력한 엔드투엔드 ML 데이터 관리를 위한 도구, 인프라 및 기술을 유지하는 것은 임베디드 팀에게 추가적인 어려움을 안겨줍니다. 예를 들어, 하드웨어 대상 지정 및 프로토타이핑은 전통적으로 번거롭고 느린 과정이었습니다. Arm은 Arm 기반 칩의 기능적으로 정확한 모델을 제공하는 클라우드 기반 서비스인 Arm Virtual Hardware(AVH)를 통해 이 설계 프로세스의 일부를 단순화하고 배포를 가속화했습니다. 이를 통해 소프트웨어 개발자는 물리적 하드웨어 없이도 Arm 기반 IoT 장치의 동작을 시뮬레이션할 수 있습니다. 이제 ML 애플리케이션의 데이터 입력 복잡성을 고려해 봅시다. 오디오 및 기타 센서 입력 형태가 있습니다. 센서의 다양한 특성 때문에 표준에 집중하는 것이 중요합니다. 이는 이러한 데이터 세트 처리를 간소화하는 데 도움이 됩니다. Arm의 새로운 센서 데이터용 SDS(Synchronous Data Streaming) 프레임워크는 모델 개발을 위한 표준화된 데이터 수집, 레이블링 및 배포 요구를 해결합니다. 이 프레임워크를 통해 개발 중에 대상 하드웨어(예: MEMS 자이로스코프 또는 마이크)에서 물리적 센서/오디오 데이터 스트림을 캡처할 수 있습니다. 이 프레임워크는 캡처된 데이터 스트림의 재생, 시각화 및 분석을 위한 Python 기반 유틸리티를 제공합니다. AVH와 결합된 SDS 재생은 시뮬레이션된 모델에 대한 알고리즘의 자동 테스트를 가능하게 하여 CI/CD 파이프라인에 유용합니다. Arm과의 긴밀한 파트너십을 통해 TDK Qeexo는 머신러닝 플랫폼 Qeexo AutoML에 SDS 프레임워크 지원을 추가했습니다. 모델 최적화는 전력 제한 장치에서 AI 성능을 어떻게 향상시킬까요? 모델 최적화: AI 여정은 사용 사례에서 시작하여 해당 사용 사례에 대한 데이터로 이어집니다. 사용 사례와 데이터 세트가 결정되면 다양한 방법을 사용하여 복잡한 모델을 학습시킬 수 있습니다. 이를 위해서는 대규모 데이터 세트와 상당한 컴퓨팅 리소스에 대한 액세스가 필요합니다. 그럼에도 불구하고 최적화는 전력 제한 장치에서 ML 워크로드를 제공하는 데 필수적인 단계입니다. 이는 여러 형태로 나타납니다. 가지치기(pruning), 양자화(quantization), 지식 증류(knowledge distillation)와 같은 기술을 통해 ML 모델의 크기가 줄어듭니다. 이는 저장 공간 및 메모리 요구 사항을 절감합니다. 모델 최적화의 한 예로 Arm과 NVIDIA가 협력한 TAO를 들 수 있습니다. TAO는 TensorFlow 및 PyTorch를 기반으로 구축된 로우코드 AI 툴킷으로, AI 모델 및 딥러닝 프레임워크의 복잡성을 추상화하여 모델 학습 프로세스를 단순화하고 가속화하도록 설계되었습니다. 또한, Arm의 광범위한 글로벌 생태계와 기본 하드웨어 기술 및 시스템 설계 요구 사항에 대한 깊은 이해를 바탕으로 구축된 Arm Model Optimization Toolkit은 개발 팀이 최상의 최적화를 달성하는 데 귀중한 도움을 줍니다. 효율적인 추론이 엣지 장치에 중요한 이유는 무엇일까요? 효율적인 추론: 엣지 장치에서의 효율적인 추론은 말 그대로 실질적인 결과가 나오는 단계입니다. 이러한 장치는 일반적으로 리소스가 제한적이므로 엣지에서 모델을 배포할 때 각별한 주의를 기울여야 합니다. CPU가 일부 워크로드를 처리할 수 있지만, 새롭게 등장하는 특수 워크로드는 성능을 효율적으로 제공하기 위해 이기종 컴퓨팅 솔루션을 요구하는 경우가 많습니다. 실제로 하드웨어 가속을 위해 많은 임베디드 SoC는 ML 워크로드에 최적화된 DSP, TPU, NPU와 같은 가속기를 제공합니다. 따라서 다양한 가속기를 갖춘 임베디드 장치에서 ML 워크로드를 효율적으로 실행하려면 Arm의 Vela와 같은 컴파일러 및 CMSIS-NN과 같은 소프트웨어 라이브러리를 사용하여 광범위한 튜닝이 필요합니다. Arm Vela 컴파일러를 사용하면 개발자는 TensorFlow Lite for Microcontrollers 신경망 모델을 Arm Ethos-U NPU(신경망 처리 장치)를 포함하는 임베디드 시스템에서 실행할 수 있는 최적화된 버전으로 컴파일할 수 있습니다. 이 NPU는 다양한 ML 워크로드를 가속화할 수 있습니다. Vela 컴파일러를 통해 사용자는 메모리 지연 시간 및 대역폭과 같은 Ethos-U 임베디드 시스템의 다양한 속성을 최적화할 수 있으며, 이는 Vela 구성 파일을 다시 작성하여 수행됩니다. Edge Impulse, Nota.AI, Qeexo, Plumerai와 같은 Arm 생태계 파트너들은 Vela 컴파일러를 자체 툴 플로우에 통합하여 고객이 Ethos-U 가속기를 갖춘 Arm 기반 플랫폼을 쉽게 사용할 수 있도록 했습니다. 기술 역량 강화의 필요성 강력한 엔드투엔드 ML 데이터 관리를 위한 도구, 인프라 및 기술을 유지하는 것은 전통적인 임베디드 설계 및 개발 팀에게 추가적인 기술적 어려움을 안겨줍니다. 기술 격차를 해소하려면 하드웨어 공급업체, AI/ML 전문가, 엔터프라이즈 소프트웨어 공급업체의 강점을 통합된 전략과 통일된 툴체인을 통해 결합해야 합니다. Arm의 제품, 도구, 리소스 및 생태계는 엔지니어가 혁신적인 AI 사용 사례를 발굴할 수 있도록 기술 역량을 강화하는 기반 역할을 합니다.