ARM, 생성형 AI가 모바일에 탑재되었으며 Arm이 동력을 제공합니다

Arm, 모바일 AI 혁신의 중심에 서다: 온디바이스 생성형 AI 시대 개막 생성형 AI, 특히 최근 주목받는 대규모 언어 모델(LLM)이 이제 모바일 기기에서도 현실화되고 있습니다. 이는 이미지 및 비디오 생성, 문맥 이해 등 복잡한 AI 연산이 클라우드를 거치지 않고 스마트폰 자체에서 처리되는 것을 의미합니다. Arm은 이러한 '엣지 AI' 구현의 핵심 기술로, 모바일 환경에서 생성형 AI를 구동하는 데 필수적인 역할을 하고 있습니다. 최신 AI 기반 스마트폰들은 Arm의 v9 CPU 및 GPU 기술을 기반으로 제작되어, 이전과는 비교할 수 없는 AI 처리 능력을 선보이고 있습니다. MediaTek Dimensity 9300을 탑재한 vivo X100 및 X100 Pro, Samsung Galaxy S24, Google Pixel 8 등이 대표적인 예입니다. 이러한 플래그십 모바일 기기들은 뛰어난 성능과 효율성을 바탕으로 AI 혁신에 대한 새로운 기회를 열고 있습니다. 실제로 Arm의 CPU 및 GPU 성능은 지난 10년간 매 2년마다 AI 처리 능력을 두 배씩 향상시켜 왔습니다. 이러한 추세는 앞으로도 지속될 것이며, Arm의 견고한 소비자 기술 로드맵은 더욱 향상된 AI 성능, 기술 및 기능을 제공할 것입니다. 특히, 훈련된 모델을 활용하여 AI 기반 애플리케이션을 구동하는 '엣지에서의 AI 추론'이 중요해지면서, AI 지원 및 특화 명령어 추가로 인해 CPU의 역할이 더욱 부각될 전망입니다. 대부분의 경우, 모바일 기기에서의 AI 활용은 CPU에서 시작됩니다. 얼굴, 손, 신체 추적, 고급 카메라 효과 및 필터, 소셜 애플리케이션에서의 이미지 분할 등이 대표적인 예입니다. CPU는 이러한 AI 워크로드를 전적으로 처리하거나, GPU 또는 NPU와 같은 가속기의 지원을 받을 수 있습니다. Arm의 CPU 설계는 전 세계 수십억 명의 사용자가 사용하는 스마트폰 SoC에 널리 적용되어 있어, 이러한 AI 워크로드 구현에 결정적인 역할을 합니다. 현재 서드파티 애플리케이션에서 실행되는 AI의 70%가 Arm CPU 기반으로 작동하고 있으며, 여기에는 최신 소셜, 건강, 카메라 기반 애플리케이션 등이 포함됩니다. Arm CPU의 유연성과 AI 기능은 모바일 개발자들이 애플리케이션의 AI 워크로드를 위한 최적의 대상으로 삼기에 충분합니다. Arm CPU는 다양한 데이터 형식의 광범위한 신경망을 실행할 수 있으며, 미래에는 Armv9-A 아키텍처의 Scalable Matrix Extension(SME)과 같이 AI 기능을 강화한 명령어 세트를 포함하여 개발자들이 혁신적인 AI 기반 애플리케이션을 구축할 수 있도록 지원할 것입니다. 새롭게 선보이는 Arm Kleidi Libraries는 AI 프레임워크에 직접 통합되어 개발자들이 Arm CPU의 뛰어난 AI 기능을 투명하게 활용할 수 있도록 지원합니다. 이를 통해 개발자들은 최고 성능으로 애플리케이션을 신속하게 구축할 수 있습니다. 선도적인 하드웨어와 소프트웨어 생태계 지원의 결합은 Arm을 게이밍, 이미지 향상, 언어 번역, 텍스트 생성, 가상 비서 등 다양한 분야에서 생성형 AI의 부상을 가능하게 하는 강력한 컴퓨팅 플랫폼으로 만들고 있습니다. 모바일 월드 콩그레스(MWC) 2024에서 Arm은 Meta의 Llama2-7B LLM을 활용한 가상 비서 데모를 선보였습니다. 이후에도 Arm은 Meta의 최신 Llama3 모델과 Microsoft의 Phi-3 3.8B 모델을 Arm CPU 기반 모바일 환경에서 신속하게 구동하며 LLM 경험 개선에 대한 의지를 보여주고 있습니다. 이러한 최신 AI 모델들은 훨씬 더 뛰어난 성능을 발휘하며 광범위한 질문에 답변할 수 있습니다. 최근 Arm은 Microsoft의 Phi-3 3.8B 모델을 활용하여 과학 및 코딩 교육을 위한 가상 튜터 챗봇인 'Ada' 데모를 시연했습니다. 이 생성형 AI 워크로드는 가속기의 도움 없이 전적으로 모바일 기기 자체에서 Arm CPU를 통해 처리됩니다. 놀라운 성능은 기존 CPU의 AI 명령어와 Arm의 보편적인 컴퓨팅 플랫폼을 통한 LLM 전용 소프트웨어 최적화의 결합으로 가능해졌습니다. 시연 영상에서 볼 수 있듯이, 첫 토큰 응답 시간(time-to-first token)과 초당 약 15개의 토큰을 생성하는 텍스트 생성 속도는 평균적인 사람의 독서 속도보다 빠릅니다. 이는 Arm 엔지니어링 팀이 개발한 소프트웨어 라이브러리의 고도로 최적화된 CPU 루틴 덕분에 가능한 결과입니다. 이러한 최적화는 모델의 네이티브 구현에 비해 첫 토큰 응답 시간과 텍스트 생성 속도를 크게 향상시킵니다. Arm CPU는 AI 개발자 커뮤니티에 LLM을 더 작고 효율적이며 빠르게 만드는 자체 기술을 실험할 기회를 제공합니다. 이는 더 많은 AI 처리가 엣지에서 이루어질 수 있도록 하며, 사용자에게는 더 빠르고 반응성이 뛰어난 AI 경험과 함께 로컬 데이터 처리를 통한 향상된 개인 정보 보호를 제공합니다. 또한, 모바일 생태계 전반에 걸쳐 AI 배포 비용을 절감하고 확장성을 높이는 데 기여합니다. 개발자 오픈소스 커뮤니티의 Arm 기반 모델 작업 참여도 고무적입니다. Llama3 및 Phi-3 3.8B 모델이 약 48시간 만에 Arm 환경에서 구동 가능한 상태로 만들어진 것은 이러한 참여를 보여주는 사례입니다. Arm은 생성형 AI 분야에서 오픈소스 커뮤니티의 지속적인 참여를 기대하고 있습니다. Arm은 가장 보편적인 모바일 컴퓨팅 플랫폼이자 효율적인 컴퓨팅 분야의 선두 주자로서, 엣지에서 가장 효율적이고 성능이 뛰어난 생성형 AI를 구현할 책임감을 가지고 있습니다. 이미 Arm의 선도적인 CPU 기술에서 전적으로 실행되는 LLM의 인상적인 성능을 입증하고 있으며, 이는 단지 시작에 불과합니다. 더 작고 효율적인 LLM, Arm CPU 기반 모바일 기기의 성능 향상, 그리고 업계 최고의 생태계로부터의 혁신적인 소프트웨어 최적화의 결합을 통해 모바일에서의 생성형 AI는 계속해서 확산될 것입니다. Arm은 AI의 근간이며, 미래 모바일 생성형 AI 혁신의 중심에 있는 Arm CPU를 통해 모든 개발자에게 어디에서나 AI를 구현할 수 있도록 지원할 것입니다.