옴니콤, 분기 배당 선언

Arm, AI 시대의 핵심 기술 기반으로 진화하는 아키텍처 공개 Arm이 인공지능(AI) 시대를 맞아 자사의 기술 기반 아키텍처가 어떻게 진화하고 있는지 상세히 공개했습니다. Arm은 전 세계 수십억 개의 다양한 기기에서 AI를 구현하는 핵심 기술로서, 산업을 선도하는 아키텍처를 통해 광범위한 컴퓨팅 워크로드를 지원하고 있다고 강조했습니다. 특히, 빠르게 변화하는 기술 트렌드와 컴퓨팅 요구사항에 맞춰 끊임없이 아키텍처를 발전시키며 생태계를 준비하고 있다고 밝혔습니다. AI의 폭발적인 성장이 최근 현상처럼 느껴질 수 있지만, Arm은 지난 20년간 AI 혁신을 위한 기반을 다져왔습니다. Armv7 아키텍처에서 머신러닝(ML) 워크로드에 대한 첫 시도와 함께 고급 단일 명령 다중 데이터(SIMD) 확장 기능을 도입했으며, 현재의 Armv9 아키텍처는 대규모 언어 모델(LLM)과 같은 고급 생성형 AI 워크로드를 Arm CPU에서 가속하고 보호하는 기능을 통합했습니다. 이러한 발전의 핵심에는 '확장 가능한 행렬 확장(Scalable Matrix Extension, SME)'이 있습니다. SME는 복잡성과 전력 소모가 증가하는 현재의 AI 및 ML 워크로드 요구사항을 충족하도록 설계된 혁신적인 기능입니다. SME는 현재 AI를 가속할 뿐만 아니라, Arm 아키텍처에 유연성을 제공하여 끊임없이 진화하는 생성형 AI 워크로드를 관리할 수 있도록 합니다. SME는 Armv9-A 아키텍처에 도입된 명령어 집합 아키텍처(ISA) 확장으로, AI 및 ML 워크로드를 가속하고 Arm CPU에서 실행되는 AI 및 ML 기반 애플리케이션의 성능, 전력 효율성 및 유연성을 향상시킵니다. 이는 다음과 같은 기능을 통해 달성됩니다. * Arm CPU에서 행렬 및 벡터 처리 처리량과 효율성을 크게 증가시킵니다. * 아우터 프로덕트(outer-product) 명령어를 도입하여 레지스터에 로드된 데이터의 재사용을 극대화하고 메모리 대역폭 압력을 줄입니다. * 압축된 사용자 데이터를 확장하여 메모리 로드 대역폭을 늘리지 않고 입력 요소 처리량을 증가시킵니다. * 다양한 저장 및 컴퓨팅 데이터 유형을 지원하여 현재 및 미래의 다양한 사용 사례에 대한 유연한 솔루션을 제공합니다. * 구현 시 128비트에서 2048비트 사이의 스트리밍 벡터 길이(SVL)를 선택할 수 있으며, 결과적으로 행렬-행렬 곱셈에 대해 SVL^2 처리량을 제공합니다. SME2는 SME를 기반으로 멀티 벡터 명령어를 추가하여 행렬 및 벡터 연산 모두에 대해 아키텍처 상태(ZA 배열)를 재사용할 수 있도록 하며, 더 높은 처리량의 벡터 처리 기능을 제공합니다. 이는 메모리 대역폭을 줄이고 전력을 절약하기 위해 AI 형식을 압축함으로써 벡터 및 행렬 가속 간의 균형을 맞춥니다. SME2는 또한 유연한 온더플라이(on-the-fly) 양자화 해제(dequantization)와 2비트 및 4비트 가중치를 압축 해제하여 메모리 대역폭을 절약하는 기능을 지원합니다. 이는 점점 더 복잡해지고 전력 소모가 많은 생성형 AI 워크로드의 맥락에서 중요하며, AI의 막대한 에너지 요구를 해결하려는 Arm의 광범위한 노력에도 부합합니다. SME와 SME2의 주요 사용 사례는 다음과 같습니다. SME는 생성형 AI 및 기존 ML 네트워크, 컴퓨터 비전(CV) 등 다양한 유형의 AI 및 ML 워크로드를 가속합니다. 이는 SME가 행렬-행렬, 행렬-벡터, 다중 벡터-벡터 연산뿐만 아니라 ML 실행에 필요한 사전 및 사후 처리 단계를 모두 처리할 수 있기 때문입니다. Arm은 SME가 다음과 같은 다양한 시장의 다양한 AI 사용 사례에서 이점을 얻을 것으로 예상합니다. * ML과 기존 CV/DSP 접근 방식을 결합하는 애플리케이션: 시네마틱 사진, 미디어 처리, 운전자 모니터링, 디지털 콕핏, 오디오 처리, 첨단 운전자 지원 시스템(ADAS) L2+, 실시간 음성 비서 등 * 소규모 언어 모델(SLM) 및 LLM을 활용하는 사용 사례: 챗봇, 대화 요약, 가상 비서 등 SME의 작동 방식을 이해하기 위해서는 SME가 지원하는 다양한 AI 기반 처리 기법과 각 기법에 대한 SME 및 Armv9 아키텍처의 이점을 설명하는 것이 중요합니다. 여기에는 벡터 처리, 행렬 처리, 행렬 곱셈, 양자화가 포함됩니다. AI 및 ML 맥락에서 벡터는 신경망의 특징, 입력 또는 가중치를 인코딩하는 값과 데이터 포인트의 1차원 배열을 나타냅니다. 벡터 처리는 TensorFlow 및 PyTorch와 같은 최신 AI 프레임워크 및 라이브러리에서 일반적으로 사용됩니다. 이 접근 방식을 활용함으로써 AI 알고리즘은 복잡한 계산을 효율적으로 처리하고 대규모 데이터 세트를 더 빠르게 처리하여 학습 시간을 단축하고 성능을 향상시킬 수 있습니다. SME에는 순차적으로 각 값을 처리하는 대신 여러 값을 병렬로 계산하는 벡터 명령어가 포함되어 AI 계산의 여러 측면을 크게 가속합니다. 행렬은 값과 데이터 포인트의 2차원 배열로, ML 및 딥러닝을 포함한 다양한 AI 기술에서 중요한 역할을 합니다. SME를 통한 행렬 처리는 이러한 행렬에 대한 연산을 수행하여 행렬 곱셈과 같은 선형 대수 연산 및 신경망을 포함한 핵심 AI 기반 워크로드의 성능과 효율성을 개선합니다. 행렬 곱셈은 AI 및 ML 기반 워크로드뿐만 아니라 과학 시뮬레이션 및 CV와 같은 다른 컴퓨팅 워크로드에서도 중요한 부분입니다. 행렬-행렬 곱셈 연산은 CPU에서 AI 가속을 위해 점점 더 중요해지고 있으며 SME로부터 상당한 이점을 얻습니다. Arm 아키텍처는 이러한 연산의 성능과 효율성을 개선하는 기능을 갖추도록 발전해 왔습니다. 예를 들어, Armv7은 Arm NEON™ 명령어라고도 알려진 고급 SIMD 확장을 추가했습니다. Armv8.4-A는 8비트 정수 DOT 프로덕트 명령어 지원을 포함합니다. Armv8.6-A는 다양한 데이터 유형에 대한 인-벡터 정수 및 부동 소수점 행렬 곱셈 명령어 지원과 새로운 BFloat16 데이터 유형을 포함합니다. Armv9.0-A는 DSP, 미디어 및 범용 벡터화를 위한 확장 벡터 확장 2(SVE2)를 포함합니다. Armv9.2-A는 SME를 도입했습니다. 양자화는 일반적으로 부동 소수점 표현에서 고정 소수점 표현으로 수치 값의 정밀도를 줄이는 과정을 포함합니다. 이 과정은 SME에서 AI 및 ML 모델을 더 효율적으로 만들기 위해 메모리 대역폭과 풋프린트, 계산 복잡성을 줄이는 데 사용되며, 이는 계산 집약적인 생성형 AI 워크로드에 중요합니다. 이는 스마트폰, 모바일 장치, 임베디드 시스템 및 IoT 장치와 같이 리소스가 제한된 장치에 배포할 수 있음을 의미합니다. Arm은 지난 20년간 아키텍처에 AI 기반 기능, 사양 및 명령어를 추가하는 작업을 해왔습니다. 2003년에 처음 출시된 Armv7 아키텍처는 Arm NEON™ 명령어라고도 알려진 고급 SIMD 확장을 추가했습니다. NEON™은 레지스터를 동일한 데이터 유형의 요소로 구성된 1차원 벡터로 간주하며, 명령어는 여러 요소를 동시에 작동합니다. Armv8 아키텍처는 DOT 프로덕트 명령어, 인-벡터 행렬 곱셈 명령어, BFLoat16 지원을 포함한 다양한 AI 기반 사양 및 명령어를 추가했습니다. 또한 벡터 레지스터 수를 두 배로 늘리고 부동 소수점 지원을 추가하여 고급 SIMD 확장을 개선했습니다. 이러한 모든 개선 및 추가 사항은 진화하는 AI 워크로드에 대응하여 AI 및 ML 성능을 가속하기 위해 설계되었습니다. Armv9 아키텍처는 SVE2, SME 및 새로운 SME2와 함께 이러한 모든 기능, 사양 및 명령어를 통합합니다. SME의 핵심 이점은 Armv9 아키텍처의 SME가 Arm CPU에서 기존 AI 및 ML 워크로드의 처리를 크게 개선하여 다양한 AI 기반 장치 및 애플리케이션에서 더 빠르고 반응성이 뛰어난 사용자 경험을 제공한다는 것입니다. 또한 DSP, 과학 컴퓨팅, 증강 현실(AR) 및 가상 현실(VR), 이미징과 같이 AI 및 ML이 점점 더 중요한 역할을 하는 다양한 애플리케이션을 가속합니다. 다양한 데이터 형식으로 광범위한 신경망을 실행할 수 있는 Arm CPU와 유사하게 SME는 복잡성이 증가하는 AI 및 ML 워크로드 및 요구 사항에 대응할 수 있는 유연성을 제공합니다. 이를 통해 Arm 아키텍처는 빠르게 변화하는 AI 시대 및 그 이후의 가장 중요한 컴퓨팅 워크로드에 계속 관련성을 유지할 것입니다. 앞으로도 Arm은 업계 최고의 생태계를 위해 명령어 집합에 더 많은 AI 기능을 추가하여 파트너가 AI 기반 솔루션에 대한 성능, 혁신적인 기능 및 확장성을 개선할 수 있도록 할 것입니다. Arm SME의 AI 기반 아키텍처 혁신은 Arm의 지속적인 아키텍처 혁신을 보여줍니다. AI가 계속 발전하고 성장함에 따라 SME는 새롭고 전력 소모가 많은 생성형 AI 워크로드가 Arm CPU에서 효율적으로 처리되도록 하여 수십억 개의 Arm 기반 장치에서 더 나은 AI 기반 경험을 제공할 것입니다. 이를 통해 전 세계 AI가 계속해서 Arm을 기반으로 구축될 것입니다.