Armv9 아키텍처용 Scalable Matrix Extension, Arm CPU에서 AI 혁신 지원

Arm, AI 시대의 핵심 기술 기반으로 진화하는 아키텍처 공개 Arm이 인공지능(AI) 시대를 맞아 자사의 기술 기반 아키텍처가 어떻게 진화하고 있는지 상세히 공개했습니다. Arm은 전 세계 수십억 개의 다양한 기기에서 AI를 구현하는 핵심 기술로서, 끊임없는 아키텍처 혁신을 통해 미래 기술 트렌드와 변화하는 컴퓨팅 요구사항에 대비하고 있다고 강조했습니다. Arm은 지난 20년간 AI 혁신을 위한 기반을 다져왔습니다. 초기 Armv7 아키텍처에서 머신러닝(ML) 워크로드를 위한 Advanced Single Instruction Multiple Data (SIMD) 확장을 도입했으며, 현재의 Armv9 아키텍처는 대규모 언어 모델(LLM)과 같은 고급 생성형 AI 워크로드를 Arm CPU에서 가속하고 보호하는 기능을 통합했습니다. 특히 주목받는 것은 Armv9 아키텍처에 도입된 Scalable Matrix Extension (SME)입니다. SME는 복잡성과 전력 소모량이 증가하는 최신 AI 및 ML 워크로드의 요구사항을 충족시키기 위해 설계된 혁신적인 기능입니다. SME는 기존 AI 워크로드 가속뿐만 아니라, 끊임없이 진화하는 생성형 AI 워크로드를 관리할 수 있는 유연성을 Arm 아키텍처에 제공합니다. SME는 Armv9-A 아키텍처에 도입된 명령어 집합 아키텍처(ISA) 확장으로, AI 및 ML 워크로드를 가속하고 Arm CPU에서 실행되는 AI 및 ML 기반 애플리케이션의 성능, 전력 효율성 및 유연성을 향상시킵니다. 이는 다음과 같은 기능을 통해 달성됩니다. * Arm CPU에서 행렬 및 벡터 처리 처리량과 효율성을 크게 증대시킵니다. * 외부 곱셈 명령어를 도입하여 레지스터에 로드된 데이터의 재사용을 극대화하고 메모리 대역폭 압력을 줄입니다. * 압축된 사용자 데이터를 확장하여 메모리 로드 대역폭을 늘리지 않고 입력 요소 처리량을 증가시킵니다. * 다양한 저장 및 컴퓨팅 데이터 유형을 지원하여 현재 및 미래의 다양한 사용 사례에 대한 유연한 솔루션을 제공합니다. * 구현 시 128비트에서 2048비트 사이의 스트리밍 벡터 길이(SVL)를 선택할 수 있도록 하여, 결과적으로 행렬-행렬 곱셈에 대해 SVL^2 처리량을 제공합니다. SME2는 SME를 기반으로 멀티 벡터 명령어를 추가하여 행렬 및 벡터 연산 모두에 대해 아키텍처 상태(ZA 배열)를 재사용할 수 있게 하고, 더 높은 처리량의 벡터 처리 기능을 제공합니다. 이는 메모리 대역폭을 줄이고 전력을 절약하기 위해 AI 형식을 압축함으로써 벡터 및 행렬 가속에 균형을 가져옵니다. SME2는 또한 유연한 실시간 비양자화(dequantization)를 가능하게 하고, 2비트 및 4비트 가중치를 압축 해제하여 메모리 대역폭을 절약할 수 있도록 합니다. 이는 점점 더 복잡하고 전력 소모가 많은 생성형 AI 워크로드의 맥락에서 중요하며, Arm의 AI의 막대한 에너지 요구를 해결하려는 광범위한 노력에도 부합합니다. SME 및 SME2의 주요 사용 사례는 다음과 같습니다. SME는 생성형 AI 및 기존 ML 네트워크, 컴퓨터 비전(CV) 등 다양한 유형의 AI 및 ML 워크로드를 가속합니다. 이는 SME가 행렬-행렬, 행렬-벡터, 다중 벡터-벡터 연산뿐만 아니라 ML 실행에 필요한 사전 및 사후 처리 단계를 모두 처리할 수 있기 때문입니다. Arm은 SME가 다음과 같은 다양한 시장의 다양한 AI 사용 사례에서 이점을 얻을 것으로 예상합니다. * ML과 기존 CV/DSP 접근 방식을 결합하는 애플리케이션: 예를 들어, 시네마틱 사진, 미디어 처리, 운전자 모니터링, 디지털 콕핏, 오디오 처리, 첨단 운전자 지원 시스템(ADAS) L2+, 실시간 음성 비서 등 * 소규모 언어 모델 및 LLM을 활용하는 사용 사례: 예를 들어, 챗봇, 대화 요약, 가상 비서 등 벡터 처리, 행렬 처리, 양자화 설명 SME의 작동 방식을 이해하기 위해서는 SME가 지원하는 다양한 AI 기반 처리 기법과 각 기법에 대해 SME 및 Armv9 아키텍처가 제공하는 이점을 설명하는 것이 중요합니다. 여기에는 벡터 처리, 행렬 처리, 행렬 곱셈, 양자화가 포함됩니다. 벡터 처리: AI 및 ML 맥락에서 벡터는 신경망의 특징, 입력 또는 가중치를 일반적으로 인코딩하는 값과 데이터 포인트의 1차원 배열을 나타냅니다. 벡터 처리는 TensorFlow 및 PyTorch와 같은 최신 AI 프레임워크 및 라이브러리에서 일반적으로 사용됩니다. 이 접근 방식을 활용함으로써 AI 알고리즘은 복잡한 계산을 효율적으로 처리하고 대규모 데이터셋을 더 빠르게 처리하여 학습 시간을 단축하고 성능을 향상시킬 수 있습니다. SME에는 순차적으로 각 값을 처리하는 대신 여러 값에 대해 병렬로 계산을 수행하는 벡터 명령어가 포함되어 AI 계산의 여러 측면을 크게 가속합니다. 행렬 처리: 값과 데이터 포인트의 2차원 배열인 행렬은 ML 및 딥러닝을 포함한 다양한 AI 기술에서 중요한 역할을 합니다. SME를 통한 행렬 처리는 이러한 행렬에 대한 연산을 수행하여 선형 대수 연산(예: 행렬 곱셈) 및 신경망을 포함한 핵심 AI 기반 워크로드의 성능과 효율성을 개선합니다. 행렬 곱셈은 어디에 존재하며 무엇을 개선합니까? 행렬 곱셈은 AI 및 ML 기반 워크로드뿐만 아니라 과학 시뮬레이션 및 CV와 같은 다른 컴퓨팅 워크로드의 중요한 부분입니다. 행렬-행렬 곱셈 연산은 CPU에서 AI 가속을 위해 점점 더 중요해지고 있으며 SME로부터 상당한 이점을 얻습니다. Arm 아키텍처는 이러한 연산의 성능과 효율성을 개선하는 기능을 갖추도록 진화했습니다. 예를 들어: * Armv7은 Arm NEON™ 명령어라고도 알려진 Advanced SIMD 확장을 추가했습니다. * Armv8.4-A는 8비트 정수 DOT 제품 명령어에 대한 지원을 포함합니다. * Armv8.6-A는 다양한 데이터 유형에 대한 인-벡터 정수 및 부동 소수점 행렬 곱셈 명령어와 새로운 BFloat16 데이터 유형을 포함한 지원을 포함합니다. * Armv9.0-A는 DSP, 미디어 및 범용 벡터화를 위한 Scalable Vector Extension 2(SVE2)를 포함합니다. * Armv9.2-A는 SME를 도입합니다. 양자화: 양자화는 일반적으로 부동 소수점 표현에서 고정 소수점 표현으로 수치 값의 정밀도를 줄이는 것을 포함합니다. 이 프로세스는 AI 및 ML 모델을 더 효율적으로 만들기 위해 SME에서 사용되며, 메모리 대역폭 및 풋프린트, 계산 복잡성을 줄여 컴퓨팅 집약적인 생성형 AI 워크로드에 중요합니다. 이는 스마트폰, 모바일 장치, 임베디드 시스템 및 IoT 장치와 같이 리소스가 제한된 장치에 배포할 수 있음을 의미합니다. Arm은 얼마나 오랫동안 아키텍처에 AI 기반 기능을 추가해 왔습니까? Arm은 지난 20년간 아키텍처에 AI 기반 기능, 사양 및 명령어를 추가하기 위해 노력해 왔습니다. 2003년에 처음 출시된 Armv7 아키텍처는 Arm NEON™ 명령어라고도 알려진 Advanced SIMD 확장을 추가했습니다. NEON™은 레지스터를 동일한 데이터 유형의 요소로 구성된 1차원 벡터로 간주하며, 명령어는 여러 요소를 동시에 처리합니다. Armv8 아키텍처는 점곱 명령어, 인-벡터 행렬 곱셈 명령어, BFLoat16 지원을 포함한 다양한 AI 기반 사양 및 명령어를 추가했습니다. 또한 벡터 레지스터 수를 두 배로 늘리고 부동 소수점 지원을 추가하여 Advanced SIMD 확장을 개선했습니다. 이러한 모든 개선 및 추가 사항은 진화하는 AI 워크로드에 대응하여 AI 및 ML 성능을 가속하도록 설계되었습니다. Armv9 아키텍처는 SVE2, SME 및 새로운 SME2와 함께 이러한 모든 기능, 사양 및 명령어를 통합합니다. SME의 핵심 이점은 무엇입니까? Armv9 아키텍처의 SME는 Arm CPU에서 기존 AI 및 ML 워크로드의 처리를 크게 개선하여 다양한 AI 기반 장치 및 애플리케이션에서 더 빠르고 반응성이 뛰어난 사용자 경험을 제공합니다. 또한 DSP, 과학 컴퓨팅, 증강 현실(AR) 및 가상 현실(VR), 이미징과 같이 AI 및 ML이 점점 더 중요한 역할을 하는 다양한 애플리케이션을 가속합니다. 다양한 데이터 형식으로 광범위한 신경망을 실행할 수 있는 Arm CPU와 유사하게 SME는 복잡성이 증가하는 진화하는 AI 및 ML 워크로드 및 요구 사항에 대응할 수 있는 유연성을 제공합니다. 이를 통해 Arm 아키텍처는 빠르게 변화하는 AI 시대 및 그 이후의 가장 중요한 컴퓨팅 워크로드에 계속 관련성을 유지할 것입니다. 앞으로도 Arm의 업계 선도적인 생태계의 이익을 위해 명령어 집합에 더 많은 AI 기능을 추가하여 파트너가 AI 기반 솔루션에 대한 성능, 혁신적인 기능 및 확장성을 개선할 수 있도록 할 것입니다. Arm SME의 AI 기반 아키텍처 혁신은 Arm의 지속적인 아키텍처 혁신을 보여줍니다. AI가 계속 발전하고 성장함에 따라 SME는 새로운 전력 소모가 많은 생성형 AI 워크로드가 Arm CPU에서 효율적으로 처리되도록 하여 Arm 기반 장치 수십억 개에 걸쳐 더 나은 AI 기반 경험을 제공할 것입니다. 이를 통해 전 세계 AI가 계속 Arm을 기반으로 구축될 것입니다.