AWS Trainium2 인스턴스 일반 출시

AWS, 차세대 AI 칩 'Trainium2' 공개… 성능·비용 효율성 대폭 개선 아마존 웹 서비스(AWS)가 인공지능(AI) 칩 'Trainium2'를 탑재한 새로운 Amazon EC2 Trn2 인스턴스와 Trn2 UltraServers를 출시하며 AI 모델 학습 및 배포 성능을 한 단계 끌어올렸습니다. 이번 신규 서비스는 기존 GPU 기반 EC2 인스턴스 대비 30-40% 향상된 가격 대비 성능을 제공하며, 특히 대규모 언어 모델(LLM) 및 기초 모델(FM)을 위한 최적의 솔루션을 제시합니다. AWS re:Invent 행사에서 공개된 Trn2 인스턴스는 16개의 Trainium2 칩을 탑재하여 최대 20.8 페타플롭스(petaflops)의 컴퓨팅 성능을 제공합니다. 이는 수십억 개의 매개변수를 가진 LLM의 학습 및 배포에 이상적인 성능입니다. 더불어 새롭게 선보인 Trn2 UltraServers는 초고속 NeuronLink 인터커넥트를 통해 4개의 Trn2 서버를 하나의 거대한 서버로 연결합니다. 이를 통해 64개의 Trainium2 칩을 활용하여 최대 83.2 페타플롭스의 컴퓨팅 성능을 구현하며, 단일 인스턴스의 컴퓨팅, 메모리, 네트워킹 성능을 4배로 확장했습니다. 이는 현재 AWS에서 가장 큰 규모의 모델을 가장 빠르게 학습하고 배포할 수 있는 환경을 제공합니다. AWS는 앤트로픽(Anthropic)과 협력하여 Trn2 UltraServers 수십만 개를 연결하는 'Project Rainier'라는 EC2 UltraCluster를 구축 중입니다. 이 클러스터는 기존 선도적인 AI 모델 학습에 사용된 엑사플롭스(exaflops)의 5배 이상을 웃도는 성능을 제공할 것으로 예상됩니다. AWS의 컴퓨팅 및 네트워킹 부문 부사장인 David Brown은 "Trainium2는 가장 크고 최첨단인 생성형 AI 워크로드를 학습 및 추론 모두에서 지원하도록 설계되었으며, AWS에서 최고의 가격 대비 성능을 제공합니다."라며, "수조 개의 매개변수를 가진 모델이 등장함에 따라, 고객들은 이러한 방대한 워크로드를 학습하고 실행하기 위한 새로운 접근 방식이 필요하다는 것을 이해합니다. 새로운 Trn2 UltraServers는 AWS에서 가장 빠른 학습 및 추론 성능을 제공하며, 모든 규모의 조직이 가장 큰 모델을 더 빠르고 저렴하게 학습하고 배포할 수 있도록 지원합니다."라고 강조했습니다. 모델의 크기가 커짐에 따라 학습 시간 단축 및 추론 지연 시간 감소를 위한 컴퓨팅 및 네트워킹 인프라의 한계가 드러나고 있습니다. AWS는 이미 GPU 및 ML 칩 기반의 다양한 가속 EC2 인스턴스를 제공하고 있지만, 고객들은 더욱 복잡하고 방대한 모델을 더 빠르고 저렴하게 학습하기 위한 성능과 확장성을 지속적으로 요구하고 있습니다. Trn2는 딥러닝 및 생성형 AI를 위한 가장 높은 성능의 Amazon EC2 인스턴스입니다. Trn2는 기존 GPU 기반 EC2 인스턴스 대비 30-40% 향상된 가격 대비 성능을 제공하며, 단일 Trn2 인스턴스는 16개의 Trainium2 칩과 초고속 NeuronLink 인터커넥트를 통해 20.8 페타플롭스의 컴퓨팅 성능을 제공하여 수십억 개의 매개변수를 가진 모델의 학습 및 배포에 이상적입니다. Trn2 UltraServers는 더 큰 규모의 모델을 위한 컴퓨팅 요구를 충족시키기 위해 설계되었습니다. 이를 통해 고객은 단일 Trn2 인스턴스의 한계를 넘어 학습을 확장하고, 시장 출시 시간을 단축하며, 모델 정확도 향상을 위한 신속한 반복 작업을 가능하게 합니다. Trn2 UltraServers는 4개의 Trn2 서버를 하나의 거대한 서버로 연결하여 64개의 Trainium2 칩에 걸쳐 생성형 AI 워크로드를 확장할 수 있습니다. 추론 워크로드의 경우, Trn2 UltraServers를 사용하여 수조 개의 매개변수를 가진 모델의 실시간 추론 성능을 향상시킬 수 있습니다. AWS는 앤트로픽과 협력하여 'Project Rainier'라는 EC2 UltraCluster를 구축하고 있으며, 이는 수십만 개의 Trainium2 칩과 3세대 저지연 페타비트 규모 EFA 네트워킹을 통해 분산 모델 학습을 확장할 것입니다. 완성 시, 이는 앤트로픽이 미래 모델을 구축하고 배포할 수 있는 세계 최대 규모의 AI 컴퓨팅 클러스터가 될 것으로 예상됩니다. 앤트로픽은 신뢰할 수 있고 해석 가능하며 제어 가능한 AI 시스템을 만드는 AI 안전 및 연구 회사로, 플래그십 제품인 LLM 'Claude'는 전 세계 수백만 명의 사용자가 신뢰하고 있습니다. AWS와의 협력 확대의 일환으로, 앤트로픽은 Claude 모델을 Trainium2에서 실행하도록 최적화하기 시작했습니다. Databricks의 Mosaic AI는 조직이 고품질 에이전트 시스템을 구축하고 배포할 수 있도록 지원합니다. 데이터 레이크하우스 위에 네이티브로 구축되어 고객이 엔터프라이즈 데이터로 모델을 쉽게 사용자 정의하고 더 정확하고 도메인별 출력을 제공할 수 있습니다. Trainium의 높은 성능과 비용 효율성 덕분에 고객은 Mosaic AI에서 모델 학습을 저렴한 비용으로 확장할 수 있습니다. Trainium2의 가용성은 Databricks와 고객에게 큰 이점이 될 것이며, Mosaic AI에 대한 수요는 전 세계 모든 고객 부문에 걸쳐 계속 증가하고 있습니다. 세계 최대 데이터 및 AI 기업 중 하나인 Databricks는 Trn2를 사용하여 고객에게 최대 30% 더 나은 결과와 낮은 총 소유 비용(TCO)을 제공할 계획입니다. Hugging Face는 2백만 개 이상의 모델, 데이터셋, AI 애플리케이션이 공유되는 AI 빌더를 위한 선도적인 오픈 플랫폼입니다. Hugging Face는 지난 몇 년간 AWS와 협력하여 Optimum Neuron 오픈 소스 라이브러리를 통해 AWS Inferentia 및 Trainium의 성능 및 비용 이점을 개발자가 쉽게 경험할 수 있도록 했습니다. Trainium2 출시와 함께 Hugging Face 사용자는 더 높은 성능에 액세스하여 모델을 더 빠르게 개발하고 배포할 수 있습니다. poolside는 AI가 경제적으로 가치 있는 대부분의 작업과 과학 발전을 주도하는 세상을 구축하고 있습니다. poolside는 소프트웨어 개발이 신경망에서 인간 수준의 지능에 도달하는 첫 번째 주요 기능이 될 것이라고 믿습니다. 이를 가능하게 하기 위해 FM, API 및 어시스턴트를 구축하여 생성형 AI의 힘을 개발자의 손에 쥐여주고 있습니다. 이 기술을 가능하게 하는 핵심은 제품을 구축하고 실행하는 데 사용하는 인프라입니다. AWS Trainium2를 통해 poolside의 고객은 다른 AI 가속기와는 비교할 수 없는 가격 대비 성능 비율로 poolside 사용을 확장할 수 있습니다. 또한 poolside는 Trn2 UltraServers로 미래 모델을 학습할 계획이며, EC2 P5 인스턴스 대비 40%의 비용 절감을 예상합니다. AWS는 차세대 AI 학습 칩인 Trainium3를 공개했습니다. Trainium3는 3나노미터 공정 노드로 제작된 최초의 AWS 칩으로, 성능, 전력 효율성 및 밀도에서 새로운 표준을 설정할 것입니다. Trainium3 기반 UltraServers는 Trn2 UltraServers보다 4배 더 높은 성능을 제공할 것으로 예상되며, 고객은 모델 구축 시 더욱 빠르게 반복하고 배포 시 탁월한 실시간 성능을 제공할 수 있습니다. 최초의 Trainium3 기반 인스턴스는 2025년 말에 출시될 예정입니다. AWS Neuron 소프트웨어를 통해 Trainium2의 성능을 활용할 수 있습니다. Neuron SDK에는 개발자가 모델을 Trainium에서 실행하도록 최적화하는 데 도움이 되는 컴파일러, 런타임 라이브러리 및 도구가 포함되어 있습니다. 이를 통해 개발자는 Trainium 칩에서 최적의 성능을 위해 모델을 최적화할 수 있습니다. Neuron은 JAX 및 PyTorch와 같은 인기 프레임워크와 네이티브로 통합되어 고객은 코드 변경을 최소화하면서 기존 코드 및 워크플로를 Trainium에서 계속 사용할 수 있습니다. Neuron은 Hugging Face 모델 허브의 100,000개 이상의 모델도 지원합니다. Neuron Kernel Interface(NKI)를 통해 개발자는 베어메탈 Trainium 칩에 액세스하여 까다로운 워크로드를 위한 성능을 극대화하는 컴퓨팅 커널을 작성할 수 있습니다. Neuron 소프트웨어는 JAX와 같은 인기 프레임워크를 사용하여 코드 변경을 최소화하고 공급업체별 솔루션에 대한 종속성을 줄이면서 Trainium2에서 모델을 학습하고 배포하는 것을 쉽게 하도록 설계되었습니다. Google은 네이티브 OpenXLA 통합을 통해 JAX를 대규모 학습 및 추론에 사용하려는 AWS의 노력을 지원하며, 사용자가 Trn2 인스턴스를 신속하게 시작할 수 있는 쉽고 이식 가능한 코딩 경로를 제공합니다. 업계 전반의 오픈 소스 협업과 Trainium2의 가용성을 통해 Google은 JAX의 채택이 증가할 것으로 예상합니다.