AWS, 차세대 AWS 자체 설계 칩 공개

AWS, 차세대 칩 공개… Graviton4·Trainium2로 클라우드 성능 및 효율성 혁신

아마존 웹 서비스(AWS)가 클라우드 워크로드 전반에 걸쳐 가격 대비 성능과 에너지 효율성을 향상시키는 차세대 AWS 설계 칩인 AWS Graviton4와 AWS Trainium2를 공개했습니다. 이번 신규 칩은 머신러닝(ML) 훈련 및 생성형 인공지능(AI) 애플리케이션을 포함한 광범위한 고객 워크로드에 대한 혁신을 제공합니다.

AWS Graviton4는 기존 Graviton3 프로세서 대비 최대 30% 향상된 컴퓨팅 성능, 50% 더 많은 코어, 75% 더 높은 메모리 대역폭을 제공합니다. 이를 통해 Amazon Elastic Compute Cloud(Amazon EC2)에서 실행되는 다양한 워크로드에 대해 최고의 가격 대비 성능과 에너지 효율성을 달성합니다.

AWS Trainium2는 1세대 Trainium 칩 대비 최대 4배 빠른 훈련 속도를 제공하며, 최대 10만 개의 칩으로 구성된 EC2 UltraClusters에 배포될 수 있습니다. 이를 통해 파운데이션 모델(FM) 및 대규모 언어 모델(LLM)을 훨씬 짧은 시간 안에, 최대 2배 향상된 에너지 효율성으로 훈련할 수 있습니다.

AWS의 David Brown 컴퓨팅 및 네트워킹 부문 부사장은 "실리콘은 모든 고객 워크로드를 뒷받침하며 AWS의 핵심 혁신 분야입니다. 고객에게 중요한 실제 워크로드에 칩 설계를 집중함으로써 가장 진보된 클라우드 인프라를 제공할 수 있습니다."라며, "Graviton4는 5년 만에 선보이는 네 번째 세대 칩으로, 광범위한 워크로드에 대해 우리가 만든 가장 강력하고 에너지 효율적인 칩입니다. 또한 생성형 AI에 대한 관심이 급증함에 따라 Trainium2는 고객이 ML 모델을 더 빠르고 저렴하며 에너지 효율적으로 훈련하도록 도울 것입니다."라고 말했습니다.

Graviton4는 현재 전 세계적으로 150개 이상의 Graviton 기반 Amazon EC2 인스턴스 유형을 제공하며, 200만 개 이상의 Graviton 프로세서를 구축했습니다. Datadog, DirecTV, Discovery, Formula 1(F1), NextRoll, Nielsen, Pinterest, SAP, Snowflake, Sprinklr, Stripe, Zendesk 등 5만 명 이상의 고객이 Graviton 기반 인스턴스를 사용하여 데이터베이스, 분석, 웹 서버, 배치 처리, 광고 서빙, 애플리케이션 서버, 마이크로서비스 등 다양한 워크로드를 실행하고 있습니다.

Graviton4 프로세서는 최대 30% 향상된 컴퓨팅 성능, 50% 더 많은 코어, 75% 더 높은 메모리 대역폭을 제공하며, 모든 고속 물리 하드웨어 인터페이스를 완전히 암호화하여 보안을 강화했습니다. Graviton4는 메모리 최적화 Amazon EC2 R8g 인스턴스에서 사용할 수 있으며, 이는 고성능 데이터베이스, 인메모리 캐시 및 빅데이터 분석 워크로드의 실행을 개선합니다. R8g 인스턴스는 현재 세대 R7g 인스턴스 대비 최대 3배 더 많은 vCPU와 3배 더 많은 메모리를 제공하는 더 큰 인스턴스 크기를 제공합니다. Graviton4 기반 R8g 인스턴스는 현재 프리뷰로 제공되며, 향후 몇 달 안에 일반에 공개될 예정입니다.

AWS Trainium2는 오늘날의 생성형 AI 애플리케이션을 뒷받침하는 파운데이션 모델(FM) 및 대규모 언어 모델(LLM) 훈련에 최적화되어 있습니다. Trainium2 칩은 1세대 Trainium 칩 대비 최대 4배 빠른 훈련 성능과 3배 더 많은 메모리 용량을 제공하며, 에너지 효율성은 최대 2배 향상됩니다. Trainium2는 단일 인스턴스에 16개의 Trainium 칩을 포함하는 Amazon EC2 Trn2 인스턴스에서 사용할 수 있습니다. Trn2 인스턴스는 차세대 EC2 UltraClusters에서 최대 10만 개의 Trainium2 칩으로 확장될 수 있으며, AWS Elastic Fabric Adapter(EFA) 페타비트급 네트워킹과 상호 연결되어 최대 65 엑사플롭스의 컴퓨팅 성능을 제공합니다. 이를 통해 고객은 수개월이 걸리던 3000억 개 매개변수 LLM 훈련을 몇 주 만에 완료할 수 있습니다.

Anthropic, Databricks, Datadog, Epic, Honeycomb, SAP 등 주요 기업들이 새로운 AWS 설계 칩을 사용하는 고객으로 참여했습니다.

Anthropic의 공동 설립자인 Tom Brown은 "AWS와 협력하여 향후 파운데이션 모델을 Trainium 칩을 사용하여 개발하고 있습니다. Trainium2는 대규모 모델을 구축하고 훈련하는 데 도움이 될 것이며, 일부 핵심 워크로드에서 1세대 Trainium 칩보다 최소 4배 빠를 것으로 예상합니다."라고 밝혔습니다.

Databricks의 Naveen Rao 생성형 AI 부문 부사장은 "AWS Trainium은 Mosaic MPT 모델을 저렴한 비용으로 훈련하는 데 필요한 확장성과 고성능을 제공합니다. 차세대 Mosaic MPT 모델을 훈련함에 따라 Trainium2는 모델을 더욱 빠르게 구축할 수 있게 하여 고객에게 전례 없는 확장성과 성능을 제공함으로써 자체 생성형 AI 애플리케이션을 시장에 더 신속하게 출시할 수 있도록 할 것입니다."라고 말했습니다.

Datadog의 Laurent Bernaille 수석 엔지니어는 "Datadog에서는 수만 개의 노드를 실행하므로 성능과 비용 효율성의 균형을 맞추는 것이 매우 중요합니다. 그래서 Amazon EC2 플릿의 절반을 이미 Graviton으로 실행하고 있습니다. Graviton4 기반 인스턴스를 환경에 통합하는 것은 원활했으며 즉각적인 성능 향상을 가져왔습니다."라고 언급했습니다.

Epic의 Roman Visintine 리드 클라우드 엔지니어는 "AWS Graviton4 인스턴스는 우리가 테스트한 가장 빠른 EC2 인스턴스이며, 가장 경쟁이 치열하고 지연 시간에 민감한 워크로드 전반에 걸쳐 뛰어난 성능을 제공합니다."라고 말했습니다.