새로운 Amazon SageMaker AI 혁신, 고객의 생성형 AI 및 머신러닝 모델 구축 및 확장 방식 재정의

AWS re:Invent에서 Amazon Web Services(AWS)는 Amazon SageMaker AI의 새로운 혁신을 발표하며, 고객들이 인기 있는 공개 모델을 더 빠르게 시작하고, 학습 효율성을 극대화하며, 비용을 절감하고, 선호하는 도구를 사용하여 생성형 인공지능(AI) 모델 개발을 가속화할 수 있도록 지원합니다. Amazon SageMaker AI는 엔드투엔드 서비스로, 수십만 고객이 완전 관리형 인프라, 도구 및 워크플로우를 통해 모든 사용 사례에 대한 AI 모델을 구축, 학습 및 배포하는 데 사용하고 있습니다. 이번 발표의 핵심은 Amazon SageMaker HyperPod의 세 가지 새로운 기능입니다. 이를 통해 고객들은 오늘날 가장 인기 있는 공개 모델 중 일부의 학습을 신속하게 시작하고, 유연한 학습 계획으로 모델 학습 시간을 몇 주씩 단축하며, 컴퓨팅 리소스 활용도를 극대화하여 비용을 최대 40%까지 절감할 수 있습니다. 또한, SageMaker 고객들은 이제 Comet, Deepchecks, Fiddler AI, Lakera와 같은 AWS 파트너사의 인기 있는 생성형 AI 및 머신러닝(ML) 개발 애플리케이션을 SageMaker 내에서 직접 안전하게 검색, 배포 및 사용할 수 있게 되었습니다. 이는 고객에게 최적의 도구를 선택할 수 있는 유연성을 제공합니다. Articul8, Commonwealth Bank of Australia, Fidelity, Hippocratic AI, Luma AI, NatWest, NinjaTech AI, OpenBabylon, Perplexity, Ping Identity, Salesforce, Thomson Reuters 등 다수의 고객들이 새로운 SageMaker 기능을 활용하여 생성형 AI 모델 개발을 가속화하고 있습니다. AWS의 AI/ML 서비스 및 인프라 부문 부사장인 Baskar Sridharan 박사는 "AWS는 7년 전 Amazon SageMaker를 출시하여 AI/ML 모델 구축, 학습 및 배포 과정을 단순화함으로써 모든 규모의 조직이 AI/ML을 활용하고 확장할 수 있도록 지원했습니다."라며, "생성형 AI의 부상과 함께 SageMaker는 빠른 속도로 혁신을 거듭하고 있으며, 2023년 이후 140개 이상의 기능을 출시하여 Intuit, Perplexity, Rocket Mortgage와 같은 고객들이 기반 모델을 더 빠르게 구축할 수 있도록 돕고 있습니다. 오늘 발표된 기능들을 통해 고객들에게 가능한 가장 성능이 뛰어나고 비용 효율적인 모델 개발 인프라를 제공하여, 생성형 AI 워크로드를 프로덕션 환경에 배포하는 속도를 가속화할 것입니다."라고 밝혔습니다. SageMaker HyperPod: 생성형 AI 모델 학습을 위한 최적의 인프라 생성형 AI의 등장으로 ML 모델 구축, 학습 및 배포 과정은 복잡성이 크게 증가했습니다. 이는 깊이 있는 AI 전문 지식, 방대한 데이터 접근, 그리고 대규모 컴퓨팅 클러스터의 생성 및 관리 능력을 요구합니다. 또한, 고객들은 클러스터 전반에 걸쳐 학습을 분산시키고, 모델을 지속적으로 검사 및 최적화하며, 하드웨어 문제를 수동으로 해결하기 위한 특수 코드를 개발해야 합니다. 이 모든 과정에서 시간 및 비용 관리가 중요합니다. 이러한 배경에서 AWS는 SageMaker HyperPod를 개발했으며, 이는 수천 개의 AI 가속기를 활용하여 생성형 AI 모델 개발을 효율적으로 확장하고 기반 모델 학습 시간을 최대 40%까지 단축하는 데 도움을 줍니다. Writer, Luma AI, Perplexity와 같은 선도적인 스타트업과 Thomson Reuters, Salesforce와 같은 대기업들은 SageMaker HyperPod를 통해 모델 개발을 가속화하고 있습니다. Amazon은 또한 새로운 Amazon Nova 모델을 학습시키는 데 SageMaker HyperPod를 사용하여 학습 비용을 절감하고, 학습 인프라 성능을 개선했으며, 클러스터 설정 및 엔드투엔드 프로세스 관리에 소요될 수 있는 수개월의 수동 작업을 절약했습니다. 이제 더 많은 조직들이 인기 있는 공개 모델을 미세 조정하거나 자체 전문 모델을 학습시켜 생성형 AI를 통해 비즈니스와 애플리케이션을 혁신하고자 합니다. 이에 따라 SageMaker HyperPod는 다음과 같은 새로운 혁신을 통해 고객들이 이러한 모델을 대규모로 구축, 학습 및 배포하는 과정을 더 쉽고, 빠르고, 비용 효율적으로 만들기 위해 지속적으로 혁신하고 있습니다. 새로운 레시피로 고객들이 더 빠르게 시작할 수 있도록 지원 많은 고객들이 Llama 및 Mistral과 같은 인기 있는 공개 모델을 활용하여 조직의 데이터를 사용하여 특정 사용 사례에 맞게 사용자 정의하기를 원합니다. 그러나 학습 성능을 최적화하기 위해서는 알고리즘 실험, 매개변수 미세 조정, 학습 영향 관찰, 문제 디버깅, 성능 벤치마킹 등 수주의 반복적인 테스트가 필요할 수 있습니다. SageMaker HyperPod는 이제 Llama 3.2 90B, Llama 3.1 405B, Mistral 8x22B를 포함한 오늘날 가장 인기 있는 공개 모델 중 일부에 대한 30개 이상의 큐레이션된 모델 학습 레시피에 대한 액세스를 제공하여 고객들이 몇 분 안에 시작할 수 있도록 지원합니다. 이러한 레시피는 학습 데이터셋 자동 로딩, 분산 학습 기법 적용, 인프라 장애로부터의 효율적인 체크포인트 및 복구 시스템 구성 등을 통해 시작 과정을 크게 단순화합니다. 이를 통해 모든 수준의 고객은 초기부터 AWS 인프라에서 모델 학습에 대한 개선된 가격 성능을 달성할 수 있으며, 수주의 반복적인 평가 및 테스트를 없앨 수 있습니다. 고객들은 SageMaker GitHub 리포지토리를 통해 사용 가능한 학습 레시피를 탐색하고, 사용자 정의 요구 사항에 맞게 매개변수를 조정하며, 몇 분 안에 배포할 수 있습니다. 또한, 간단한 한 줄 편집으로 GPU 기반 인스턴스와 Trainium 기반 인스턴스 간에 원활하게 전환하여 가격 성능을 더욱 최적화할 수 있습니다. Salesforce의 연구원들은 각 신규 모델에 대해 학습 스택을 최적화하는 데 몇 주를 소비하지 않고도 기반 모델 학습 및 미세 조정을 신속하게 시작할 방법을 모색하고 있었습니다. Amazon SageMaker HyperPod 레시피를 통해 기반 모델을 사용자 정의할 때 신속한 프로토타이핑을 수행할 수 있습니다. 이제 Salesforce의 AI 연구 팀은 다양한 사전 학습 및 미세 조정 레시피를 사용하여 몇 분 안에 시작할 수 있으며, 고성능으로 기반 모델을 운영할 수 있습니다. 유연한 학습 계획으로 학습 일정 및 예산 충족 용이 인프라 혁신이 비용을 절감하고 고객이 모델을 더 효율적으로 학습할 수 있도록 지원하지만, 고객은 여전히 제시간에 예산 내에서 학습 작업을 완료하는 데 필요한 컴퓨팅 용량을 계획하고 관리해야 합니다. 이에 AWS는 SageMaker HyperPod를 위한 유연한 학습 계획을 출시합니다. 몇 번의 클릭만으로 고객은 원하는 완료 날짜와 필요한 최대 컴퓨팅 리소스 양을 지정할 수 있습니다. SageMaker HyperPod는 자동으로 용량을 예약하고, 클러스터를 설정하며, 모델 학습 작업을 생성하여 팀의 모델 학습 시간을 몇 주씩 절약합니다. 이는 대규모 컴퓨팅 클러스터를 확보하여 모델 개발 작업을 완료하려는 고객의 불확실성을 줄여줍니다. 제안된 학습 계획이 지정된 시간, 예산 또는 컴퓨팅 요구 사항을 충족하지 못하는 경우, SageMaker HyperPod는 다음 최적의 옵션으로 날짜 범위 연장, 컴퓨팅 추가, 또는 다른 AWS 리전에서 학습 수행과 같은 대안 계획을 제안합니다. 계획이 승인되면 SageMaker는 자동으로 인프라를 프로비저닝하고 학습 작업을 실행합니다. SageMaker는 Amazon Elastic Compute Cloud(EC2) Capacity Blocks를 사용하여 학습 작업을 제시간에 완료하는 데 필요한 적절한 양의 가속 컴퓨팅 인스턴스를 예약합니다. 이러한 용량 블록이 사용 가능한 시점에 따라 학습 작업을 효율적으로 일시 중지 및 재개함으로써, SageMaker HyperPod는 수동 개입 없이 고객이 작업을 제시간에 완료하는 데 필요한 컴퓨팅 리소스에 액세스할 수 있도록 보장합니다. 의료 분야에서 안전 중심의 대규모 언어 모델(LLM)을 개발하는 Hippocratic AI는 여러 모델을 학습시키기 위해 SageMaker HyperPod 유연한 학습 계획을 사용하여 학습 작업을 제시간에 완료하는 데 필요한 가속 컴퓨팅 리소스에 대한 액세스를 확보했습니다. 이를 통해 모델 학습 속도를 4배 가속화하고 수백 가지 사용 사례를 수용하도록 솔루션을 보다 효율적으로 확장할 수 있었습니다. 소외 언어에 대한 LLM을 사용자 정의하는 AI 회사인 OpenBabylon의 개발자 및 데이터 과학자들은 SageMaker HyperPod 유연한 학습 계획을 사용하여 대규모 실험을 실행하는 데 필요한 GPU 리소스에 대한 액세스를 간소화했습니다. SageMaker HyperPod를 사용하여 100건의 대규모 모델 학습 실험을 수행했으며, 이를 통해 영어-우크라이나어 번역에서 최첨단 결과를 달성하는 모델을 구축할 수 있었습니다. SageMaker HyperPod 덕분에 OpenBabylon은 비용을 효과적으로 관리하면서 적시에 이러한 혁신을 달성할 수 있었습니다. 작업 거버넌스로 가속기 활용도 극대화 점점 더 많은 조직들이 모델 학습을 위해 대규모의 가속 컴퓨팅 용량을 프로비저닝하고 있습니다. 이러한 컴퓨팅 리소스는 비용이 많이 들고 제한적이므로, 고객은 가장 중요한 모델 개발 작업에 컴퓨팅 리소스가 우선순위로 할당되도록 사용을 관리하고 낭비나 활용도 저하를 방지할 방법이 필요합니다. 작업 우선순위 지정 및 리소스 할당에 대한 적절한 제어 없이는 일부 프로젝트가 리소스 부족으로 중단되는 반면, 다른 프로젝트는 리소스를 활용하지 못하는 상황이 발생합니다. 이는 관리자에게 상당한 부담을 주며, 데이터 과학자들은 진행에 어려움을 겪습니다. 이는 조직이 AI 혁신을 신속하게 시장에 출시하는 것을 방해하고 비용 초과를 초래합니다. SageMaker HyperPod 작업 거버넌스를 통해 고객은 모델 학습, 미세 조정 및 추론을 위한 가속기 활용도를 극대화하여 모델 개발 비용을 최대 40%까지 절감할 수 있습니다. 몇 번의 클릭만으로 고객은 다양한 작업에 대한 우선순위를 쉽게 정의하고 각 팀이 사용할 수 있는 컴퓨팅 리소스 수를 제한할 수 있습니다.