AWS, 데이터, 분석 및 AI를 위한 통합 플랫폼 제공하는 차세대 Amazon SageMaker 공개

AWS, 머신러닝 서비스 대대적 혁신… 통합 플랫폼으로 데이터 분석 및 AI 역량 강화 아마존 웹 서비스(AWS)가 머신러닝 서비스인 Amazon SageMaker의 차세대 버전을 공개하며, 데이터 분석부터 생성형 AI까지 모든 과정을 하나의 통합 플랫폼에서 지원한다고 밝혔습니다. 이번 업데이트는 고객들이 방대한 데이터를 더 쉽고 빠르게 활용하여 비즈니스 인사이트를 도출하고 혁신적인 AI 애플리케이션을 구축할 수 있도록 지원하는 데 초점을 맞추고 있습니다. 새롭게 선보이는 SageMaker Unified Studio는 기업 내 다양한 데이터 소스에 대한 접근성을 높이고, SQL 분석, 페타바이트 규모의 빅데이터 처리, 데이터 탐색 및 통합, 모델 개발 및 학습, 생성형 AI 등 AWS의 분석, 머신러닝(ML), AI 역량을 한데 모았습니다. 이를 통해 고객들은 각자의 데이터 활용 목적에 맞는 최적의 도구를 선택하여 데이터를 활용할 수 있으며, Amazon Q Developer의 지원을 받아 개발 과정을 더욱 효율적으로 진행할 수 있습니다. SageMaker Catalog와 통합된 거버넌스 기능은 올바른 사용자가 올바른 목적을 위해 필요한 데이터, 모델, 개발 산출물에 접근할 수 있도록 보장합니다. 또한, SageMaker Lakehouse는 데이터 레이크, 데이터 웨어하우스, 운영 데이터베이스, 엔터프라이즈 애플리케이션 등 분산된 데이터를 통합하여 SageMaker Unified Studio 내에서 쉽게 접근하고 활용할 수 있도록 합니다. 이는 Apache Iceberg와 호환되는 익숙한 AI 및 ML 도구 또는 쿼리 엔진을 통해 가능합니다. 주요 소프트웨어 서비스(SaaS) 애플리케이션과의 새로운 제로 ETL(Zero-ETL) 통합은 복잡한 데이터 파이프라인 구축 없이도 서드파티 SaaS 애플리케이션의 데이터를 SageMaker Lakehouse 및 Amazon Redshift로 쉽게 가져와 분석 또는 ML 작업에 활용할 수 있게 합니다. AWS의 데이터 및 AI 부문 부사장인 Swami Sivasubramanian은 "우리는 분석과 AI의 융합을 목격하고 있으며, 고객들은 과거 분석부터 ML 모델 학습, 생성형 AI 애플리케이션까지 데이터를 점점 더 상호 연결된 방식으로 사용하고 있습니다"라며, "이러한 워크로드를 지원하기 위해 많은 고객들이 이미 Amazon SageMaker, Amazon EMR, Amazon Redshift, Amazon S3 데이터 레이크, AWS Glue와 같은 AWS의 목적별 분석 및 ML 도구 조합을 사용하고 있습니다. 차세대 SageMaker는 이러한 기능들을 흥미로운 새로운 기능들과 함께 통합하여 고객들에게 데이터 처리, SQL 분석, ML 모델 개발 및 학습, 생성형 AI에 필요한 모든 도구를 SageMaker 내에서 직접 제공합니다"라고 설명했습니다. 수십만 명의 고객이 이미 SageMaker를 사용하여 ML 모델을 구축, 학습, 배포하고 있습니다. 또한 많은 고객들은 SQL 분석, 검색 분석, 빅데이터 처리, 스트리밍 분석 등 다양한 워크로드를 지원하기 위해 AWS의 포괄적인 분석 서비스에 의존하고 있습니다. 이러한 고객들은 분석, ML, 생성형 AI 도구를 개별적으로 사용하는 것을 넘어, 이들을 조합하여 인사이트를 도출하고 새로운 사용자 경험을 제공하고 있습니다. SageMaker의 차세대 버전은 이러한 고객들에게 익숙한 AWS 분석, ML, 생성형 AI 도구와 함께 모든 데이터에 대한 쉬운 접근성, 그리고 팀원 또는 조직 내 다른 구성원과 데이터 프로젝트를 쉽게 협업할 수 있는 기능을 제공하는 통합 환경을 제공합니다. SageMaker Unified Studio는 Amazon Bedrock, Amazon EMR, Amazon Redshift, AWS Glue, 기존 SageMaker Studio 등에서 제공되는 다양한 독립형 스튜디오, 쿼리 편집기, 시각적 도구의 기능을 통합합니다. 이를 통해 고객들은 데이터를 발견하고 준비하며, 쿼리 또는 코드를 작성하고, 데이터를 처리하며, ML 모델을 구축하는 데 필요한 모든 기능을 한 곳에서 사용할 수 있습니다. Amazon Q Developer는 데이터 발견, 코딩, SQL 생성, 데이터 통합과 같은 개발 작업을 지원합니다. 예를 들어, 사용자는 Amazon Q에게 "제품 판매를 더 잘 파악하기 위해 어떤 데이터를 사용해야 할까요?" 또는 "제품 카테고리별 총 수익을 계산하는 SQL을 생성해 주세요"와 같은 질문을 할 수 있습니다. 또한, 팀원이나 조직 내 다른 구성원과 데이터, 모델, 애플리케이션 및 기타 산출물을 안전하게 게시하고 공유하여 데이터 자산의 검색 및 활용을 가속화할 수 있습니다. SageMaker Unified Studio 내의 Amazon Bedrock 통합 개발 환경(IDE)을 통해 사용자는 Amazon Bedrock의 고성능 파운데이션 모델과 Agents, Guardrails, Knowledge Bases, Flows와 같은 도구를 사용하여 생성형 AI 애플리케이션을 빠르고 쉽게 구축하고 배포할 수 있습니다. SageMaker Unified Studio는 데이터 검색, 공유, 거버넌스 기능을 내장하고 있어 분석가, 데이터 과학자, 엔지니어는 필요한 데이터에 쉽게 접근하고, 원하는 보안 제어 및 권한을 적용하며, 데이터 접근을 제어하고 데이터를 안전하게 보호할 수 있습니다. 영국을 대표하는 은행인 NatWest Group은 데이터 엔지니어링, SQL 분석, ML, 생성형 AI 워크로드를 위해 여러 도구를 사용하고 있습니다. SageMaker Unified Studio를 통해 NatWest Group은 조직 전체에 걸쳐 이러한 워크로드를 지원하는 단일 통합 환경을 갖추게 될 것이며, 데이터 사용자가 분석 및 AI 기능에 접근하는 데 필요한 시간을 50%까지 단축할 것으로 예상하고 있습니다. 이를 통해 여러 서비스를 관리하는 데 드는 시간을 줄이고 고객을 위한 혁신에 더 많은 시간을 할애할 수 있게 됩니다. SageMaker Lakehouse는 Amazon S3 데이터 레이크, Redshift 데이터 웨어하우스, 연합 데이터 소스에 저장된 데이터에 대한 통합 액세스를 제공하여 데이터 사일로를 줄이고 데이터가 물리적으로 어떻게, 어디에 저장되어 있든 쉽게 쿼리할 수 있도록 합니다. SageMaker의 새로운 Apache Iceberg 호환 레이크하우스 기능을 통해 고객은 SageMaker Unified Studio 내에서, 그리고 Apache Iceberg 오픈 표준과 호환되는 익숙한 AI 및 ML 도구 및 쿼리 엔진을 사용하여 모든 데이터에 접근하고 작업할 수 있습니다. 이제 고객은 데이터가 물리적으로 어떻게, 어디에 저장되어 있든 선호하는 분석 및 ML 도구를 사용하여 SQL 분석, 임시 쿼리, 데이터 과학, ML, 생성형 AI와 같은 사용 사례를 지원할 수 있습니다. SageMaker Lakehouse는 레이크하우스의 모든 분석 및 AI 도구에서 일관되게 적용되는 통합된 세분화된 액세스 제어를 제공하여, 고객이 한 번 권한을 정의하고 조직 전체에 걸쳐 데이터를 안전하게 공유할 수 있도록 합니다. 제약 및 진단 분야의 글로벌 선도 기업인 Roche는 SageMaker Lakehouse를 사용하여 Redshift와 Amazon S3 데이터 레이크의 데이터를 통합하고, 데이터 사일로를 제거하며, 팀 간 상호 운용성을 향상시키고, 사용자가 비용이 많이 드는 데이터 이동이나 중복된 보안 액세스 제어 없이 원활하게 데이터를 활용할 수 있도록 할 것입니다. SageMaker Lakehouse를 통해 Roche는 데이터 처리 시간을 40% 단축하여 데이터 관리보다는 비즈니스 발전에 더 집중할 수 있을 것으로 예상합니다. 또한, 새로운 제로 ETL 통합은 Amazon Aurora MySQL 및 PostgreSQL, Amazon RDS for MySQL, Amazon DynamoDB와 Amazon Redshift 간의 제로 ETL 통합을 포함하여 고객이 인기 있는 관계형 및 비관계형 데이터베이스의 데이터를 Redshift 및 SageMaker Lakehouse로 빠르고 쉽게 가져와 분석 및 ML에 활용할 수 있도록 지원합니다. 운영 데이터베이스 및 데이터 레이크 외에도 많은 고객들은 SaaS 애플리케이션에 중요한 엔터프라이즈 데이터를 저장하고 있으며, 분석 및 ML을 위해 이 데이터에 쉽게 접근할 수 있으면 큰 이점을 얻을 수 있습니다. SaaS 애플리케이션과의 새로운 제로 ETL 통합은 고객이 다음과 같은 애플리케이션의 데이터에 쉽게 접근할 수 있도록 합니다.