AWS, Amazon S3 Express One Zone 일반 공급 발표

AWS re:Invent에서 Amazon Web Services(AWS)는 오늘 Amazon Simple Storage Service(Amazon S3) Express One Zone의 일반 공급을 발표했습니다. 이는 고객의 가장 지연 시간에 민감한 애플리케이션을 위해 일관된 한 자릿수 밀리초 데이터 액세스를 제공하도록 설계된 새로운 고성능, 단일 영역 Amazon S3 스토리지 클래스입니다.

Amazon S3 Express One Zone은 현재 사용 가능한 최저 지연 시간의 클라우드 객체 스토리지로, AWS 리전 내의 모든 AWS 가용 영역에서 Amazon S3 Standard보다 최대 10배 빠른 데이터 액세스 속도와 최대 50% 낮은 요청 비용을 제공합니다. 가장 까다로운 워크로드를 위해 고객은 Amazon S3 Express One Zone 데이터를 컴퓨팅 리소스와 동일한 AWS 가용 영역에 배치하여 컴퓨팅 성능과 비용을 최적화하고 데이터 처리 속도를 높일 수 있습니다.

Amazon S3 Express One Zone은 머신러닝(ML) 훈련 및 추론, 대화형 분석, 미디어 콘텐츠 제작과 같은 요청 집약적인 작업에 가장 적합한 스토리지 클래스입니다. Amazon S3 Express One Zone을 통해 고객은 필요에 따라 스토리지를 확장하거나 축소할 수 있으며 현재 사용 중인 Amazon S3 API를 그대로 활용할 수 있습니다.

17년 전 출시된 Amazon S3는 전 세계 수백만 고객이 사용하는 가장 인기 있는 클라우드 스토리지 서비스입니다. 업계 최고의 내구성, 가용성, 보안 및 확장성을 갖춘 Amazon S3는 350조 개 이상의 객체를 보유하고 있으며 초당 평균 1억 건 이상의 요청을 처리합니다. 다양한 스토리지 클래스를 제공하는 Amazon S3는 거의 모든 워크로드에 대해 빈번, 비정기 및 아카이브 데이터 액세스 패턴에 대해 최저 비용으로 최고의 성능을 제공합니다.

그러나 ML 훈련 및 추론, 대화형 분석, 금융 모델 시뮬레이션, 실시간 광고, 미디어 콘텐츠 제작과 같은 새로운 사용 사례는 분당 수백만 번의 데이터 읽기 및 쓰기를 수행하며 성능 요구 사항을 충족하기 위해 일관된 한 자릿수 밀리초 응답 시간을 요구합니다. 예를 들어, 인공지능(AI) 및 ML 모델 훈련은 종종 수백만 개의 이미지와 텍스트 줄을 몇 분 안에 처리해야 하며, 데이터 액세스 속도는 최고의 컴퓨팅 효율성을 달성하는 데 중요합니다.

성능이 중요한 애플리케이션의 스토리지 지연 시간, 애플리케이션 실행 시간 및 컴퓨팅 비용을 줄이기 위해 고객은 가장 자주 액세스하는 데이터를 Amazon S3에서 사용자 지정 캐싱 솔루션으로 이동합니다. 그러나 이는 복잡성을 증가시키고 운영 부담을 추가하며, 고객이 여러 API 세트를 갖춘 추가 스토리지 인프라를 유지해야 하므로 애플리케이션 수정이 필요합니다. 또한 컴퓨팅 인프라가 데이터가 인스턴스로 복사되는 동안 실행되어야 하므로 유휴 컴퓨팅 시간이 발생하여 비용이 증가하고 비효율성이 발생할 수 있습니다.

Amazon S3 Express One Zone은 고객의 가장 지연 시간에 민감한 애플리케이션을 위해 가장 빠른 데이터 액세스 속도와 가장 높은 성능을 제공하는 새로운 고성능 스토리지 클래스입니다. 전용 하드웨어 및 소프트웨어에 데이터를 복제하고 저장함으로써 Amazon S3 Express One Zone은 Amazon S3 Standard보다 최대 10배 빠른 액세스 속도를 제공하여 데이터 처리를 가속화합니다.

액세스 속도를 더욱 높이고 분당 수백만 건의 요청을 지원하기 위해 Amazon S3 Express One Zone은 새로운 버킷 유형인 Amazon S3 디렉터리 버킷에 데이터를 저장합니다. 고객은 항상 특정 AWS 리전을 선택하여 Amazon S3 데이터를 저장할 수 있었습니다. 이제 리전 내에서 고객은 가장 까다로운 워크로드를 위해 Amazon S3 Express One Zone 데이터를 컴퓨팅 리소스와 동일한 가용 영역에 배치하도록 선택할 수 있으며, 이는 컴퓨팅 비용을 절감하고 워크로드를 더 빠르게 실행하는 데 도움이 됩니다.

Amazon S3 Express One Zone을 통해 쿼리 집약적인 분석과 같은 성능이 중요한 애플리케이션은 높은 내구성과 가용성을 유지하면서 한 자릿수 밀리초 데이터 액세스 속도를 달성할 수 있으며, 요청 비용은 Amazon S3 Standard에 비해 최대 50% 절감되고 컴퓨팅 비용은 최대 60% 절감됩니다. 예를 들어, 데이터 분석가는 종종 페타바이트 규모의 데이터를 쿼리하며, 데이터 처리 속도는 시기적절한 비즈니스 결정을 내리는 데 중요합니다. Amazon S3 Express One Zone을 사용하면 데이터 액세스 속도가 Amazon S3 Standard보다 최대 10배 빨라져 데이터 레이크 쿼리가 최대 4배 빨라지고 분석 작업 시간이 단축되어 데이터 분석가가 더 빨리 통찰력을 얻고 결정을 내릴 수 있습니다.

Amazon S3 Express One Zone을 통해 고객은 스토리지를 확장하거나 축소할 수 있으며, 애플리케이션이 현재 사용 중인 동일한 Amazon S3 API를 통해 데이터에 액세스하므로 더 이상 저지연 시간 워크로드를 위해 여러 스토리지 시스템을 관리할 필요가 없습니다.

AWS의 Amazon S3 총괄 관리자인 James Kirschner는 "수백만 명의 고객이 저비용 아카이브 스토리지부터 페타바이트 규모의 데이터 레이크까지 모든 것을 위해 Amazon S3에 의존하고 있으며, 모든 밀리초가 중요한 가장 성능 집약적인 애플리케이션을 지원하기 위해 사용을 확장하고 싶어 합니다."라며 "Amazon S3 Express One Zone은 가장 지연 시간에 민감한 애플리케이션을 위한 가장 빠른 데이터 액세스 속도를 제공하고 고객이 액세스가 빈번한 데이터 세트에 대해 분당 수백만 건의 요청을 처리할 수 있도록 지원하며, 요청 및 컴퓨팅 비용도 절감합니다."라고 말했습니다.

몇 번의 클릭만으로 고객은 새로운 Amazon S3 디렉터리 버킷을 생성하고 생성한 Amazon S3 디렉터리 버킷에 새 객체를 직접 업로드하거나 AWS Management Console에서 Amazon S3 Batch Operations를 사용하여 다른 Amazon S3 스토리지 클래스의 기존 데이터 세트에서 객체를 복사할 수 있습니다. Amazon S3 Express One Zone은 Mountpoint for Amazon S3, Amazon S3 Server-Side Encryption, Amazon S3 Block Public Access와 같은 Amazon S3 기능과 Amazon EMR, Amazon Athena, Amazon SageMaker, Amazon Bedrock과 같은 AWS 서비스를 지원합니다.

Amazon S3 Express One Zone은 현재 미국 동부(버지니아 북부), 미국 서부(오레곤), 유럽(스톡홀름), 아시아 태평양(도쿄)에서 일반 공급되며, 곧 추가 AWS 리전에서도 제공될 예정입니다.

데이터 분석 분야의 선두 주자인 ChaosSearch는 기업이 탁월한 효율성으로 데이터 기반 의사 결정을 내릴 수 있도록 지원하는 솔루션을 제공합니다. ChaosSearch의 설립자이자 최고 기술 책임자인 Thomas Hazel은 "우리의 독특함은 SQL, 검색 및 대규모 언어 모델 기반 쿼리를 지원하는 네이티브 Amazon S3 데이터 레이크에 있습니다."라며 "우리는 이미 Amazon S3의 비교할 수 없는 확장성, 내구성, 가용성 및 보안의 이점을 누리고 있으며, 이제 대규모 고성능 분석을 위해 강화되었습니다. Amazon S3 Express One Zone을 통해 코드 수정 없이 60% 더 빠른 쿼리와 상당한 비용 절감을 통해 신속하게 통찰력을 얻을 수 있습니다."라고 말했습니다.

Cloudera는 전 세계 산업 분야의 고객에게 보안 데이터 관리 및 분석 기능을 갖춘 하이브리드 데이터 플랫폼을 제공합니다. Cloudera의 제품 관리 부사장인 Jim Clark은 "고객은 AI 및 데이터 분석을 사용하여 모든 데이터에서 비즈니스 가치를 얻기 위한 개방형 데이터 레이크하우스를 제공하기 위해 당사 플랫폼을 사용합니다."라며 "Amazon S3 Express One Zone의 데이터 액세스 속도만으로도 Cloudera 고객은 최대 40% 더 빠른 읽기 및 쓰기 성능을 달성하여 데이터에서 더 빠른 통찰력과 가치를 얻을 수 있습니다. 우리는 성능을 개선하고 고객의 클라우드 인프라 비용을 절감하기 위해 Cloudera 전반에 걸쳐 Amazon S3 Express One Zone을 지원하기 위해 적극적으로 노력하고 있습니다."라고 말했습니다.

Colorfront는 영화 산업을 위한 고성능 디지털 처리 기술을 개발합니다. Colorfront의 솔루션 엔지니어링 이사인 Brandon Heaslip은 "Colorfront는 고성능 GPU 아키텍처와 Amazon S3 Express One Zone을 통합하여 파일을 다양한 고급 형식으로 트랜스코딩, 디코딩, 변환 및 래핑하는 데 필요한 처리 속도를 높입니다."라며 "Amazon S3 Express One Zone의 한 자릿수 밀리초 데이터 액세스 속도를 통해 Colorfront 고객은 디지털 비디오 처리를 최대 70% 가속화하여 디지털 비디오 표준을 유지하면서 스트리밍 제공을 위한 다양한 미디어 및 엔터테인먼트 요구 사항을 충족할 수 있습니다."라고 말했습니다.

Pinterest는 매월 4억 8천만 명 이상의 사람들이 전 세계 최고의 아이디어를 검색, 저장 및 쇼핑하기 위해 방문하는 시각적 영감 플랫폼입니다. Pinterest는 고급 머신러닝 모델을 활용하여 수십억 개의 객체를 분석하고 각 사용자에게 개인화된 추천을 제공합니다. Pinterest의 데이터 엔지니어링 기술 리더인 Ambud Sharma는 "머신러닝은 Pinterest의 핵심이며 대규모 ML 훈련 로그 수집으로 구동됩니다. Pinterest에서 데이터 수집 및 배포를 가속화하기 위해 우리는 모든 ML 훈련 데이터를 지원하고 비용 효율성을 유지하면서 수십 GBps의 데이터 파이프라인을 강화하기 위해 Amazon S3를 활용하는 초고효율 오픈 소스 PubSub 시스템인 MemQ를 개발했습니다."라며 "MemQ를 사용하여 Amazon S3 Express One Zone 스토리지 클래스를 평가하는 동안 데이터 처리 트랜잭션 초당을 늘리면서 10배 이상의 지연 시간 개선을 보았습니다. 이 정도 규모의 성능 향상을 기반으로 Amazon S3 Express One Zone은 더 높은 속도의 데이터 소비와 더 빈번한 실험을 가능하게 하는 동시에 인프라 비용을 크게 절감할 수 있습니다. Amazon S3 Express One Zone은 클라우드 애플리케이션을 더 높은 성능, 확장성, 유연성 및 효율성으로 만드는 패러다임 전환을 만들고 있습니다."라고 말했습니다.