AWS, 데이터 스토어 전반의 데이터 액세스 및 분석을 더 빠르고 쉽게 만드는 4가지 Zero-ETL 통합 발표

AWS, 데이터 통합 간소화하는 '제로 ETL' 기능 대거 공개

아마존닷컴(NASDAQ: AMZN)의 클라우드 컴퓨팅 자회사인 아마존 웹 서비스(AWS)가 복잡한 데이터 추출, 변환, 적재(ETL) 파이프라인 구축 및 관리 부담을 덜어주는 새로운 통합 기능을 발표했습니다. AWS re:Invent에서 공개된 이번 기능들은 고객들이 여러 소스의 데이터를 쉽고 빠르게 연결하고 분석할 수 있도록 지원합니다.

새롭게 선보이는 Amazon Aurora PostgreSQL, Amazon DynamoDB, Amazon Relational Database Service (Amazon RDS) for MySQL과 Amazon Redshift 간의 제로 ETL(zero-ETL) 통합은 관계형 및 비관계형 데이터베이스의 트랜잭션 데이터를 Amazon Redshift에서 더욱 쉽게 연결하고 분석할 수 있게 합니다. 또한, Amazon DynamoDB와 Amazon OpenSearch Service 간의 제로 ETL 통합을 통해 운영 데이터에 대한 전문적인 텍스트 및 벡터 검색을 거의 실시간으로 수행할 수 있게 되었습니다.

AWS는 이번 발표를 통해 고객들이 데이터가 어디에 있든 쉽게 접근하고 활용할 수 있도록 지원함으로써, AWS의 선도적인 데이터베이스 및 분석 서비스의 폭넓은 기능들을 활용하여 새로운 인사이트를 발굴하고 혁신을 가속화하며 데이터 기반 의사결정을 개선할 수 있도록 돕는다는 방침입니다.

AWS의 Dr. Swami Sivasubramanian 데이터 및 인공지능 부문 부사장은 "AWS는 고객들이 데이터를 통해 혁신을 이룰 수 있도록 업계에서 가장 광범위하고 깊이 있는 데이터 서비스를 제공합니다"라며, "고객들은 각자의 조직에 흩어진 데이터를 통합하여 비즈니스 가치를 창출하고 혁신 속도를 높여야 합니다. 이를 위해 AWS는 데이터 통합이 더 이상 번거롭고 수동적인 노력이 되지 않는 제로 ETL 미래에 투자하고 있습니다. 오늘 발표된 새로운 통합 기능들은 고객들을 이러한 제로 ETL 미래로 나아가게 할 것이며, AWS는 고객들이 전체 시스템에 걸쳐 데이터를 쉽게 통합할 수 있도록 지속적으로 투자하여 고객들이 새로운 인사이트 도출에 집중할 수 있도록 지원할 것입니다"라고 말했습니다.

데이터는 모든 조직의 차별화 요소입니다. 그러나 조직들은 다양한 규모와 속도로 여러 출처에서 발생하는 다양한 유형의 데이터를 다루며, 데이터 활용 방식 또한 매우 다양합니다. 조직이 데이터를 최대한 활용하기 위해서는 이러한 모든 변수를 고려하는 포괄적인 도구 세트와 함께 여러 소스에 분산된 데이터를 통합하고 결합할 수 있는 능력이 필요합니다. 예를 들어, 기업은 관계형 데이터베이스에 트랜잭션 데이터를 저장하고 이를 데이터 웨어하우스에서 분석하는 동시에, 비관계형 데이터베이스의 데이터에 대해 벡터 검색을 수행하기 위해 다른 분석 도구를 사용할 수 있습니다.

과거에는 데이터를 이동시키기 위해 고객이 직접 ETL 파이프라인을 설계해야 했으며, 이는 구축이 어렵고 비용이 많이 들며, 관리가 복잡하고 간헐적인 오류로 인해 시기적절한 인사이트 접근이 지연되는 경우가 많았습니다. AWS는 고객들이 데이터에서 가치를 창출할 수 있도록 포괄적인 데이터 서비스 세트를 제공하지만, 데이터를 비즈니스의 중심으로 만들기 위해서는 데이터가 어디에 있든 모든 데이터를 연결할 수 있어야 합니다. 이러한 이유로 AWS는 수동 데이터 이동의 부담을 제거하는 제로 ETL 기능에 투자해 왔습니다. 여기에는 Amazon Redshift와 Amazon Athena의 연합 쿼리 기능(운영 데이터베이스, 데이터 웨어하우스, 데이터 레이크에 저장된 데이터를 직접 쿼리 가능)과 Amazon Connect 분석 데이터 레이크(분석 및 머신러닝을 위한 컨택 센터 데이터 접근 용이)가 포함됩니다. 또한, Salesforce Data Cloud와 AWS 스토리지, 데이터, 분석 서비스 간의 새로운 제로 ETL 통합을 통해 Salesforce와 AWS 전반의 데이터를 쉽고 원활하게 통합하여 더 빠르고 나은 인사이트를 얻을 수 있습니다.

오늘 발표된 통합 기능들은 AWS의 제로 ETL 기반을 강화하여 데이터 파이프라인 구축 및 유지 관리의 부담을 제거함으로써, 고객들이 데이터가 어디에 있든 모든 데이터를 빠르고 쉽게 연결할 수 있도록 합니다.

Amazon Aurora PostgreSQL, Amazon DynamoDB, Amazon RDS for MySQL 제로 ETL 통합과 Amazon Redshift의 연동은 데이터 파이프라인 구축 및 유지 관리 없이 트랜잭션 데이터를 더욱 쉽게 분석할 수 있게 합니다.

많은 조직들은 데이터 가치를 극대화하기 위해 여러 고성능 데이터베이스(Aurora 및 Amazon RDS와 같은 관계형 데이터베이스, DynamoDB와 같은 비관계형 데이터베이스 포함)에서 트랜잭션 데이터를 Amazon Redshift와 같은 데이터 웨어하우스로 이동시켜 페타바이트 규모의 데이터에 대한 고성능 데이터 웨어하우징 및 분석 워크로드를 실행하고자 합니다. 그러나 이러한 데이터 이동에는 각 데이터 소스에 대한 ETL 파이프라인을 생성해야 합니다.

올해 초 AWS는 Amazon Aurora MySQL과 Amazon Redshift 간의 제로 ETL 통합의 일반 가용성을 발표하여 Aurora 데이터를 Amazon Redshift에서 분석하는 것을 더욱 용이하게 했습니다. 이 통합은 분당 100만 건 이상의 트랜잭션을 처리하며, Aurora MySQL에 기록된 후 몇 초 내에 Amazon Redshift에서 데이터를 사용할 수 있게 합니다. 제로 ETL의 이점을 더욱 확장하기 위해 AWS는 Aurora PostgreSQL, DynamoDB, Amazon RDS for MySQL과 Amazon Redshift 간의 새로운 제로 ETL 통합 미리 보기 버전을 발표합니다. 이러한 통합은 고객들이 인기 있는 관계형 및 비관계형 데이터베이스의 데이터를 Amazon Redshift에서 빠르고 쉽게 액세스하여 포괄적인 분석을 수행할 수 있도록 지원합니다. 고객은 단순히 데이터베이스 내에서 분석하려는 데이터가 포함된 데이터 테이블을 선택하면 해당 데이터가 Amazon Redshift로 자동 복제됩니다.

이질적인 소스의 데이터를 단일 데이터 웨어하우스로 통합함으로써 고객은 비즈니스에 대한 통합된 보기를 확보하고, 데이터 공유, 머티리얼라이즈드 뷰, Amazon Redshift ML과 같은 Amazon Redshift의 고급 기능을 활용하여 전체적이고 예측적인 인사이트를 얻을 수 있습니다.

Amazon DynamoDB 제로 ETL 통합과 Amazon OpenSearch Service의 연동은 트랜잭션 데이터에 대한 전문적인 텍스트 및 벡터 검색을 거의 실시간으로 수행할 수 있게 합니다.

비즈니스 운영을 최적화하고 사용자 경험을 향상시키기 위해 많은 고객들은 OpenSearch Service를 사용하여 DynamoDB의 트랜잭션 데이터에 대해 전문적인 텍스트 및 벡터 검색, 관련성 순위 지정, 자동 완성 제안과 같은 고급 검색 기능을 수행합니다. 예를 들어, 전자상거래 회사는 DynamoDB의 데이터를 OpenSearch Service로 복제하여 유사한 거래 데이터와 비교함으로써 거래의 사기 여부를 자동으로 판단하기 위해 벡터 검색을 사용할 수 있습니다.

이제 일반 가용성이 된 DynamoDB와 OpenSearch Service 간의 새로운 제로 ETL 통합은 고객들이 DynamoDB 데이터에 대해 강력한 전문적인 텍스트 및 벡터 검색 쿼리를 거의 실시간으로 실행하는 것을 더욱 쉽게 만듭니다. 고객은 분석하려는 데이터가 포함된 DynamoDB 테이블을 선택하기만 하면, 해당 데이터는 DynamoDB에 기록된 후 몇 초 내에 OpenSearch Service로 복제됩니다. 고객은 여러 DynamoDB 테이블의 데이터를 단일 OpenSearch Service 관리 클러스터 또는 서버리스 컬렉션으로 동기화하여 여러 애플리케이션에 걸쳐 전체적인 인사이트를 확보하고 검색 자산을 통합함으로써 비용을 절감하고 운영 효율성을 높일 수 있습니다.

Grabyo는 라이브 비디오 제작 플랫폼으로, 전문 비디오 결과물의 제작, 배포 및 수익화를 더 빠르고 간단하며 효율적으로 만듭니다. Grabyo의 Mun Wai Kong 최고 기술 책임자(CTO)는 "현재 우리는 데이터 엔지니어링 팀에 상당한 운영 부담을 주는 노동 집약적이고 비용이 많이 드는 ETL 파이프라인을 구축하고 관리해야 합니다"라며, "우리는 DynamoDB와 Amazon Redshift를 사용하여 플랫폼을 운영하고 있으며, 이들이 제공하는 단순성과 확장성에 깊은 인상을 받았습니다. Amazon DynamoDB와 Amazon Redshift 간의 새로운 제로 ETL 통합을 기대하고 있으며, 이를 통해 우리의 애플리케이션은 트랜잭션에서 인사이트까지 몇 분 안에 도달할 수 있을 것입니다. 이는 데이터 파이프라인을 구축하고 관리하는 대신, 비즈니스와 사용자에게 가치를 제공하는 데 데이터 엔지니어링 리소스를 집중할 수 있도록 도울 것입니다"라고 말했습니다.

iCIMS는 모든 조직이 훌륭한 인재를 채용할 수 있도록 지원하는 인재 확보 기술 제공업체입니다. iCIMS의 Ben Barresi 클라우드 호스팅 및 엔지니어링 부문 부사장은 "우리는 목적에 맞게 구축된 데이터 저장소와 거의 또는 전혀 유지보수가 필요 없는 효율적이고 확장 가능한 데이터 공유 및 수집 프로세스를 활용하는 효과적이고 현대적인 데이터 전략을 통해 AWS를 통해 애플리케이션을 지속적으로 현대화하고자 합니다"라며, "Amazon Aurora PostgreSQL과 Amazon Redshift 간의 제로 ETL 통합을 사용하기를 기대하며, 이는 엔지니어링 팀의 데이터 파이프라인 관리 및 유지보수 부담을 제거할 것입니다. 데이터가 Aurora에 기록된 후 몇 초 내에 Amazon Redshift에서 사용 가능해지므로, 현재 실행 중인 야간 일회성 배치 수집과 비교하여 데이터를 분석하는 속도를 개선할 수 있을 것입니다"라고 밝혔습니다.

Kaplan, Inc.는 역동적이고 진화하는 환경에서 개인과 기관이 목표를 달성할 수 있도록 지원하는 글로벌 교육 서비스 회사입니다. Kaplan, Inc.의 Naveen Kambhoji 시니어 매니저는 "Kaplan 데이터 엔지니어링 팀은 유지보수 비용이 많이 들고 빈번한 연결 오류가 발생하기 쉬운 수백 개의 데이터 파이프라인을 관리합니다"라며, "Amazon RDS for MySQL과 Amazon Redshift 간의 새로운 제로 ETL 통합을 통해 트랜잭션 데이터를 Amazon Redshift로 원활하게 전송하여 학생 활동을 포함한 비즈니스의 다양한 측면을 더 잘 이해하는 데 도움이 되는 분석을 수행할 수 있을 것입니다."라고 말했습니다.