JP모건 은행가, '조작된' 성추행 혐의에 맞서 싸우다

AWS, 데이터 통합 간소화하는 '제로 ETL' 기능 대폭 강화 아마존 웹 서비스(AWS)가 고객들이 복잡한 데이터 파이프라인 구축 및 관리 없이 다양한 소스의 데이터를 손쉽게 연결하고 분석할 수 있도록 지원하는 새로운 제로 ETL(Zero-ETL) 통합 기능을 발표했습니다. 이번 발표는 라스베이거스에서 열린 AWS re:Invent 행사에서 이루어졌습니다. 새롭게 공개된 Amazon Aurora PostgreSQL, Amazon DynamoDB, Amazon RDS for MySQL과 Amazon Redshift 간의 제로 ETL 통합 기능은 여러 관계형 및 비관계형 데이터베이스의 트랜잭션 데이터를 Amazon Redshift로 쉽게 연결하고 분석할 수 있도록 지원합니다. 또한, Amazon DynamoDB와 Amazon OpenSearch Service 간의 제로 ETL 통합을 통해 운영 데이터에 대한 실시간에 가까운 전문적인 텍스트 및 벡터 검색이 가능해졌습니다. AWS는 이번 기능 확장을 통해 고객들이 데이터가 어디에 있든 쉽게 연결하고 활용할 수 있도록 지원함으로써, AWS의 선도적인 데이터베이스 및 분석 서비스의 폭넓은 기능을 활용하여 새로운 인사이트를 발굴하고 혁신을 가속화하며 데이터 기반의 더 나은 의사결정을 내릴 수 있도록 돕는다는 방침입니다. AWS의 Dr. Swami Sivasubramanian 데이터 및 인공지능 부문 부사장은 "AWS는 고객들이 데이터를 통해 혁신을 이룰 수 있도록 업계에서 가장 폭넓고 깊이 있는 데이터 서비스를 제공합니다. 고객들은 각자의 조직에 흩어진 데이터를 통합하여 비즈니스 가치를 높이고 더 빠르게 혁신할 수 있어야 합니다. 이를 위해 AWS는 데이터 통합이 더 이상 번거롭고 수동적인 노력이 되지 않는 제로 ETL의 미래에 투자하고 있습니다."라고 말했습니다. 그는 이어 "오늘 발표된 새로운 통합 기능은 고객들을 이러한 제로 ETL 미래로 나아가게 하며, AWS는 고객들이 전체 시스템에 걸쳐 데이터를 쉽게 통합할 수 있도록 지속적으로 투자하여 고객들이 새로운 인사이트 도출에 집중할 수 있도록 할 것입니다."라고 덧붙였습니다. 데이터는 모든 조직의 차별화 요소이지만, 다양한 출처와 규모, 속도로 발생하는 여러 유형의 데이터를 효과적으로 활용하기 위해서는 이러한 변수들을 모두 고려하는 포괄적인 도구 세트와 여러 소스에 흩어진 데이터를 통합하고 결합할 수 있는 능력이 필요합니다. 예를 들어, 기업은 관계형 데이터베이스에 저장된 트랜잭션 데이터를 데이터 웨어하우스에서 분석하고, 비관계형 데이터베이스의 데이터에 대한 벡터 검색을 수행하기 위해 다른 분석 도구를 사용할 수 있습니다. 과거에는 데이터를 이동시키기 위해 고객들이 자체적으로 ETL 파이프라인을 구축해야 했으며, 이는 구축 및 관리의 복잡성과 비용, 그리고 시기적절한 인사이트 접근을 지연시키는 간헐적인 오류 발생 가능성 등 어려움이 있었습니다. AWS는 이러한 데이터 이동의 부담을 제거하는 제로 ETL 기능을 강화하고 있습니다. 여기에는 Amazon Redshift와 Amazon Athena의 연합 쿼리 기능이 포함되어, 고객들이 운영 데이터베이스, 데이터 웨어하우스, 데이터 레이크에 저장된 데이터에 직접 쿼리할 수 있습니다. 또한, Amazon Connect 분석 데이터 레이크는 고객들이 컨택 센터 데이터에 더 쉽게 접근하여 분석 및 머신러닝에 활용할 수 있도록 합니다. 이번에 발표된 새로운 Amazon Aurora PostgreSQL, Amazon DynamoDB, Amazon RDS for MySQL과 Amazon Redshift 간의 제로 ETL 통합은 데이터 파이프라인 구축 및 유지보수의 부담을 제거하여 고객들이 데이터가 어디에 있든 신속하고 쉽게 모든 데이터를 연결할 수 있도록 합니다. Amazon Aurora PostgreSQL, Amazon DynamoDB, Amazon RDS for MySQL 제로 ETL 통합은 Amazon Redshift에서 트랜잭션 데이터를 분석하는 과정을 간소화합니다. 많은 조직들은 Aurora 및 Amazon RDS와 같은 관계형 데이터베이스와 DynamoDB와 같은 비관계형 데이터베이스를 포함한 여러 고성능 데이터베이스에서 트랜잭션 데이터를 Amazon Redshift와 같은 데이터 웨어하우스로 이동시켜 페타바이트 규모의 데이터에 대한 고성능 데이터 웨어하우징 및 분석 워크로드를 실행하고자 합니다. 그러나 이러한 데이터 이동은 각 데이터 소스마다 ETL 파이프라인을 생성해야 하는 번거로움이 있습니다. 올해 초 AWS는 Amazon Aurora MySQL 제로 ETL 통합과 Amazon Redshift의 일반 가용성을 발표했으며, 이 통합은 분당 100만 건 이상의 트랜잭션을 처리하고 Aurora MySQL에 기록된 후 몇 초 안에 Amazon Redshift에서 데이터를 사용할 수 있도록 합니다. 이러한 제로 ETL 이점을 더욱 확장하기 위해 AWS는 Aurora PostgreSQL, DynamoDB, Amazon RDS for MySQL과 Amazon Redshift 간의 새로운 제로 ETL 통합 미리보기 버전을 발표했습니다. 이 통합은 고객들이 인기 있는 관계형 및 비관계형 데이터베이스의 데이터를 Amazon Redshift에서 신속하고 쉽게 액세스하여 포괄적인 분석을 수행할 수 있도록 지원합니다. 고객은 데이터베이스 내에서 원하는 데이터를 포함하는 데이터 테이블을 선택하기만 하면 해당 데이터가 자동으로 Amazon Redshift로 복제됩니다. 다양한 소스의 데이터를 단일 데이터 웨어하우스로 통합함으로써 고객들은 비즈니스에 대한 통합된 보기를 확보하고 데이터 공유, 구체화된 뷰, Amazon Redshift ML과 같은 고급 Amazon Redshift 기능을 활용하여 전체적이고 예측적인 인사이트를 얻을 수 있습니다. Amazon DynamoDB 제로 ETL 통합과 Amazon OpenSearch Service는 운영 데이터에 대한 실시간에 가까운 전문적인 텍스트 및 벡터 검색을 가능하게 합니다. 많은 고객들은 비즈니스 운영을 최적화하고 사용자 경험을 향상시키기 위해 OpenSearch Service를 사용하여 DynamoDB의 운영 데이터에 대한 고급 검색 기능(예: 전문 텍스트 및 벡터 검색, 관련성 순위 지정, 자동 완성 제안)을 수행합니다. 예를 들어, 전자상거래 회사는 DynamoDB의 데이터를 OpenSearch Service로 복제하여 벡터 검색을 사용하여 유사한 거래 데이터와 비교함으로써 거래가 사기인지 자동으로 판단할 수 있습니다. 이제 일반에 공개된 DynamoDB와 OpenSearch Service 간의 새로운 제로 ETL 통합은 고객들이 DynamoDB 데이터에 대해 강력한 전문 텍스트 및 벡터 검색 쿼리를 실시간에 가깝게 실행하는 것을 더 쉽게 만듭니다. 고객은 분석하려는 데이터를 포함하는 DynamoDB 테이블을 선택하기만 하면 해당 데이터가 DynamoDB에 기록된 후 몇 초 안에 OpenSearch Service로 복제됩니다. 고객은 여러 DynamoDB 테이블의 데이터를 단일 OpenSearch Service 관리 클러스터 또는 서버리스 컬렉션으로 동기화하여 여러 애플리케이션에 걸쳐 전체적인 인사이트를 얻고 검색 자산을 통합하여 비용을 절감하는 동시에 운영 효율성을 높일 수 있습니다. Grabyo의 최고 기술 책임자(CTO)인 Mun Wai Kong은 "현재 우리는 상당한 운영 부담을 데이터 엔지니어링 팀에 지우는 노동 집약적이고 비용이 많이 드는 ETL 파이프라인을 구축하고 관리해야 합니다. 우리는 DynamoDB와 Amazon Redshift를 사용하여 플랫폼을 지원하며, 이들이 제공하는 단순성과 확장성에 깊은 인상을 받았습니다. Amazon DynamoDB와 Amazon Redshift 간의 새로운 제로 ETL 통합에 매우 기대가 큽니다. 이를 통해 우리의 애플리케이션은 몇 분 안에 트랜잭션에서 인사이트를 얻을 수 있게 될 것입니다. 이는 데이터 파이프라인을 구축하고 관리하는 대신 비즈니스와 사용자에게 가치를 제공하는 데 데이터 엔지니어링 리소스를 집중할 수 있도록 도울 것입니다."라고 말했습니다. iCIMS의 클라우드 호스팅 및 엔지니어링 부문 부사장인 Ben Barresi는 "우리는 목적별로 구축된 데이터 저장소와 거의 또는 전혀 유지보수가 필요 없는 효율적이고 확장 가능한 데이터 공유 및 수집 프로세스를 활용하는 효과적이고 현대적인 데이터 전략을 통해 AWS를 통해 애플리케이션을 지속적으로 현대화하고자 합니다. Amazon Aurora PostgreSQL과 Amazon Redshift 간의 제로 ETL 통합을 사용하게 되어 기쁘게 생각합니다. 이는 엔지니어링 팀의 데이터 파이프라인 관리 및 유지보수 부담을 제거해 줄 것입니다. 데이터가 Aurora에 기록된 후 몇 초 안에 Amazon Redshift에서 사용할 수 있게 되므로, 현재 실행 중인 야간 일회성 배치 수집과 비교하여 데이터를 분석하는 속도를 개선할 수 있을 것입니다."라고 밝혔습니다. Kaplan, Inc.의 선임 관리자인 Naveen Kambhoji는 "Kaplan 데이터 엔지니어링 팀은 유지보수 비용이 많이 들고 빈번한 연결 오류가 발생하는 수백 개의 데이터 파이프라인을 관리합니다. 새로운 RDS for MySQL과 Amazon Redshift 간의 제로 ETL 통합을 통해 트랜잭션 데이터를 Amazon Redshift로 원활하게 전송하여 학생 활동을 포함한 비즈니스의 다양한 측면을 더 잘 이해하는 데 도움이 되는 분석을 수행할 수 있게 될 것입니다."라고 말했습니다.