BT Group의 디지털 부문, AWS 기반 'GenAI Gateway' 플랫폼 출시… 생성형 AI의 안전한 대규모 도입 가속화

BT Group, AWS와 협력해 생성형 AI 플랫폼 'GenAI Gateway' 공개 영국 최대 통신사 BT Group이 대규모 언어 모델(LLM)을 안전하고 효율적으로 활용하기 위한 자체 생성형 AI 플랫폼 'GenAI Gateway'를 출시했습니다. 이 플랫폼은 Amazon Web Services(AWS)와의 협력을 통해 개발되었으며, Anthropic, Meta, Cohere, Amazon 등 다양한 LLM 제공업체의 모델에 대한 안전하고 확장 가능한 접근을 지원합니다. 'GenAI Gateway'는 프롬프트 보안, 중앙 집중식 개인 정보 보호 제어, 사용 사례별 과금, 기업 검색 기능, 다중 기업 데이터 소스 활용 등을 지원하여 BT Group이 다양한 AI 모델을 유연하고 책임감 있게 사용할 수 있도록 합니다. 또한, 모델 오용(일명 '탈옥 위험')을 제한하는 내장된 안전 장치를 통해 윤리적이고 안전한 AI 사용을 보장합니다. 이 통합 플랫폼은 API, 보안 구성, 인프라 관리 등을 중앙에서 관리함으로써 노력과 자원의 중복을 줄이고, 오류 발생 위험을 낮추며, BT Group의 생성형 AI 도입 가속화를 지원합니다. BT Group 디지털 유닛은 2024년 9월 24일 런던에서 이 혁신적인 플랫폼의 출시를 발표했습니다. 'GenAI Gateway'는 AWS의 Amazon Bedrock과 Amazon SageMaker, 그리고 AWS Professional Services의 역량을 활용하여 구축되었습니다. 이는 BT Group이 비즈니스 운영 전반에 AI를 통합하는 데 중요한 역할을 할 것입니다. 기존의 임시적인 LLM 사용은 테스트 및 개발에는 적합하지만, 대규모 사용에는 비용 통제, 보안, 개인 정보 보호 측면에서 더 세심한 관리가 필요합니다. 또한, LLM 성능 모니터링을 통해 예상치 못한 오류(예: '환각')나 시간이 지남에 따른 모델 성능 저하를 관리하는 것도 중요합니다. 'GenAI Gateway'는 이러한 문제에 대한 해결책을 제공하며, 특정 LLM에 대한 종속성을 방지하는 보호 기능도 제공합니다. 'GenAI Gateway' 플랫폼은 사용 사례별 예산 추적을 지원하여 BT Group 엔지니어들이 각 사용 사례에 가장 적합한 모델을 적절한 가격으로 사용할 수 있도록 장려합니다. 통합 플랫폼은 생성형 AI 도입을 확장함에 따라 노력과 자원의 중복을 줄여줍니다. API, 보안 구성, 인프라 관리 등은 모두 중앙에서 관리되어 오류 위험과 각 사용 사례별로 별도의 LLM을 유지하는 비용을 절감합니다. AWS에 배포된 'GenAI Gateway'는 BT Group의 모듈식 디지털 아키텍처의 모든 구성 요소와 마찬가지로 보안 API를 통해 액세스됩니다. 'GenAI Gateway'는 AI21 Labs, Anthropic, Cohere, Meta, Mistral AI, Stability AI, Amazon 등 선도적인 AI 기업의 고성능 파운데이션 모델을 단일 API를 통해 제공하는 완전 관리형 서비스인 Amazon Bedrock과, 모든 사용 사례에 대해 고성능, 저비용 머신러닝을 지원하는 포괄적인 도구를 제공하는 완전 관리형 서비스인 Amazon SageMaker를 사용합니다. 이 플랫폼은 프롬프트 보안, 채팅 기록, FinOps 기반 사용 사례별 과금, 기업 검색, 다중 기업 데이터 소스 활용을 지원합니다. 중앙 집중식 개인 정보 보호 제어에는 각 사용 사례별 별도 테넌트, 개인 식별 정보 필터 사용, 데이터의 영국 내 위치, 학습된 모델 간의 격리 등이 포함되어 그룹 정책 및 관련 규정에 따라 데이터를 보호합니다. 'GenAI Gateway'에는 탈옥이나 유해한 상호 작용의 위험을 제한하고 특정 애플리케이션의 범위를 벗어나는 쿼리를 필터링하는 안전 장치가 내장되어 성능과 윤리적 가드레일을 설계 단계부터 보장합니다. 'Gen AI Gateway'는 BT Group을 AI 기반 기업으로 만들기 위해 배포하는 여러 핵심 지원 도구 중 하나이며, 데이터 관리 플랫폼인 '데이터 패브릭'을 사용하여 데이터 사용에 대한 거버넌스 정책을 시행하고 액세스 제어 및 데이터 주권 제한을 관리하는 데도 활용될 것입니다. 'GenAI Gateway'는 현재 첫 번째 베타 사용 사례와 함께 운영 중입니다. Openreach에서는 이더넷 및 풀 광섬유 작업에 대한 엔지니어링 노트를 요약하는 시험을 통해 팀과 통신 사업자 고객의 프로세스를 간소화하고 생산성을 향상시키고 있습니다. 그룹의 비즈니스, 법률 및 조달 팀을 지원하는 계약 분석을 위한 두 번째 사용 사례도 현재 운영 중입니다. AWS EMEA Telco GM인 Fabio Cerone은 "BT Group의 'GenAI Gateway'는 기업이 생성형 AI를 규모와 속도에 맞춰 효과적으로 배포하는 방법을 보여줍니다. 고객의 요구사항을 바탕으로 보안 및 규정 준수가 내장된 생성형 AI 사용 사례의 프로덕션 배포를 가속화할 수 있는 방법을 제공하기 위해 협력하는 훌륭하고 선구적인 기회였습니다. 'GenAI Gateway'는 생성형 AI 도입에 있어 플라이휠 효과를 촉발하여 BT Group과 고객에게 더 빠른 결과를 제공할 것입니다."라고 말했습니다. BT Group 디지털 유닛의 데이터 및 AI 담당 전무이사인 Deepika Adusumilli는 "AI는 우리 회사의 미래를 재구상하는 데 도움을 주고 있습니다. 우리의 데이터는 변하지 않는 상수이므로 LLM에 대한 유연성이 필요하다고 믿습니다. 'GenAI Gateway'를 통해 우리는 이 강력한 신기술 세트를 안전하고 책임감 있으며 유연하고 확장 가능한 방식으로 활용하여, 오늘날과 미래에 BT Group 내 인간의 잠재력을 발휘하려는 AI에 대한 우리의 야망을 실현할 수 있습니다."라고 덧붙였습니다. BT Group은 영국의 선도적인 유선 및 모바일 통신 및 관련 보안 디지털 제품, 솔루션 및 서비스 제공업체입니다. 또한 180개국 이상의 고객에게 관리형 통신, 보안, 네트워크 및 IT 인프라 서비스를 제공합니다. BT Group은 세 개의 고객 대면 유닛으로 구성됩니다. Consumer는 영국 개인 및 가정을 대상으로 하며, Business는 영국 및 해외 기업 및 공공 서비스를 담당합니다. Openreach는 독립적으로 운영되는 완전 소유 자회사로, 영국 전역의 650개 이상의 통신 사업자에게 고정 액세스 인프라 서비스를 도매합니다. British Telecommunications plc는 BT Group plc의 완전 소유 자회사이며 BT Group의 거의 모든 사업과 자산을 포괄합니다. BT Group plc는 런던 증권 거래소에 상장되어 있습니다.