생성형 AI 스타트업 Twelve Labs, AWS와 협력하여 텍스트처럼 검색 가능한 동영상 제작

AI 스타트업 Twelve Labs, AWS 기반 영상 분석 기술로 '보물창고' 열다 [라스베이거스] 아마존 웹 서비스(AWS)는 오늘 Twelve Labs가 자사의 멀티모달 인공지능(AI) 기반 영상 이해 기술을 AWS에서 구축하고 확장한다고 발표했습니다. Twelve Labs는 자연어를 통해 영상 속의 특정 장면, 인물, 사물, 배경음 등을 인간처럼 이해하고 분석하는 혁신적인 기술을 개발하는 스타트업입니다. 이번 협력을 통해 Twelve Labs는 AWS의 강력한 컴퓨팅 파워와 전문성을 활용하여 자연어와 영상 콘텐츠를 연결하는 독자적인 파운데이션 모델 개발을 가속화할 예정입니다. 이를 통해 개발자들은 방대한 영상 데이터 속에서 원하는 정보를 손쉽게 검색하고, 장면을 분류하며, 영상을 요약하고, 챕터별로 분할하는 등 다양한 애플리케이션을 구축할 수 있게 됩니다. Twelve Labs의 파운데이션 모델은 AWS Marketplace를 통해 제공되며, 미디어, 엔터테인먼트, 게임, 스포츠 등 대규모 영상 데이터를 다루는 산업 분야에서 활용될 수 있습니다. 예를 들어, 스포츠 리그는 방대한 경기 영상 라이브러리를 효율적으로 정리하고, 생중계에 필요한 특정 장면을 쉽게 검색할 수 있습니다. 또한, 코치들은 선수들의 경기 장면을 분석하여 기술적인 개선점을 찾아낼 수 있으며, 미디어 기업은 시청자의 관심사에 맞춰 개인화된 하이라이트 영상을 제작할 수 있습니다. Twelve Labs의 공동 창업자이자 CEO인 Jae Lee는 "우리의 비전은 개발자들이 멀티모달 인공지능을 애플리케이션에 통합할 수 있도록 돕는 것"이라며, "전 세계 데이터의 약 80%가 영상 형태이지만, 대부분 검색이 불가능한 상태입니다. 우리는 이 문제를 해결하여 인간처럼 보고 듣고 이해하는 경험을 제공할 수 있게 되었습니다."라고 말했습니다. 그는 또한 "AWS는 멀티모달 AI의 어려움을 해결하고 영상을 더욱 접근 가능하게 만드는 데 필요한 컴퓨팅 성능과 지원을 제공했습니다. 앞으로도 AWS와의 협력을 통해 혁신을 지속하고 글로벌 확장을 추진할 것입니다."라고 덧붙였습니다. Twelve Labs의 Marengo 및 Pegasus 파운데이션 모델은 100개 이상의 언어로 텍스트 요약 및 오디오 번역을 제공할 뿐만 아니라, 단어, 이미지, 소리 간의 관계를 분석하여 영상 속 내용과 음성을 일치시키는 등 혁신적인 영상 분석 기능을 제공합니다. 이를 통해 콘텐츠 제작자들은 TV 프로그램이나 경기 영상 속 특정 순간, 장면, 이벤트를 자연어 검색으로 정확하게 찾아낼 수 있습니다. AWS의 스타트업 부문 글로벌 총괄 부사장인 Jon Jones는 "Twelve Labs는 클라우드 기술을 활용하여 방대한 멀티미디어 데이터를 접근 가능하고 유용한 콘텐츠로 전환하고 있으며, 이는 다양한 산업 분야의 발전을 이끌고 있습니다."라며, "영상은 귀중한 정보의 보고이지만, 지금까지 대부분의 시청자에게는 접근이 불가능했습니다. AWS는 Twelve Labs가 더 나은 이해와 관련성 높은 콘텐츠의 신속한 생산을 위한 도구를 구축하는 데 도움을 주었습니다."라고 말했습니다. Twelve Labs는 멀티모달 파운데이션 모델 훈련을 위해 Amazon SageMaker HyperPod를 사용합니다. 이 모델은 비디오, 이미지, 음성, 텍스트 등 다양한 데이터 형식을 동시에 이해할 수 있어, 단일 데이터 유형에 집중하는 다른 AI 모델보다 더 깊이 있는 통찰력을 제공합니다. 여러 AWS 컴퓨팅 인스턴스에서 병렬로 훈련 워크로드를 분산함으로써 Twelve Labs는 수 주 또는 수개월 동안 중단 없이 모델 훈련을 진행할 수 있습니다. 또한, Twelve Labs는 AWS Activate 프로그램을 통해 글로벌 규모로 생성형 AI 기술을 확장하고 수백 페타바이트의 영상 데이터에서 초 단위의 정확도로 심층적인 통찰력을 확보하고 있습니다. AWS Marketplace는 Twelve Labs가 혁신적인 영상 인텔리전스 서비스를 전 세계 고객에게 원활하게 제공할 수 있도록 지원합니다. AWS는 2006년부터 세계에서 가장 포괄적이고 널리 채택된 클라우드 서비스를 제공해 왔습니다. 현재 34개 지리적 리전의 108개 가용 영역에서 컴퓨팅, 스토리지, 데이터베이스, 네트워킹, 분석, 머신러닝 및 AI, IoT, 모바일, 보안, 하이브리드, 미디어, 애플리케이션 개발, 배포 및 관리 등 240개 이상의 서비스를 제공하고 있습니다. 수백만 명의 고객이 AWS를 통해 인프라를 강화하고, 민첩성을 높이며, 비용을 절감하고 있습니다.