Gcore, NVIDIA Dynamo 통합하여 고성능, 비용 효율적인 AI 추론을 완전 관리형 서비스로 제공

Gcore, NVIDIA Dynamo 통합으로 AI 추론 솔루션 성능 대폭 향상 글로벌 AI, 클라우드, 네트워크 및 보안 솔루션 제공업체인 Gcore가 NVIDIA Dynamo를 자사의 AI 추론 솔루션에 통합했다고 발표했습니다. 이번 통합으로 GPU 효율성이 최대 6배 향상되고 지연 시간은 2배 감소하는 성과를 거두었으며, 이는 완전 관리형 원클릭 배포 방식으로 제공됩니다. NVIDIA Dynamo는 대규모 생성형 AI 및 추론 모델의 가속화와 최적화를 위해 특별히 설계된 오픈소스 추론 프레임워크입니다. Dynamo는 기업들이 대규모 추론 환경에서 겪는 GPU 활용률 저하, 정적 리소스 할당, 메모리 병목 현상, 데이터 전송 비효율성 등의 핵심 과제를 해결합니다. Gcore는 Dynamo를 인기 있는 추론 모델에 대해 사전 최적화된 완전 관리형 솔루션으로 제공합니다. 고객은 라우팅, KV 캐시 로직, GPU 스케줄링을 직접 관리할 필요 없이 Gcore 고객 포털에서 단 한 번의 클릭으로 Dynamo를 활성화할 수 있습니다. 이는 Gcore가 직관적이고 사용하기 쉬운 플랫폼을 통해 AI 배포를 간소화하겠다는 약속을 이행하는 것입니다. Dynamo 통합은 Gcore Everywhere AI 및 Everywhere Inference의 프라이빗 클라우드, 하이브리드 및 온프레미스 추론 환경 전반에서 지원됩니다. Gcore의 Edge Cloud 및 AI 제품 책임자인 Seva Vayner는 "현대의 추론은 단순히 '모델 실행'을 넘어 배치, 라우팅, 동적 워크로드, 긴 컨텍스트, 엄격한 SLO(서비스 수준 목표)를 포함합니다. 이러한 현실에서 작은 스케줄링 및 활용도 손실은 성능 및 비용 측면에서 큰 페널티로 이어집니다. Gcore에서 Dynamo를 관리형 서비스로 통합함으로써 고급 GPU 최적화를 런타임 경로에 직접 통합하여 고객이 복잡성을 직접 운영하지 않고도 더 높은 유효 처리량과 안정적인 테일 지연 시간을 경험할 수 있도록 합니다."라고 말했습니다. 성능 향상 외에도 NVIDIA Dynamo는 GPU 활용률을 높이고 디코드 및 캐시 재계산 중 낭비되는 사이클을 줄여 상당한 비용 최적화를 제공합니다. 프리필과 디코드를 분리하고, KV 캐시 인식 라우팅을 적용하며, NIXL을 활용하여 노드 간 효율적인 통신을 보장함으로써 Dynamo는 동일한 하드웨어에서 더 많은 요청을 처리하도록 합니다. 이는 토큰당 비용을 절감하고 전반적인 ROI를 개선합니다. Gcore는 이러한 효율성을 대규모로 쉽게 액세스할 수 있도록 합니다. Dynamo 기반 추론은 현재 Gcore Inference 및 Everywhere AI에서 사용할 수 있습니다. Gcore는 MWC(바르셀로나, 3월 2~5일) 또는 GTC(산호세, 3월 16~19일)에서 NVIDIA Dynamo on Gcore의 실시간 시연을 선보일 예정입니다. Gcore는 AI, 클라우드, 네트워크 및 보안 솔루션을 위한 글로벌 인프라 및 소프트웨어 공급업체입니다. 룩셈부르크에 본사를 둔 Gcore는 6개 대륙에 걸쳐 자체 주권 인프라를 운영하며 미션 크리티컬 워크로드에 대해 초저지연 및 규정 준수 성능을 제공합니다. AI 네이티브 클라우드 스택은 소프트웨어 혁신과 하이퍼스케일러급 기능을 결합하여 기업 및 서비스 제공업체가 퍼블릭, 프라이빗 및 하이브리드 환경 전반에 걸쳐 어디서나 AI를 구축, 교육 및 확장할 수 있도록 지원합니다. AI, 컴퓨팅, 네트워킹 및 보안을 단일 플랫폼으로 통합함으로써 Gcore는 디지털 혁신을 가속화하고 조직이 AI 기반 서비스의 잠재력을 최대한 발휘할 수 있도록 지원합니다.