llm-d 1.0 출시, 프로덕션 규모의 개방형 비용 효율적 AI 추론 발전

IBM 참여 오픈소스 프로젝트 llm-d 1.0 정식 출시…대규모 AI 추론 효율화 본격화

샌호세에서 2026년 10월 20일 llm-d 프로젝트 기여자들은 오픈소스 프로젝트 llm-d 1.0의 정식 출시를 발표했다. 이번 릴리스는 기업이 최신 인프라 전반에 걸쳐 대규모 언어 모델(LLM) 추론을 더 효율적으로 배포하고 확장할 수 있도록 설계된 프로젝트의 중요한 이정표로 평가된다.

llm-d는 2025년 레드햇, IBM(NYSE: IBM), 구글 클라우드, 코어위브, 엔비디아가 공동으로 설립했으며, 현재는 클라우드 네이티브 컴퓨팅 재단(CNCF)이 거버넌스를 맡고 있다. 프로덕션 환경에서 AI를 대규모로 운영하려는 기업에게 핵심적인 개방형 기반 역할을 수행하고 있다.

기업들이 AI를 실제 서비스에 적용하기 위해 속도를 내면서, 많은 조직이 AI 모델을 대규모로 구동하는 일이 모델 자체를 만드는 것만큼 어렵고 비용이 많이 든다는 사실을 깨닫고 있다. 기업은 사용자에게 빠른 반응을 제공하고, 에이전트형 워크로드를 지원하며, 점점 희소해지는 컴퓨팅 자원의 활용도를 극대화할 방법이 필요하다. llm-d 1.0은 지능형 분산 추론 기능을 통해 이러한 과제를 해결하도록 설계됐으며, 성능 개선과 처리량 증대는 물론 AI 서빙의 경제성을 기업이 더 세밀하게 통제할 수 있도록 돕는 것을 목표로 한다.

혁신을 실제 운영 환경으로

에이전트형 AI가 부상하면서 새로운 유형의 워크로드가 인프라 시스템에 전에 없던 부담을 주고 있다. 에이전트 워크로드는 방대한 양의 컨텍스트에 지속적으로 접근해 이를 재사용하며, 예측하기 어려운 급격한 활동 폭증을 일으키는 병렬 에이전트들을 지원한다. 이러한 컨텍스트 관리에는 최종 결과물을 생성하는 것보다 더 많은 자원이 소모되는 경우가 많아, 지연 시간, 처리량, 메모리 효율성, 인프라 비용이 AI 투자수익률(ROI)을 좌우하는 핵심 요소가 된다.

llm-d는 이미 복잡한 인프라 환경을 위해 하드웨어 이기종성과 고급 추론 기능을 기본으로 제공한다. 여기에는 프리픽스 캐시 및 부하 인식 라우팅, KV 캐시 오프로딩, 프리필/디코드 분리, 광범위 전문가 병렬화, 배치 및 비동기 추론이 포함되며, vLLM과 SGLang을 비롯한 여러 모델 서버를 지원한다.

llm-d 1.0은 이러한 성능을 '2일차 운영', 즉 프로덕션에서 추론을 지속적으로 운영하는 현실로 확장하도록 설계됐다. 여러 테넌트에 서비스를 제공하고, 상충하는 우선순위의 균형을 맞추고, 무중단 기능을 제공하며, 새롭게 등장하는 에이전트 워크로드를 지원하는 기능을 하나의 공동 설계된 구성 요소 묶음으로 통합해 플랫폼으로 제공한다.

1.0의 새로운 기능은 다음과 같다.

다중 테넌트 서비스 품질(QoS): 우선순위와 공정성을 고려한 흐름 제어로 지연에 민감한 요청을 우선 처리하고, 급증하는 에이전트 워크로드가 서로의 자원을 빼앗지 않고 하나의 클러스터를 공유할 수 있도록 한다.

무중단 운영: 핫 스탠바이를 갖춘 라우터 고가용성과 롤링 업데이트를 통해 업그레이드와 계획된 유지보수 중에도 트래픽이 끊기지 않도록 한다.

프리필/디코드 복제본의 단일 논리 단위 관리: 조율된 롤아웃과 동기화된 업그레이드를 통해 분리형 서빙을 프로덕션 환경에서 실용적으로 운영할 수 있도록 한다.

안정적인 기반: v1 구성 API와 강화된 요청 경로가 여러 클라우드와 가속기에서 검증되어, 도입 기업이 표준으로 삼을 수 있는 릴리스를 제공한다.

에이전트 인식 서빙: 세션 인식 라우팅은 다중 턴 대화를 캐시된 컨텍스트 가까이에 유지하고, 턴 우선순위 스케줄링과 네이티브 Responses API 상태 지원은 에이전트가 턴 간에 컨텍스트를 재사용해 재계산을 줄이도록 돕는다.

그 결과 이 인프라는 지연에 민감한 사용자 상호작용부터 대규모 자율 에이전트 워크플로까지 다양한 AI 워크로드를 지원할 수 있으며, 기업이 반응성과 효율성 중 하나를 포기하지 않아도 된다.

성장하는 생태계 모멘텀

llm-d는 모델 개발사, 클라우드 사업자, 인프라 벤더, 엔터프라이즈 사용자로 이루어진 생태계에서 이미 활용되고 있다. 현재 이 프로젝트에는 25개 이상 기관의 500명 넘는 기여자가 참여해 분산 AI 서빙의 미래를 함께 만들고 있으며, AI 인프라 스택 전반에 걸친 공통 기반 구축을 돕고 있다. 대규모 분산 추론을 운영하는 핵심 사용자, 추론 스택을 최적화하는 프론티어 모델 개발사, 다중 테넌트 AI 엔드포인트를 제공하는 클라우드 사업자 모두 llm-d 도입으로 측정 가능한 이점을 확인했다.

최근 한 사례에서는 오픈 프론티어 모델과 llm-d를 활용해 IBM 리서치가 모든 것을 독점 구성으로 구축했을 때보다 11.5배 낮은 추론 비용으로 양자 오류 정정 하드웨어를 탐구할 수 있었다. 연구진은 약 98%의 프리픽스 캐시 적중률과 백만 토큰당 약 0.11달러의 통합 서빙 비용을 보고했다.

또 다른 최근 벤치마크 시연에서는 llm-d가 에이전트 워크로드를 위한 대규모 전문가 혼합(MoE) 모델을 효율적으로 서빙할 수 있음을 보여줬다. 연구진은 llm-d를 사용해 약 7,530억 개의 파라미터를 가진 오픈 웨이트 모델인 GLM 5.2를 널리 보급된 엔비디아 GPU에 배포했다. 이는 기업이 기존 GPU 자원으로 프론티어급 AI를 대규모로 서비스할 수 있음을 보여준다. 수백 개의 에이전트 세션이 병렬로 실행되는 워크로드에서 이 배포는 에이전트 벤치마크 기준 최대 분당 660만 개 이상의 출력 토큰을 처리했으며, 선점(preemption) 없이 최대 3,000개의 동시 코딩 에이전트를 서빙했다. 현재 클라우드 임대 요금을 기준으로 하면, 이 배포의 토큰당 비용은 동등한 상용 API 가격보다 5~10배 낮았으며, 에이전트 워크로드에서 전형적으로 나타나는 입력 중심 트래픽 패턴에서 가장 큰 절감 효과를 보였다. 이는 llm-d가 대규모 프로덕션 AI를 운영하는 기업의 자원과 비용을 절감할 수 있음을 보여준다.

llm-d는 CNCF 거버넌스 모델과 폭넓은 산업계 참여를 통해 혁신을 가속화하는 동시에, 점점 복잡해지는 AI 인프라를 관리할 수 있는 개방형 대안을 기업에 제공하는 것을 목표로 한다. 커뮤니티는 앞으로도 새로운 하드웨어와 모델이 등장할 때마다 적응하며, 새로운 아키텍처에서 최고 성능을 달성하도록 소프트웨어 스택을 발전시켜 나갈 계획이다. 자세한 내용은 IBM과 레드햇의 발표 블로그에서 확인할 수 있다.

주요 관계자 코멘트

크리스 아니스작(Chris Aniszczyk) CNCF CTO는 "AI 추론은 빠르게 핵심 클라우드 네이티브 워크로드가 되고 있다"며 "llm-d 1.0은 오픈소스 추론 기능과 대규모 프로덕션 운영에서 중요한 요건을 결합해, 기업이 이러한 변화를 대규모로 수용하고 에이전트 워크로드의 요구를 충족하도록 돕는다"고 말했다.

브라이언 스티븐스(Brian Stevens) 레드햇 수석부사장 겸 AI 최고기술책임자는 "기업이 AI 실험 단계를 넘어 본격적인 프로덕션으로 나아가면서, 병목은 답변 생성에서 복잡한 에이전트 워크로드의 경제성, 운영 안정성, 극한의 인프라 요구를 관리하는 쪽으로 옮겨가고 있다"며 "llm-d 1.0은 표준화되고 강화된 분산 추론 핵심 기술을 제공해 기업이 하드웨어 성능을 최적화하고 운영 비용을 줄이며 개방형 기반 위에 고밀도 AI 아키텍처를 구축하도록 지원한다"고 밝혔다.

프리야 나그푸르카르(Priya Nagpurkar) IBM 리서치 AI 네이티브 시스템 부사장은 "IBM에서는 기업 AI의 과제가 더 이상 강력한 모델을 만드는 데만 있지 않고, 이를 효율적이고 안정적으로 대규모 운영하는 데 있다는 점을 직접 확인하고 있다"며 "llm-d 1.0은 기업이 AI 인프라에서 더 많은 가치를 얻고, 의존하는 AI 기능에 대한 통제력을 높일 수 있도록 분산 추론을 위한 개방형 기반을 만드는 중요한 이정표"라고 말했다.

마크 로마이어(Mark Lohmeyer) 구글 클라우드 AI 및 컴퓨팅 인프라 부사장 겸 총괄은 "에이전트형 AI는 다양한 활용 사례에서 기업과 소비자에게 막대한 가치를 제공하고 있다"며 "이러한 워크로드가 프로덕션에서 빠르게 확장되면서 인프라에 독특한 요구를 부과하고 있어, 고객이 필요로 하는 성능, 안정성, 비용 효율성을 제공할 새로운 접근이 필요하다"고 강조했다. 이어 "구글 클라우드는 llm-d의 창립 기여자로서 llm-d 1.0을 구글 쿠버네티스 엔진(GKE)에 통합하고 구글 TPU와 엔비디아 GPU 전반에서 활용할 수 있도록 하고 있다"고 덧붙였다.

샤디 사바(Shadi Saba) 코어위브 AI/ML 엔지니어링 부사장은 "대규모로 추론을 운영하는 모든 팀은 같은 문제에 부딪힌다. 출력보다 관리 비용이 더 많이 드는 컨텍스트, 같은 클러스터를 두고 경쟁하는 테넌트, 트래픽을 끊지 않을 수 없는 업그레이드가 그것"이라며 "llm-d 1.0은 커뮤니티에 강화된 개방형 기반을 제공해 이 문제들을 개별적으로가 아니라 한 번에 해결할 수 있게 한다"고 말했다.

울발 카파시(Ujval Kapasi) 엔비디아 AI 프레임워크 엔지니어링 부사장은 "차세대 에이전트형 AI는 대규모에서 성능과 효율을 제공하는 추론을 요구한다"며 "llm-d를 엔비디아 베라 루빈(Vera Rubin)에 적용하면 기업이 차세대 엔비디아 가속 인프라에서 고급 AI 애플리케이션을 구축하고 확장하는 데 도움이 될 것"이라고 밝혔다.

필 귀도(Phil Guido) AMD 수석부사장 겸 최고상업책임자는 "llm-d v1.0을 통해 AMD 인스팅트(Instinct) GPU에서 개방형 고성능 분산 추론을 한층 발전시키고 있다"며 "에이전트 워크로드는 반응성과 효율성을 제공하는 인프라를 필요로 하며, llm-d 커뮤니티와 함께 개방형 기반 위에서 최신 추론 혁신을 제공해 개발자에게 대규모 AI 배포의 유연성과 선택권을 넓혀주고 있다"고 말했다.