Arm AGI CPU 소프트웨어 생태계로 에이전틱 AI 구동

Arm, 에이전틱 AI 시대 겨냥한 신규 CPU 출시…소프트웨어 생태계 강조

생성형 AI가 인프라 논의의 중심에 모델을 올려놓았다면, 에이전틱 AI는 그 구도를 바꾸고 있다. 에이전트가 데이터를 검색하고, 도구를 호출하고, 코드를 실행하며, 여러 단계의 워크플로를 조율하게 되면서 모델 주변의 소프트웨어가 추론(inference) 자체만큼이나 중요해졌다. Arm은 이러한 진화하는 인프라 요구에 대응하기 위해 에이전틱 AI의 요구에 맞춰 설계된 Arm Neoverse 기반 신규 프로세서 'Arm AGI CPU'를 개발했다고 밝혔다.

Arm AGI CPU는 오케스트레이션, 도구 실행, 데이터 검색, 애플리케이션 서비스 등 동시성이 높은 에이전틱 AI 워크로드를 지원하는 데 필요한 성능, 확장성, 전력 효율을 제공하도록 설계됐다. Arm은 OCP 글로벌 서밋에서 후지쯔, 메타, 오픈AI의 지원을 받아 새로운 CPU 평가 방법론을 소개했으며, 독립적으로 검증된 결과를 함께 공개했다. 이에 따르면 Arm AGI CPU는 주요 x86 서버 프로세서 대비 랙당 최대 2배의 성능을 제공한다.

에이전틱 AI를 대규모로 구현하려면 CPU 혁신만으로는 부족하다. 에이전트 프레임워크, 오케스트레이션, 데이터 인프라, 네트워킹, 애플리케이션 서비스를 아우르는 견고한 소프트웨어 생태계가 필요하다. Arm은 오픈소스 커뮤니티, 소프트웨어 벤더, 클라우드 사업자들과 수년간 협력하며 구축해 온 성숙하고 실제 운영 환경에서 검증된 소프트웨어 생태계를 이번 신시대의 기반으로 내세웠다. 클라우드 네이티브 및 AI 소프트웨어 전반에 걸친 폭넓은 네이티브 Arm64 지원과 이미 세계 주요 클라우드 플랫폼에 대규모로 배치된 Arm Neoverse 기반 CPU 덕분에, 개발자들은 검증된 소프트웨어 기반 위에서 Arm AGI CPU용 에이전틱 AI 애플리케이션을 구축하고 확장할 수 있다는 설명이다.

에이전틱 작업 뒤의 소프트웨어

에이전틱 AI 소프트웨어 스택은 에이전트 프레임워크와 오케스트레이션, 도구 실행, 메모리 및 검색, 모델 서빙, 클라우드 네이티브 인프라에 걸쳐 있다. 이러한 기능은 LangGraph, LangChain, Firecracker, Redis, Elasticsearch, vLLM 등 광범위한 오픈소스 및 상용 기술 생태계가 뒷받침한다. 에이전트 프레임워크, 오케스트레이션, 런타임 서비스, 데이터 검색, 모델 서빙을 공통의 클라우드 네이티브 기반 위에 통합해 소프트웨어 엔지니어링부터 로보틱스와 자동화에 이르는 애플리케이션을 지원한다는 구상이다.

개발자는 'Arm 소프트웨어 생태계 대시보드'에서 소프트웨어 지원 여부, 지원 버전, 구현 리소스를 확인할 수 있으며, 여기에는 에이전틱 AI 전용 카테고리도 포함돼 있다. 이를 통해 익숙한 기술로 Arm64에서 에이전틱 AI 애플리케이션을 구축하고 배포하는 실질적인 출발점을 얻을 수 있다.

에이전트마다 다른 인프라 요구

에이전틱 AI 애플리케이션은 공통 소프트웨어 기반을 공유하지만, 수행하는 작업에 따라 인프라 요구는 크게 달라진다. 코딩 에이전트는 코드 실행, 소프트웨어 컴파일, 테스트 구동을 자주 수행하므로 CPU 성능과 샌드박스 환경에 더 큰 부담을 준다. 엔터프라이즈 워크플로 에이전트는 API 상호작용, 데이터베이스 트랜잭션, 오케스트레이션에 크게 의존하고, 리서치 에이전트는 효율적인 검색, 정보 조회, 메모리 관리가 핵심이다. 개인 비서는 대화형 응답성을 우선시하며, 로보틱스 애플리케이션은 시뮬레이션과 지연에 민감한 조율이라는 추가 요건을 더한다.

개발자 입장에서는 에이전트가 실행 시간의 대부분을 어디에 쓰는지 파악하는 것이 소프트웨어 스택 최적화의 핵심이다. 코딩 에이전트에는 샌드박스 성능을, 엔터프라이즈 워크플로에는 데이터베이스와 API 효율을, 리서치 에이전트에는 검색과 캐싱을 우선순위에 두면 종단간(end-to-end) 작업 성능을 개선할 수 있다. 이러한 차이는 에이전틱 AI 인프라를 모델 추론 성능만이 아니라 전체 워크플로 관점에서 평가해야 하는 이유를 보여준다.

단순 구현을 넘어 성능 최적화로

다양한 워크로드 요구에 대응하기 위해 Arm은 오픈소스와 상용 소프트웨어를 아우르며 에이전틱 AI 스택의 핵심 구성 요소 전반에서 성능 최적화에 집중하고 있다.

도구 실행 및 샌드박싱: 시그널65(Signal65)가 진행한 Arm AGI CPU 독립 테스트에서 AMD EPYC 9965 대비 샌드박스 생성 지연 시간이 최대 45% 낮은 것으로 나타났다. 에이전트 도구 실행에서 CPU 성능이 중요하다는 점을 보여주는 결과다.

엔터프라이즈 검색 및 검색(retrieval): 에이전트는 정형 및 비정형 데이터를 아우르는 기업 정보에 효율적으로 접근해야 한다. Elasticsearch는 벡터 검색, 하이브리드 검색, 실시간 검색 기능으로 이러한 워크로드를 지원한다. Arm이 최근 공개한 Elasticsearch 성능 벤치마크는 Arm 기반 인프라에서 이러한 워크로드를 실행할 때의 이점을 보여준다.

벡터 데이터베이스와 에이전트 메모리: 벡터 데이터베이스는 에이전트가 다단계 워크플로 전반에서 관련 문맥을 찾고 지속적인 지식에 접근할 수 있게 한다. Redis 같은 기술은 벡터 검색, 캐싱, 에이전트 상태 관리를 지원한다. Arm은 생태계 파트너와 협력해 Arm64에서 이러한 워크로드를 최적화하고 있다. Redis 8.10.1 벡터 검색 벤치마크에서 AWS 그래비톤5(Graviton5)는 x86 대비 달러당 컨텍스트 조회 수가 16~27% 많았다. 일반 부하에서 57만 건 문서 데이터셋 기준 가격 대비 성능 우위는 16%였고, 고부하에서 330만 건 문서 데이터셋 기준으로는 27%로 확대됐다.

모델 서빙: 모델 서빙 프레임워크도 Arm 소프트웨어 최적화가 이뤄지는 영역이다. Arm이 공개한 vLLM 개발자 자료는 Arm 기반 서버에서의 배포, 양자화 추론, 성능 튜닝을 보여주며, 개발자가 추론 처리량과 자원 효율을 높이는 데 도움을 준다. 오픈인퍼(OpenInfer) 같은 신생 독립 소프트웨어 기업(ISV)은 이기종 컴퓨팅 자원 전반에서 지능형 추론 라우팅과 스케줄링을 고도화하고 있다. 오픈인퍼는 Arm과 협력해 여러 Arm 기반 CPU에서 AI 모델을 구동하는 자사 'Loom' 플랫폼을 시연하고 있다.

Arm AGI CPU에서 구현한 에이전틱 AI: 고객 서비스 데모

생태계가 실제로 작동하는 모습을 보여주기 위해 Arm은 LangGraph와 LangChain을 활용한 CPU 기반 다중 에이전트 고객 서비스 애플리케이션을 개발했다. 이 애플리케이션은 CPU에서 구동되는 소형 언어 모델(SLM)로 들어오는 고객 요청을 분류하고, 회의 일정 조율, 고객 불만, 제품 문의, 환불을 담당하는 전문 에이전트로 요청을 라우팅한다. 이들 에이전트는 CPU 기반 추론, 기업 데이터 검색, 외부 모델 API, 도구 실행을 결합해 회의 일정 잡기, 맞춤형 제품 브로셔 생성, 기업 시스템을 통한 환불 처리 등 다단계 워크플로를 완료한다. 이 데모는 익숙한 오픈소스 구성 요소들이 Arm 기반 인프라에서 어떻게 결합해 종단간 에이전틱 AI 애플리케이션을 구현하는지 보여준다.

Arm에서 에이전틱 AI 구축 및 최적화하기

Arm은 개발자가 검증된 Arm64 소프트웨어 생태계를 활용해 에이전틱 AI 애플리케이션을 구축, 배포, 최적화할 수 있도록 실용적인 리소스를 제공한다. 'Arm 러닝 패스(Learning Paths)'를 통해 개발자는 llama.cpp로 AI 에이전트를 구축하는 실습 튜토리얼, LangChain과 FAISS로 RAG 애플리케이션을 구현하는 방법, Arm 기반 플랫폼에 vLLM 모델 서빙 인프라를 배포하는 방법 등을 익힐 수 있다. 이들 자료는 개발자가 소프트웨어 구현 단계에서 실제 에이전틱 AI 애플리케이션을 구축하고 최적화하는 단계로 나아가도록 돕는다.

AI 에이전트 기술 생태계가 커지면서 Arm 기반 인프라에서 애플리케이션을 구축, 이전, 최적화하는 작업도 쉬워지고 있다. AWS는 AWS 그래비톤 작업을 돕는 '그래비톤 개발자 스킬'을 내놓았고, Arm은 'Arm Performix', 'Arm Performix CI', 'Arm Migrate Ease'를 포함한 자체 스킬을 오픈애널리스 스킬허브(OpenAnolis SkillHub)를 통해 제공하고 있다. 이러한 이니셔티브들은 플랫폼별 전문 지식과 최적화 가이드를 AI 기반 개발 워크플로에 직접 연결한다.

Arm은 에이전틱 AI 소프트웨어 생태계를 발전시키기 위해 오픈소스 커뮤니티, 소프트웨어 파트너, 클라우드 사업자들과 계속 협력할 계획이다. 개발자는 Arm 소프트웨어 생태계 대시보드에서 지원되는 프레임워크와 기술을 살펴보고, Arm 러닝 패스로 오늘부터 Arm64 기반 개발을 시작할 수 있다.

Arm은 소프트웨어 생태계 담당 팀과의 협업을 통해 Arm AGI CPU용 소프트웨어 구현, 워크로드 검증, 성능 최적화 기회를 함께 모색할 수 있다고 밝혔다. 또한 AgentCon 행사에서 Arm AGI CPU에서 구동되는 에이전틱 AI 데모를 직접 체험할 수 있으며, Arm 부스에서는 실제 애플리케이션에서 소프트웨어 생태계가 어떻게 결합하는지 확인하고 기술 전문가와 만나 Arm 기반 인프라에서 에이전틱 AI 솔루션을 구축, 배포, 최적화하는 방안을 논의할 수 있다.