ARM, 클라우드에서의 HPC? 예, 아니오, 그리고 그 사이

ARM, 클라우드 HPC 시장의 '전환점' 맞나? 고성능 컴퓨팅(HPC) 시장에서 클라우드 전환이 가속화될 것이라는 전망이 꾸준히 제기되어 왔습니다. 특히 2021년은 이러한 변화의 중요한 분기점이 될 수 있다는 기대감이 커지고 있습니다. 주요 클라우드 서비스 제공업체들은 이미 HPC 클라우드 서비스를 출시하고 지속적으로 확장해왔습니다. AWS는 최근 Graviton 2 기반의 C6gn 인스턴스를 공개했습니다. 이 인스턴스는 최대 100Gbps의 네트워킹 성능을 제공하며, 기존 프로세서 대비 40% 향상된 가격 대비 성능을 자랑합니다. 이는 과거 성능 확보를 위해 광범위한 병렬 처리에 의존해왔던 HPC 애플리케이션에 매우 중요한 역할을 할 것으로 보입니다. 일본의 선도적인 연구 기관인 RIKEN은 세계 최고 성능 슈퍼컴퓨터 'Fugaku'를 기반으로 한 클라우드 서비스를 제공하겠다고 발표했습니다. 이는 세계 1위 슈퍼컴퓨터와 클라우드 HPC 트렌드의 결합이라는 점에서 주목할 만합니다. 이러한 변화에 HPC 사용자들도 적극적으로 반응하고 있습니다. 복잡한 워크로드인 EDA(전자 설계 자동화) 및 신약 개발 등을 클라우드 서비스로 이전하고 있으며, 이는 예산 압박에 직면한 대학, 연구 기관, 석유 및 가스 기업 등 전통적인 HPC 사용자들에게 매력적인 선택지가 되고 있습니다. 클라우드는 이들에게 필요한 만큼 컴퓨팅 자원을 유연하게 확장하거나 축소할 수 있는 자유를 제공하며, 대기열에서 기다리는 대신 프로젝트를 병렬로 실행할 수 있게 합니다. 특히 Arm 기반 프로세서의 활약이 두드러집니다. Ampere Computing의 80코어 Altra 프로세서를 클라우드에서 구동한 벤치마크 결과, 다양한 애플리케이션에서 10~42%의 시간 단축 효과를 보였습니다. 이는 시간, 비용, 그리고 번거로움을 모두 줄여줄 수 있는 잠재력을 보여줍니다. HPC 클라우드는 더 넓은 기술 포트폴리오에 대한 접근성을 높일 것입니다. 이제 성능 향상은 무어의 법칙을 넘어서 프로세서 혁신과 시스템 설계를 통해 이루어질 것입니다. 최근 Top 500 리스트 상위 10개 항목에는 5가지의 다른 프로세서 아키텍처와 4가지의 다른 인터커넥트 기술이 포함되어 있습니다. 예를 들어, Fugaku는 Arm 기반 Fujitsu A64FX 프로세서와 Fujitsu Tofu Interconnect D를 기반으로 구축되었습니다. 이러한 다양한 기술들은 특정 워크로드에 강점을 보이므로, 조직은 가장 효율적이고 효과적인 솔루션을 선택할 수 있습니다. 가장 중요한 점은 HPC 클라우드가 현재 페타스케일에서 미래 엑사스케일까지 확장될 수 있는 광범위한 기능을 활용할 수 있는 기업의 수를 극적으로 늘릴 것이라는 사실입니다. 워크로드별 하드웨어의 공유 사용 비용 효율성은 인류가 직면한 거대한 과제를 해결할 수 있는 잠재력을 가지고 있습니다. 예를 들어, 매달 두 배씩 증가하는 DNA 데이터는 유튜브와 같은 다른 빅데이터 생성기보다 빠르게 성장할 것으로 예상됩니다. 이 데이터는 작물 수확량 개선 및 신규 백신 개발의 열쇠를 쥐고 있습니다. 하지만 신속하게 확장 및 축소 가능한 고성능 시스템 없이는 지식 기반과 이를 필요로 하는 과학자들 사이에 간극이 존재할 것입니다. 느린 HPC 발전 속도의 원인 그렇다면 왜 HPC는 다른 시장에 비해 클라우드 전환이 더딘 것일까요? 한 가지 이유는 소프트웨어입니다. 많은 HPC 애플리케이션이 여전히 포트란(Fortran)으로 작성되어 있어, 새로운 환경으로의 전환이 복잡하기 때문입니다. 또한, 클라우드 시스템은 가상화, 패키징, 제어 평면 등 HPC 사용자들이 익숙하지 않은 환경을 제공합니다. 심리적인 장벽도 존재합니다. HPC 커뮤니티는 수십 년간 하이퍼스케일러들이 채택한 아이디어를 선도해왔습니다. 이러한 흐름이 역전되기 위해서는 협업과 소통이 필요하며, 시스템 아키텍처에 대한 통제권을 일부 포기해야 할 수도 있습니다. 국가 안보 문제 또한 HPC의 중요한 고려 사항입니다. 하이브리드 환경으로의 전환 가장 중요한 우려는 정보 누락에 대한 두려움입니다. 클라우드로의 전환이 근본적인 돌파구로 이어질 수 있는 연구 분야를 차단하지 않을까 하는 걱정입니다. HPC는 국가 연구소 및 독립적인 조직에서 수행되는 장기적인 위험 감수 연구를 필요로 합니다. 이러한 연구가 클라우드 HPC의 성장으로 인해 소외되지 않을 것이라는 전망도 있지만, 이에 대한 주의 깊은 고려가 필요합니다. RIKEN의 사례와 같이 민관 협력이 더욱 확대되는 것은 긍정적인 신호입니다. 결론적으로, 상업용 HPC 사용자들이 클라우드로 이전하는 것을 선두로 하이브리드 환경으로의 움직임이 나타나고 있습니다. 학계가 뒤따를 것이며, 정부 기관은 양 진영에 발을 걸치고 더 느리게 채택할 것으로 예상됩니다. 이상적으로는 비즈니스 파트너십과 다양한 사용자층의 조화가 성장을 촉진하고, 최첨단 HPC 발전에 필요한 '맨해튼 프로젝트' 수준의 역량을 잃지 않으면서 경제적, 기술적 이점을 얻을 수 있는 경로를 제공할 것입니다. 향후 5년은 매우 흥미로운 시간이 될 것으로 보입니다. Arm HPC 솔루션, 특히 Arm Neoverse는 오늘날과 미래의 HPC 커뮤니티 요구를 충족합니다. 현재 어떤 CPU 아키텍처도 슈퍼컴퓨터가 요구하는 수준의 성능과 전력 효율성을 Arm Neoverse만큼 제공할 수 없습니다.