Femtosense: Arm Flexible Access로 구축된 당사의 초고효율 AI 칩

AI 반도체 스타트업 펨토센스(Femtosense), Arm과 손잡고 초저전력 AI 구현 나선다 대학 연구실에서 시작된 혁신이 세상을 바꿀 기술로 성장하는 여정은 언제나 흥미롭습니다. 스탠포드 대학의 신경망 시스템 연구에서 출발한 스타트업 펨토센스(Femtosense)는 이러한 기술 혁신의 대표적인 사례입니다. 펨토센스는 신경생물학에서 영감을 받은 뉴로모픽 시스템, 즉 뇌의 신경망을 모방한 실리콘 기반 시스템 개발에 집중하고 있습니다. 펨토센스의 공동 창업자인 알렉산더 네커(Alexander Neckar)와 필자는 2년 전 스탠포드 대학에서 '브레인드롭(Braindrop)'이라는 프로젝트를 통해 뉴로모픽 시스템 연구를 시작했습니다. 이 연구는 높은 수준의 추상화로 프로그래밍 가능한 혼합 신호 뉴로모픽 시스템을 목표로 했습니다. 뉴로모픽 시스템은 인간의 감각에 필적하는 실시간 감지 시스템과 같은 흥미로운 가능성을 제시하는 성장 분야입니다. 지난 2년간 펨토센스는 상업적 잠재력을 가진 기술 개발에 매진해 왔습니다. 기존 개념을 발전시켜 범용적인 초고효율 AI 애플리케이션을 위한 신경망 주문형 반도체(ASIC)를 설계했습니다. 펨토센스의 초기 목표는 모든 임베디드 엔드포인트 장치에서 초저전력 추론(inference)을 가능하게 하는 것입니다. 이러한 목표를 설정한 이유는 데이터센터 기술과 달리 엣지(edge) 기술은 고유한 기술적 과제를 안고 있기 때문입니다. 또한 소비자들의 요구와 시장 경쟁은 점점 더 높은 성능을 갖춘 엣지 및 엔드포인트 장치를 요구하고 있습니다. 지연 시간을 줄이고, 컴퓨팅 비용을 낮추며, 보안을 강화하기 위해 가능한 경우 AI를 엔드포인트에 배포하는 것이 필수적입니다. 신경망 설계에서 면적과 전력은 핵심 고려 사항입니다. 신경망은 기존의 신호 처리 방식과는 다른 특성을 가집니다. 신경망을 위한 ASIC 또는 시스템 온 칩(SoC) 설계는 효율적인 디지털 신호 처리(DSP)나 마이크로컨트롤러 설계와는 다른 도전 과제를 제시합니다. 신경망은 많은 파라미터를 가지며, 메모리 집약적이고, 에너지 소모가 큰 데이터 이동 가능성이 높습니다. 특히 온칩(on-chip) 메모리와 오프칩(off-chip) 메모리 간의 선택은 중요한 문제입니다. 오프칩 메모리는 높은 밀도를 제공하여 더 큰 모델을 구현할 수 있지만, 접근 시 상당한 에너지를 소모합니다. 이는 종종 시스템의 전력 예산을 초과하게 만들어 초기 애플리케이션 구현을 어렵게 합니다. 따라서 초저전력 임베디드 솔루션을 위해서는 모든 것을 단일 칩에 집적하는 것이 이상적이지만, 이는 면적 및 비용 문제를 야기합니다. 이 지점에서 알고리즘-하드웨어 공동 설계(algorithm-hardware codesign)가 중요해집니다. 알고리즘을 단순히 칩에 매핑하는 것만으로는 높은 에너지 소비, 비용 증가, 또는 성능 저하를 초래할 수 있습니다. 따라서 알고리즘을 효율적으로 만드는 방법에 대한 신중한 고려가 필요합니다. 펨토센스는 알고리즘 측면에서 모든 것을 온칩에 맞추고, 칩의 컴퓨팅 패브릭에 알고리즘을 매핑하기 위해 많은 노력을 기울이고 있습니다. 펨토센스는 기술을 최대한 광범위하게 적용하기 위해 다양한 잠재적 애플리케이션을 탐색하고 있습니다. 시장은 엔드포인트와 클라우드라는 이분법적인 용어로 설명되는 것만큼 단순하지 않습니다. 펨토센스는 온프레미스 서버, 노트북, 스마트폰, 스마트워치, 이어버드, 심지어 전원 공급이 어려운 외딴 지역의 센서에 이르기까지 스펙트럼 전반에 걸쳐 다양한 노드에서 더 효율적인 신경망 컴퓨팅을 필요로 한다고 보고 있습니다. 펨토센스의 최우선 임무는 이러한 환경에서 초고효율 컴퓨팅을 제공하는 것입니다. 펨토센스는 현재 소규모 팀으로 운영되고 있으며, 핵심 하드웨어 가속기, 관련 소프트웨어, 알고리즘 개발에 집중하고 있습니다. 이러한 핵심 역량 외에 고객에게 가치를 제공하는 기술 또한 중요합니다. 이 부분에서 펨토센스는 Arm과의 협력과 Arm Flexible Access for Startups 프로그램에 큰 기대를 걸고 있습니다. 고객 설계를 통합하기 위해서는 통신을 처리하고 일부 컴퓨팅을 오프로드할 수 있는 인터페이스가 필요합니다. 이는 펨토센스의 핵심 엔지니어링이나 IP 개발과는 다른 영역이므로, Arm과 같은 잘 구축되고 신뢰할 수 있는 파트너와 협력하는 것이 필수적입니다. Arm은 이미 시장에서 널리 알려져 있으며, 통합을 위한 검증된 경로를 제공합니다. Arm과의 협력은 펨토센스의 가장 큰 상업적 과제 중 하나를 해결해 줄 것입니다. Arm Flexible Access for Startups 프로그램의 매력적인 요소 중 하나는 강력한 에코시스템 지원입니다. 이 에코시스템은 기술 도입의 장벽을 낮추고 혁신을 촉진합니다. 프로젝트 계획 시, 어떤 제품이 어떤 기능을 수행하는지에 대한 명확하고 접근 가능한 사양과 정보가 필요합니다. 막대한 초기 투자 없이 실행 가능한 정보를 제공받고, 샌드박스 환경에서 다양한 IP를 평가하고 실험할 수 있다는 점은 펨토센스에게 매우 중요합니다. 또한, 프로그램의 가격 모델은 스타트업의 성장 방식과 전통적인 IP 판매 방식보다 훨씬 잘 부합합니다. SoC 통합의 초기 단계에 서 있는 펨토센스는 앞으로 흥미로운 여정이 펼쳐질 것으로 기대하고 있습니다. 초기 설계를 완료하고 ASIC 구현을 향해 나아가고 있는 펨토센스에게 Arm Flexible Access for Startups 프로그램은 중요한 도구가 될 것입니다. Arm Flexible Access for Startups 프로그램은 초기 단계의 실리콘 스타트업이 제한된 자금으로도 Arm 및 Arm 에코시스템의 지원을 받아 IP, 도구, 교육에 무료로 접근할 수 있는 기회를 제공합니다.