Syntiant: 엔드포인트에서의 항상 켜져 있고 초저전력 음성 AI

ARM 기반 AI 칩 스타트업 Syntiant, 3년 만에 1000만 개 출하 및 투자 유치 성공 2017년 Syntiant 설립 당시, 공동 창업자이자 CEO인 Kurt Busch는 어린 아들이 아이패드와 대화하는 모습을 보며 음성 인식 시스템에 인공지능(AI)과 머신러닝(ML) 혁신을 접목할 거대한 기회를 포착했습니다. 불과 4년 만인 2021년 1월, Syntiant는 두 가지 AI 칩을 시장에 출시하고 1000만 개 이상을 출하했으며, Amazon Alexa 인증을 받고 CES에서 수상하는 쾌거를 이루었습니다. 이 과정에서 Amazon, Applied Materials, Bosch, Intel Capital, Microsoft, Motorola 등 세계적인 투자사 및 기업으로부터 6500만 달러 이상의 벤처 캐피탈 투자를 유치했습니다. 이는 팀워크, 비전, 그리고 뛰어난 제품을 빠르고 효율적이며 비용 효과적으로 제공하려는 집중력의 결과입니다. 당시 많은 기업들이 엔터프라이즈 및 서버 측 ML 개발에 집중했지만, Syntiant는 엣지 및 엔드포인트 AI 분야에 주목했습니다. Kurt Busch의 통찰력을 바탕으로, 엔드포인트에서의 음성 인식 성능 향상이 인간-기계 인터페이스(HMI)의 활용도를 새로운 수준으로 끌어올릴 것이라는 점을 간파했습니다. Syntiant는 극도로 낮은 전력 소모 설계 전문성과 ML 프로그래밍을 쉽게 만들고자 하는 비전을 결합하여, 엣지 및 배터리로 작동하는 엔드포인트 장치를 위한 기술 개발에 매진했습니다. 스타트업에게는 신속하고 효율적으로 첫 프로토타입과 양산 제품을 출시하는 것이 중요합니다. 이러한 속도는 경쟁사보다 먼저 기술을 시장에 선보일 뿐만 아니라, 회사가 성장함에 따라 투자자들에게 지속적으로 매력적인 스토리를 제공하는 데 도움이 됩니다. Syntiant는 초기부터 수백만 개 단위의 생산을 목표로 삼았기에, 민첩성을 확보하기 위한 두 가지 핵심 결정을 내렸습니다. 첫째, 창업팀은 어바인과 샌디에이고에 기반을 둔 스타트업 인큐베이터인 Evonexus와 협력했습니다. 이곳에서 사무 공간을 활용하고, 혁신가 및 투자자 네트워크와 교류하며, 특허 포트폴리오를 구축하고, 상대적으로 낮은 비용으로 초기 사업 단계를 진행할 수 있었습니다. 예를 들어, 고가의 장비나 소프트웨어 라이선스 구매 없이도 Evonexus 생태계가 제공하는 기술과 협업을 활용할 수 있었습니다. 둘째, Syntiant는 Arm과의 협력을 강화했습니다. Arm DesignStart를 활용하여 프로세서 코어를 선정했으며, Arm Cortex-M0을 모든 제어에 사용하고, 자체적인 핵심 역량인 신경망 개발에 모든 노력을 집중했습니다. 2017년 여름, 네 명의 창업자는 ML 논문을 검토하고 아키텍처를 설계하며 오디오 워드 및 키워드 인식 애플리케이션 개발에 몰두했습니다. 그해 11월 합류한 필자는 이미 사용 사례와 네트워크 규모에 대한 대략적인 윤곽을 파악하고 있었습니다. 이후 2018년 3월 테이프아웃까지, 디자인에 대한 끊임없는 집중이 이루어졌습니다. Arm 표준 셀 및 메모리 IP를 사용하여 장치의 예상 크기, 속도, 면적, 전력 목표를 추정했으며, 곧 특별한 무언가를 개발하고 있음을 확신했습니다. 또한, 클라우드 기반 EDA 도구를 활용하여 데이터 센터 구축 없이도 몇 대의 노트북과 인터넷 연결만으로 개발을 진행할 수 있었습니다. 이는 2020년 초 팬데믹으로 인한 재택근무 전환에도 유연하게 대처할 수 있는 밑거름이 되었습니다. Syntiant의 첫 제품인 NDP100은 Syntiant Core 1 신경망 코어를 기반으로 하며, 현실적인 정밀도 목표를 설정하고 근접 메모리 컴퓨팅(near-memory compute)을 설계에 적용했습니다. 데이터 이동 경로를 면밀히 분석하여 저지연 및 실리콘 공간 효율성을 최적화했으며, 머신러닝으로 문제를 효과적으로 해결하기 위해 모든 비트를 세심하게 설계했습니다. 그 결과, 극히 낮은 전력 소모로 정확한 워드, 명령어, 이벤트 감지가 가능한 소형 칩을 구현했습니다. 이러한 초저전력 AI 처리는 이어폰부터 노트북까지 거의 모든 배터리 구동 장치에서 항상 켜져 있는 음성 제어를 가능하게 합니다. Syntiant는 ML 알고리즘 과학자들이 TensorFlow에서 직접 자사 장치로 이동할 수 있도록 ML 배포를 용이하게 하는 것을 목표로 삼았습니다. 이를 위해 하드웨어-소프트웨어 ML 팀을 초기부터 통합하여 운영했습니다. 각 기능이 서로 의존적이기 때문에 분리하지 않고 협업을 통해 기술적 돌파구를 마련하고 최종 제품을 차별화할 수 있었습니다. 지난 3년간 Syntiant는 수많은 고객과의 대화를 통해 상당한 데이터와 피드백을 축적했습니다. NDP100은 여전히 워드 인식에 핵심적인 저전력 기술로 사용되고 있습니다. Syntiant Core 2를 기반으로 하는 NDP120은 NDP100 대비 약 25배의 컴퓨팅 성능을 제공합니다. 초기 노력에 더해, 컨볼루션 신경망(convolutional networks) 및 순환 신경망(recurrence)과 같은 더욱 강력한 ML 빌딩 블록을 활용하여 복잡한 ML 구조를 저전력 엔드포인트 장치에서 구현할 수 있게 되었습니다. 실리콘이 완성되기 전에도 클라우드 인프라에서 수천 건의 시뮬레이션을 수행했으며, 개발 보드는 Raspberry Pi 플랫폼을 기반으로 하여 전 세계 엔지니어들의 원격 접근을 지원했습니다. NDP120 프로토타입이 실험실에 도착한 지 한 시간 만에 Amazon Alexa 워드 패키지를 인식하는 놀라운 성과를 거두었습니다. Syntiant는 Arm과의 협력을 더욱 확대하고 있습니다. 2019년 여름, NDP100은 Amazon Alexa 워드 디자인에 대한 인증을 받았고, NDP120은 2021년 CES 혁신상 수상자로 선정되었습니다. 앞으로 Syntiant는 Arm Flexible Access 프로그램을 통해 Arm과의 협력을 더욱 강화할 계획입니다. 이를 통해 더 강력한 앱스 프로세서를 구축할 때 필요한 IP를 손쉽게 확보하고, 초기와 마찬가지로 시스템 구성 요소를 구축하고 원하는 시스템을 조립할 수 있게 될 것입니다. 복잡한 계약 협상이나 접근의 어려움 없이 필요한 IP를 활용하여 애플리케이션에 적합한 솔루션을 찾을 수 있습니다. 이러한 도구들은 인간과 기계 간의 강력한 연결을 구축하는 혁신가들에게 매우 중요합니다. Syntiant는 NDP100에서 워드 인식에 집중했던 12명 규모의 팀에서, 이제 70명 이상의 글로벌 팀으로 확장하여 NDP120을 통해 더욱 강력한 원거리 음성 및 다중 센서 사용 사례를 지원하고 있습니다. 이를 통해 기계는 더 많은 것을 듣고 사용자와 더욱 견고한 상호작용을 할 수 있게 될 것입니다. 사용자는 클라우드로 데이터를 전송하여 연산하는 대신, 엔드포인트에서 직접 장치와 대화할 수 있게 되어 지연 시간이 줄고 결과 속도가 향상되며 데이터 프라이버시가 유지될 것입니다. 이 모든 것이 단 3년 만에, 어린 아이가 기계와 대화하는 단순한 영감에서 비롯되었습니다. 앞으로 Syntiant가 열어갈 가능성은 무궁무진합니다. Arm Flexible Access는 세계적인 Arm IP, 소프트웨어 도구, 교육 및 엔지니어링 지원에 대한 저비용 접근을 제공합니다. 이를 통해 SoC 설계자는 낮은 위험과 완전한 상업적 투명성을 바탕으로 자신 있게 설계, 혁신 및 제조할 수 있으며, 아이디어를 현실로 만들 수 있습니다.