AI 추론을 위한 글로벌 컴퓨팅 아키텍처를 구축하는 기업 굿비전 AI(GoodVision AI)가 엔비디아 커넥트(NVIDIA Connect)에 합류했다고 발표했다.

솔루션 제공업체와 서비스 기업은 이 프로그램을 통해 엔비디아의 컴퓨팅 플랫폼, 소프트웨어, 기술 리소스에 접근할 수 있다. 굿비전 AI는 이번 파트너십을 활용해 추론 성능, AI 팩토리 배포, 그리고 자사 플랫폼의 핵심인 라우팅 알고리즘이라는 세 가지 영역의 역량을 강화할 계획이다.

굿비전 AI는 클라우드 서비스, 실시간 스마트 라우팅 엔진(Smart Routing Engine), 그리고 맞춤형 액침 냉각(immersion-cooled) AI 팩토리 글로벌 네트워크라는 세 가지 요소를 연계해 대규모 AI 추론 환경을 운영한다. 이를 통해 기업 고객이 더 빠르고 통제 가능하며 비용 효율적으로 AI를 실제 운영 환경에서 구동할 수 있도록 지원한다.

스마트 라우팅 엔진은 이 시스템의 핵심이자 엔비디아 커넥트와의 협업에서 주력하는 부분이다. 이 엔진은 모든 추론 요청을 밀리초 단위로 평가한다. 이때 작업에 실제로 필요한 모델, 데이터의 민감도, 비용 상한선, 지연시간 목표 등 네 가지 요소를 고려하며, 이후 해당 요청을 가장 적합한 모델 버전과 컴퓨팅 자원으로 라우팅한다.

그 결과 기업들은 소형 모델로도 처리 가능한 작업에 대해 프런티어 모델(frontier-model) 수준의 비용을 지불하지 않아도 된다. 굿비전 AI 자체 배포 사례에서 스마트 라우팅 엔진은 AI 추론 비용을 약 60% 절감했고, 네트워크 지연 시간을 약 50% 줄였으며, 관련 사업의 매출총이익(gross margin)을 약 50% 개선했다.

엔비디아 커넥트를 통해 굿비전 AI는 엔비디아 GPU 플랫폼과 AI 소프트웨어에 대한 사전 접근 권한을 확보하게 됐다. 굿비전 AI는 이를 활용해 추론 워크로드를 조정하고 AI 팩토리 배포 속도를 높이며, 스마트 라우팅 엔진이 모델과 위치 전반에서 컴퓨팅 자원을 할당하는 방식을 지속적으로 개선해 나갈 계획이다.

데이비드 왕(David Wang) 굿비전 AI 최고경영자(CEO)는 “대부분의 기업은 자사 AI가 실제로 필요로 하는 것보다 훨씬 많은 컴퓨팅 자원에 비용을 지불하고 있다. 스마트 라우팅 엔진은 모든 요청을 적절한 모델과 적절한 하드웨어로 전송하며, 이를 통해 추론 비용을 약 60%, 지연시간을 약 50% 단축했다.

엔비디아 커넥트에 합류함으로써 이러한 성과를 한층 더 끌어올릴 수 있는 컴퓨팅 자원과 소프트웨어를 더욱 긴밀하게 활용할 수 있게 됐다”고 말했다.