스페인의 한 AI 스타트업이 투자자들에게 2억 1,500만 달러를 확보했는데, 이는 대담한 주장을 바탕으로 한 것이다: 성능을 저해하지 않고 대규모 언어 모델을 95% 축소할 수 있다는 것이다.
멀티버스 컴퓨팅의 혁신은 CompactifAI 기술에 달려 있는데, 이는 양자 물리학의 수학적 개념을 빌려 AI 모델을 스마트폰 크기로 축소하는 압축 방법이다.
산 세바스티안 소재 이 회사는 압축된 Llama-2 7B 모델이 추론 시 25% 더 빠르게 실행되며 매개변수는 70% 줄어들었고, 정확도는 겨우 2-3% 떨어진다고 말한다.
대규모로 검증된다면, 이는 AI의 큰 문제를 해결할 수 있다: 운영을 위해 특수 데이터 센터가 필요할 정도로 거대한 모델들이다.
"역사상 처음으로, 우리는 신경망의 내부 작동을 프로파일링하여 수십억 개의 가짜 상관관계를 제거하고 모든 종류의 AI 모델을 진정으로 최적화할 수 있게 되었습니다," 멀티버스의 수석 과학 책임자인 로만 오루스는 목요일에 블로그 게시물에서 말했다.
불하운드 캐피털이 HP 테크 벤처스와 도시바의 지원을 받아 2억 1,500만 달러 규모의 시리즈 B 투자 라운드를 주도했다.
양자 기반 개념을 적용해 AI의 가장 시급한 문제 중 하나를 해결하는 것은 불가능해 보이지만, 연구가 입증된다면 실제로 가능하다.
뉴런을 단순히 자르거나 수치 정밀도를 줄이는 기존 압축과 달리, CompactifAI는 텐서 네트워크를 사용한다 - 이는 물리학자들이 데이터에 압도되지 않고 입자 상호작용을 추적하기 위해 개발한 수학적 구조다.
이 과정은 AI 모델에 대한 종이접기와 같다: 가중치 행렬이 매트릭스 프로덕트 연산자라 불리는 더 작고 상호 연결된 구조로 접힌다.
뉴런 간 모든 연결을 저장하는 대신, 시스템은 반복적으로 나타나는 정보나 관계와 같은 중복된 패턴을 버리면서 의미 있는 상관관계만 보존한다.
멀티버스는 AI 모델이 균일하게 압축될 수 없음을 발견했다. 초기 계층은 취약하지만, 최근 성능에 덜 중요한 것으로 밝혀진 더 깊은 계층은 공격적인 압축을 견딜 수 있다.
이러한 선택적 접근 방식을 통해 다른 방법들이 실패하는 곳에서 극적인 크기 축소를 달성할 수 있다.
압축 후, 모델은 짧은 "치유" 과정을 거치는데 - 매개변수 수가 줄어 1 에포크 미만의 재훈련이 이루어진다. 회사는 이 복원 과정이 GPU-CPU 전송 부하가 감소해 원래 모델 훈련보다 50% 더 빠르게 실행된다고 주장한다.
요약하자면 - 회사의 제안에 따르면 - 모델로 시작해 Compactify 마법을 실행하면 매개변수가 50% 미만인, 추론 속도가 2배인, 비용이 훨씬 적게 드는, 그리고 원래와 거의 동일한 성능을 가진 압축 버전으로 끝난다.
연구에서 팀은 Llama-2 7B 모델의 메모리 요구 사항을 93% 줄이고, 매개변수 수를 70% 줄이며, 훈련 속도를 50% 높이고, 답변(추론) 속도를 25% 높일 수 있음을 보여주는데, 정확도는 겨우 2-3% 떨어진다.
정량화(소수점 자리 수 줄이기), 가지치기(트리의 죽은 가지를 자르듯 덜 중요한 뉴런 완전 제거), 또는 증류 기술(더 작은 모델을 더 큰 모델의 행동 모방 훈련)과 같은 기존 축소 방법은 이러한 수치에 근접조차 못 한다.
멀티버스는 이미 보쉬와 캐나다 은행을 포함한 100개 이상의 고객에게 서비스를 제공하며, AI를 넘어 에너지 최적화와 금융 모델링에 양자 기반 알고리즘을 적용하고 있다.
스페인 정부는 3월에 6,700만 유로를 공동 투자해 총 투자 규모를 2억 5,000만 달러 이상으로 끌어올렸다.
현재 AWS를 통해 Llama와 Mistral 같은 오픈소스 모델의 압축 버전을 제공하고 있으며, 회사는 DeepSeek R1 및 기타 추론 모델로 확장할 계획이다.
OpenAI나 Claude의 독점 시스템은 명백히 접근할 수 없는데, 이들은 수정이나 연구가 불가능하기 때문이다.
이 기술의 잠재력은 비용 절감 조치를 넘어선다. HP 테크 벤처스의 참여는 엣지 AI 배포에 대한 관심을 보여준다 - 클라우드 서버가 아닌 로컬에서 정교한 모델 실행.
"멀티버스의 혁신적인 접근 방식은 모든 규모의 기업에 향상된 성능, 개인화, 개인정보 보호 및 비용 효율성의 AI 이점을 가져올 잠재력이 있습니다," HP의 기술 및 혁신 대표 투안 트란이 말했다.
그래서 언젠가 스마트폰에서 DeepSeek R1을 실행하게 된다면, 이 사람들에게 감사해야 할 것이다.
저자 조시 퀴트너와 세바스티안 싱클레어가 편집함
