PrismML은 파라미터 수를 9배 줄이면서도 지능 면에서 경쟁 제품을 능가하는 1.58비트 모델인 Ternary Bonsai를 출시했습니다.

ME 뉴스에 따르면, Beating의 모니터링 결과 PrismML은 4월 17일(UTC+8)에 Ternary Bonsai 시리즈 언어 모델을 출시했습니다. 이 모델은 1.58비트(3진수 가중치) 기술을 통해 높은 성능을 유지하면서도 메모리 사용량을 16비트 모델의 9분의 1로 줄였습니다. 8B, 4B, 1.7B의 세 가지 파라미터 스케일을 제공하는 이 시리즈는 현재 Hugging Face에서 오픈 소스로 공개되어 있으며 Apple 기기에서 네이티브로 작동합니다. 1.58비트 모델은 신경망의 가중치를 {-1, 0, +1}의 세 가지 값으로 제한하는 것을 의미합니다. 극단적인 압축을 추구했던 기존의 1비트 모델(가중치가 {-1, +1}뿐)과 비교하여, "0" 값을 도입함으로써 중복 연결을 효과적으로 제거하여 매우 작은 크기에서도 복잡한 추론 능력을 유지할 수 있게 되었습니다. 새롭게 출시된 Ternary Bonsai 8B 가중치 파일은 크기가 1.75GB에 불과하며, 평균 벤치마크 점수는 75.5점을 기록했습니다. 이는 1비트 버전보다 5점 높은 점수일 뿐만 아니라, "지능 밀도"(VRAM 1GB당 성능 기여도) 측면에서 Qwen3와 같은 유사한 고밀도 모델보다 훨씬 뛰어난 성능입니다. 에너지 효율성과 실행 속도 또한 이 시리즈의 핵심 장점입니다. iPhone 17 Pro Max에서 8B 버전은 27tok/s의 실행 속도를 달성하며, 에너지 효율성은 약 3~4배 향상되었습니다. 모바일폰이나 노트북과 같은 엣지 디바이스에 고성능 AI를 배포해야 하는 개발자에게 이는 최소한의 메모리 오버헤드로 거의 완벽한 정밀도의 모델 인텔리전스를 구현할 수 있음을 의미합니다. 현재 Ternary Bonsai 모델은 MLX 프레임 통해 Apple 기기에서 기본적으로 지원됩니다. 모델 가중치는 Apache 2.0 라이선스에 따라 배포됩니다. (출처: ME)