테더(Tether)는 공식 발표를 통해 마이크로소프트 비트넷(1비트 LLM)의 학습 및 추론을 최적화하는 QVAC 패브릭용 크로스 플랫폼 비트넷 LoRA 미세 조정 프레임 출시했다고 밝혔습니다. 이 프레임 해시레이트 및 메모리 요구 사항을 크게 줄여 노트북, 일반 소비자용 GPU 및 스마트폰에서 오데일리 (odaily) 파라미터를 가진 모델을 학습하고 미세 조정할 수 있도록 합니다.
이 솔루션은 Adreno, Mali, Apple Bionic을 포함한 모바일 GPU에서 BitNet 모델을 미세 조정할 수 있도록 하는 최초의 솔루션입니다. 테스트 결과, 1억 2,500만 개의 파라미터를 가진 모델은 약 10분, 10억 개의 파라미터를 가진 모델은 약 1시간 만에 미세 조정할 수 있으며, 모바일 기기에서 1,300만 개의 파라미터를 가진 모델까지 확장하여 사용할 수 있는 것으로 나타났습니다.
또한, 이 프레임 인텔, AMD, 애플 실리콘과 같은 이기종 하드웨어를 지원하며, 최초로 NVIDIA가 아닌 장치에서도 1비트 LLM LoRA 미세 조정을 구현합니다. 성능 측면에서 BitNet 모델은 모바일 GPU에서 CPU보다 2~11배 빠른 추론 속도를 달성하는 동시에 기존 16비트 모델 대비 메모리 사용량을 최대 약 77.8%까지 줄입니다.
테더는 이 기술이 고성능 해시레이트 와 클라우드 인프라에 대한 의존도를 낮추고, AI 학습의 탈 탈중앙화 및 지역화를 촉진하며, 연합 학습과 같은 새로운 응용 시나리오를 위한 기반을 제공할 잠재력을 가지고 있다고 밝혔습니다.
