테더(Tether)가 최근 새로 출시한 QVAC 시스템을 선보였으며, llama.cpp를 통해 모바일 기기에서 LLAMA 3.2(10억 매개변수) 모델을 성공적으로 실행하여 로컬 환경에서 효율적인 추론을 달성했습니다. QVAC는 스마트폰, 노트북, 서버 등 다양한 기기에 적용할 수 있는 범용 추론 및 미세 조정 런타임으로, 현재 여러 모델을 지원하고 있으며 향후 더 많은 모델 지원을 확장할 예정입니다.
Tether는 로컬에서 LLM 추론 및 미세 조정 엔진을 실행하여 QVAC를 시연합니다.
이 기사는 기계로 번역되었습니다
원문 표시
출처
면책조항: 상기 내용은 작자의 개인적인 의견입니다. 따라서 이는 Followin의 입장과 무관하며 Followin과 관련된 어떠한 투자 제안도 구성하지 않습니다.
라이크
즐겨찾기에 추가
코멘트
공유



