Tether는 로컬에서 LLM 추론 및 미세 조정 엔진을 실행하여 QVAC를 시연합니다.

이 기사는 기계로 번역되었습니다
원문 표시
테더(Tether)가 최근 새로 출시한 QVAC 시스템을 선보였으며, llama.cpp를 통해 모바일 기기에서 LLAMA 3.2(10억 매개변수) 모델을 성공적으로 실행하여 로컬 환경에서 효율적인 추론을 달성했습니다. QVAC는 스마트폰, 노트북, 서버 등 다양한 기기에 적용할 수 있는 범용 추론 및 미세 조정 런타임으로, 현재 여러 모델을 지원하고 있으며 향후 더 많은 모델 지원을 확장할 예정입니다.

출처
면책조항: 상기 내용은 작자의 개인적인 의견입니다. 따라서 이는 Followin의 입장과 무관하며 Followin과 관련된 어떠한 투자 제안도 구성하지 않습니다.
라이크
즐겨찾기에 추가
코멘트