테더(Tether) 는 수십억 개의 매개변수를 사용하는 모델 학습을 스마트폰에서도 처리할 수 있는 수준으로 축소하는 프레임워크를 통해 빅테크 기업들의 AI 하드웨어 장벽에 도전장을 내밀고 있습니다.
테더(Tether) AI 프레임워크, VRAM 사용량 70% 이상 절감 및 엣지 컴퓨팅 확장
화요일, 테더(Tether) 마이크로소프트의 비트넷 모델을 위한 크로스 플랫폼 LoRA 미세 조정 프레임워크를 공개하며 , 스마트폰과 노트북을 포함한 소비자 기기에서 1 비트(Bit) 규모의 언어 모델을 학습하고 실행할 수 있는 최초의 시스템이라고 설명했습니다.
이번 릴리스는 Tether의 QVAC 패브릭 스택의 일부이며, 인공지능 개발에 일반적으로 수반되는 막대한 컴퓨팅 및 메모리 요구 사항을 줄이기 위해 설계되었습니다. 이러한 요구 사항은 지금까지 주로 클라우드 제공업체와 고급 Nvidia 하드웨어에 국한되어 있었습니다.
인텔, AMD, 애플의 칩과 모바일 GPU를 포함한 다양한 하드웨어를 지원함으로써, 이 프레임워크는 개발자가 중앙 집중식 인프라에 의존하지 않고 로컬에서 모델을 미세 조정할 수 있도록 합니다.
실제로 이는 데이터 센터에서만 실행되던 AI 워크로드가 이제 배낭이나 주머니에 있는 기기에서도 실행될 수 있음을 의미하며 , 이러한 변화는 미국을 비롯한 전 세계 개발자들의 비용을 절감하고 접근성을 확대할 수 있을 것으로 기대됩니다.
테더(Tether) 자사 엔지니어들이 애드레노, 말리, 애플 바이오닉 칩을 포함한 모바일 GPU에서 비트넷 미세 조정을 성공적으로 시연했다고 밝혔으며, 이는 새롭게 부상하는 1 비트(Bit) 모델 아키텍처에서 최초의 사례라고 덧붙였습니다.
회사에서 공개한 성능 벤치마크에 따르면 1억 2500만 개의 매개변수를 가진 모델은 삼성 S25 기기에서 약 10분 만에 미세 조정할 수 있는 반면, 10억 개의 매개변수를 가진 모델은 동일한 하드웨어에서 같은 작업을 완료하는 데 약 1시간 18분이 걸립니다.
애플 기기에서도 비슷한 결과가 나왔는데, 아이폰 16에서 10억 개의 매개변수를 가진 모델을 미세 조정하는 데 약 1시간 45분이 걸렸고, 실험적으로는 기기에서 최대 130억 개의 매개변수를 가진 모델까지 테스트했다고 회사 측은 밝혔습니다.
이 프레임워크는 추론 속도에서도 상당한 향상을 보여주었으며, 테더의 자체 벤치마크에 따르면 모바일 GPU는 CPU보다 2배에서 11배 더 높은 성능을 제공했습니다.
메모리 효율성 또한 핵심적인 장점 중 하나입니다. Bitnet-1B는 유사한 16 비트(Bit) 모델보다 최대 77.8% 적은 VRAM을 사용하고, 널리 사용되는 다른 아키텍처보다 65% 이상 적은 VRAM을 사용하여 하드웨어 사양이 제한적인 환경에서도 더 큰 모델을 실행할 수 있습니다.
테더(Tether) 또한 이 시스템이 해당 범주에서 처음으로 엔비디아 제품이 아닌 하드웨어에서도 LoRA 미세 조정을 가능하게 한다고 밝혔습니다. 이는 특수 칩과 클라우드 서비스에 대한 의존도를 줄이는 동시에 민감한 데이터를 사용자 기기에 로컬로 저장할 수 있도록 하는 조치입니다.
회사 측은 이러한 접근 방식이 데이터 중앙 집중화 없이 분산된 장치에서 모델을 학습할 수 있도록 함으로써 연합 학습을 더욱 실용적으로 만들 수 있다고 덧붙였습니다 . 이는 개인 정보 보호에 중점을 둔 AI 개발에서 점점 더 관심이 높아지고 있는 분야입니다.
테더(Tether) 의 CEO 파올로 아르도이노는 성명에서 "스마트폰을 포함한 소비자 하드웨어에서 의미 있는 대규모 모델 학습을 가능하게 함으로써, 테더의 QVAC는 고급 AI가 분산화되고 포용적이며 모두에게 힘을 실어줄 수 있음을 입증하고 있다"고 말하며, 회사가 기기 내 AI 인프라에 지속적으로 투자할 계획이라고 덧붙였다.
벤치마크 및 구현 세부 정보를 포함한 기술 자료는 Hugging Face를 통해 공개되었으며, 이는 독점 시스템 뒤에 기술을 숨겨두는 대신 개발자들에게 직접 접근하려는 노력을 보여줍니다.
자주 묻는 질문(FAQ) 🔎
- 테더의 새로운 AI 프레임워크는 무엇인가요?
테더의 QVAC 패브릭은 휴대폰 및 노트북과 같은 소비자 기기에서 비트넷 AI 모델을 학습하고 실행할 수 있는 크로스 플랫폼 시스템을 제공합니다. - 스마트폰으로 인공지능 모델을 학습시킬 수 있을까요?
네, 테더의 벤치마크 결과에 따르면 수십억 개의 매개변수를 가진 모델도 삼성 S25나 아이폰 16 같은 기기에서 몇 시간 안에 미세 조정할 수 있습니다. - 이것이 미국 개발자들에게 중요한 이유는 무엇일까요?
이는 값비싼 클라우드 인프라와 특수 GPU에 대한 의존도를 줄여 비용을 절감하고 AI 개발에 대한 접근성을 높입니다. - Bitnet이 다른 모델과 다른 점은 무엇인가요?
BitNet은 1 비트(Bit) 아키텍처를 사용하여 기존 16 비트(Bit) 모델에 비해 메모리 사용량을 크게 줄이고 효율성을 향상시킵니다.
