avatar
Yohei
03-26
이 기사는 기계로 번역되었습니다
원문 표시

600달러짜리 맥 미니에서 350억 개의 파라미터를 가진 AI 에이전트를 실행해 봤습니다. 사양: M4 맥 미니, 16GB RAM 모델이 RAM에 들어가지 않아서 SSD에서 초당 30토큰으로 페이징합니다. NVIDIA 그래픽 카드에서는 같은 페이징 속도로 초당 1.6토큰이 나오는데, 애플 실리콘에서는 초당 30토큰이 나옵니다. 무려 18.6배나 빠른 거죠. 클라우드도 필요 없고, API 키도 필요 없고, 월 사용료도 무료입니다. 이게 어떤 기능인지 한번 보세요 🧵

Twitter에서
면책조항: 상기 내용은 작자의 개인적인 의견입니다. 따라서 이는 Followin의 입장과 무관하며 Followin과 관련된 어떠한 투자 제안도 구성하지 않습니다.
라이크
즐겨찾기에 추가
코멘트