Tôi đã chạy một tác nhân AI với 35 tỷ tham số trên một chiếc Mac mini giá 600 đô la. Thông số kỹ thuật: Mac-Mini M4, RAM 16GB Mô hình không vừa với RAM. Nó truy cập bộ nhớ SSD với tốc độ 30 token/giây. Trên NVIDIA, cùng tốc độ truy cập đó chỉ đạt 1,6 tok/giây. Apple Silicon cho phép 30 tok/giây. Nhanh hơn 18,6 lần. Không cần điện toán đám mây. Không cần khóa API. 0 đô la/tháng. Đây là những gì nó có thể làm 🧵
Bài viết này được dịch máy
Xem bản gốc
Từ Twitter
Tuyên bố từ chối trách nhiệm: Nội dung trên chỉ là ý kiến của tác giả, không đại diện cho bất kỳ lập trường nào của Followin, không nhằm mục đích và sẽ không được hiểu hay hiểu là lời khuyên đầu tư từ Followin.
Thích
Thêm vào Yêu thích
Bình luận
Chia sẻ
