PrismML giới thiệu mô hình Ternary Bonsai 1.58-bit, với số lượng tham số giảm 9 lần và vượt trội so với các đối thủ cạnh tranh về độ thông minh.

Theo ME News, vào ngày 17 tháng 4 (UTC+8), như Beating đã theo dõi, PrismML đã phát hành sê-ri mô hình ngôn ngữ Ternary Bonsai. Thông qua công nghệ 1,58-bit (trọng số tam phân), nó giảm mức sử dụng bộ nhớ của mô hình xuống còn một phần chín so với mô hình 16-bit trong khi vẫn duy trì hiệu suất cao. Sê-Ri này bao gồm ba thang đo tham số: 8B, 4B và 1,7B. Hiện tại, nó mã nguồn mở trên Hugging Face và hỗ trợ hoạt động nguyên bản trên các thiết bị của Apple. Mô hình 1,58-bit đề cập đến việc giới hạn tỷ trọng trong mạng nơ-ron ở ba giá trị: {-1, 0, +1}. So với mô hình 1-bit trước đây (tỷ trọng chỉ {-1, +1}) theo đuổi khả năng nén cực cao, việc đưa vào giá trị "0" giúp loại bỏ hiệu quả các kết nối dư thừa, cho phép mô hình giữ lại khả năng suy luận phức tạp trong kích thước rất nhỏ. Tệp tỷ trọng Ternary Bonsai 8B lần được phát hành chỉ có dung lượng 1,75 GB, đạt điểm chuẩn trung bình là 75,5. Phiên bản này không chỉ vượt trội hơn phiên bản 1-bit của chính nó tới 5 điểm mà còn vượt xa các mô hình mật độ cao tương tự như Qwen3 về "mật độ thông minh" (đóng góp hiệu năng trên mỗi GB VRAM). Hiệu quả năng lượng và tốc độ hoạt động là một lợi thế cốt lõi khác của sê-ri này. Trên iPhone 17 Pro Max, phiên bản 8B có thể đạt tốc độ hoạt động 27 tok/s, với hiệu quả năng lượng được cải thiện khoảng 3 đến 4 lần. Đối với các nhà phát triển cần triển khai AI hiệu năng cao trên các thiết bị biên như điện thoại di động và máy tính xách tay, điều này có nghĩa là họ có thể đạt được hiệu năng thông minh của mô hình gần như độ chính xác tối đa với mức tiêu hao bộ nhớ tối thiểu. Hiện tại, các mô hình Ternary Bonsai được hỗ trợ nguyên bản trên các thiết bị của Apple thông qua khung MLX. Tỷ trọng mô hình được phân phối theo giấy phép Apache 2.0. (Nguồn: ME)