Đừng đoán xem máy của bạn thực sự có thể xử lý được loại LLM nào nữa. llmfit phân tích phần cứng của bạn chỉ trong vài giây để tìm ra AI phù hợp nhất với bạn tại địa phương. PS Chia sẻ thêm các nguồn tài liệu AI thiết thực, không rườm rà với hơn 150.000 kỹ sư tại đây:codenewsletter.ai/subscribe?ut...… Vì vậy, thay vì tải xuống mô hình và gặp lỗi OOM (Out of Memory), nó sẽ quét RAM, CPU, GPU và VRAM trước - sau đó chấm điểm từng mô hình trên 4 khía cạnh: 1. Chất lượng - số lượng tham số, họ mô hình, hình phạt lượng tử hóa 2. Tốc độ - ước tính tok/s cho hệ thống phụ trợ cụ thể của bạn (CUDA, Metal, ROCm) 3. Độ phù hợp - mức độ sử dụng bộ nhớ so với phần cứng hiện có của bạn 4. Ngữ cảnh - cửa sổ ngữ cảnh so với Use Case của bạn Mỗi mẫu đều được dán nhãn: Hoàn hảo / Tốt / Trung bình / Quá chật.