Cách tốt nhất để chạy Crayfish cục bộ vẫn là trên máy tính mini chạy Windows dựa trên bộ xử lý Ryzen 7 - vì chúng ta cũng có thể chạy mô hình Qwen 3 cục bộ! Hoàn cảnh: Windows 11 Pro, CPU AMD Ryzen 7 7730U với card đồ họa Radeon 16 nhân, RAM 32GB. 1) Cài đặt scoop bằng quyền quản trị PowerShell. Set-ExecutionPolicy -ExecutionPolicy RemoteSigned -Scope CurrentUser Invoke-RestMethod -Uri get.scoop.sh | Invoke-Expression 2) Lắp đặt llmfit bằng dụng cụ xúc lắp đặt scoop llmfit 3) Chạy lệnh llmfit để tìm mô hình cục bộ lớn mã nguồn mở phù hợp nhất với máy tính của bạn. Qwen3.5-35B-A3B (kiến trúc MoE, tổng cộng 35B tham số nhưng chỉ có 3B được kích hoạt) có hiệu suất suy luận cực cao, nhưng yêu cầu phải tải tất cả tỷ trọng. Q3_K_M ≈ 16-17GB (RAM 16GB) Q4_K_M ≈ 21-22GB (RAM 32GB) 4) Cài đặt LM Studio (phiên bản Windows) Sau khi tải xuống, chỉ cần nhấp đúp chuột để cài đặt. 5) Chạy lmstudio và tìm kiếm Qwen3.5-35B-A3B Chọn: Tải xuống phiên bản Qwen3.5-35B-A3B-GGUF: Q3_K_M Q4_K_M 6) Chọn các tham số sau để khởi chạy mô hình đã tải xuống: Độ dài ngữ cảnh: 16384 (Nếu thấy ổn định, hãy thêm 32768 nữa) Tắt GPU: Đặt giá trị là 40. Nếu quá trình tải thất bại, hãy giảm xuống 35. Kích thước nhóm luồng CPU: Tăng lên 16 Kích thước lô đánh giá: đã thay đổi thành 512 Số lượng dự đoán đồng thời tối đa: Giữ nguyên 4 Bộ nhớ đệm KV thống nhất: Giữ nguyên trạng thái bật Chuyển bộ nhớ đệm KV sang bộ nhớ GPU: Giữ trạng thái bật. Số lượng chuyên gia: Giữ ở mức 8 người. Số lớp mà trọng số MoE được buộc xử lý trên CPU: Thay đổi thành 0 để ngăn các lớp MoE trả về CPU, cho phép tăng tốc GPU hoàn toàn. Chế độ chú ý nhanh được bật Chế độ giữ mô hình trong bộ nhớ được bật Hãy thử bật mmap. RoPE Auto Lưu cài đặt: Tích vào ô. Lần muốn tải mô hình, hãy nhấp vào "Tải mô hình". Lần tải lần sẽ mất 1-3 phút (tải toàn bộ cần di chuyển các tệp lớn), vui lòng kiên nhẫn. Sau khi tải thành công, bạn có thể kiểm tra trực tiếp trong khung chat. Mẹo: Thiết lập bộ nhớ dùng chung của iGPU lên 8GB trong BIOS có thể giúp cải thiện tốc độ hơn nữa. Bắt đầu trò chuyện! Dịch vụ quản lý học tập (LLM) bản địa hóa 100%, an toàn và bảo mật.