Phần mềm Mac Studio của Alex Finn chạy với tốc độ 20 token mỗi giây, chậm hơn gấp 10 lần so với bất kỳ mô hình nào bạn sử dụng, và quá chậm để sử dụng cho một Swarm, chứ chưa nói đến một tác nhân đơn lẻ thực hiện bất kỳ tác vụ hữu ích nào. Anh ta kiếm được khoảng 10.000 đô la mỗi tháng từ việc đính hôn của bạn, anh ta chỉ đang chơi trò chơi thôi. Tôi ước tính năng Agi tại nhà đã có sẵn nhưng tiếc là chưa có.

Tôi chỉ muốn có thiết bị phần cứng tại nhà giá cả phải chăng, có thể thực hiện những việc cơ bản và điều khiển ngôi nhà thông minh của tôi, cũng như chạy các tác vụ phức tạp hơn vào ban đêm khi tôi ngủ, với mức giá hợp lý. Liệu các nhà phát triển có thể làm được điều gì đó không?

Hoàn toàn giống nhau Bạn đã xem qua dự án Tiny Corp / George Hotz chưa? Nếu bạn giàu có và việc tối ưu hóa chi phí không phải là vấn đề, bạn có thể làm điều này hoặc một hộp NVIDIA DGX nhỏ hơn. Điều quan trọng là máy Mac sẽ chạy được vì bộ nhớ hợp nhất, nhưng phần mềm NVIDIA nhanh hơn nhiều.

Đúng vậy, sự thật là bạn có thể chạy Kimi trên nền tảng đám mây với giá khoảng 20 đô la/ngày. Lợi thế quy mô là có thật 😭😭

Đúng vậy, và tôi ghét điều đó.

Tôi muốn các agent chạy cục bộ để tôi có thể cung cấp cho chúng tất cả dữ liệu của mình và để chúng tự xử lý.

Bạn có thể bắt đầu bằng việc tinh chỉnh Claude trên nền tảng Bedrock, nếu bạn yêu cầu Claude làm điều đó thì về cơ bản nó sẽ tự động làm mọi thứ cho bạn.