Hôm nay đánh dấu một thành tựu thực sự lớn đối với Nous, nhưng cũng có khả năng là cả Bối cảnh AI.
Chúng tôi đã bắt đầu chạy tiền đào tạo phi tập trung về cơ bản là Deepseek dày đặc - 40B tham số, hơn 20T mã thông báo, với MLA để có hiệu quả ngữ cảnh dài.
Tất cả các điểm kiểm tra, chưa được ủ,
twitter.com/Teknium1/status/19...
