Nous Research xác nhận rằng lợi ích của việc phân đoạn từ có thể được mô phỏng bằng cách sử dụng byte thuần túy, đánh dấu một bước đột phá cho các mô hình quy mô lớn không cần phân đoạn từ.

Theo ME News, vào ngày 22 tháng 5 (UTC+8), theo dõi của Beating, Nous Research đã công bố một bài báo chỉ ra rằng các bộ phân đoạn từ, vốn từ lâu đã dựa vào các mô hình ngôn ngữ lớn, có thể sẽ được thay thế trong tương lai. Thông qua thử nghiệm có kiểm soát ở quy mô tham số 1,7 tỷ, đội ngũ nghiên cứu đã định lượng một cách có hệ thống các lợi thế về hiệu suất của cơ chế phân đoạn từ, chứng minh rằng những lợi ích này có thể được mô phỏng hiệu quả ở cấp độ byte thuần túy thông qua các phương pháp kỹ thuật. Các thí nghiệm cho thấy rằng chỉ cần tăng thông lượng dữ liệu và chèn các ranh giới hình thái vào mô hình byte gốc có thể thu hẹp đáng kể khoảng cách hiệu suất. Với cùng ngân sách tỷ lệ băm, việc nén mô phỏng đã tăng khối lượng xử lý của các gradient một bước, trực tiếp góp phần giảm tổn thất xác thực lớn nhất. Đồng thời, việc chồng các ranh giới từ con dưới dạng chuỗi nhị phân vào các byte đầu vào đã thiết lập thành công một thiên kiến ​​quy nạp dài hạn cho mô hình mà không làm rò rỉ thông tin trong tương lai. Mặc dù hiệu ứng hiệp đồng dưới các tham số lớn hơn vẫn cần được kiểm chứng, thử nghiệm này cho thấy ở quy mô 1,7 tỷ, lợi nhuận của bốn cơ chế khác, bao gồm điều chỉnh tham số từ vựng và dự đoán từ con tiếp theo, là cực kỳ hạn chế. Điều này mang lại một bước đột phá rõ ràng trong việc phát triển các mô hình quy mô lớn không yêu cầu phân đoạn từ, chỉ ra rằng các tối ưu hóa kiến ​​trúc trong tương lai nên tập trung trực tiếp vào việc cải thiện thông lượng thực tế và kết hợp rõ ràng các thông tin tiên nghiệm về hình thái học một cách không tiết lộ. (Nguồn: ME)