Apple phát hành mô hình ngôn ngữ mã nguồn mở OpenELM

Odaily đưa tin rằng trước WWDC24, Apple đã phát hành một "mô hình ngôn ngữ hiệu quả với khung suy luận và đào tạo mã nguồn mở" có tên OpenELM trên nền tảng Hugging Face. Đây là một mô hình ngôn ngữ mã nguồn mở và mã nguồn, tỷ trọng mô hình được đào tạo trước và công thức đào tạo đều có sẵn trong kho lưu trữ Github của Apple. Theo báo cáo, OpenELM sử dụng chiến lược mở rộng quy mô phân cấp có thể phân bổ hiệu quả các tham số của từng lớp của mô hình Transformer, từ đó cải thiện độ chính xác. Ví dụ: khi số lượng tham số khoảng 1 tỷ, độ chính xác của OpenELM được cải thiện 2,36% so với OLMo và số lượng mã thông báo đào tạo trước được yêu cầu chỉ bằng 50% so với ban đầu. Không giống như thông lệ trước đây chỉ cung cấp tỷ trọng mô hình và mã suy luận cũng như đào tạo trước trên dữ liệu sở hữu tư nhân , phiên bản do Apple phát hành chứa một khung hoàn chỉnh để đào tạo và đánh giá các mô hình ngôn ngữ trên dữ liệu công cộng, bao gồm nhật ký đào tạo, nhiều điểm kiểm tra và đào tạo trước. cấu hình. Ngoài ra, hãng còn phát hành mã chuyển đổi mô hình thành thư viện MLX để suy luận và tinh chỉnh trên các thiết bị Apple. Bản phát hành toàn diện lần nhằm mục đích tăng cường và củng cố cộng đồng nghiên cứu mở và mở đường cho những nỗ lực nghiên cứu mở trong tương lai. (Trang chủ CNTT)