Đối với các nhà phát triển tập trung vào việc xây dựng các mô hình trí tuệ nhân tạo (AI) chuyên nghiệp, thách thức lâu dài là có được dữ liệu đào tạo chất lượng cao. Các mô hình chuyên gia nhỏ hơn (kích thước tham số từ 1 tỷ đến 10 tỷ) thường sử dụng "kỹ thuật chắt lọc" yêu cầu đầu ra của mô hình lớn hơn để nâng cao tập dữ liệu đào tạo của chúng. Tuy nhiên, việc sử dụng dữ liệu đó từ những gã khổng lồ nguồn đóng như OpenAI phải tuân theo. Hạn chế nghiêm trọng, do đó hạn chế rất nhiều các ứng dụng thương mại.
Vào tối ngày 23 tháng 7 (Thứ Ba), giờ Bắc Kinh, mô hình lớn mã nguồn mở"Khoảnh khắc ChatGPT" được chờ đợi từ lâu mà các nhà phát triển trong lĩnh vực AI toàn cầu cuối cùng đã đến - Meta đã phát hành mô hình AI mới nhất Llama 3.1, trong đó Llama có thang đo tham số lớn nhất Phiên bản 3.1-405B.
Zuckerberg gọi Llama 3.1 là "điểm khởi đầu của nghệ thuật" và sẽ so sánh nó với các mô hình lớn của OpenAI và Google. Dữ liệu thử nghiệm cho thấy Meta Llama 3.1-405B vượt qua mẫu mã nguồn đóng OpenAI GPT-4o tiên tiến nhất hiện nay trong nhiều bài kiểm tra điểm chuẩn AI như GSM8K. Điều này có nghĩa là lần đầu tiên, một mô hình mã nguồn mở đánh bại mô hình lớn nguồn đóng hiện đại nhất hiện nay.
Hơn nữa, việc ra mắt Llama 3.1-405B có nghĩa là các nhà phát triển có thể tự do sử dụng kết quả “chưng cất” của nó để đào tạo các mô hình thích hợp, đẩy nhanh đáng kể chu kỳ đổi mới và triển khai trong các lĩnh vực chuyên môn.
01 “Cột mốc” của cộng đồng mã nguồn mở
Vào tháng 4 năm 2024, Meta ra mắt Llama 3, một mô hình ngôn ngữ quy mô lớn mã nguồn mở. Trong đó, Llama 3-8B và Llama 3-70B đã thiết lập một chuẩn mực mới cho các mẫu lớn có cùng kích thước. Tuy nhiên, chỉ trong ba tháng, với việc lặp lại các chức năng AI, các mẫu lớn khác đã nhanh chóng vượt qua chúng.
Trong một hoàn cảnh cạnh tranh mà mọi người đều chạy theo nhau, Meta gần đây đã phát hành mô hình AI Llama 3.1. Có tổng cộng ba mô hình là Llama 3.1-8B, Llama 3.1-70B và Llama 3.1-405B. Trong đó, hai mẫu đầu tiên là phiên bản cập nhật của mẫu Llama 3-8B và Llama 3-70B được ra mắt vào tháng 4. Phiên bản Llama 3.1-405B có 405 tỷ tham số và là một trong những mô hình mã nguồn mở lớn nhất của Meta tính đến thời điểm hiện tại.
Vào sáng sớm ngày ra mắt (giờ Bắc Kinh), diễn đàn phụ LocalLLaMA của reddit "American Tieba" đã rò rỉ kết quả kiểm tra benchmark sớm của ba mẫu máy sắp ra mắt.
Dữ liệu bị rò rỉ cho thấy Meta Llama 3.1-405B vượt qua GPT-4o của OpenAI ở một số điểm chuẩn AI chính. Đây là một cột mốc quan trọng đối với cộng đồng AI mã nguồn mở: lần đầu tiên, một mô hình mã nguồn mở đánh bại mô hình lớn nguồn đóng hiện đại nhất hiện nay.
Nội dung được nhà khoa học nghiên cứu Aston Zhang của đội ngũ Meta công bố trên X cũng xác nhận dữ liệu thử nghiệm bị rò rỉ.
Nguồn ảnh:X
Cụ thể, Meta Llama 3.1-405B tốt hơn GPT-4o trong nhiều thử nghiệm như IFEval, GSM8K, ARC Challenge và Nexus. Tuy nhiên, nó tụt hậu so với GPT-4o trong một số thử nghiệm MMLU và GPQA. Ngoài ra, cửa sổ ngữ cảnh của Llama 3.1 bao gồm 128.000 đánh dấu, lớn hơn các mẫu Llama trước đây và có độ dài xấp xỉ một cuốn sách 50 trang.
Nguồn ảnh:X
Nhưng điều quan trọng cần lưu ý là những điểm chuẩn này phản ánh hiệu suất của mô hình cơ sở Llama 3.1. Tiềm năng thực sự của các mô hình này có thể được nhận ra thông qua việc điều chỉnh lệnh, một quá trình có thể cải thiện đáng kể khả năng của các mô hình này. Phiên bản điều chỉnh lệnh sắp tới của mô hình Llama 3.1 dự kiến sẽ mang lại kết quả tốt hơn nữa.
02 Llama 4 đã bắt đầu huấn luyện vào tháng 6
Mặc dù GPT-5 sắp ra mắt của OpenAI dự kiến sẽ có khả năng suy luận nâng cao và có thể thách thức vị trí địa vị tiềm năng của Llama 3.1 trong các mô hình lớn, nhưng hiệu suất mạnh mẽ của Llama 3.1 so với GPT-4o vẫn làm nổi bật sức mạnh và tiềm năng phát triển AI mã nguồn mở.
Bạn biết đấy, đối với các nhà phát triển tập trung xây dựng các mô hình AI chuyên nghiệp, thách thức lâu dài mà họ gặp phải là thu được dữ liệu đào tạo chất lượng cao. Các mô hình chuyên gia nhỏ hơn (kích thước tham số từ 1 tỷ đến 10 tỷ) thường sử dụng "kỹ thuật chắt lọc" yêu cầu đầu ra của mô hình lớn hơn để nâng cao tập dữ liệu đào tạo của chúng. Tuy nhiên, việc sử dụng dữ liệu đó từ những gã khổng lồ nguồn đóng như OpenAI phải tuân theo. Hạn chế nghiêm trọng, do đó hạn chế rất nhiều các ứng dụng thương mại.
Sự ra mắt của Llama 3.1-405B đồng nghĩa với việc các nhà phát triển có thể thoải mái sử dụng đầu ra “chưng cất” của nó để đào tạo các mô hình thích hợp, từ đó đẩy nhanh đáng kể chu kỳ đổi mới và triển khai trong các lĩnh vực chuyên môn. Mong đợi sự phát triển đột biến của các mô hình hiệu suất cao, được tinh chỉnh vừa mạnh mẽ vừa có tính đạo đức mã nguồn mở.
Ethan Mollick, phó giáo sư tại Trường Wharton thuộc Đại học Pennsylvania, viết: “Nếu dữ liệu này là đúng, có thể nói rằng các mô hình AI hàng đầu sẽ miễn phí và có sẵn cho mọi người bắt đầu từ tuần này. trên khắp thế giới. Sẽ rất vui đấy.”
Mã nguồn mở của Llama 3.1-405B cũng chứng tỏ khoảng cách giữa mô hình mã nguồn mở và mô hình nguồn đóng đã được thu hẹp trở lại.
Nguồn ảnh:X
Phóng viên của "Tin tức kinh tế hàng ngày" cũng nhận thấy rằng ngoài Llama 3.1-405B được nhiều người mong đợi, truyền thông nước ngoài đưa tin rằng Llama 4 đã bắt đầu huấn luyện vào tháng 6 và dữ liệu huấn luyện bao gồm các bài đăng công khai từ người dùng nền tảng xã hội Facebook và Instagram. Trước khi bắt đầu, Mate đã gửi hơn 2 tỷ thông báo tới người dùng ở Liên minh Châu Âu, nơi có các quy định nghiêm ngặt về quyền riêng tư dữ liệu, cung cấp tùy chọn không đồng ý sử dụng dữ liệu của họ để đào tạo mô hình lớn.
Được biết, Llama 4 sẽ bao gồm các chế độ văn bản, hình ảnh, video và âm thanh, và Meta có kế hoạch áp dụng mẫu mới cho điện thoại di động và kính thông minh.
Bài viết này xuất phát từ tài khoản công khai WeChat "Tin tức kinh tế hàng ngày" . Tác giả: Mỗi phóng viên, 36 Krypton được phép xuất bản.
