Khi tôi thức dậy, OpenAI có các tính năng mới:
GPT-4o ra mắt chức năng tinh chỉnh.
Và chính thức cũng đi kèm với một loạt lợi ích: mỗi tổ chức có thể nhận được 1 triệu mã thông báo đào tạo miễn phí mỗi ngày, có thể sử dụng cho đến ngày 23 tháng 9.
Điều đó có nghĩa là các nhà phát triển hiện có thể tinh chỉnh GPT-4o bằng dữ liệu tùy chỉnh để xây dựng ứng dụng của riêng họ với chi phí thấp .
Bạn biết đấy, OpenAI đã tiết lộ trong thông báo:
Chi phí đào tạo tinh chỉnh GPT-4o là 25 USD cho mỗi 1 triệu mã thông báo (nghĩa là tiết kiệm được 25 USD mỗi ngày)
Các nhà phát triển nhận được email vội vàng hào hứng nói với nhau rằng mảnh len lớn như vậy phải được thu hoạch càng sớm càng tốt.
Phương pháp sử dụng cũng rất đơn giản. Truy cập trực tiếp vào bảng điều khiển tinh chỉnh, nhấn"tạo", sau đó chọn gpt-4o-2024-08-06 từ danh sách thả xuống mô hình cơ sở.
Nhân tiện, OpenAI cũng đề cập rằng chỉ có vài chục ví dụ trong tập dữ liệu huấn luyện là có thể cho kết quả tốt.
Những câu chuyện thành công cũng được đăng tải
Sau khi tin tức được công bố, nhiều cư dân mạng đã háo hức dùng thử và bày tỏ sự quan tâm muốn biết tác dụng thực tế của mô hình sau khi tinh chỉnh.
Chính thức của OpenAI đã chuẩn bị từ lâu và cùng với thông báo, họ đã công bố các trường hợp thực tế về các đối tác đang tinh chỉnh GPT-4o.
Đầu tiên là Genie, trợ lý mã hóa của công ty khởi nghiệp AI Cosine được thiết kế để hỗ trợ các nhà phát triển phần mềm.
Theo chính thức của Cosine, quá trình phát triển của Genie sử dụng quy trình độc quyền để đào tạo và tinh chỉnh các biến thể GPT-4o không công khai bằng cách sử dụng hàng tỷ dữ liệu chất lượng cao.
Dữ liệu này bao gồm 21% JavaScript và Python, 14% TypeScript và TSX và 3% các ngôn ngữ khác (bao gồm Java, C++ và Ruby).
Sau khi tinh chỉnh, Genie đã đạt được số điểm SOTA là 43,8% trên SWE-Bench Verify , một tiêu chuẩn về khả năng mã mới được OpenAI phát hành vào thứ Ba tuần trước.
Đồng thời, Genie cũng đạt được số điểm SOTA là 30,08% trên SWE-Bench Full, phá kỷ lục SOTA trước đó là 19,27%.
Để so sánh, Devin của Cognition đạt 13,8% trong một số bài kiểm tra SWE-Bench.
Một ví dụ khác đến từ Distyl , một công ty cung cấp giải pháp AI cho các công ty trong danh sách Fortune 500 và gần đây đã đứng đầu trong tiêu chuẩn hàng đầu về chuyển văn bản sang SQL BIRD-SQL.
Sau khi tinh chỉnh, mô hình của nó đã đạt được độ chính xác thực thi là 71,83% trong danh sách xếp hạng và hoạt động tốt trong nhiệm vụ như tái tạo truy vấn, phân loại ý định, Chuỗi suy nghĩ và tự sửa lỗi, đặc biệt là trong việc tạo SQL.
Ngoài việc cung cấp các trường hợp, OpenAI còn đặc biệt nhấn mạnh các vấn đề về quyền riêng tư và bảo mật dữ liệu trong thông báo.
Dữ liệu việc kinh doanh của nhà phát triển (bao gồm đầu vào và đầu ra) sẽ không được chia sẻ hoặc sử dụng để đào tạo các mô hình khác. Triển khai các biện pháp giảm thiểu bảo mật theo lớp cho các mô hình được tinh chỉnh, chẳng hạn như liên tục chạy đánh giá bảo mật tự động trên các mô hình được tinh chỉnh và giám sát việc sử dụng.
Cư dân mạng: Tinh chỉnh không tốt bằng bộ nhớ đệm từ nhắc nhở
Giữa sự phấn khích, một số cư dân mạng cho rằng việc tinh chỉnh vẫn kém hơn so với bộ đệm từ nhanh chóng.
Tinh chỉnh rất tuyệt, nhưng nó vẫn không tốt bằng bộ nhớ đệm từ nhắc nhở...
Qubits cũng đã giới thiệu trước đó rằng vai trò của bộ nhớ đệm từ nhắc nhở là gửi lượng lớn lời nhắc đến mô hình cùng một lúc, sau đó để mô hình ghi nhớ những nội dung này và sử dụng lại chúng trực tiếp trong các yêu cầu tiếp theo để tránh việc nhập dữ liệu lặp lại.
Vào tháng 5 năm nay, Gemini của Google đã hỗ trợ tính năng lưu trữ từ nhanh chóng và Claude cũng đã thêm tính năng này vào tuần trước.
Vì không cần phải nhập các tập lệnh lặp lại nhiều lần nên bộ nhớ đệm từ nhanh chóng có ưu điểm là tốc độ nhanh hơn và chi phí thấp hơn .
Một số cư dân mạng cho rằng rằng chức năng bộ đệm từ nhắc nhở thân thiện hơn với các nhà phát triển (không cần tinh chỉnh không đồng bộ) và gần như có thể nhận được những lợi ích tương tự như tinh chỉnh.
Bộ nhớ đệm từ nhanh chóng cho phép bạn nhận được 99% lợi ích trả giá 1% nỗ lực.
Tuy nhiên, một số người gọi là tinh chỉnh, cho rằng tinh chỉnh sẽ hiệu quả hơn trong việc định hình phản ứng . Ví dụ: đảm bảo JSON được định dạng đúng, đưa ra phản hồi ngắn gọn hơn hoặc sử dụng biểu tượng cảm xúc, v.v.
Thấy các đối thủ của OpenAI liên tục sử dụng bộ nhớ đệm từ nhắc nhở, một số người tò mò:
Tự hỏi liệu OpenAI sẽ tiếp tục tinh chỉnh hay chuyển sang bộ đệm từ nhắc nhở (hoặc cả hai).
Liên quan đến vấn đề này, những cư dân mạng khác cũng lần ra được một số manh mối.
OpenAI đề cập đến các kỹ thuật bộ nhớ đệm trong hướng dẫn tối ưu hóa độ trễ.
Chúng tôi cũng tìm thấy ngay hướng dẫn ban đầu, trong đó đề cập khi nói về cách giảm mã thông báo đầu vào :
Tối đa hóa việc chia sẻ tiền tố mẹo bằng cách đặt các phần động (ví dụ: kết quả RAG, lịch sử, v.v.) sau trong mẹo. Điều này làm cho các yêu cầu của bạn trở nên thân thiện hơn với bộ đệm KV, nghĩa là sẽ xử lý ít mã thông báo đầu vào hơn cho mỗi yêu cầu.
Tuy nhiên, một số cư dân mạng cho rằng chỉ dựa vào đoạn này thì không thể kết luận trực tiếp rằng OpenAI sử dụng công nghệ bộ nhớ đệm từ nhanh chóng.
BTY, gác tranh cãi sang một bên, OpenAI vẫn cần thu thập thông tin của mình~
Ngoài GPT-4o, bạn cũng có thể tinh chỉnh GPT-4o mini miễn phí . OpenAI cung cấp miễn phí 2 triệu mã thông báo đào tạo mỗi ngày trước ngày 23 tháng 9.
Liên kết tham khảo:
[1]https://openai.com/index/gpt-4o-fine-tuning/
[2]https://x.com/OpenAIDevs/status/1825938486568038569
[3]https://news.ycombinator.com/item?id=41301673
Bài viết này xuất phát từ tài khoản công khai WeChat "Qubit" , tác giả: Yishui, 36 Krypton được xuất bản với sự cho phép.
