Các nhà phát triển DeepMind của Google đã giới thiệu “ Promptbreeder (PB): tự cải thiện thông qua quá trình tiến hóa nhanh chóng”. Sự phát triển tiên phong này hứa hẹn một phương pháp tiếp cận mới để nâng cao khả năng của các mô hình ngôn ngữ lớn (LLM) bằng cách khai thác sức mạnh của quá trình tiến hóa nhanh chóng.
Cốt lõi của sự đổi mới này nằm ở nhận thức rằng trí thông minh của một mô hình ngôn ngữ lớn gắn chặt với chất lượng của các tín hiệu văn bản mà nó nhận được. Về bản chất, các tín hiệu càng thông minh thì phản hồi của mô hình càng thông minh và chính xác. Do đó, nhiệm vụ quan trọng hiện tại là tạo ra các chiến lược gợi ý tối ưu để hướng dẫn các mô hình này một cách hiệu quả.
Các chiến lược thúc đẩy thông thường, chẳng hạn như chuỗi suy nghĩ hoặc phương pháp lập kế hoạch và quyết định, chắc chắn đã cải thiện khả năng lập luận của LLM. Tuy nhiên, các chiến lược này, thường được thiết kế thủ công, có thể Short đạt được hiệu suất tối ưu.
Promptbreeder là một giải pháp sử dụng cơ chế tiến hóa để tinh chỉnh các chiến lược gợi ý theo từng lần lặp lại. Điểm khác biệt của PB là khả năng đáng chú ý của nó trong việc cải thiện không chỉ các gợi ý mà còn cả khả năng tăng cường gợi ý của chính nó với mỗi thế hệ mới.
Sau đây là cách hoạt động của chương trình tiến hóa Promptbreeder:
- Dưới sự hướng dẫn của một LLM, Promptbreeder tạo ra một quần thể các đơn vị tiến hóa, mỗi đơn vị bao gồm hai “gợi ý giải pháp” và một “gợi ý đột biến”.
- Sau đó, thuật toán di truyền nhị phân được sử dụng để đánh giá mức độ phù hợp của các đột biến này dựa trên bộ dữ liệu huấn luyện, xác định những đột biến có hiệu suất tốt hơn.
- Quá trình tuần hoàn này liên tục quay trở lại bước 1, cuối cùng dẫn đến sự tiến hóa của nhiều thế hệ “gợi ý-giải pháp”.
Qua nhiều thế hệ, Promptbreeder sử dụng năm lớp toán tử đột biến khác nhau để đột biến cả “gợi ý giải pháp” và “gợi ý đột biến”. Điểm sáng giá của chương trình này nằm ở chỗ những “gợi ý-giải pháp” đột biến này dần trở nên thông minh hơn. “Gợi ý đột biến” đóng vai trò then chốt ở đây, cung cấp hướng dẫn về cách đột biến để tăng cường “gợi ý giải pháp”.
Về bản chất, Promptbreeder là một hệ thống tự cải thiện, tự tham chiếu hoạt động trong phạm vi ngôn ngữ tự nhiên. Quan trọng là nó không yêu cầu tinh chỉnh phức tạp của mạng nơ-ron. Thay vào đó, nó tạo ra các gợi ý tùy chỉnh được tối ưu hóa tỉ mỉ cho các ứng dụng cụ thể.
Các thí nghiệm ban đầu đã mang lại kết quả khả quan. Promptbreeder đã vượt trội hơn tất cả các phương pháp gợi ý đương đại khác trong các nhiệm vụ toán học, logic, thông thường và phân loại ngôn ngữ, bao gồm cả việc xác định lời nói thù địch.
Nhìn về phía trước, Promptbreeder đang trải qua quá trình thử nghiệm nghiêm ngặt về khả năng tồn tại của nó trong việc xây dựng toàn bộ quá trình suy nghĩ. Điều này bao gồm việc khám phá chiến lược N-hint, trong đó các gợi ý được áp dụng có điều kiện, mở đường cho việc phát triển các chương trình tiền chương trình cho các chính sách LLM tham gia vào các cuộc đối thoại Socratic đối đầu.
Promptbreeder vẫn có những hạn chế khi so sánh với bản chất mở rộng của các quá trình suy nghĩ của con người. Cấu trúc gợi ý vẫn cố định và Promptbreeder chủ yếu điều chỉnh nội dung gợi ý, không phải thuật toán gợi ý. Suy nghĩ của con người bao gồm nhiều khía cạnh vượt ra ngoài ngôn ngữ, bao gồm ngữ điệu, hình ảnh và hệ thống đa phương thức mà Promptbreeder vẫn chưa có.
Đọc thêm các chủ đề liên quan:
- Hippocratic AI công bố mô hình ngôn ngữ tập trung vào an toàn với nguồn tài trợ 50 triệu đô la
- Lập trường cuối cùng của Google chống lại khoản tiền phạt chống độc quyền 2,6 tỷ đô la của EU được đưa lên Tòa án tối cao châu Âu
Bài đăng Google công bố mô hình AI tự cải thiện đầu tiên Promptbreeder có khả năng tiến hóa nhanh hơn con người hàng tỷ lần xuất hiện đầu tiên trên Metaverse Post .
