Vào ngày 15, thông tin về một nhà nghiên cứu gia nhập OpenAI đã thu hút sự chú ý của nhiều người.
Nhà nghiên cứu này tên là James Campbell, người vừa mới theo học tiến sĩ khoa học máy tính tại CMU vào năm 2024. Hiện tại, anh đã đột ngột tuyên bố từ bỏ chương trình tiến sĩ và gia nhập OpenAI.
Trên mạng xã hội X, anh cho biết trọng tâm nghiên cứu của mình tại OpenAI là "AGI và bộ nhớ + nhân cách của ChatGPT", và bộ nhớ sẽ thay đổi hoàn toàn mối quan hệ giữa con người và trí tuệ máy móc". Anh sẽ nỗ lực để đảm bảo việc thực hiện điều này một cách chính xác.
Sự gia nhập của anh thậm chí đã nhận được sự chào đón từ Greg Brockman, nhà đồng sáng lập và chủ tịch của OpenAI.
Một số người còn hỏi, "Tại sao anh lại mất nhiều thời gian như vậy mới quyết định gia nhập OpenAI?"
Vậy, anh chàng này là ai? Tại sao sự gia nhập của anh lại thu hút nhiều sự chú ý như vậy? Hãy cùng xem lý lịch của anh.
Anh tốt nghiệp cử nhân tại Đại học Cornell, chuyên ngành toán học và khoa học máy tính. Trong thời gian học cử nhân, anh tập trung nghiên cứu về tính khả giải và tính chân thực của LLM, đồng thời là tác giả chính của hai bài báo "Representation Engineering" và "Localizing Lying in Llama".
Bài báo đầu tiên nghiên cứu về kỹ thuật biểu diễn: một phương pháp minh bạch AI từ trên xuống, còn bài sau nghiên cứu về việc xác định điểm dối trá trong Llama: thông qua việc nhắc nhở, thăm dò và sửa chữa để hiểu các chỉ thị không trung thực trong các câu hỏi đúng sai.
- Bài báo 1: Representation Engineering: A Top-Down Approach to AI Transparency, https://arxiv.org/abs/2310.01405
- Bài báo 2: Localizing Lying in Llama: Understanding Instructed Dishonesty on True-False Questions Through Prompting, Probing, and Patching, https://arxiv.org/abs/2311.15131
Anh còn làm việc tại Gray Swan AI (công ty an toàn AI) về khả năng chống chịu và đánh giá, đồng thời từng làm việc trong các lĩnh vực khoa học thần kinh tính toán, vật lý học và lý thuyết học sâu. Anh là người sáng lập ProctorAI (hệ thống AI đa phương thức giám sát trạng thái làm việc của người dùng), AI-Timeline.org, và là đồng tác giả của AidanBench (bài kiểm tra điểm chuẩn mô hình AI).
Trong đó, ProctorAI đã từng gây ra nhiều cuộc tranh luận, hệ thống này giám sát màn hình của người dùng và nếu phát hiện ra bạn đang trì hoãn, nó sẽ nhắc nhở bạn. Nguyên lý hoạt động của nó là chụp ảnh màn hình máy tính cứ sau vài giây và đưa vào các mô hình đa phương thức lớn như Claude 3.5 Sonnet, GPT-4o, LLaVA 1.5. Nếu phát hiện người dùng không tập trung, nó sẽ kiểm soát màn hình và gửi thông báo cá nhân hóa để nhắc nhở.
Địa chỉ dự án: https://github.com/jam3scampbell/ProctorAI
Năm 2024, anh bắt đầu học tiến sĩ tại CMU, trọng tâm nghiên cứu là hiểu các yếu tố cấu thành trí tuệ chung và đảm bảo tính an toàn của các yếu tố này.
Giờ đây, anh đã chọn gia nhập OpenAI, bắt đầu khám phá trong lĩnh vực công nghiệp.
Thực ra, việc James Campbell gia nhập có dấu hiệu từ trước. Vài ngày trước, khi OpenAI thông báo thành lập nhóm nghiên cứu hành vi mô hình, hai bên đã bắt đầu tương tác.
Trước đó, James Campbell đã từng đưa ra một số quan điểm về bộ nhớ của ChatGPT.
Anh đồng ý rằng cần nghiên cứu về bộ nhớ của ChatGPT và vấn đề ảo giác mạnh mà nó gây ra, và cho rằng ô nhiễm ngữ cảnh và sự sụp đổ mô hình là có thực, nhưng hiện tại việc nghiên cứu về chúng còn rất ít. Nếu nhét vào mỗi lời nhắc hàng ngàn token bộ nhớ, chúng sẽ trở nên hoạt động hơn.
Có vẻ như việc James Campbell gia nhập là một sự kết nối hai chiều.
Bài viết này đến từ trang WeChat "Máy móc" (ID: almosthuman2014), tác giả: Du Wei, được 36kr ủy quyền đăng tải.
