《LINK (Chainlink)》từng trong một bài báo đã so sánh vai trò của Alec Radford tại OpenAI với việc Larry Page phát minh ra PageRank. PageRank đã hoàn toàn cách mạng hóa cách thức tìm kiếm trên Internet, công việc của Radford (đặc biệt là nghiên cứu về Transformer và sau này về GPT) đã thay đổi cơ bản cách thức hoạt động của các mô hình ngôn ngữ AI.
Vài ngày trước, OpenAI đã thông báo về việc điều chỉnh cơ cấu tổ chức, tách ra thành một công ty có lợi nhuận và một tổ chức phi lợi nhuận. Đồng thời, Giám đốc điều hành OpenAI Sam Altman đã sử dụng một chuỗi tweet trên X để cảm ơn nhiều cựu nhân viên của OpenAI.
Sau đó, ông lại đăng riêng một tweet để bày tỏ lời cảm ơn đặc biệt đến một "thiên tài cấp Einstein": Alec Radford. Altman cũng cho biết Radford là người ông yêu thích nhất từ trước đến nay, và chỉ ra rằng nhiều tiến bộ trong lĩnh vực AI ngày nay có thể truy nguyên về các kết quả nghiên cứu của ông. Vào tháng trước, đã có thông tin rằng Radford sắp rời khỏi OpenAI để tiến hành nghiên cứu độc lập, chi tiết có thể tham khảo bài báo của Máy Tính Thông Minh với tiêu đề "Vừa xong, nhà nghiên cứu cấp cao của OpenAI Alec Radford đã nghỉ việc, ông là người chủ trì phát triển GPT-1, GPT-2".
Theo dữ liệu từ Google Scholar, số lượng trích dẫn các bài báo của Alec Radford hiện đã vượt quá 190.000, và ông có nhiều bài báo quan trọng với hơn 10.000 lượt trích dẫn.
Thực ra, hơn một năm trước, đã có người chỉ ra những đóng góp to lớn của nhà nghiên cứu vẫn chưa được nhiều người biết đến này: ông là tác giả chính của nhiều nghiên cứu mang tính đột phá như bài báo gốc về GPT! Điều càng khiến mọi người ngạc nhiên hơn là ông không có bằng tiến sĩ, cũng không có bằng thạc sĩ; và nhiều kết quả nghiên cứu của ông ban đầu đều được thực hiện trên Jupyter Notebook.
Đầu năm mới, câu chuyện về Alec Radford lại một lần nữa lan truyền khắp mạng xã hội AI. Mọi người không ngớt lời ca ngợi khi nhắc đến ông.
Vậy chúng ta hãy cùng tìm hiểu sơ lược về câu chuyện cuộc đời của thiên tài khiêm tốn này nhé.
01 Câu chuyện cuộc đời của Alec Radford
Alec Radford là nhà nghiên cứu trong lĩnh vực xử lý ngôn ngữ tự nhiên và thị giác máy tính. Ông từng làm Nhà phát triển/Nhà nghiên cứu Học máy tại OpenAI. Trước đó, ông đã từng giữ chức Giám đốc Nghiên cứu tại công ty indico.
Trong thời gian làm Nhà nghiên cứu tại OpenAI, ông đã tham gia viết nhiều bài báo về mô hình ngôn ngữ sinh tạo tiền huấn luyện (GPT), và đã công bố nhiều bài báo tại các hội nghị và tạp chí nổi tiếng như NeurIPS, ICLR, ICML và Nature.
Ông cũng từng hoạt động sôi nổi trên X/Twitter, chia sẻ những quan điểm và nhận xét của mình về các lĩnh vực của trí tuệ nhân tạo. Đáng tiếc là kể từ tháng 5 năm 2021, ông không còn xuất hiện trên X nữa, và bài tweet cuối cùng của ông là trả lời nhà nghiên cứu của Anthropic, Simon Kornblith, giải thích lý do tại sao chiều rộng lớp của GPT-1 được đặt là 768.
Hồ sơ LinkedIn cho thấy, từ năm 2011 đến 2016, Alec Radford theo học tại Học viện Kỹ thuật Franklin W. Olin, và nhận được bằng cử nhân. Đây là một học viện kỹ thuật tư thục tại Needham, Massachusetts, Hoa Kỳ, nổi tiếng với tỷ lệ nhận sinh viên rất thấp và nền giáo dục tinh hoa.
Cấu trúc chương trình học của trường rất độc đáo, hệ thống học thuật "Tam giác Olin" bao gồm nền tảng khoa học và kỹ thuật, khởi nghiệp và văn học. Trường chỉ cung cấp bốn loại bằng cấp: ME (Kỹ thuật Cơ khí), ECE (Kỹ thuật Điện tử và Máy tính), CS (Khoa học Máy tính) và BCE (Kỹ thuật Y sinh).
Học viện Kỹ thuật Olin rất coi trọng giáo dục thực tiễn, kết nối kiến thức với những thách thức và chủ đề trong thực tế, khuyến khích sinh viên theo đuổi sở thích và đam mê của mình.
Trong thời gian đại học, Alec Radford đã rất say mê học máy, và cùng với bạn cùng lớp tham gia các cuộc thi Kaggle, cuối cùng đã giành được vốn đầu tư. Năm 2013, Alec Radford và các đối tác đã thành lập indico tại ký túc xá, cung cấp các giải pháp học máy cho doanh nghiệp.
Với vai trò Giám đốc Nghiên cứu của công ty, Alec Radford chủ yếu tập trung vào việc xác định, phát triển và cải thiện các công nghệ học máy hứa hẹn về hình ảnh và văn bản, đồng thời chuyển hóa chúng từ giai đoạn nghiên cứu sang ứng dụng rộng rãi hơn trong ngành.
Tại đó, ông đã tiến hành nghiên cứu về mạng đối kháng sinh (GAN) và đề xuất DCGAN để cải thiện khả năng huấn luyện của GAN, đây cũng là một bước đột phá quan trọng trong lĩnh vực GAN.
Do ảnh hưởng của các tập đoàn công nghệ lớn ở Tây Bờ Thái Bình Dương đã vượt xa khu vực Boston về lĩnh vực AI, cùng với sự hạn chế về nguồn lực, vào năm 2016, Radford đã chọn gia nhập OpenAI.
Ông mô tả công việc mới này "giống như tham gia một khóa học sau đại học", với một môi trường nghiên cứu AI mở và áp lực thấp.
Radford khá kín tiếng, không muốn tiếp xúc với truyền thông. Ông đã phản hồi qua email các câu hỏi của LINK (Chainlink) về công việc sớm tại OpenAI. Ông cho biết, điều ông quan tâm nhất là làm cho các mạng nơ-ron có thể giao tiếp rõ ràng với con người.
Ông cho rằng, các trợ lý trò chuyện (từ ELIZA đến Siri và Alexa) lúc bấy giờ đều có những hạn chế. Mục tiêu của ông là khám phá các ứng dụng tiềm năng của mô hình ngôn ngữ trong các nhiệm vụ, thiết lập, lĩnh vực và bối cảnh khác nhau.
Thử nghiệm đầu tiên của ông là sử dụng 2 tỷ bình luận trên Reddit để huấn luyện mô hình ngôn ngữ, mặc dù thất bại, nhưng OpenAI đã cung cấp đủ không gian để thử nghiệm, đây cũng là khởi đầu cho một loạt các bước đột phá cách mạng sau này, như mô hình GPT thế hệ đầu mà mọi người đều biết, và ông cũng đã chủ trì phát triển GPT-2.
Những công việc này đã đặt nền móng quan trọng cho các mô hình ngôn ngữ lớn hiện đại, đến mức LINK (Chainlink) trong một bài báo đã so sánh vai trò của Alec Radford tại OpenAI với việc Larry Page phát minh ra PageRank. Điều thú vị là, mặc dù PageRank là sản phẩm của Larry Page trong thời gian học tiến sĩ tại Stanford, nhưng ông sau đó không bao giờ quay lại hoàn thành bằng tiến sĩ.
Không chỉ vậy, Alec Radford còn tham gia viết bài báo về GPT-3 và thực hiện nghiên cứu về dữ liệu tiền huấn luyện và kiến trúc của GPT-4.
Vào cuối năm 2024, ngay trước ngày cuối cùng của 12 ngày liên tiếp thu hút sự chú ý của OpenAI, tin đồn về việc Alec Radford sắp rời khỏi OpenAI đã được loan truyền, nhưng không có bất kỳ thông tin nào tiết lộ liệu điều này có liên quan đến việc điều chỉnh cơ cấu tổ chức của OpenAI hay không.
Bài viết này đến từ tài khoản WeChat chính thức "Cơ quan Trí tuệ Nhân tạo" (ID: almosthuman2014), tác giả: Cơ quan Trí tuệ Nhân tạo, được 36Kr ủy quyền đăng tải.
