Tập trung vào
OpenAI đã tiến hành hai đợt đào tạo quy mô lớn về GPT-5 và tiến độ phát triển hiện tại chậm hơn nửa năm so với kế hoạch ban đầu.
Mỗi đợt đào tạo GPT-5 mất hàng tuần, thậm chí hàng tháng và chi phí tính toán trong 6 tháng có thể lên tới 500 triệu USD.
OpenAI đang tận dụng mô hình o1 để tạo dữ liệu tổng hợp nhằm làm phong phú thêm dữ liệu dùng để huấn luyện GPT-5.
Các nhà nghiên cứu của OpenAI nhận thấy rằng việc để các mô hình ngôn ngữ lớn học cách “suy nghĩ” thông qua “lý luận” sẽ khiến chúng thông minh hơn.
Theo tin tức ngày 22 tháng 12, do chi phí tính toán cao và sự khan hiếm dữ liệu đào tạo chất lượng cao, OpenAI đang tụt hậu so với kế hoạch ban đầu trong việc thúc đẩy phát triển mẫu hàng đầu thế hệ tiếp theo GPT-5. Tính đến nay, OpenAI đã triển khai ít nhất hai vòng đào tạo quy mô lớn về GPT-5, nhằm tối ưu hóa hiệu suất mô hình với sự trợ giúp của nguồn dữ liệu khổng lồ. Tuy nhiên, tốc độ chạy thực tế của lần huấn luyện đầu tiên không đạt được tiêu chuẩn mong đợi, khiến những nỗ lực huấn luyện lớn hơn không chỉ kéo dài mà còn tốn kém. Mặc dù GPT-5 đã cải thiện hiệu suất so với phiên bản tiền nhiệm nhưng cải tiến này vẫn chưa đủ để chứng minh đầy đủ liệu chi phí khổng lồ để duy trì hoạt động của mẫu xe này có xứng đáng hay không.
Về mặt thu thập dữ liệu, OpenAI đã áp dụng chiến lược đa dạng, không chỉ dựa vào tài nguyên dữ liệu công cộng và thỏa thuận cấp phép mà còn tích cực tuyển dụng nhân sự để tạo ra tài nguyên dữ liệu mới một cách sáng tạo bằng cách viết mã hoặc giải các bài toán. Ngoài ra, công ty cũng tạo ra dữ liệu tổng hợp với sự trợ giúp của một mô hình khác có tên o1 để làm phong phú thêm tập dữ liệu của mình. Do GPT-5 có thể gặp khó khăn trong việc tái tạo những đột phá về hiệu suất đáng kể mà người tiền nhiệm đã đạt được, OpenAI hiện đang tích cực tìm kiếm và khám phá các hướng chiến lược mới.
01 Kế hoạch phát triển đã chậm tiến độ nửa năm, chậm 6 tháng và đã chi 500 triệu đô la Mỹ
Tên chính thức của dự án trí tuệ nhân tạo mới của OpenAI là GPT-5 và mã nội bộ là "Orion". Công ty đã phát triển nó trong 18 tháng và đặt mục tiêu đạt được bước tiến lớn trong công nghệ ChatGPT. Theo những người quen thuộc với vấn đề này, Microsoft, đối tác và nhà đầu tư lớn của OpenAI, ban đầu dự kiến sẽ thấy mô hình mới ra mắt vào giữa năm 2024.
OpenAI đã thực hiện ít nhất lần khóa đào tạo quy mô lớn cho Orion, lần cần vài tháng để xử lý lượng dữ liệu khổng lồ nhằm cải thiện trí thông minh của Orion. Tuy nhiên, theo người trong nội bộ dự án, lần đào tạo lại gặp phải những vấn đề mới, dẫn đến mức độ thông minh của phần mềm không bao giờ đạt được kỳ vọng của các nhà nghiên cứu.
Các nhà nghiên cứu cho biết ngay cả trong những trường hợp tối ưu, hiệu suất của Orion vẫn được cải thiện so với mô hình hiện tại của OpenAI, nhưng sự cải thiện đó chưa đủ để bù đắp hoàn toàn cho chi phí vận hành cao của nó. Dựa trên các ước tính công và tư về các khía cạnh khác nhau của đào tạo, chi phí tính toán có thể lên tới khoảng 500 triệu USD chỉ cho chu kỳ đào tạo sáu tháng.
Hai năm trở lại đây, OpenAI và Giám đốc điều hành Sam Altman đã ra mắt ChatGPT, điều này đã gây chấn động lớn ở Thung lũng Silicon và báo trước rằng lĩnh vực trí tuệ nhân tạo sẽ tiếp tục cho thấy những tiến bộ đáng kinh ngạc và ảnh hưởng sâu sắc đến cuộc sống của chúng ta về mọi mặt. Các nhà phân tích dự đoán rằng những gã khổng lồ công nghệ có thể đầu tư tới 1 nghìn tỷ USD vào các dự án trí tuệ nhân tạo trong vài năm tới.
Lưu ý: Đồng sáng lập và Giám đốc điều hành OpenAI Altman dự đoán rằng GPT-5 sẽ đại diện cho một "bước nhảy vọt lớn"
Những hy vọng cao này chủ yếu tập trung vào OpenAI, một công ty khởi nghiệp đi đầu trong làn sóng trí tuệ nhân tạo. Vào tháng 10 năm nay, các nhà đầu tư đã định giá OpenAI lên tới 157 tỷ USD, mức định giá chủ yếu dựa trên dự đoán của Altman rằng GPT-5 sẽ đạt được “bước nhảy vọt đáng kể” trong nhiều lĩnh vực và nhiệm vụ khác nhau.
GPT-5 được thiết kế để thúc đẩy những khám phá khoa học mới và thực hiện nhiệm vụ hàng ngày của con người, chẳng hạn như đặt lịch hẹn hoặc đặt chuyến bay. Các nhà nghiên cứu hy vọng nó sẽ mắc ít lỗi hơn các hệ thống AI hiện tại hoặc ít nhất có thể thừa nhận những nghi ngờ về câu trả lời của mình – một thách thức đối với các mô hình hiện tại vì đôi khi chúng tạo ra cái gọi là “ảo giác”.
Các chatbot AI chạy trên một công nghệ cơ bản được gọi là mô hình ngôn ngữ lớn (LLM). Người tiêu dùng, doanh nghiệp và cơ quan chính phủ đã dựa vào họ trong mọi việc, từ viết mã máy tính đến hoàn thiện bản sao tiếp thị cho đến các bên lập kế hoạch. Dự án hiện tại của OpenAI là GPT-4, mô hình ngôn ngữ lớn thứ tư mà công ty đã phát triển kể từ khi thành lập vào năm 2015.
Theo một cựu giám đốc điều hành của OpenAI, trong khi GPT-4 hoạt động tốt như một học sinh trung học thông minh, thì GPT-5 thực sự có thể đạt được khả năng cấp tiến sĩ trong một số nhiệm vụ. Đầu năm nay, Altman nói với các sinh viên tại một buổi nói chuyện tại Đại học Stanford rằng OpenAI có thể “xác định một cách khoa học cao” rằng GPT-5 sẽ thông minh hơn đáng kể so với các mẫu hiện tại.
Tuy nhiên, không có tiêu chuẩn nào được đặt ra khi một mẫu xe trở nên đủ thông minh để được đặt tên là GPT-5. OpenAI có thể kiểm tra các mô hình ngôn ngữ lớn trong các lĩnh vực như toán học và mã hóa. Nhưng liệu một mẫu xe có đủ thông minh để được gọi là GPT-5 hay không phụ thuộc phần lớn vào trực giác của các giám đốc điều hành công ty, hay như nhiều chuyên gia công nghệ gọi nó là “cảm giác”.
Tính đến nay, tình hình không hề lạc quan. OpenAI và Microsoft từ chối bình luận. Vào tháng 11 năm nay, Altman cho biết công ty khởi nghiệp sẽ không ra mắt bất kỳ sản phẩm nào có tên GPT-5 vào năm 2024.
02 Việc đào tạo một mô hình mới có thể tốn gấp 10 lần chi phí và mất vài tháng
Kể từ khi ra mắt GPT-4 vào tháng 3 năm 2023, OpenAI đã tham gia vào quá trình nghiên cứu và phát triển GPT-5. Các chuyên gia lâu năm tham gia nghiên cứu trí tuệ nhân tạo chỉ ra rằng việc phát triển các hệ thống như mô hình ngôn ngữ lớn vừa là khám phá khoa học, vừa là sáng tạo nghệ thuật.
Trong giai đoạn huấn luyện, mô hình trải qua quá trình thử nghiệm liên tục. Trong quá trình dài này, mô hình nhận được đầu vào từ hàng nghìn tỷ đoạn từ được gọi là "mã thông báo". Một buổi đào tạo quy mô lớn có thể kéo dài hàng tháng trong dữ liệu được trang bị hàng nghìn chip máy tính đắt tiền và có nhu cầu cao, thường có nguồn gốc từ Nvidia.
Trong một buổi đào tạo, các nhà nghiên cứu làm việc trước máy tính trong nhiều tuần hoặc thậm chí nhiều tháng, cố gắng đưa phần lớn kiến thức của thế giới vào một hệ thống trí tuệ nhân tạo dựa trên một số máy móc đắt tiền nhất đặt trong các thiết bị dữ liệu cứng từ xa.
Chú thích: Các tham số lặp lại mô hình OpenAI GPT thay đổi, trong đó tham số GPT-1 là 117 triệu, GPT-2 là 1,5 tỷ, GPT-3 là 175 tỷ và GPT-4 tăng lên 1,76 nghìn tỷ
Altman đã công khai tuyên bố rằng chi phí đào tạo của GPT-4 vượt quá 100 triệu USD và dự kiến chi phí đào tạo mô hình trí tuệ nhân tạo trong tương lai sẽ lên tới hơn 1 tỷ USD. Một cuộc huấn luyện thất bại giống như một tên lửa vũ trụ phát nổ trên không trung ngay sau khi cất cánh. Sự mất mát to lớn và đau lòng.
Để giảm rủi ro thất bại này, các nhà nghiên cứu đã áp dụng chiến lược thận trọng hơn là tiến hành các thí nghiệm thí điểm hoặc chạy thí điểm ở quy mô nhỏ hơn trước các thí nghiệm quy mô lớn hơn.
Tuy nhiên, GPT-5 đã phải đối mặt với nhiều thách thức ngay từ khi bắt đầu dự án.
Vào giữa năm 2023, OpenAI đã triển khai một buổi huấn luyện, đây cũng là buổi thử nghiệm chiến đấu thực tế đầu tiên của thiết kế Orion mới. Tuy nhiên, quá trình đào tạo diễn ra cực kỳ chậm, cho thấy việc đào tạo trên quy mô lớn hơn có thể mất thời gian cực kỳ dài, khiến chi phí tăng vọt đến mức đáng kinh ngạc. Dự án mang tên Arrakis đã không diễn ra suôn sẻ và nó cho thấy quá trình tạo ra GPT-5 sẽ không suôn sẻ như mong đợi.
Đối diện tình thế khó xử này, các nhà nghiên cứu tại OpenAI đã quyết định thực hiện một số điều chỉnh kỹ thuật cho Orion để nâng cao hiệu suất của nó. Đồng thời, họ cũng nhận ra rằng để nâng cao độ chính xác và khả năng khái quát hóa của mô hình, họ cần thu thập dữ liệu đa dạng hơn và chất lượng cao hơn. Theo quan điểm của họ, chỉ dựa vào dữ liệu trên Internet công cộng là không đủ.
Truyền thuyết: Jensen Huang, Giám đốc điều hành của Nvidia, công ty sản xuất hầu hết các chip đào tạo trí tuệ nhân tạo
Nói chung, lượng dữ liệu mà mô hình AI xử lý càng lớn thì khả năng của nó sẽ càng mạnh. Đối với các mô hình ngôn ngữ lớn, dữ liệu này chủ yếu đến từ sách, ấn phẩm học thuật và các tài nguyên giáo dục mở khác. Những tài liệu này giúp người mẫu thể hiện bản thân chính xác hơn và thành thạo hơn trong nhiệm vụ khác nhau.
Khi xây dựng các mô hình trước đó, OpenAI chủ yếu sử dụng dữ liệu được lấy từ Internet, bao gồm các bài báo, bài đăng trên mạng xã hội và bài báo khoa học. Tuy nhiên, để cải thiện hơn nữa mức độ thông minh của Orion, OpenAI cần làm cho nó có quy mô lớn hơn, điều đó có nghĩa là cần nhiều dữ liệu hơn để hỗ trợ nó, nhưng lượng dữ liệu hiện tại là chưa đủ.
Ari Morcos, Giám đốc điều hành của DatologyAI, một công ty khởi nghiệp đang phát triển các công cụ để tối ưu hóa việc lựa chọn dữ liệu , cho biết: “Quy trình này trở nên rất tốn kém và rất khó tìm được dữ liệu có chất lượng tương tự”. Mokos đang cố gắng xây dựng các mô hình sử dụng ít dữ liệu hơn nhưng chất lượng cao hơn, một phương pháp mà ông cho rằng sẽ mang lại lợi thế cho các hệ thống AI hiện tại so với các chiến lược được tất cả các công ty AI hàng đầu như OpenAI sử dụng.
Giải pháp của OpenAI là tạo dữ liệu từ đầu. Họ đang thuê người viết mã phần mềm mới hoặc giải các bài toán cho Orion học. Những nhân viên này, nhiều người trong đó họ là kỹ sư phần mềm và nhà toán học, cũng sẽ chia sẻ ý tưởng làm việc và phương pháp giải quyết vấn đề của họ với Orion. Nhiều nhà nghiên cứu cho rằng rằng mã là ngôn ngữ phần mềm giúp các mô hình ngôn ngữ lớn giải quyết các vấn đề mà chúng chưa gặp phải.
Chú thích: Tại khu vực văn phòng của OpenAI, nhân viên thường đắm chìm trong việc đào tạo trí tuệ nhân tạo trong nhiều tuần hoặc nhiều tháng.
Khuyến khích mọi người trình bày rõ ràng quá trình suy nghĩ của họ có thể làm tăng đáng kể giá trị của dữ liệu mới được tạo ra. Các mô hình ngôn ngữ lớn cần phải tiếp thu liên tục các tài liệu ngôn ngữ phong phú, đây cũng là tài tham khảo và cơ sở quan trọng để chúng giải quyết các vấn đề tương tự trong tương lai.
Turing là công ty tập trung vào cơ sở hạ tầng trí tuệ nhân tạo và duy trì mối quan hệ hợp tác chặt chẽ với những gã khổng lồ công nghệ như OpenAI và Meta. Jonathan Siddharth, Giám đốc điều hành và đồng sáng lập của công ty cho biết: “Chúng tôi đang nỗ lực chuyển trí thông minh của con người từ bộ não sang bộ não máy móc”.
Theo các giám đốc điều hành của Turing, trong quá trình đào tạo trí tuệ nhân tạo, các kỹ sư phần mềm có thể được yêu cầu viết một chương trình để giải quyết một cách hiệu quả một vấn đề logic phức tạp; trong khi các nhà toán học có thể được yêu cầu tính toán chiều cao tối đa của một triệu quả bóng rổ mà kim tự tháp có thể đạt được. với tới. Câu trả lời cho những câu hỏi này—và quan trọng nhất là phương pháp để có được chúng—sau đó được tích hợp vào tài liệu đào tạo AI.
Ngoài ra, OpenAI còn hợp tác với các chuyên gia về vật lý lý thuyết và các lĩnh vực khác để hỏi họ cách giải quyết những vấn đề khó khăn nhất trong lĩnh vực tương ứng của họ. Những sự hợp tác này cũng giúp Orion trở nên thông minh hơn.
Tuy nhiên, quá trình này diễn ra cực kỳ chậm. GPT-4 đã được đào tạo trên khoảng 13 nghìn tỷ mã thông báo. Nếu 1.000 người mỗi ngày viết 5.000 từ thì sẽ mất vài tháng để tích lũy được 1 tỷ Token.
Để đẩy nhanh quá trình đào tạo, OpenAI bắt đầu phát triển cái gọi là "dữ liệu tổng hợp", tức là dữ liệu được tạo ra bằng phương pháp trí tuệ nhân tạo để hỗ trợ đào tạo Orion. Nhưng nghiên cứu cho thấy vòng phản hồi này, trong đó AI tạo ra dữ liệu để đào tạo AI, thường gây ra trục trặc hoặc tạo ra các câu trả lời vô lý.
Theo những người quen thuộc với vấn đề này, các nhà khoa học của OpenAI cho rằng họ có thể tránh được những vấn đề này bằng cách tận dụng dữ liệu được tạo ra bởi một mô hình trí tuệ nhân tạo khác của công ty, được gọi là o1. Tuy nhiên, nhiệm vụ vốn đã khó khăn của OpenAI lại trở nên phức tạp do tình trạng bất ổn nội bộ và việc các đối thủ cạnh tranh tiếp tục săn trộm các nhà nghiên cứu hàng đầu của nó. Những đối thủ cạnh tranh này đôi khi thậm chí còn đưa ra mức lương hàng năm lên tới hàng triệu đô la cho các nhà nghiên cứu OpenAI.
Năm ngoái, Altman đã bị sa thải khỏi ban giám đốc OpenAI, một vụ việc khiến nhiều nhà nghiên cứu nghi ngờ về tương lai của OpenAI. Nhưng may mắn thay, Altman đã sớm trở lại vị trí CEO và bắt đầu cải cách cơ cấu quản trị của OpenAI.
OpenAI đã mất hơn 20 giám đốc điều hành, nhà nghiên cứu chủ chốt và nhân viên lâu năm trong năm nay, trong đó người đồng sáng lập kiêm nhà khoa học trưởng Ilya Sutskever và giám đốc công nghệ Mira Mulati Murati). Hôm thứ Năm, Alec Radford, một nhà nghiên cứu có uy tín và là tác giả chính của một số bài báo khoa học OpenAI, cũng tuyên bố rời đi sau khi làm việc tại OpenAI được khoảng 8 năm.
03 GPT-5 phải đối mặt với sự cạnh tranh trong và ngoài nước và gặp phải một trở ngại khác trong đợt đào tạo quy mô lớn lần
Đến đầu năm 2024, các nhà điều hành OpenAI bắt đầu cảm thấy áp lực chưa từng có. GPT-4 đã ra mắt được một năm và các đối thủ đang nhanh chóng tiếp cận. Mẫu xe mới do Anthropic tung ra đã nhận được đánh giá cao trong ngành và thậm chí còn cho rằng vượt qua GPT-4. Vài tháng sau, Google ra mắt NotebookLM, một ứng dụng trí tuệ nhân tạo mới đã thu hút nhiều sự chú ý trong năm nay.
Khi quá trình phát triển của Orion gặp phải tắc nghẽn, OpenAI đã phải chuyển hướng năng lượng sang các dự án và ứng dụng khác, chẳng hạn như tung ra phiên bản đơn giản hóa của GPT-4 và công cụ video do trí tuệ nhân tạo Sora tạo ra. Theo những người quen thuộc với vấn đề này, điều này đã dẫn đến sự cạnh tranh giữa đội ngũ phát triển sản phẩm mới và các nhà nghiên cứu Orion vì nguồn tài nguyên máy tính hạn chế.
Lưu ý: Google là một trong những đối thủ mạnh của OpenAI đang tranh giành vị trí chủ đạo trong lĩnh vực trí tuệ nhân tạo
Đồng thời, sự cạnh tranh giữa các phòng thí nghiệm AI khác nhau đã trở nên khốc liệt đến mức các công ty công nghệ lớn xuất bản ít bài báo về những khám phá hoặc đột phá mới nhất so với mức trung bình trong lĩnh vực khoa học. Hai năm trước, khi lượng lớn đổ vào thị trường, các công ty công nghệ bắt đầu coi những phát hiện này là bí mật thương mại được bảo vệ chặt chẽ. Một số nhà nghiên cứu coi trọng vấn đề này đến mức họ sẽ không bao giờ làm việc trên máy bay, trong quán cà phê hoặc bất cứ nơi nào mà ai đó có thể theo dõi công việc của họ.
Thái độ bí mật này đã khiến nhiều nhà nghiên cứu AI lâu năm thất vọng, trong đó Yann LeCun, nhà khoa học AI trưởng của Meta. Yang Likun cho rằng rằng công việc của OpenAI và Anthropic không còn là nghiên cứu thuần túy nữa mà là "phát triển sản phẩm tiên tiến". Ông phát biểu tại một hội nghị trí tuệ nhân tạo gần đây: “Nếu bạn thực hiện nó dưới áp lực thời gian thương mại thì đó không phải là nghiên cứu. Nếu nó được thực hiện bí mật thì đó cũng không phải là nghiên cứu”.
Vào đầu năm 2024, OpenAI có kế hoạch thử đào tạo lại Orion và trang bị cho nó dữ liệu tốt hơn. Các nhà nghiên cứu đã tiến hành lần buổi đào tạo quy mô nhỏ trong vài tháng đầu năm để tạo dựng sự tự tin. Đến tháng 5, các nhà nghiên cứu tại OpenAI quyết định họ đã sẵn sàng cho một đợt đào tạo quy mô lớn khác cho Orion, dự kiến kéo dài đến tháng 11.
Tuy nhiên, không lâu sau khi bắt đầu đào tạo, các nhà nghiên cứu OpenAI đã gặp phải một vấn đề hóc búa: họ nhận thấy dữ liệu không đa dạng như mong đợi, điều này có thể hạn chế rất nhiều khả năng học tập của Orion. Vấn đề này không rõ ràng trong giai đoạn đào tạo quy mô nhỏ, nhưng nó dần dần nổi lên khi quá trình đào tạo quy mô lớn tiến triển. Với lượng lớn thời gian và tiền bạc đã đầu tư, OpenAI không thể dễ dàng bắt đầu lại.
Để giải quyết thách thức này, các nhà nghiên cứu đang khẩn trương tìm kiếm nhiều nguồn dữ liệu hơn trong quá trình đào tạo, với hy vọng cung cấp thông tin phong phú hơn cho mô hình. Tuy nhiên, vẫn chưa chắc chắn liệu chiến lược này có đạt được kết quả đáng kể hay không. Trong OpenAI, một số người cho rằng các vấn đề của Orion là dấu hiệu cho thấy chiến lược ngày càng nhiều đã thúc đẩy thành công ban đầu của OpenAI đang bị suy giảm.
Trên thực tế, OpenAI không phải là công ty duy nhất lo lắng về tiến bộ công nghệ gặp phải những điểm nghẽn. Trong toàn ngành công nghiệp AI, cuộc tranh luận đang ngày càng gay gắt về việc liệu sự phát triển của AI đã bắt đầu chững lại hay chưa.
Lưu ý: Ilya Sutskvi đã từ chức nhà khoa học trưởng của OpenAI trong năm nay
Suzkovi gần đây đồng sáng lập một công ty trí tuệ nhân tạo mới có tên là Siêu trí tuệ an Safe (SSI). Tại một hội nghị về trí tuệ nhân tạo gần đây, ông tuyên bố rằng kỷ nguyên tối đa hóa dữ liệu đã kết thúc. “Dữ liệu sẽ không tăng trưởng vô hạn vì chúng ta chỉ có một mạng Internet,” ông thừa nhận với các nhà nghiên cứu, chuyên gia chính sách và nhà khoa học có mặt. “Bạn thậm chí có thể nói rằng dữ liệu là nhiên liệu hóa thạch của trí tuệ nhân tạo. Và giờ đây, nhiên liệu này đã bắt đầu. khô đi."
04 Mô hình suy luận mang lại hy vọng mới, các nhà nghiên cứu Apple đặt câu hỏi
Khi dự án Orion tiến triển, các nhà nghiên cứu OpenAI đã khám phá một cách mới để làm cho các mô hình ngôn ngữ lớn trở nên thông minh hơn: suy luận. Họ nhận thấy rằng bằng cách cho các mô hình ngôn ngữ lớn thời gian "suy nghĩ" lâu hơn, các mô hình có thể giải quyết các vấn đề mà chúng chưa được đào tạo cụ thể.
Trong OpenAI, mô hình o1 đóng vai trò quan trọng. Nó cung cấp nhiều câu trả lời có thể có cho mỗi câu hỏi và thực hiện phân tích chuyên sâu các câu trả lời này để tìm ra giải pháp tối ưu. o1 không chỉ có khả năng thực hiện nhiệm vụ phức tạp như viết kế hoạch kinh doanh hay thiết kế trò chơi ô chữ mà còn có thể giải thích quy trình suy luận của mình, giúp mô hình rút ra kiến thức từ mỗi câu trả lời.
Tuy nhiên, một bài báo gần đây của các nhà nghiên cứu Apple đã đặt ra nghi ngờ về mô hình suy luận. Họ cho rằng các mô hình suy luận, bao gồm o1, phần lớn bắt chước dữ liệu mà chúng tiếp xúc trong quá trình đào tạo, thay vì thực sự có khả năng giải quyết các vấn đề mới. Apple chỉ ra rằng khi vấn đề được sửa đổi một chút, chẳng hạn như thêm các chi tiết không liên quan, hiệu suất của các mẫu máy này "giảm một cách thảm hại". Ví dụ: khi điều chỉnh một bài toán liên quan đến quả kiwi, mô hình có thể không nhận thấy chi tiết rằng một số quả nhỏ hơn những quả khác.
Mặc dù vậy, OpenAI đã phát hành phiên bản xem trước của mô hình suy luận o1 vào tháng 9 năm nay và ra mắt phiên bản đầy đủ của o1 vào đầu tháng này. Nhưng điều đáng nói là tất cả sức mạnh tính toán và xử lý bổ sung này đều đi kèm với chi phí cao hơn. OpenAI hiện cần tạo ra nhiều câu trả lời cho một truy vấn thay vì chỉ một câu hỏi, điều này làm tăng thêm gánh nặng tài chính cho hoạt động của nó.
Trong một cuộc nói chuyện TED gần đây, Noam Brown, nhà khoa học nghiên cứu cấp cao tại OpenAI, đã giải thích những lợi ích đáng kể của suy luận. Ông nói: “Chúng tôi nhận thấy rằng việc yêu cầu robot suy nghĩ trong 20 giây khi chơi bài poker có thể đạt được sự cải thiện hiệu suất tương tự như việc tăng kích thước mô hình lên 100.000 lần và kéo dài thời gian huấn luyện lên 100.000 lần.”
Hoàn toàn có khả năng một mô hình suy luận tiên tiến và hiệu quả hơn sẽ trở thành nền tảng cốt lõi của dự án Orion. Các nhà nghiên cứu tại OpenAI đang khám phá hướng đi này và hy vọng có thể kết hợp phương pháp suy luận này với phương pháp truyền thống để thu thập thêm dữ liệu . Dữ liệu mới này có thể một phần đến từ các mô hình trí tuệ nhân tạo khác của OpenAI. OpenAI sau đó cũng có kế hoạch tận dụng dữ liệu do con người tạo ra để tối ưu hóa và hoàn thiện những kết quả này.
Tại cuộc họp báo ngày 20 tháng 12, giờ địa phương ở Hoa Kỳ, Altman đã công bố kế hoạch mô hình suy luận mới. Theo ông, mô hình mới này sẽ thông minh hơn bất kỳ mô hình nào được OpenAI phát hành trước đó. Tuy nhiên, ông không tiết lộ khi nào mẫu xe mới sẽ ra mắt hay liệu nó có được đặt tên là GPT-5 hay không. (Tencent Technology do Jinlu biên soạn đặc biệt)
Bài viết này xuất phát từ tài khoản công khai WeChat "Tencent Technology" , tác giả: Tencent Technology và 36 Krypton được xuất bản với sự cho phép.