tác giả: elizeliu
Bản gốc: R3PO
Gần đây xuất hiện làn sóng đầu tư và mua lại trong lĩnh vực AI. Salesforce, một công ty nổi tiếng thế giới, đã đầu tư 450 triệu USD vào Anthropic, trong khi Runway huy động thành công 141 triệu USD tài trợ. Ngoài ra, Snowflake cũng tuyên bố hoàn tất thương vụ mua lại Neeva, trong khi gã khổng lồ nội địa Trung Quốc Meituan mua lại công ty AI Light Years Away với giá 2,065 tỷ đồng.
Tuy nhiên, giao dịch nổi bật nhất chắc chắn là việc mua lại công ty khởi nghiệp KhảmML. Điều này được hiểu rằng, MossML đã được gã khổng lồ dữ liệu lớn Databricks mua lại với giá xấp xỉ 1,3 tỷ USD , giá trị của nó đã tăng gấp sáu lần trong giao dịch này, trở thành thương vụ mua lại lớn nhất trong nửa đầu năm nay. Nó chỉ mới thành lập được 2 năm và có hơn 60 nhân viên. Điều gì hỗ trợ cho việc định giá cao của KhảmML?
Databricks mua lại KhảmML để đẩy nhanh quá trình dân chủ hóa công nghệ AI tổng hợp
Databricks gần đây đã chính thức thông báo rằng họ đã mua lại KhảmML, một công ty khởi nghiệp về trí tuệ nhân tạo sáng tạo, với giá khoảng 1,3 tỷ USD(khoảng 9,3 tỷ nhân dân tệ) để cung cấp dịch vụ xây dựng các công cụ giống ChatGPT cho doanh nghiệp.
Sau khi mua lại, KhảmML sẽ trở thành một phần của nền tảng Databricks Lakehouse. Toàn bộ đội ngũ và công nghệ của KhảmML sẽ được tích hợp vào Databricks, cung cấp cho doanh nghiệp một nền tảng thống nhất để quản lý tài sản dữ liệu và có thể sử dụng dữ liệu độc quyền của riêng họ để xây dựng, sở hữu và bảo vệ nó Mô hình AI sáng tạo của riêng bạn.
KhảmML là một công ty AI có thế hệ còn rất trẻ, được thành lập tại San Francisco vào năm 2021. Công ty mới chỉ tiết lộ công khai một vòng huy động vốn và chỉ có 62 nhân viên. Trong vòng huy động vốn gần đây nhất, định giá của nó là 220 triệu USD, điều đó có nghĩa là định giá của KhảmML đã tăng trực tiếp lên 6 lần. Giao dịch này là thương vụ mua lại lớn nhất được công bố trong lĩnh vực AI tổng hợp tính đến thời Tính đến hiện tại trong năm nay. Cách đây không lâu, gã khổng lồ điện toán đám mây Snowflake vừa tuyên bố mua lại Neeva, một công ty AI khác. Sau nhiều tháng đầu tư điên cuồng, một làn sóng mua lại doanh nghiệp quy mô lớn của các công ty khởi nghiệp AI có tính sáng tạo dường như đang bắt đầu.
Databricks có nguồn gốc từ UC Berkeley và tham gia phát triển dự án Apache Spark. Là một gã khổng lồ về lưu trữ và phân tích dữ liệu , nó được định giá 31 tỷ USD Tính đến 2022 và giúp các công ty lớn như AT&T, Shell và Walgreens xử lý dữ liệu. Cách đây một thời gian, chúng tôi vừa mở nguồn mô hình lớn Dolly của riêng mình, nhằm mục đích đạt được hiệu ứng tương tự như ChatGPT với ít tham số hơn. Sau khi điện toán đám mây trở nên phổ biến hơn, khái niệm “hồ và kho tích hợp” do Spark đề xuất đã ảnh hưởng sâu sắc đến một số công ty khởi nghiệp dữ liệu lớn. Kể từ khi thành lập vào năm 2013, Databricks đã nhanh chóng phát triển thành công ty Data Infra phổ biến nhất trên thế giới. Năm ngoái, Databricks đã báo cáo thu nhập hàng năm hơn 1 tỷ USD và sau khi hoàn thành vòng cấp huy động vốn mới nhất vào tháng 8 năm 2021, mức định giá mới nhất của nó đã đạt 38 tỷ USD.
Ưu điểm của mô hình sê-ri MPT khảmML
Sê-Ri mô hình MPT của KhảmML được phân lớp từ lớp cơ sở HuggingFace PretrainedModel và hoàn toàn tương thích với hệ sinh thái HuggingFace. Mô hình MPT-7B là một trong những mô hình phổ biến nhất của KhảmML, với hàng tỷ tham số và có thể xử lý hơn 2.000 tác vụ xử lý ngôn ngữ tự nhiên. Trong số đó, lớp tối ưu hóa của MPT-7B bao gồm FlashAttention và các định mức lớp có độ chính xác thấp, có thể giúp mô hình nhanh hơn 2-7 lần so với phương pháp đào tạo truyền thống. Đào tạo trong vài giờ, không phải vài ngày. KhảmML cũng đã phát hành một mô hình ngôn ngữ lớn nguồn mở MPT-30B mới có sẵn trên thị trường, có 30 tỷ tham số và hoạt động tốt hơn GPT-3.
Nguồn dữ liệu: Đánh giá MT-Bench của các mô hình chính thống của KhảmML
Ưu điểm của sê-ri máy MPT là hiệu quả cao và chi phí thấp. Độ phức tạp của các mô hình trí tuệ nhân tạo được "đào tạo" bằng cách sử dụng lượng lớn dữ liệu tăng đáng kể và việc đào tạo một mô hình hiện nay tiêu tốn ít nhất hàng triệu USD, khiến các doanh nghiệp vừa và nhỏ thường không đủ khả năng chi trả, ngoại trừ các công ty lớn. Các mô hình sê-ri MPT của KhảmML cho phép các công ty đào tạo mô hình ngôn ngữ của riêng họ với chi phí thấp hơn và hiệu quả cao hơn, giúp áp dụng công nghệ AI tổng quát dễ dàng hơn và đạt được hiệu quả việc kinh doanh tốt hơn. Hầu hết các mô hình ngôn ngữ nguồn mở chỉ có thể xử lý các chuỗi lên tới vài nghìn mã thông báo (xem Hình 1). Tuy nhiên, với nền tảng KhảmML và một nút 8xA100-40GB, người dùng có thể dễ dàng tinh chỉnh MPT-7B để xử lý độ dài ngữ cảnh lên tới 65k. Khả năng xử lý việc thích ứng độ dài ngữ cảnh cực độ này đến từ ALiBi, một trong những lựa chọn kiến trúc quan trọng trong MPT-7B.
Ví dụ: toàn bộ nội dung của "The Great Gatsby" có ít hơn 68k token. Trong một thử nghiệm, StoryWriter mẫu đã đọc "The Great Gatsby" và tạo ra phần kết. Một trong những phần cuối của quá trình tạo mô hình được hiển thị trong Hình 2. StoryWriter đọc The Great Gatsby trong khoảng 20 giây (khoảng 150.000 từ mỗi phút). Do độ dài chuỗi dài hơn nên tốc độ "gõ" của nó chậm hơn so với các mẫu MPT-7B khác, khoảng 105 từ mỗi phút. Mặc dù StoryWriter đã được tinh chỉnh với độ dài ngữ cảnh là 65k, nhưng ALiBi cho phép mô hình suy ra dữ liệu đầu vào dài hơn thời gian được đào tạo: 68k mã thông báo trong trường hợp The Great Gatsby và lên tới 84k đánh dấu trong thử nghiệm.
Hình 2: MPT-7B-StoryWriter-65k+ viết phần kết cho "The Great Gatsby". Kết quả của phần kết là cung cấp toàn bộ nội dung của "The Great Gatsby" (khoảng 68k Token) làm đầu vào cho mô hình, theo sau là từ "phần kết" và cho phép mô hình tiếp tục tạo.
Phổ biến công nghệ AI sáng tạo
Công nghệ AI sáng tạo là một nhánh của trí tuệ nhân tạo sử dụng lượng lớn dữ liệu và thuật toán học sâu để tự động tạo văn bản, hình ảnh, mã máy tính gốc và các nội dung khác. Sự xuất hiện của công nghệ này cho phép con người xử lý và dữ liệu dữ liệu thuận tiện hơn và phục vụ tốt hơn nhu cầu của con người. Với sự phát triển nhanh chóng của dữ liệu lớn và công nghệ trí tuệ nhân tạo, công nghệ Generative AI đã được sử dụng rộng rãi trong các lĩnh vực như xử lý ngôn ngữ tự nhiên, nhận dạng hình ảnh và thực tế ảo. Ví dụ: trong lĩnh vực xử lý ngôn ngữ tự nhiên, GPT-4 đã trở thành một trong những mô hình AI tổng quát phổ biến nhất và có thể được sử dụng cho các tác vụ như tạo bài viết, dịch ngôn ngữ và trả lời câu hỏi. Trong lĩnh vực nhận dạng hình ảnh, StyleGAN2 có thể tạo ra hình ảnh chất lượng cao và có thể được sử dụng trong các lĩnh vực như phát triển trò chơi, sản xuất phim và truyền hình cũng như thực tế ảo.
Naveen Rao, Giám đốc điều hành của KhảmML, trước đó đã tuyên bố rằng kể từ năm 2018, độ phức tạp của các mô hình trí tuệ nhân tạo sử dụng lượng lớn dữ liệu để "đào tạo"tăng mạnh. Việc đào tạo một mô hình hiện có chi phí ít nhất là hàng triệu USD. Ngoại trừ các công ty lớn, những doanh nghiệp vừa và nhỏ khác thường không đủ khả năng chi trả. Sau thương vụ mua lại này, sản phẩm chung giữa nền tảng Lakehouse của Databricks và công nghệ KhảmML sẽ cho phép các doanh nghiệp sử dụng dữ liệu độc quyền của riêng mình để đào tạo và xây dựng các mô hình Generative AI một cách đơn giản, nhanh chóng và với chi phí thấp, đồng thời cho phép người dùng sở hữu dữ liệu. sự phát triển có thể thực hiện được với sự kiểm soát và quyền sở hữu. Theo Databricks, với nền tảng và hỗ trợ kỹ thuật của Databricks và KhảmML, chi phí đào tạo và sử dụng LLM cho doanh nghiệp sẽ giảm đáng kể và dự kiến sẽ giảm xuống khoảng vài nghìn USD . Điều này tạo điều kiện cho việc phổ biến AI tạo ra.
Tầm quan trọng của việc Databricks mua lại KhảmML
Mục đích chính của việc Databricks mua lại KhảmML là để đẩy nhanh quá trình phát triển và dân chủ hóa công nghệ AI tổng hợp. Bằng cách tích hợp công nghệ và nguồn lực của hai công ty, Databricks có thể đáp ứng tốt hơn nhu cầu của khách hàng và cung cấp các giải pháp hiệu quả và thuận tiện hơn. Cụ thể, việc mua lại sẽ mang lại những thay đổi ở các khía cạnh sau:
1. Mô hình ngôn ngữ lớn hiệu quả hơn
Sau khi Databricks mua lại KhảmML, nó có thể tích hợp các mô hình sê-ri MPT vào nền tảng Lakehouse của mình để cung cấp cho khách hàng các mô hình ngôn ngữ lớn hiệu quả hơn và chi phí thấp hơn. Điều này sẽ giúp doanh nghiệp xử lý tốt hơn các tác vụ xử lý ngôn ngữ tự nhiên và nâng cao hiệu quả cũng như độ chính xác việc kinh doanh.
2. Tốc độ đào tạo mô hình nhanh hơn
Các mô hình sê-ri MPT của KhảmML có tính năng đào tạo nhanh, điều này sẽ giúp Databricks cung cấp dịch vụ đào tạo mô hình nhanh hơn. Điều này đặc biệt quan trọng đối với những doanh nghiệp cần đáp ứng nhanh chóng nhu cầu thị trường, giúp họ đáp ứng tốt hơn nhu cầu của khách hàng.
3. Mức độ dân chủ hóa cao hơn
Việc Databricks mua lại KhảmML cũng có nghĩa là quá trình dân chủ hóa công nghệ AI tổng hợp sẽ còn gia tăng hơn nữa. Các mô hình sê-ri MPT của KhảmML giúp các doanh nghiệp vừa và nhỏ dễ dàng đào tạo mô hình ngôn ngữ của riêng mình hơn, để họ có thể áp dụng công nghệ AI tổng quát tốt hơn và đạt được hiệu quả việc kinh doanh tốt hơn. Điều này sẽ giúp thúc đẩy sự phát triển và ứng dụng công nghệ trí tuệ nhân tạo và thúc đẩy việc phổ biến và phát triển công nghệ trí tuệ nhân tạo.
Tóm tắt
Các ứng dụng AI sáng tạo được thiết kế để tạo văn bản thô, hình ảnh và mã máy tính dựa trên lời nhắc ngôn ngữ tự nhiên từ người dùng. Kể từ khi công ty khởi nghiệp trí tuệ nhân tạo OpenAI tung ra ChatGPT, một chatbot AI được tạo trực tuyến, vào tháng 11 năm ngoái, sự quan tâm đến công nghệ này đã tăng lên. "Mọi tổ chức đều có thể hưởng lợi từ cuộc cách mạng AI và có nhiều quyền kiểm soát hơn đối với cách sử dụng dữ liệu của họ. Databricks và KhảmML có cơ hội đáng kinh ngạc để dân chủ hóa AI và cho phép Lakehouse xây dựng nơi tốt nhất cho trí tuệ nhân tạo hiện đại." cho biết Ali Ghodsi, đồng sáng lập và CEO của Databricks.
Tầm quan trọng của việc Databricks mua lại KhảmML không chỉ là đẩy nhanh quá trình phát triển và dân chủ hóa công nghệ AI tổng quát mà còn tích hợp công nghệ và tài nguyên của hai công ty để cung cấp cho khách hàng các giải pháp hiệu quả và thuận tiện hơn. Với sự phát triển và ứng dụng nhanh chóng của công nghệ trí tuệ nhân tạo, công nghệ AI tổng quát sẽ đóng vai trò ngày càng quan trọng. Việc Databricks mua lại KhảmML cũng phản ánh tầm quan trọng và sự đầu tư của nhiều công ty khác nhau theo hướng này. Các công ty như Anthropic và OpenAI cấp phép cho các mô hình ngôn ngữ sẵn có cho các doanh nghiệp, sau đó xây dựng các ứng dụng AI trên đó. Được thúc đẩy bởi nhu cầu thương mại mạnh mẽ đối với các mô hình này, cơ hội đã được tạo ra cho các công ty khởi nghiệp như KhảmML. Từ các thương vụ mua lại Snowflake và Databricks liên tiếp, chúng ta có thể thấy các công ty công nghệ lớn đang dần chuyển từ giai đoạn nghiên cứu phát triển độc lập và đầu tư chiến lược sang giai đoạn sáp nhập và mua lại công nghệ Generative AI.
Nguồn tham khảo:
https://www.databricks.com/company/newsroom/press-releases/databricks-signs-definitive-agreement-acquire-mosaicml-lead-generative-ai-platform
https://mattturck.com/mosaic/
https://twitter.com/lmsysorg/status/1672077353533730817/photo/1
https://www.mosaicml.com/blog/mpt-7b#appendix-eval
https://www.mosaicml.com/blog/mpt-30b
Nguồn gốc: https://mp.weixin.qq.com/s/WG1zoLeROkrfD1jT2CZyIA
