Khi mọi người tin tưởng rằng dữ liệu sẽ được bảo vệ bằng crypto và sẵn sàng đóng góp dữ liệu, có lẽ chúng ta sẽ đạt được bước đột phá về AGI.
Viết bởi hmalviya9
Biên soạn bởi: Frank, Tin tức tầm nhìn xa
Ghi chú của biên tập viên: Bài báo "Chú ý là tất cả những gì bạn cần " được xuất bản vào năm 2017 và cho đến nay đã được trích dẫn hơn 110.000 lần. Nó không chỉ là một trong những nguồn gốc của công nghệ mô hình lớn mà ChatGPT đại diện ngày nay trong đó giới thiệu kiến trúc Transformer và cơ chế chú ý... Nó cũng được sử dụng rộng rãi trong nhiều công nghệ AI có thể thay đổi thế giới, chẳng hạn như Sora và AlphaFold.
“Attention Is All You Need”, bài nghiên cứu này thay đổi hoàn toàn tương lai của trí tuệ nhân tạo (AI) hiện đại. Trong bài viết này, tôi sẽ đi sâu vào mô hình Transformer và tương lai của AI.
Vào ngày 12 tháng 6 năm 2017, tám kỹ sư của Google đã xuất bản một bài nghiên cứu có tên "Sự chú ý là tất cả những gì bạn cần." Bài viết này thảo luận về kiến trúc mạng thần kinh sẽ thay đổi tương lai của AI hiện đại.
Tại hội nghị GTC vừa qua vào ngày 21 tháng 3 năm 2024, người sáng lập NVIDIA Huang Jensen đã tổ chức một cuộc thảo luận nhóm với 8 kỹ sư Google đó và cảm ơn họ vì đã giới thiệu kiến trúc Transformer để biến AI hiện đại thành hiện thực. của 8 người.
Máy biến áp là gì?
Transformer là một mạng lưới thần kinh.
Mạng lưới thần kinh là gì? Nó được lấy cảm hứng từ cấu trúc và chức năng của bộ não con người và xử lý thông tin thông qua lượng lớn tế bào thần kinh nhân tạo được kết nối với nhau, nhưng nó không phải là bản sao hoàn chỉnh của bộ não con người .
Nói một cách đơn giản, bộ não con người giống như rừng nhiệt đới Amazon, có nhiều khu vực khác nhau và nhiều con đường nối các khu vực này lại với nhau. Các tế bào thần kinh giống như những điểm kết nối giữa các con đường này. Chúng có thể gửi và nhận tín hiệu đến bất kỳ khu vực nào của rừng nhiệt đới, vì vậy kết nối chính là con đường đó, chịu trách nhiệm kết nối hai vùng não khác nhau.
Điều này mang lại cho bộ não của chúng ta khả năng học tập rất mạnh mẽ, cho phép nó học nhanh, nhận dạng các mẫu và đưa ra kết quả chính xác. Các mạng lưới thần kinh như Transformer cố gắng đạt được khả năng học tập giống như bộ não con người, nhưng trình độ công nghệ hiện tại của chúng chỉ bằng 1% so với bộ não con người .
Transformers đã đạt được tiến bộ ấn tượng về AI trong những năm gần đây. Nhìn lại quá trình phát triển của trí tuệ nhân tạo hiện đại, chúng ta có thể thấy trí tuệ nhân tạo thời kỳ đầu chủ yếu giống như Siri và một số ứng dụng nhận dạng/giọng nói khác.
Các ứng dụng này được xây dựng bằng Mạng thần kinh tái phát (RNN). RNN có một số hạn chế đã được Transformers giải quyết và cải thiện, giới thiệu các cơ chế tự chú ý cho phép chúng phân tích đồng thời tất cả các phần của bất kỳ chuỗi nào, từ đó nắm bắt được các phần phụ thuộc tầm xa và nội dung theo ngữ cảnh.
Chúng ta vẫn còn ở giai đoạn đầu trong chu kỳ đổi mới của Transformer. Máy biến áp có một số dẫn xuất khác nhau, chẳng hạn như XLNet, BERT và GPT.
GPT là TRONG ĐÓ có tiếng nhất nhưng nó vẫn có khả năng dự đoán sự kiện hạn chế.
Khi các mô hình ngôn ngữ lớn (LLM) có thể dự đoán các sự kiện dựa trên dữ liệu và mẫu trong quá khứ, điều này sẽ đánh dấu bước nhảy vọt lớn tiếp theo trong lĩnh vực AI hiện đại và sẽ đẩy nhanh hành trình hướng tới trí tuệ nhân tạo tổng hợp (AGI) của chúng ta .
Để đạt được khả năng dự đoán này, các mô hình ngôn ngữ lớn (LLM) sử dụng máy biến áp tổng hợp thời gian (TFT), một mô hình dự đoán các giá trị trong tương lai dựa trên các tập dữ liệu khác nhau và cũng có thể giải thích các dự đoán mà nó đưa ra.
Ngoài việc được sử dụng để dự đoán, TFT còn có thể được sử dụng trong lĩnh vực blockchain. Bằng cách xác định các quy tắc cụ thể trong mô hình, TFT có thể tự động thực hiện các hoạt động sau: quản lý hiệu quả quy trình đồng thuận, tăng tốc độ sản xuất khối, khen thưởng những người xác thực trung thực và trừng phạt những người xác nhận độc hại .
Về cơ bản, mạng blockchain có thể cung cấp nhiều phần thưởng khối hơn cho người xác thực có điểm danh tiếng cao hơn, điểm này có thể dựa trên lịch sử bỏ phiếu, lịch sử lịch sử đề xuất khối, lịch sử cắt giảm, số tiền đặt cược, hoạt động và một số thông số khác.
Cơ chế đồng thuận của chuỗi công khai về cơ bản là một trò chơi giữa những người xác nhận, đòi hỏi hơn 2/3 số người xác nhận phải đồng ý về việc ai sẽ tạo khối tiếp theo. Trong quá trình này, nhiều bất đồng và tranh luận có thể nảy sinh, đây cũng là yếu tố dẫn đến sự kém hiệu quả của các mạng chuỗi công khai như Ethereum .
TFT có thể được sử dụng như một cơ chế đồng thuận để nâng cao hiệu quả bằng cách cải thiện thời gian tạo khối và khen thưởng những người xác nhận dựa trên danh tiếng sản xuất khối . Ví dụ: DựaAI, áp dụng mô hình TFT cho quy trình đồng thuận, sẽ sử dụng mô hình này để phân bổ việc phát hành token giữa người xác thực và người tham gia mạng.
DựaAI cũng đề xuất sử dụng công nghệ FHE để cho phép các nhà phát triển lưu trữ các mô hình ngôn ngữ quy mô lớn (Zk-LLM) bảo vệ quyền riêng tư trên cơ sở hạ tầng AI phi tập trung có tên là "Brains". Bằng cách tích hợp công nghệ FHE vào các mô hình ngôn ngữ quy mô lớn, nó có thể bảo vệ người dùng ' dữ liệu về quyền riêng tư khi họ chọn kích hoạt các dịch vụ AI được cá nhân hóa.
Khi mọi người sẵn sàng đóng góp dữ liệu với niềm tin rằng dữ liệu sẽ được crypto và hoàn toàn riêng tư, có lẽ chúng ta sẽ đạt được bước đột phá về trí tuệ nhân tạo (AGI) nói chung. Khoảng trống này đang được lấp đầy bởi các công nghệ tập trung vào quyền riêng tư, chẳng hạn như nillionnetwork Blind Computation , công nghệ máy học không kiến thức (ZkML) và crypto đồng cấu (FHE).
Tuy nhiên, tất cả các công nghệ tập trung vào quyền riêng tư này đều yêu cầu lượng lớn nên chúng chỉ mới ở giai đoạn đầu ứng dụng.
