Blockchain và máy học rõ ràng có nhiều điểm chung.
Viết bởi Haseeb Qureshi
Biên soạn bởi: TechFlow TechFlow
Bạn muốn chạy một mô hình ngôn ngữ lớn như Llama 2–70B. Một model lớn như vậy cần bộ nhớ trên 140GB, có nghĩa là bạn không thể chạy model gốc trên máy tính ở nhà. Vì vậy, lựa chọn của bạn là gì? Bạn có thể chuyển sang nhà cung cấp dịch vụ đám mây, nhưng bạn có thể ít tin tín nhiệm vào một công ty tập trung duy nhất để xử lý khối lượng công việc này cho bạn và thu thập tất cả dữ liệu sử dụng của bạn. Những gì bạn cần khi đó là suy đoán phi tập trung , cho phép bạn chạy các mô hình học máy mà không bị ràng buộc với bất kỳ nhà cung cấp nào.
vấn đề về tín nhiệm
Trong một mạng lưới phi tập trung, việc chỉ chạy mô hình và tín nhiệm kết quả đầu ra là chưa đủ. Giả sử tôi yêu cầu mạng phân tích một tình huống khó xử về quản trị bằng cách sử dụng Llama2–70B, làm sao tôi biết rằng mạng đó không thực sự sử dụng Llama2-13B, cung cấp cho tôi phân tích tệ hơn và thu nhập sự khác biệt?
Trong một thế giới tập trung, bạn có thể tin tưởng tính trung thực của các công ty như OpenAI vì danh tiếng của họ đang bị đe dọa (và ở một mức độ nào đó, chất lượng của LLM là điều hiển nhiên). Nhưng trong một thế giới phi tập trung, sự trung thực không phải là điều mặc định, nó cần được xác minh.
Đây là lúc suy luận suy đoán được phát huy tác dụng. Ngoài việc cung cấp phản hồi cho truy vấn, bạn cũng cần chứng minh rằng nó chạy đúng trên mô hình bạn yêu cầu. Nhưng bằng cách nào?
Phương pháp đơn giản nhất là chạy mô hình trên chuỗi dưới dạng hợp đồng thông minh. Điều này chắc chắn đảm bảo rằng đầu ra được xác minh, nhưng nó cực kỳ không thực tế. GPT-3 sử dụng phương pháp nhúng thứ nguyên 12.288 để thể hiện các từ. Nếu bạn thực hiện phép nhân ma trận đơn có kích thước này trên chuỗi, nó sẽ tiêu tốn khoảng 10 tỷ ĐÔ LA dựa trên giá gas hiện tại và phép tính này sẽ lấp đầy mọi khối trong khoảng một tháng.
Vì vậy, chúng ta cần phải thực hiện một phương pháp khác.
Sau khi quan sát hiện trường, tôi thấy rõ ba phương pháp chính để giải quyết suy đoán có thể kiểm chứng: Bằng chứng không tri thức, bằng chứng gian lận lạc quan và crypto. Mỗi phương pháp đều có mức độ an toàn và chi phí riêng.
1. Bằng chứng không tri thức(ZK ML)
Hãy tưởng tượng bạn có thể chứng minh rằng bạn đã chạy một mô hình lớn, nhưng kích thước của bằng chứng đã được cố định một cách hiệu quả, bất kể mô hình đó lớn đến đâu. Đây là những gì ZK ML (học máy) hứa hẹn đạt được thông qua ZK-SNARK.
Mặc dù về nguyên tắc nghe có vẻ tao nhã, nhưng việc biên dịch một mạng lưới thần kinh độ sâu thành một mạch không có kiến thức và sau đó chứng minh nó là vô cùng khó khăn. Và nó cực kỳ đắt, ít nhất, có lẽ bạn đang thấy chi phí suy đoán tăng gấp 1000 lần và độ trễ tăng gấp 1000 lần (thời gian cần thiết để tạo ra bằng chứng), chưa kể đến việc biên dịch mô hình thành một mạch trước đó bất cứ điều gì xảy ra. Cuối cùng, chi phí này phải được chuyển cho người dùng, vì vậy nó trở nên rất tốn kém đối với người dùng cuối.
Mặt khác, đây là phương pháp duy nhất được đảm bảo về mặt mật mã là chính xác. Với ZK, dù nhà cung cấp mô hình có cố gắng đến đâu cũng không có cách nào để gian lận. Nhưng chi phí để làm như vậy rất cao, khiến điều này không thực tế đối với các mô hình lớn trong tương lai gần.
Ví dụ: EZKL, Phòng thí nghiệm Modulus, Giza
2. Bằng chứng gian lận lạc quan (Optimistic ML)
Phương pháp lạc quan là tin tưởng nhưng phải xác minh. Chúng ta giả định rằng suy đoán là đúng trừ khi được chứng minh ngược lại. Nếu một nút cố gắng gian lận, "người quan sát" có thể chỉ ra kẻ gian lận trong mạng và thách thức nó bằng cách sử dụng bằng chứng gian lận. Những người quan sát này phải luôn theo dõi chuỗi và chạy lại mô hình của riêng họ để đảm bảo kết quả đầu ra là chính xác.
Những bằng chứng gian lận này là những thử thách tương tác theo kiểu Truebit: Trò chơi phản hồi, trong đó bạn liên tục phân chia các dấu vết thực thi mô hình trên chuỗi cho đến khi tìm thấy lỗi.
Nếu điều này xảy ra thì sẽ cực kỳ tốn kém vì những chương trình này rất lớn và có trạng thái bên trong rất lớn, với một lần suy đoán GPT-3 tốn khoảng 1 petaflop (10⁵ phép toán dấu phẩy động). Nhưng lý thuyết trò chơi cho thấy điều này gần như không thể xảy ra (bằng chứng gian lận cũng rất khó viết chính xác khi viết mã, vì mã này gần như sẽ không bao giờ được thực thi trong sản xuất thực tế).
Mặt tích cực của sự lạc quan là ML sẽ an toàn miễn là có người quan sát trung thực chú ý. Chi phí rẻ hơn ZK ML, nhưng hãy nhớ rằng mọi người quan sát trong mạng đều đang chạy lại mọi truy vấn. Ở trạng thái cân bằng, điều này có nghĩa là nếu có 10 người quan sát thì chi phí bảo mật phải được chuyển cho người dùng, do đó họ sẽ phải trả gấp hơn 10 lần chi phí suy đoán(hoặc nhiều hơn số người quan sát).
Điểm bất lợi là, giống như kỹ thuật tổng hợp lạc quan, bạn phải đợi giai đoạn thử thách kết thúc để đảm bảo rằng phản hồi đã được xác minh. Tuy nhiên, tùy thuộc vào cách thiết lập các tham số mạng của bạn, bạn có thể chỉ phải đợi vài phút thay vì vài ngày.
Ví dụ: Ora, Gensyn
3. Crypto(ML kinh tế tiền điện tử)
Ở đây, chúng tôi bỏ qua tất cả các kỹ thuật phức tạp và thực hiện một việc đơn giản: bỏ phiếu theo tỷ lệ cổ phần. Người dùng quyết định có bao nhiêu nút sẽ chạy truy vấn của họ, mỗi nút tiết lộ phản hồi của mình và nếu có sự khác biệt giữa các phản hồi, nút lẻ sẽ bị cắt bớt. Cơ chế oracle tiêu chuẩn, đây là phương pháp đơn giản hơn cho phép người dùng đặt mức độ bảo mật mong muốn, cân bằng chi phí và tín nhiệm. Nếu Chainlink đang thực hiện ML thì đây là cách họ sẽ làm.
Độ trễ ở đây rất nhanh, bạn chỉ cần cam kết và tiết lộ cho từng nút. Nếu điều này được ghi vào blockchain thì về mặt kỹ thuật điều này có thể xảy ra trong hai khối.
Tuy nhiên, an ninh là yếu nhất. Nếu phần lớn nút sẵn sàng hợp tác, họ có thể lựa chọn thông đồng một cách hợp lý. Với tư cách là người dùng, bạn phải suy nghĩ xem nút này đã đầu tư bao nhiêu và việc gian lận sẽ khiến họ phải trả giá bao nhiêu. Nghĩa là, bằng cách sử dụng tính năng khôi phục và bảo mật có thể phân bổ giống như Eigenlayer, mạng có thể cung cấp bảo hiểm hiệu quả trong trường hợp xảy ra lỗi bảo mật.
Nhưng điều thú vị ở hệ thống này là người dùng có thể chỉ định mức độ bảo mật mà họ muốn. Họ có thể chọn có 3 nút hoặc 5 nút trong số đại biểu của mình hoặc mọi nút trong mạng. Hoặc, nếu họ muốn mạo hiểm, họ thậm chí có thể chọn n=1. Hàm chi phí ở đây rất đơn giản: người dùng trả tiền cho số đại biểu họ muốn trong số đại biểu của họ. Nếu bạn chọn 3, bạn phải trả gấp 3 lần chi phí suy đoán.
Câu hỏi khó ở đây là: bạn có thể đảm bảo n=1 an toàn không? Trong một cách triển khai đơn giản, một nút bị cô lập sẽ luôn gian lận nếu không có ai theo dõi. Nhưng tôi nghi ngờ rằng nếu bạn crypto truy vấn và thanh toán theo ý định, bạn có thể ẩn khỏi nút rằng chúng thực sự là nút duy nhất phản hồi nhiệm vụ này. Trong trường hợp này, bạn có thể tính phí người dùng trung bình ít hơn gấp 2 lần chi phí suy đoán .
Cuối cùng, phương pháp crypto là đơn giản nhất, dễ dàng nhất và có thể rẻ nhất, nhưng về nguyên tắc, nó kém hấp dẫn nhất và kém an toàn nhất. Nhưng như mọi khi, ma quỷ nằm trong các chi tiết.
Ví dụ: Nghi thức, Mạng Atoma
Tại sao ML có thể kiểm chứng lại khó
Có thể bạn đang nghĩ, tại sao chúng ta chưa có tất cả những thứ này? Xét cho cùng, mô hình ML chỉ là những chương trình máy tính rất lớn. Chứng minh rằng một chương trình được thực thi chính xác luôn là cốt lõi của blockchain.
Đó là lý do tại sao ba phương pháp xác minh này phản ánh cách blockchain bảo vệ không gian khối của nó, với việc triển khai ZK bằng cách sử dụng bằng chứng ZK, triển khai lạc quan bằng cách sử dụng bằng chứng gian lận và hầu hết blockchain L1 sử dụng crypto. Không còn nghi ngờ gì nữa, về cơ bản chúng ta sẽ có cùng một giải pháp. Vậy điều gì khiến điều này trở nên khó khăn khi áp dụng vào ML?
ML độc đáo ở chỗ các tính toán ML thường được biểu diễn dưới dạng biểu đồ tính toán dày đặc được thiết kế để chạy hiệu quả trên GPU . Chúng không được thiết kế để được chứng minh. Vì vậy, nếu bạn muốn chứng minh các tính toán ML trong hoàn cảnh ZK hoặc lạc quan, chúng phải được biên dịch lại thành định dạng khả thi, rất phức tạp và tốn kém.
Khó khăn cơ bản thứ hai của học máy là tính không tất định. Việc xác minh chương trình giả định rằng đầu ra của chương trình là xác định. Tuy nhiên, nếu bạn chạy cùng một mô hình trên kiến trúc GPU hoặc phiên bản CUDA khác, bạn sẽ nhận được các kết quả đầu ra khác nhau. Ngay cả khi bạn buộc mọi nút sử dụng cùng một kiến trúc, bạn vẫn sẽ gặp phải vấn đề về tính ngẫu nhiên được sử dụng trong thuật toán (nhiễu trong mô hình khuếch tán hoặc lấy mẫu token trong LLM). Bạn có thể khắc phục tính ngẫu nhiên này bằng cách kiểm soát hạt giống số ngẫu nhiên. Nhưng ngay cả như vậy, bạn vẫn phải đối mặt với một vấn đề rắc rối cuối cùng: tính chất không tất định cố hữu trong số học dấu phẩy động.
Hầu như tất cả các hoạt động của GPU đều được thực hiện trên các số dấu phẩy động. Các số có dấu phẩy động rất khó xử lý vì chúng không có tính kết hợp—nghĩa là, (a + b) + c luôn giống với a + (b + c) đối với các số có dấu phẩy động là không đúng. Vì GPU có tính song song cao nên thứ tự cộng hoặc nhân có thể khác nhau trong mỗi lần thực thi, điều này có thể gây ra những khác biệt nhỏ ở đầu ra. Điều này khó có thể ảnh hưởng đến đầu ra của LLM do tính chất rời rạc của các từ, nhưng đối với các mẫu hình ảnh, nó có thể khiến các giá trị pixel khác nhau một cách tinh tế khiến hai hình ảnh không khớp chính xác.
Điều này có nghĩa là bạn cần tránh sử dụng số dấu phẩy động, điều này sẽ ảnh hưởng lớn đến hiệu suất hoặc bạn cần cho phép sự linh hoạt nhất định khi so sánh kết quả đầu ra. Dù bằng cách nào, các chi tiết đều khó hiểu và bạn không thể trừu tượng hóa chúng được. (Đây là lý do tại sao Máy ảo Ethereum không hỗ trợ số dấu phẩy động, mặc dù một blockchain như NEAR thì có.)
Nói tóm lại, phi tập trung mạng suy luận rất khó vì tất cả các chi tiết đều quan trọng và thực tế có rất nhiều chi tiết.
Tóm tắt
Hiện tại, blockchain và máy học rõ ràng có rất nhiều điểm chung. Trong đó là công nghệ tạo ra tín nhiệm, hai là công nghệ rất cần tín nhiệm . Mặc dù mỗi phương pháp lý luận phi tập trung đều có những đánh đổi riêng, nhưng tôi rất muốn xem các doanh nhân tận dụng những công cụ này như thế nào để xây dựng mạng lưới tốt nhất có thể.
