Bản nâng cấp Shwap: Lấy mẫu DA nhanh hơn 12 lần

Celestia Mainnet Beta gần đây đã hoàn thành bản nâng cấp đầu tiên, giới thiệu bộ tính năng mới đầu tiên cho mạng lưới đồng thuận. Mạng lưới khả dụng dữ liệu (DA) được lên lịch để nhận bản nâng cấp đầu tiên với Shwap - hiện đã được kích hoạt trên các testnet Arabica và Mocha với v0.18.2 của celestia-node. Shwap làm cho lấy mẫu DA nhanh hơn 12 lần và giảm yêu cầu lưu trữ xuống 16,5 lần, cho phép các khối lớn hơn và các nút nhỏ hơn. Shwap là một bước tiến khác hướng tới mục tiêu cốt lõi của lộ trình cộng đồng Celestia: mở rộng không ngừng nghỉ lên 1 gigabyte khối. Được quy định trong CIP-19, Shwap bao gồm một giao thức nhắn tin mới và hệ thống lưu trữ cho mạng lưới DA. Shwap cho phép Xuất lượng DA mở rộng đáng kể trong khi vẫn giữ các yêu cầu nút nhẹ thấp. Xuất lượng DA cao tăng tốc các ứng dụng tiền điện tử hiện có và cho phép các ứng dụng mới, không thể dừng lại bằng bất kỳ VM nào. Và các yêu cầu thấp hơn cho phép bất kỳ ai cũng có thể chạy một nút nhẹ trong trình duyệt hoặc trong ví, mở đường cho các ứng dụng web có thể xác minh được. Sau khi kiểm tra thêm, Shwap dự kiến sẽ đạt đến Mainnet Beta vào tháng 11. Hãy nhớ rằng cộng đồng Celestia sẽ điều khiển thời điểm chính xác của các bản nâng cấp mạng.

Mạng lưới DA như hiện tại

Mạng lưới DA có thể được mô tả là hai giao thức. Một giao thức chịu trách nhiệm về lưu thông các tiêu đề chuỗi thông qua go-header, và giao thức khác quản lý dữ liệu khối thực tế dưới dạng một ô vuông dữ liệu bao gồm các phần chia nhỏ hoặc mẫu. Các phần này được lấy mẫu bởi các nút nhẹ. Và giao thức và hệ thống lưu trữ hiện tại được thiết kế xung quanh giao thức lấy mẫu được giới thiệu trong kỷ nguyên DevNet. Giao thức dựa trên IPLD này đã chứng minh là có chức năng nhưng về cơ bản không thể mở rộng, đặc biệt là với ngôi sao phương bắc là 1GB khối. Giao thức và lưu trữ của nó đã theo vết xe đổ điển hình trong kỹ thuật blockchain: khả năng địa chỉ hóa dựa trên băm. Nó nghe có vẻ như một khái niệm đơn giản và mạnh mẽ cung cấp các "tính năng tốt" như khử trùng. Nó đủ chung để áp dụng cho bất kỳ cấu trúc dữ liệu dựa trên băm nào như lưu trữ trạng thái hoặc, trong trường hợp của chúng tôi, lưu trữ ô vuông dữ liệu. Tổng thể, khả năng địa chỉ hóa dựa trên băm cảm thấy như một giải pháp đơn giản, và quả thực, nó đã khởi động kỹ thuật của chúng tôi với tất cả các công cụ IPLD có sẵn; tuy nhiên, như luôn luôn, ma quỷ ẩn nấp trong những chi tiết. Ví dụ, một nút nhẹ phải tải xuống phần chia nhỏ và bằng chứng Merkle liên quan của nó để xác minh một mẫu. Trong hệ thống dựa trên băm, mỗi nút trong bằng chứng được truy xuất riêng biệt. Đối với kích thước ô vuông 128x128, quá trình này yêu cầu nút nhẹ thực hiện 7 lần đi và về theo vòng, làm chậm đáng kể việc lấy mẫu. Đây là trường hợp đối với giao thức và lưu trữ lấy mẫu cũ. Một nút nhẹ phải thực hiện 7 yêu cầu mạng tiếp theo là 7 lần đọc I/O trên phía nút đầy đủ phục vụ. Ngoài ra, nút đầy đủ phục vụ phải duy trì một chỉ mục toàn cầu về các nút cây Merkle lịch sử, làm chậm tổng thể Xuất lượng dữ liệu do nén cửa hàng khóa-giá trị. Để kết luận, con đường của khả năng địa chỉ hóa dựa trên băm dẫn đến:

1. Lưu trữ các bằng chứng Merkle thay vì tính lại chúng trên bay.
2. Bám vào mẫu truy cập dữ liệu O(log2n) cho cái gì đó có thể là O(1).

Những quyết định này không cho phép giao thức cũ mở rộng, yêu cầu một cách tiếp cận hoàn toàn khác và bắt đầu lại từ đầu, dẫn đến Shwap.

Shwap

Bản nâng cấp Shwap (chia sẻ + hoán đổi) giới thiệu một khung làm việc nhắn tin mới và hệ thống lưu trữ cải thiện việc lấy mẫu và hiệu quả truy xuất dữ liệu. Nó giảm yêu cầu lưu trữ của nút đầy đủ xuống 16,5 lần và cung cấp một nền tảng có thể mở rộng cho các kích thước khối ngày càng lớn. Những thay đổi chính mà Shwap giới thiệu là:

1. Hệ thống lưu trữ ô vuông dữ liệu mới
2. Khung làm việc mạng linh hoạt
3. Lấy mẫu khả dụng dữ liệu (DAS) O(1)

Trong Shwap, phiên bản không hiệu quả và thử nghiệm trước đây của việc tái tạo khối cũng được loại bỏ để thay thế bằng một phiên bản sẵn sàng cho sản xuất hiệu quả hơn trong một bản nâng cấp trong tương lai. Tìm hiểu sâu hơn về Shwap bằng cách xem bài thuyết trình tại Modular Summit.

Lưu trữ ô vuông

Hệ thống lưu trữ ô vuông dữ liệu đã được sửa lại để tránh lưu trữ các bằng chứng Merkle lịch sử và chỉ mục toàn cầu. Nó cũng loại bỏ siêu dữ liệu không cần thiết được lưu trữ với phụ thuộc lưu trữ dựa trên IPLD được chọn ban đầu. Tổng thể, kiến trúc lưu trữ ô vuông dữ liệu mới mang lại cải thiện đáng kể 16,5 lần so với việc sử dụng lưu trữ cũ 1:1. Các bài kiểm tra của chúng tôi cho thấy tính lại băm với các CPU hiện đại mất ít thời gian hơn việc đọc chúng từ NVMe. Điều này khiến việc lưu trữ tất cả các bằng chứng trở nên hoàn toàn vô ích, mặc dù vẫn lưu trữ một số bằng chứng chiến lược. Ngoài ra, lưu trữ mới giới thiệu một định dạng tệp không thể thay đổi mới hỗ trợ lưu trữ dữ liệu dự phòng tùy chọn, tăng tốc độ truy xuất lấy mẫu bằng cách giảm thiểu I/O và tính toán.

Mạng

Shwap cung cấp một khung làm việc nhắn tin linh hoạt và có thể mở rộng cho mạng lưới DA của Celestia. Nó chuẩn hóa nhắn tin cho việc trao đổi phần chia nhỏ mà không áp đặt các giao thức vận chuyển cụ thể, hỗ trợ cả TCP/QUIC và các giao thức ứng dụng như HTTP/x. Các cải tiến mạng chính bao gồm:

Tính biểu đạt

Shwap giới thiệu các Containers dữ liệu cho phép truy cập chi tiết vào bất kỳ phần nào của ô vuông dữ liệu. Nó có thể là Mẫu, Phạm vi Phần chia nhỏ, Blob, Hàng, Dữ liệu Không gian tên, v.v. Ở cốt lõi, Shwap mang lại tính biểu đạt cho ô vuông dữ liệu, cho phép bất kỳ ai cũng có thể hiệu quả truy xuất dữ liệu đã đăng ở bất kỳ dạng nào được nhóm trong một Container. Tính năng mạnh mẽ này cho phép cộng đồng mở rộng khả năng của ô vuông dữ liệu nhưng đảm bảo rằng phần mềm nhanh chóng thích ứng với các tính năng mới.

Tách giao thức

Shwap tách các thông điệp mạng cốt lõi khỏi các lớp giao thức và vận chuyển cơ bản, cho phép nó được xếp chồng lên các giao thức cấp thấp hơn như Bitswap, KadDHT, ShrEx hoặc các giao thức tùy chỉnh.

Tích hợp ShrEx

Sử dụng Shwap qua giao thức ShrEx cải thiện đồng bộ hóa dữ liệu khối, tăng tốc độ truy xuất dữ liệu và giảm mức tiêu thụ tài nguyên. Với lưu trữ dữ liệu hiệu quả của Shwap, ShrEx làm tăng tốc độ đồng bộ 22 lần, giảm thời gian đồng bộ cho các nút đầy đủ trên Mocha từ 7 ngày xuống còn 8 giờ.

Tích hợp với Bitswap để DAS hiệu quả

Shwap cải thiện đáng kể lấy mẫu khả dụng dữ liệu (DAS) bằng cách tích hợp với Bitswap. Trước đây, DAS yêu cầu 7 lần đi và về để truy xuất dữ liệu cho một ô vuông dữ liệu 128x128, nhưng với khung làm việc nhắn tin của Shwap, Bitswap giờ đây xử lý điều này chỉ trong 1 lần đi và về. Những c