Tidehunter: Cơ sở dữ liệu thế hệ tiếp theo của Sui được tối ưu hóa cho độ trễ thấp và giảm hiện tượng khuếch đại ghi.

Sui , một mạng lưới blockchain Layer 1 , đã giới thiệu Tidehunter, một công cụ lưu trữ mới được thiết kế để đáp ứng các yêu cầu về hiệu năng, đặc điểm truy cập dữ liệu và các ràng buộc vận hành thường thấy trong cơ sở hạ tầng blockchain hiện đại.

Hệ thống này được định vị như một giải pháp kế nhiệm tiềm năng cho lớp cơ sở dữ liệu hiện có được sử dụng bởi cả các trình xác thực và các nút đầy đủ, phản ánh nỗ lực rộng lớn hơn nhằm hiện đại hóa cơ sở hạ tầng cốt lõi để đáp ứng quy mô và khối lượng công việc ngày càng phát triển của môi trường blockchain sản xuất.

Ban đầu, Sui dựa vào RocksDB làm lớp lưu trữ cặp khóa-giá trị chính, một giải pháp được áp dụng rộng rãi và đã hoàn thiện, cho phép phát triển giao thức nhanh chóng. Khi nền tảng mở rộng và nhu cầu vận hành tăng lên, những hạn chế cơ bản của cơ sở dữ liệu cây LSM đa năng ngày càng trở nên rõ ràng trong môi trường sản xuất thực tế.

Việc tinh chỉnh chuyên sâu và năng lực chuyên môn nội bộ vững chắc vẫn không thể giải quyết triệt để những bất hiệu quả về cấu trúc, vốn mâu thuẫn với các mô hình truy cập điển hình của hệ thống blockchain. Điều này dẫn đến một sự thay đổi chiến lược hướng tới việc thiết kế một công cụ lưu trữ được tối ưu hóa đặc biệt cho khối lượng công việc blockchain, dẫn đến sự phát triển của Tidehunter.

Yếu tố then chốt đằng sau quyết định này là hiện tượng khuếch đại ghi dữ liệu liên tục. Các phép đo trong điều kiện tải Sui thực tế cho thấy mức độ khuếch đại khoảng mười đến mười hai lần, có nghĩa là khối lượng dữ liệu ứng dụng tương đối nhỏ tạo ra lượng lưu lượng truy cập đĩa lớn một cách không cân xứng. Mặc dù hành vi này phổ biến trong các hệ thống dựa trên LSM, nhưng nó làm giảm băng thông lưu trữ hiệu quả và làm gia tăng sự xung đột giữa quá trình nén dữ liệu nền và các hoạt động đọc. Trong môi trường ghi dữ liệu nhiều hoặc môi trường đọc-ghi cân bằng, chi phí này ngày càng trở nên hạn chế hơn khi Xuất lượng .

Kiểm tra tải trên các cụm máy chủ hiệu năng cao đã xác nhận tác động này, với mức sử dụng ổ đĩa gần như bão hòa mặc dù tốc độ ghi dữ liệu của ứng dụng ở mức vừa phải, cho thấy sự không phù hợp ngày càng tăng giữa các kiến ​​trúc lưu trữ truyền thống và các yêu cầu hiệu năng của blockchain hiện đại.

Kiến trúc Tidehunter: Một công cụ lưu trữ được tối ưu hóa cho các mô hình truy cập blockchain và khối lượng công việc có thông lượng cao liên tục.

Hành vi lưu trữ trong Sui và các nền tảng blockchain tương tự bị chi phối bởi một tập hợp nhỏ các mô hình truy cập dữ liệu lặp đi lặp lại, và Tidehunter được thiết kế đặc biệt dựa trên những đặc điểm này. Một phần lớn trạng thái được xử lý bằng các khóa Hash mật mã được phân bổ đều và thường ánh xạ tới các bản ghi tương đối lớn, điều này loại bỏ tính cục bộ nhưng đơn giản hóa tính nhất quán và tính chính xác.

Đồng thời, blockchain phụ thuộc rất nhiều vào các cấu trúc hướng ghi thêm, chẳng hạn như nhật ký Consensus và điểm kiểm tra, nơi dữ liệu được ghi theo thứ tự và sau đó được truy xuất bằng cách sử dụng các định danh tăng dần. Các môi trường này cũng vốn dĩ đòi hỏi nhiều thao tác ghi, trong khi vẫn yêu cầu truy cập nhanh trên các đường dẫn đọc quan trọng về độ trễ, khiến việc khuếch đại ghi quá mức trở thành mối đe dọa trực tiếp đến cả Xuất lượng và khả năng phản hồi.

Cốt lõi của Tidehunter là một đường dẫn ghi dữ liệu có khả năng xử lý đồng thời cao, được xây dựng để khai thác tối đa khả năng song song của các thiết bị lưu trữ trạng thái rắn hiện đại. Các thao tác ghi đến được chuyển qua một nhật ký ghi trước không khóa, có khả năng duy trì tốc độ hoạt động cực cao, với sự tranh chấp được giới hạn ở bước phân bổ tối thiểu.

Việc sao chép dữ liệu diễn ra song song, và hệ thống tránh các lệnh gọi hệ thống cho mỗi thao tác bằng cách sử dụng các tệp được ánh xạ bộ nhớ có thể ghi, trong khi tính bền vững được xử lý bất đồng bộ bởi các dịch vụ nền. Thiết kế này tạo ra một đường dẫn ghi có thể dự đoán được và có tính song song cao, có thể tận dụng tối đa băng thông đĩa mà không bị hạn chế bởi chi phí CPU.

Giảm hiện tượng ghi đè được coi là mục tiêu kiến ​​trúc chính chứ không phải là một bước tối ưu hóa. Thay vì sử dụng nhật ký như một khu vực lưu trữ tạm thời, Tidehunter lưu trữ dữ liệu vĩnh viễn trong các phân đoạn nhật ký và xây dựng các chỉ mục tham chiếu trực tiếp đến các vị trí offset, loại bỏ việc ghi đè lặp đi lặp lại các giá trị.

Các chỉ mục được phân mảnh mạnh mẽ để giữ cho hiện tượng khuếch đại ghi ở mức thấp và tăng tính song song, loại bỏ nhu cầu về cấu trúc cây LSM truyền thống. Đối với các tập dữ liệu chủ yếu là ghi thêm, chẳng hạn như điểm kiểm tra và bản ghi Consensus , các chiến lược phân mảnh chuyên biệt giữ cho dữ liệu gần đây được nhóm chặt chẽ để chi phí ghi vẫn ổn định ngay cả khi dữ liệu lịch sử tăng lên.

Đối với các bảng được truy cập bằng khóa Hash phân bố đồng đều, Tidehunter giới thiệu một chỉ mục tra cứu đồng nhất được tối ưu hóa để truy cập có độ trễ thấp và dễ dự đoán. Thay vì thực hiện nhiều lần đọc nhỏ và ngẫu nhiên, chỉ mục đọc một vùng liền kề lớn hơn một chút mà về mặt thống kê chứa mục cần tìm, cho phép hầu hết các lần tra cứu hoàn tất chỉ trong một lần truy cập đĩa.

Cách tiếp cận này cố tình đánh đổi một phần Xuất lượng đọc để có độ trễ thấp hơn và ổn định hơn, một sự đánh đổi trở nên khả thi vì việc giảm hiện tượng khuếch đại ghi giúp giải phóng đáng kể băng thông đĩa cho lưu lượng đọc. Kết quả là hiệu suất ổn định hơn đối với các hoạt động nhạy cảm với độ trễ như thực thi giao dịch và xác thực trạng thái.

Để kiểm soát độ trễ đuôi tốt hơn nữa ở quy mô lớn, Tidehunter kết hợp I/O trực tiếp với bộ nhớ đệm do ứng dụng quản lý. Các thao tác đọc lịch sử lớn sẽ bỏ qua bộ nhớ đệm trang của hệ điều hành để ngăn ngừa tình trạng đầy bộ nhớ đệm, trong khi dữ liệu gần đây và được truy cập thường xuyên được giữ lại trong bộ nhớ đệm không gian người dùng dựa trên các mẫu truy cập cấp ứng dụng. Kết hợp với bố cục lập chỉ mục của nó, điều này giúp giảm thiểu các vòng truyền dữ liệu không cần thiết đến đĩa và cải thiện khả năng dự đoán dưới tải trọng liên tục.

Việc quản lý vòng đời dữ liệu cũng được đơn giản hóa. Vì các bản ghi được lưu trữ trực tiếp trong các phân đoạn nhật ký, việc loại bỏ dữ liệu lịch sử lỗi thời có thể được thực hiện bằng cách xóa toàn bộ tệp nhật ký khi chúng nằm ngoài khung thời gian lưu giữ. Điều này tránh được các cơ chế nén phức tạp và tốn nhiều tài nguyên I/O cần thiết cho các cơ sở dữ liệu dựa trên LSM và cho phép cắt tỉa nhanh hơn, dễ dự đoán hơn ngay cả khi tập dữ liệu mở rộng.

Trên các khối lượng công việc được thiết kế để phản ánh việc sử dụng Sui thực tế, Tidehunter thể hiện Xuất lượng cao hơn và độ trễ thấp hơn so với RocksDB trong khi tiêu thụ băng thông ghi đĩa ít hơn đáng kể. Cải tiến rõ rệt nhất đến từ việc gần như loại bỏ hiện tượng khuếch đại ghi, cho phép hoạt động của đĩa phù hợp hơn với các thao tác ghi ở cấp độ ứng dụng và bảo toàn dung lượng I/O cho các thao tác đọc. Những hiệu ứng này được quan sát thấy cả trong các bài kiểm tra hiệu năng được kiểm soát và trong các triển khai trình xác thực đầy đủ, cho thấy rằng những lợi ích này vượt ra ngoài phạm vi thử nghiệm tổng hợp.

Việc đánh giá được thực hiện bằng cách sử dụng một khung chuẩn độc lập với cơ sở dữ liệu, mô phỏng các tổ hợp thực tế của các thao tác chèn, xóa, tra cứu điểm và khối lượng công việc lặp lại. Các bài kiểm tra được tham số hóa để phản ánh phân bố khóa, kích thước giá trị và tỷ lệ đọc-ghi giống như Sui, và được thực hiện trên phần cứng phù hợp với các thông số kỹ thuật trình xác thực được khuyến nghị. Trong những điều kiện này, Tidehunter luôn duy trì Xuất lượng cao hơn và độ trễ thấp hơn so với RocksDB, với lợi thế lớn nhất xuất hiện trong các kịch bản ghi nhiều và cân bằng.

Các bài kiểm tra hiệu năng ở cấp độ trình xác thực càng khẳng định thêm kết quả. Khi được tích hợp trực tiếp vào Sui và chịu tải giao dịch liên tục, các hệ thống sử dụng Tidehunter duy trì Xuất lượng ổn định và độ trễ thấp hơn tại các điểm vận hành mà các triển khai dựa trên RocksDB bắt đầu gặp phải tình trạng sử dụng ổ đĩa tăng cao và hiệu năng suy giảm. Các phép đo cho thấy áp lực lên ổ đĩa giảm, mức sử dụng CPU ổn định hơn và độ trễ Tính chất cuối cùng được cải thiện, làm nổi bật sự khác biệt rõ rệt trong hành vi dưới tải trọng tương đương.

Tidehunter là giải pháp thiết thực đáp ứng nhu cầu vận hành của các hệ thống blockchain hoạt động liên tục và có thông lượng cao. Khi blockchain chuyển sang mô hình hoạt động liên tục thay vì chỉ xử lý các tác vụ tức thời, hiệu quả lưu trữ trở thành yêu cầu cơ bản đối với hiệu suất của giao thức. Thiết kế của Tidehunter phản ánh sự chuyển dịch sang cơ sở hạ tầng được xây dựng dành riêng cho giai đoạn mở rộng quy mô tiếp theo, với các chi tiết kỹ thuật và kế hoạch triển khai cụ thể hơn dự kiến ​​sẽ được công bố sau.

Bài đăng "Tidehunter: Cơ sở dữ liệu thế hệ tiếp theo của Sui được tối ưu hóa cho độ trễ thấp và giảm hiện tượng khuếch đại ghi" xuất hiện lần đầu trên Metaverse Post .