Tidehunter：Sui 的下一代数据库，针对低延迟和减少写入放大进行了优化

Sui ，一个 Layer 1 区块链网络，推出了 Tidehunter，这是一款全新的储存引擎，旨在满足当代区块链基础设施中常见的性能需求、数据存取特性和操作限制。

该系统定位为验证节点和全节点使用的现有资料库层的潜在继任者，这反映了为应对生产区块链环境不断变化的规模和工作负载特征而对核心基础设施进行现代化改造的更广泛努力。

Sui最初依赖 RocksDB 作为其主要键值储存层，RocksDB 是一种被广泛采用且成熟的解决方案，能够实现快速的协定开发。随著平台扩展和维运需求增加，通用 LSM 树资料库的根本限制在类似生产环境中日益凸显。

大量的调优和深厚的内部专业知识也无法完全解决与区块链系统典型存取模式相冲突的结构性效率低下问题。这促使我们进行策略调整，转而设计一款专门针对区块链工作负载优化的储存引擎，最终开发了 Tidehunter。

这项决定的核心因素是持续的写放大。在实际的Sui工作负载下进行的测量显示，写入放大倍率约为10到12倍，这意味著相对较小的应用程式资料量会产生不成比例的大量磁碟流量。虽然这种现像在基于LSM的系统中很常见，但它会降低有效储存频宽，并加剧后台压缩和读取操作之间的争用。在写密集型或读写均衡的环境中，随著吞吐量的增加，这种开销会变得越来越棘手。

在高效能丛集上进行的负载测试证实了这种影响，尽管应用程式写入速率适中，但磁碟利用率接近饱和，这凸显了传统储存架构与现代区块链效能要求之间日益增长的不匹配。

Tidehunter架构：针对区块链存取模式和持续高吞吐量工作负载优化的储存引擎

Sui和类似的区块链平台的储存行为主要由少数几种重复出现的资料存取模式主导，而 Tidehunter 的架构正是围绕这些特性而设计的。大部分状态都使用均匀分布的加密杂凑金钥进行寻址，这些金钥通常会对应到相对较大的记录，虽然消除了局部性，但简化了一致性和正确性。

同时，区块链严重依赖追加式结构，例如共识日志和检查点，其中资料按顺序写入，之后使用单调递增的标识符进行检索。这些环境本身也是写入密集型的，同时仍需要在对延迟要求极高的读取路径上实现快速访问，因此过度的写入放大会直接威胁吞吐量和响应速度。

Tidehunter 的核心是一个高并发写入管线，旨在充分利用现代固态储存的平行效能。传入的写入操作会透过一个无锁的预写日志进行处理，该日志能够支援极高的操作速率，并将争用限制在最小的分配步骤内。

资料复制并行进行，系统透过使用可写入的记忆体映射档案避免了每次操作的系统调用，而持久性则由后台服务非同步处理。这种设计产生了一条可预测且高度并行的写入路径，能够充分利用磁碟频宽而不会受到 CPU 开销的限制。

减少写入放大被视为一项主要架构目标，而非最佳化步骤。 Tidehunter 不会将日志用作暂存区，而是将资料永久储存在日志段中，并建立​​直接引用偏移量的索引，从而避免重复重写值。

索引采用高度分片的方式，以降低写入放大并提高并行性，从而无需传统的 LSM 树结构。对于以追加为主的资料集（例如检查点和共识记录），专门的分片策略可将近期资料紧密分组，从而即使历史资料不断增长，也能保持写入开销的稳定。

对于使用均匀分布杂凑键寻址的表，Tidehunter 引入了可预测、低延迟存取最佳化的均匀查找索引。此索引不会发出多个小的随机读取请求，而是读取一个统计上包含所需条目的稍大的连续区域，从而使大多数查找操作能够在一次磁碟往返中完成。

这种方法有意牺牲部分读取吞吐量，换取更低、更稳定的延迟。这种权衡之所以可行，是因为减少写入放大可以释放大量磁碟频宽用于读取流量。结果是，在交易执行和状态验证等对延迟敏感的操作上，效能更加稳定。

为了进一步控制大规模下的尾延迟，Tidehunter 将直接 I/O 与应用程式管理的快取结合。大型历史读取操作会绕过作业系统页面缓存，从而避免快取污染；而最近和频繁存取的资料则会根据应用程式层级的存取模式保留在使用者空间快取中。结合其索引布局，这可以减少不必要的磁碟往返次数，并在持续负载下提高效能可预测性。

资料生命周期管理也得到了简化。由于记录直接储存在日志段中，因此一旦过期的日志档案超出保留期限，即可透过删除整个日志档案来清除过时的历史资料。这避免了基于 LSM 的资料库所需的复杂且 I/O 密集的压缩机制，即使资料集不断扩展，也能实现更快、更可预测的修剪。

在模拟真实Sui使用量的工作负载下，Tidehunter 的吞吐量和延迟均高于 RocksDB，同时磁碟写入频宽消耗也显著降低。最显著的改进在于几乎完全消除了写入放大，这使得磁碟活动能够更紧密地匹配应用程式层级的写入操作，从而为读取操作保留了 I/O 容量。这些优势在受控基准测试和完整的验证器部署中均得到验证，表明其优势不仅限于合成测试。

评估采用与资料库无关的基准测试框架，该框架模拟了插入、删除、点查找和迭代工作负载等实际混合场景。测试参数化以反映类似 Sui 的键分布、值大小和读写比率，并在符合建议验证器规范的硬体上执行。在这些条件下，Tidehunter 始终保持比 RocksDB 更高的吞吐量和更低的延迟，尤其在写入密集型和均衡场景下优势最为显著。

验证器层级的基准测试进一步证实了上述结果。当直接整合到Sui中并承受持续的事务负载时，使用 Tidehunter 的系统在 RocksDB 支援的部署开始出现磁碟利用率上升和效能下降的运行点上，仍能保持稳定的吞吐量和更低的延迟。测量结果显示，磁碟压力降低、CPU 使用率更稳定、最终延迟降低，凸显了在类似负载下两者行为的明显差异。

Tidehunter 旨在切实满足长时间运作、高吞吐量区块链系统的运维需求。随著区块链从突发式工作负载转向持续性工作负载，储存效率已成为协定效能的基础要求。 Tidehunter 的设计体现了基础设施向下一阶段规模化发展方向的转变，更多技术细节和部署计划预计将随后公布。

文章「Tidehunter：Sui 的下一代资料库针对低延迟和减少写入放大进行了最佳化」最初发表于元宇宙 Post 。