Tidehunter: Sui의 차세대 데이터베이스, 낮은 지연 시간과 쓰기 증폭 감소에 최적화됨

레이어 1 블록체인 네트워크인 수이(SUI) 는 현대 블록체인 인프라에서 흔히 발견되는 성능 요구 사항, 데이터 접근 특성 및 운영 제약 조건에 맞춰 설계된 새로운 스토리지 엔진인 Tidehunter를 출시했습니다.

이 시스템은 검증자와 풀 노드 모두가 사용하는 기존 데이터베이스 계층의 잠재적 후속 시스템으로 자리매김하고 있으며, 이는 진화하는 블록체인 운영 환경의 규모와 작업 부하 프로필에 대응하여 핵심 인프라를 현대화하려는 광범위한 노력의 일환입니다.

수이(SUI) 초기에 널리 채택되고 성숙한 솔루션인 RocksDB를 주요 키-값 저장 계층으로 사용했으며, 이를 통해 신속한 프로토콜 개발이 가능했습니다. 그러나 플랫폼이 확장되고 운영 요구 사항이 증가함에 따라, 일반적인 LSM 트리 데이터베이스의 근본적인 한계가 실제 운영 환경에서 점점 더 분명해졌습니다.

광범위한 튜닝과 심층적인 내부 전문 지식에도 불구하고 블록체인 시스템에서 흔히 나타나는 접근 패턴과 충돌하는 구조적 비효율성을 완전히 해결할 수 없었습니다. 이에 따라 블록체인 워크로드에 최적화된 스토리지 엔진을 설계하는 방향으로 전략적 전환을 이루었고, 그 결과 Tidehunter가 개발되었습니다.

이러한 결정의 핵심 요인은 지속적인 쓰기 증폭 현상이었습니다. 실제 수이(SUI) 워크로드 환경에서 측정한 결과, 증폭 수준이 약 10~12배에 달하는 것으로 나타났습니다. 이는 상대적으로 적은 양의 애플리케이션 데이터가 과도하게 많은 디스크 트래픽을 발생시킨다는 것을 의미합니다. 이러한 현상은 LSM 기반 시스템에서 흔히 발생하지만, 스토리지 대역폭을 감소시키고 백그라운드 압축 작업과 읽기 작업 간의 경합을 심화시킵니다. 쓰기 작업이 많거나 읽기/쓰기 균형이 맞춰진 환경에서는 처리량이 증가함에 따라 이러한 오버헤드가 더욱 큰 제약 요인이 됩니다.

고성능 클러스터에 대한 부하 테스트 결과, 애플리케이션 쓰기 속도가 적당함에도 불구하고 디스크 사용률이 포화 상태에 가까워지는 등 그 영향이 확인되었으며, 이는 기존 스토리지 아키텍처와 최신 블록체인 성능 요구 사항 간의 격차가 점점 커지고 있음을 보여줍니다.

타이드헌터 아키텍처: 블록체인 접근 패턴 및 지속적인 고처리량 워크로드에 최적화된 스토리지 엔진

수이(SUI) 및 유사한 블록체인 플랫폼의 저장 동작은 소수의 반복적인 데이터 접근 패턴에 의해 좌우되며, Tidehunter는 이러한 특성을 고려하여 특별히 설계되었습니다. 상태의 상당 부분은 균등하게 분산되고 일반적으로 비교적 큰 레코드에 매핑되는 암호화 해시 키를 사용하여 처리되므로 데이터 지역성을 제거하는 동시에 일관성과 정확성을 단순화합니다.

동시에 블록체인은 합의 로그 및 체크포인트와 같은 추가 지향 구조에 크게 의존하는데, 이러한 구조에서는 데이터가 순서대로 기록되고 단조 증가하는 식별자를 사용하여 나중에 검색됩니다. 이러한 환경은 본질적으로 쓰기 작업이 많으면서도 지연 시간에 민감한 읽기 경로에서 빠른 액세스가 필요하므로, 과도한 쓰기 증폭은 처리량과 응답성 모두에 직접적인 위협이 됩니다.

Tidehunter의 핵심은 최신 솔리드 스테이트 스토리지의 병렬 처리 기능을 활용하도록 설계된 고동시성 쓰기 파이프라인입니다. 들어오는 쓰기 작업은 락 프리 쓰기 선행 로그를 통해 처리되며, 이 로그는 매우 높은 작업 속도를 유지할 수 있고, 경합은 최소한의 할당 단계로 제한됩니다.

데이터 복사는 병렬로 진행되며, 쓰기 가능한 메모리 매핑 파일을 사용하여 작업별 시스템 호출을 방지합니다. 또한, 데이터 내구성은 백그라운드 서비스에서 비동기적으로 처리됩니다. 이러한 설계는 CPU 오버헤드에 제약받지 않고 디스크 대역폭을 최대한 활용할 수 있는 예측 가능하고 고도로 병렬화된 쓰기 경로를 제공합니다.

쓰기 증폭을 줄이는 것은 최적화 단계가 아니라 주요 아키텍처 목표로 간주됩니다. Tidehunter는 로그를 임시 스테이징 영역으로 사용하는 대신 로그 세그먼트에 데이터를 영구적으로 저장하고 오프셋을 직접 참조하는 인덱스를 구축하여 값의 반복적인 재작성을 방지합니다.

인덱스는 쓰기 증폭을 낮추고 병렬 처리를 향상시키기 위해 고도로 샤딩되어 기존의 LSM 트리 구조가 더 이상 필요하지 않습니다. 체크포인트 및 합의 레코드와 같이 추가 작업이 주를 이루는 데이터 세트의 경우, 특수 샤딩 전략을 통해 최근 데이터를 밀접하게 그룹화하여 과거 데이터가 증가하더라도 쓰기 오버헤드를 안정적으로 유지합니다.

균일하게 분포된 해시 키로 참조되는 테이블의 경우, Tidehunter는 예측 가능하고 지연 시간이 짧은 액세스에 최적화된 균일 조회 인덱스를 도입합니다. 여러 번의 작고 무작위적인 읽기를 수행하는 대신, 이 인덱스는 원하는 항목이 통계적으로 포함될 가능성이 높은 약간 더 큰 연속 영역을 읽습니다. 따라서 대부분의 조회는 단일 디스크 왕복으로 완료될 수 있습니다.

이 접근 방식은 의도적으로 읽기 처리량을 다소 희생하는 대신 지연 시간을 낮추고 안정성을 높입니다. 쓰기 증폭을 줄이면 디스크 대역폭을 읽기 트래픽에 더 많이 활용할 수 있으므로 이러한 절충은 실용적입니다. 결과적으로 트랜잭션 실행 및 상태 검증과 같이 지연 시간에 민감한 작업에서 더욱 일관된 성능을 제공합니다.

대규모 환경에서 테일 레이턴시를 더욱 효과적으로 제어하기 위해 Tidehunter는 직접 I/O와 애플리케이션 관리 캐싱을 결합합니다. 대용량 과거 데이터 읽기는 운영 체제의 페이지 캐시를 우회하여 캐시 오염을 방지하는 반면, 최근 자주 액세스하는 데이터는 애플리케이션 수준의 액세스 패턴을 기반으로 하는 사용자 공간 캐시에 유지됩니다. 이러한 방식은 인덱싱 레이아웃과 결합되어 불필요한 디스크 왕복 횟수를 줄이고 지속적인 부하 상황에서 예측 가능성을 향상시킵니다.

데이터 수명 주기 관리 또한 간소화됩니다. 레코드가 로그 세그먼트에 직접 저장되므로, 보존 기간이 만료된 과거 데이터는 전체 로그 파일을 삭제하는 방식으로 제거할 수 있습니다. 이는 LSM 기반 데이터베이스에서 필요한 복잡하고 I/O 집약적인 압축 메커니즘을 사용하지 않아도 되므로, 데이터 세트가 확장되더라도 더 빠르고 예측 가능한 데이터 정리가 가능합니다.

실제 수이(SUI) 사용 환경을 반영하도록 설계된 다양한 워크로드에서 Tidehunter는 RocksDB보다 높은 처리량과 낮은 지연 시간을 보여주며, 디스크 쓰기 대역폭은 훨씬 적게 소비합니다. 가장 눈에 띄는 개선점은 쓰기 증폭 현상이 거의 사라진 데서 비롯됩니다. 이를 통해 디스크 활동이 애플리케이션 수준의 쓰기 작업과 더욱 밀접하게 일치하게 되고, 읽기 작업에 필요한 I/O 용량을 확보할 수 있습니다. 이러한 효과는 제어된 벤치마크와 실제 검증 환경 모두에서 관찰되었으며, 이는 합성 테스트를 넘어 실제 환경에서도 성능 향상이 가능하다는 것을 보여줍니다.

평가는 삽입, 삭제, 포인트 조회 및 반복 워크로드의 실제 조합을 모델링하는 데이터베이스 독립적인 벤치마크 프레임워크를 사용하여 수행됩니다. 테스트는 Sui 데이터베이스와 유사한 키 분포, 값 크기 및 읽기/쓰기 비율을 반영하도록 매개변수화되었으며, 권장 검증기 사양에 부합하는 하드웨어에서 실행됩니다. 이러한 조건에서 Tidehunter는 RocksDB보다 일관적으로 더 높은 처리량과 더 낮은 지연 시간을 유지하며, 특히 쓰기 작업이 많고 균형 잡힌 시나리오에서 가장 큰 이점을 보여줍니다.

검증자 수준의 벤치마크 결과는 이러한 결과를 더욱 뒷받침합니다. 수이(SUI) 에 직접 통합하고 지속적인 트랜잭션 부하를 가했을 때, Tidehunter를 사용하는 시스템은 RocksDB 기반 배포에서 디스크 사용량 증가 및 성능 저하가 발생하는 지점에서도 안정적인 처리량과 낮은 지연 시간을 유지합니다. 측정 결과 디스크 압력 감소, CPU 사용량 안정화, 그리고 완결성 지연 시간 개선이 확인되었으며, 이는 유사한 부하 조건에서 두 시스템의 동작 차이가 확연함을 보여줍니다.

Tidehunter는 장시간 실행되는 고처리량 블록체인 시스템의 운영 요구 사항에 대한 실용적인 해결책을 제시합니다. 블록체인이 순간적인 트래픽 급증에서 지속적인 트래픽 처리 방식으로 전환됨에 따라, 스토리지 효율성은 프로토콜 성능을 위한 필수적인 요소가 되었습니다. Tidehunter는 이러한 차세대 확장을 위해 특별히 설계된 인프라를 지향하며, 향후 더 자세한 기술 정보와 배포 계획을 공개할 예정입니다.

"Tidehunter: Sui의 차세대 데이터베이스, 낮은 지연 시간과 쓰기 증폭 감소에 최적화"라는 제목의 게시물이 Metaverse Post 에 처음으로 게재되었습니다.