[DuckDB] 소개

DuckDB는 떠오르고 있는 OLAP, 분석용 DB 중 하나다.
비슷한 포지션을 잡고 있는 대표적인 오픈소스 경쟁자로는 clickhouse가 있다.

C++로 만들어졌고, MIT 라이센스라서 사용에는 아무런 지장이 없다.
안정화된 1.0.0 버전은 2024년에 나왔다.

특징

대규모 데이터셋에 대한 분석을 목표로 하기 때문에, 기존 데이터베이스들과 다르게 column 베이스 구조를 갖고 있다. 이를 통해 빠르고 복잡한 필터링 조건에 대해 뛰어난 성능을 달성할 수 있다.

SQLite에 영감을 받아 만들어져서, 가볍고 이식 가능한 구조를 지향한다.

OLAP DB로서는 특이하게 트랜잭션을 지원하며, ACID를 만족한다고 한다.

다른 플랫폼, 포맷들과의 연동 능력이 뛰어나다. 데이터 과학에 사용되는 포맷인 parquet, apache arrow 등과의 직접적인 통합 기능을 제공한다.
게다가 데이터 소스가 반드시 로컬 스토리지에 있을 필요도 없다. s3 등에서 바로 스캔해서 query를 날리는 기능도 제공한다.

vs Clickhouse

DuckDB의 가장 강력한 경쟁자는 아마 clickhouse일 것이다.
더 최신 기술이라고 이게 더 좋은건 아니고, 서로 tradeoff가 존재한다.

clickhouse는 수평 확장을 전제로 한 분산 구조를 지원하며, 테라바이트에서 페타바이트에 이르는 진짜 빅데이터를 다룰 수 있는 능력을 제공한다.
그 대신 리소스 요구량이 꽤 높으며, 일반적인 DB들만큼 설정이나 관리 부분에서 손이 가는 부분이 존재한다.

DuckDB는 clickhouse에 비하면 감당 가능한 데이터 크기가 비교적 작은 편이다. 기가바이트급, 잘 하면 테라바이트 수준까지는 잘 처리할 수 있으나, 페타바이트 급 데이터에 대해서는 최적화에 한계가 존재한다.
수평 확장도 제대로 지원하지 않는다.
설치와 사용이 편하고 리소스 요구치가 낮은 대신, 상한이 존재하는 것이다.

그래서 DuckDB는 중소규모 데이터셋을 단발적으로 핸들링하는데 적절하고, 정말 대규모 데이터를 지속적으로 보관하고 처리해야 한다면 clickhouse를 비롯한 엔터프라이즈급 솔루션을 찾아봐야 한다.

사실 이것도 SQLite처럼 거품이 좀 존재하는 것 같긴 한데, 적당한 사용사례에서는 쓸만한 것 같다.
테라-페타급 데이터를 분석할 일이 많지는 않고, 대개는 데이터가 커도 기가바이트 수준인 경우가 많기 때문이다.

참조
https://duckdb.org/
https://duckdb.org/why_duckdb
https://www.cloudraft.io/blog/clickhouse-vs-duckdb
https://en.wikipedia.org/wiki/DuckDB