[Clickhouse] Engine: MergeTree

MergeTree는 clickhouse의 핵심이 되는 테이블 엔진이다.
clickhouse의 목적에 맞게 대규모 데이터를 저장하고 쿼리하기 위한 것이라면, MergeTree나 MergeTree의 변종을 선택하는 것이 권장된다.

MergeTree의 변종으로는 ReplacingMergeTree, AggregatingMergeTree가 있다. 기반은 같으나 일부 편의성이나 성능 최적화 관점이 조금 다르다.

그리고 읽기성능을 위해서 다른 모든 것을 희생했다고 볼 수 있다. 트랜잭션도 없고, 수정/삭제도 잘 안되고, 유일키 제약 같은 것도 사실상 불가능하다.
그래서 이걸 메인DB로 쓴다면 많은 애로사항이 꽃필 것이다.

테이블 생성

MergeTree를 엔진으로 지정하고 생성하면 된다.
Primary Key나 Order By 둘 중 하나는 반드시 지정되어야 한다.

Granule 구조

Granule이라고 하는 고유의 저장 구조를 활용해서 데이터를 컴팩트하게 저장하고, 빠른 풀스캔에 유리한 형태로 구성한다.

자세한 내용은 별도 포스트를 참조한다.
https://blog.naver.com/sssang97/223652951126

Primary Key와 Order By

의외로 Primary Key는 필수적인 요소가 아니다. ORDER BY를 사용하면 ORDER BY 컬럼이 자동으로 Primary Key로 사용된다.
그러니까 정렬키와 기본키가 거의 동일하다고 봐도 된다.

정렬키, 혹은 기본키의 선택은 쿼리 성능에 있어서 가장 중요한 부분 중 하나다.
실제 쿼리 패턴에 맞춰서 정렬키를 잘 선택하는 것이 중요하다. 최적화 패턴에 대해서는 별도 포스트로 정리해보겠다.

그리고 기본키가 있긴 하지만 기본키나 정렬키나 다른 DB의 기본키처럼 동작하지는 않는다.
기본키는 중복이 가능하다.

기본키 기준으로 중복을 배제하고 싶다면 변종인 ReplacingMergeTree을 활용해야 한다.

Secondary Index (Skip Index)

보조 인덱스는 Skip Index라는 비교적 이질적인 방법론을 차용한다.
자세한 내용은 별도 포스트를 참조한다.
https://blog.naver.com/sssang97/223926075870

파티션

MergeTree는 선택적인 스캔을 위한 파티션 기능을 제공한다.
https://clickhouse.com/docs/engines/table-engines/mergetree-family/custom-partitioning-key

PARTITION BY (파티션 키 목록, ...)

파티션 값을 테이블 정의시에 넣어주면 된다.

만약 시계열 데이터가 있을때, 데이터를 월별로 파티션해서 저장하고 싶다면 이렇게 할 수 있다.

이러면 파티션 키 기준으로 실제로 블록이 별도로 저장된다.
이 경우 파티션 키를 무시하고 전체 조회를 한다면 성능이 떨어질 수 있으나, 파티션 단위의 접근을 자주 할 때는 성능이 향상될 수 있다.

그리고 파티션의 카디널리티는 너무 높아서는 안된다. 그럴 경우 성능이 저하될 수 있다.
시계열 데이터를 예로 들면 파티션 단위는 월 단위까지는 적절하나, 주나 일 단위로 세분화하는 것은 적절하지 못하다.

쓰기 후 읽기

Elasticsearch처럼 읽기 성능에 최적화된 DB들이 으레 그렇듯이, 쓰기에 딜레이가 존재한다.
그러니까, 데이터 수정을 하더라도 바로 변경사항을 확인할 수가 없다는 것이다.

이를 기반으로 프로그램을 구현할 때는 항상 이런 제한을 염두에 둬야 한다.

TTL

데이터 만료/정리를 위한 TTL 기능도 제공한다.
https://clickhouse.com/docs/engines/table-engines/mergetree-family/mergetree#table_engine-mergetree-ttl
MergeTree의 TTL은 컬럼과 테이블에 지정할 수 있다.
컬럼에 지정할 경우에는 만료시 해당 컬럼의 값이 기본값으로 바뀌고, 테이블에 지정할 경우에는 만료시 해당 행을 삭제하거나 다른 볼륨으로 이동시킬 수 있다.

CREATE TABLE tab
(
    created_at DateTime,
    some_value String TTL created_at + INTERVAL 1 MONTH, -- 컬럼 TTL. d 기준 1달 후에 만료
    c String
)
ENGINE = MergeTree
ORDER BY created_at;

CREATE TABLE tab2
(
    created_at DateTime,
    value Int
)
ENGINE = MergeTree
ORDER BY created_at
TTL created_at + INTERVAL 1 MONTH DELETE, -- 1달 지나면 삭제
    created_at + INTERVAL 1 WEEK TO VOLUME 'aaa', -- 1주 지나면 볼륨을 aaa로 이동

참조
https://clickhouse.com/docs/engines/table-engines/mergetree-family/mergetree
https://clickhouse.com/docs/engines/table-engines/mergetree-family/custom-partitioning-key