[Clickhouse] Engine: CollapsingMergeTree

CollapsingMergeTree는 MergeTree의 주요 변형 엔진 중 하나다.
잦은 수정과 삭제에 대해서 조금 더 향상된 성능을 보장하기 위해서 사용한다.

상당히 기묘한 동작 방식을 가진 엔진이다.
이건 동일한 정렬키에 대한 값을 쌍소멸시키는 내부동작을 가진다.

테이블은 이런 식으로 생성할 수 있다.

create table items 
(
   id String, 
   value String, 
   sign Int8 
) ENGINE = CollapsingMergeTree(sign)
ORDER BY id

CollapsingMergeTree은 "sign" 필드가 별도로 필요한데, 이건 1/-1 값을 가지는 정수값이어야 한다. 그 이외의 값은 넣을 수 없다.

한번 같은 키의 값을 넣어보겠다.

넣는 것 자체는 문제없이 들어간다.

그리고, 당연히 키는 중복을 허용한다.
하지만 Merge가 실행되면 병합이 되긴 한다.

optimize로 merge를 트리거해보면

최신 값만 보존하고 날려버릴 것이다.
여기까지는 ReplacingMergeTree의 동작과 비슷해보인다. 그럼 뭐가 다를까?

같은 키에 sign이 다른 값을 2개 넣어보고, merge를 돌리면

그 같은 키를 가졌던 값이 합쳐지는게 아니라 쌍으로 날라가버린다.

정확히 1:1로 날리는 거라서, 양쪽이 비대칭이면 많은 쪽만 남는다.
그래서 1을 더 많게 남겨놓으면

쌍소멸하면서 1인 것만 남고

반대로 -1이 더 많으면

쌍소멸하면서 -1인 것만 남는다.

그래서 이걸 어디다 쓰는가?

이 엔진의 강점은, 빈번한 UPDATE와 DELETE를 효율적으로 처리할 수 있다는 것이다.
일반적인 INSERT는 sign=1로 그냥 넣다가, 수정/삭제를 할때 sign=-1로 값을 충돌시키는 식으로 응용한다.

삭제의 경우에는 이런 식으로 처리할 수 있다.
삭제할 필요가 있으면 거기에 DELETE를 날리는게 아니라 동일한 키값에 sign=-1인 행을 삽입하는 것이다.
그러면 당연히 merge가 실행될때 자동으로 삭제를 해줄 것이고, 당연히 하나씩 DELETE를 날리는 것보다 훨씬 효율적이다.

수정의 경우에는 이런 식으로 처리할 수 있다.
sign=-1값과 수정할 값을 담은 sign=1 값 2개를 INSERT하는 것이다. 그러면 merge가 실행될때 옛날 값은 음수와 쌍소멸해서 사라지고, 최신 값만 남게 된다.

참조
https://clickhouse.com/docs/engines/table-engines/mergetree-family/collapsingmergetree