[Clickhouse] Engine: ReplacingMergeTree

#Clickhouse

MergeTree 엔진의 주요 변종 엔진 중 하나다.
만약 정렬키를 기준으로 고유성을 보장하고 싶다면 이 엔진을 선택하면 된다.

일반적인 공통사항은 MergeTree에 대한 글을 참조한다.
https://blog.naver.com/sssang97/223926218194

테이블 정의나 일반적인 사용법에 있어서는 MergeTree와 크게 다르지 않다.

ORDER BY를 기준으로 중복을 제거한다는 것을 알기만 하면 된다.

중복 제거

ORDER BY 키를 기준으로 중복 데이터를 제거한다.

문제는, 중복 제거가 실시간으로 처리되는건 아니라는 것이다.
백그라운드 Merge가 진행될 때 모아서 중복을 제거하는데, 이게 그렇게 자주 실행되지는 않는다.

Merge를 트리거해서 강제로 중복을 제거하려면, OPTIMIZE를 사용하면 된다.

다만, 권장되지는 않는다.

RDB의 Unique 조건의 경우에는 강력하게 Lock을 걸고 유일성을 처리해서 나중에 들어온 값이 튕기지만, 이건 실시간이 아니라서 그렇게는 못한다.
그러면 무엇을 기준으로 남겨둘 항목을 선택할까?

따로 버전을 지정하지 않는다면 가장 마지막에 insert된 것만을 남기고 전부 지운다.

만약 확실하게 나중에 저장된 데이터만 남기고 싶다면, 버전 필드를 추가하고 버저닝 대상으로 지정해서 중복 제거 조건을 명확하게 만들 수 있다.

이렇게 걸어둔다면

버전 값이 가장 큰 것만 남기고 지운다.

여기서는 정수로 했지만 시간 값을 넣어도 된다.

ReplacingMergeTree는 MergeTree의 기본 병합 정책을 따라서 중복 키를 제거한다.
근데 이건 생각보다 느긋하게 처리하는거라서 원하는 수준의 유일성을 보장하기 어려울 수 있다.

이때 적용하기 좋은 설정이 min_age_to_force_merge_seconds다

ALTER TABLE 테이블명 
MODIFY SETTING min_age_to_force_merge_seconds = 10

이러면 해당 초 이상이 지난 데이터에 대해서 강제로 병합-중복제거를 하도록 지정할 수 있다.