[Clickhouse] Secondary Index (Skip Index)

#Clickhouse

Clickhouse도 다른 DB들과 비슷하게, 쿼리 최적화를 위한 보조 인덱스를 제공한다.
MergeTree 계열 엔진에만 적용된다.

쿼리의 플랜과 성능을 분석하는 방법에 대해서는 별도 포스트를 참조한다.
https://blog.naver.com/sssang97/223926031319

Skip Index

clickhouse의 보조 인덱스는 기본적으로 스킵 인덱스다.
다른 DB의 보조 인덱스가 일치하는 행을 정확하게 식별하는 방식으로 동작한다면, Clickhouse의 인덱스는 디스크 블록 단위(granule)를 스캔하기 전에 이걸 스캔해야 하는지 아닌지 선택하기 위한 기준으로 사용된다.

최적화 구조에 대해서 알고 싶다면 별도 포스트를 참조한다.
https://blog.naver.com/sssang97/223652951126

그래서 이 Secondary 인덱스는 기대한 것만큼의 직관적인 성능 향상을 내기 어려울 수도 있다.
최적화된 기본키 선택, projection, materialized view를 검토해본 이후에도 성능이 충분하지 않다면 마지막 방법으로 선택하는 것이 권장된다.

인덱스 추가

인덱스 추가 문법은 다음과 같다.

ALTER TABLE 테이블명 ADD INDEX 인덱스명 컬럼명 TYPE 인덱스타입 GRANULARITY N;

사용사례에 따라 인덱스 타입을 잘 조절해야 한다.
GRANULARITY N은 몇개의 GRANUL(블럭)을 스킵 단위로 묶을지를 지정한다.

기본적으로는 행 단위로 스킵하는게 아니라 그래뉼 단위로 스킵하는거라서, 데이터 규모가 크고 분포가 희소한 경우가 아니면 효과를 발휘하기 어렵다.

그리고 인덱스로 인한 효과는 바로 적용되지 않을 수 있다. 블럭이 충분히 병합되고 인덱스가 완전하게 적용되는데에는 딜레이가 존재할 수 있다.
강제로 최적화를 유도하려면 OPTIMIZE 쿼리를 사용해야 한다.

OPTIMIZE TABLE 테이블 FINAL;

인덱스 타입

인덱스 타입에는 bloom_filter, minmax, set(max_rows) 등이 제공된다.

bloom_filter는 해시테이블의 변종인 블룸필터를 응용한 skip 구조다. 동등 비교(=)에 대한 인덱스를 건다면 이것을 우선 고려한다.
오차가 있는 알고리즘이지만 "없다"고 판단한 것은 정확하기 때문에 매우 큰 데이터에 대해서 상당히 효율적으로 skip을 처리할 수 있다.
원리에 대해서는 별도 포스트를 참조한다.
https://blog.naver.com/sssang97/223231946274
minmax는 단순한 구조의 skipping 인덱스다.
그래뉼마다 최소-최대값을 저장해두고, 거기에 걸리지 않으면 skip하게 하는 것이다.
BETWEEN, >, < 같은 범위 기반 필터에 적합하다.
**set(max_rows)**는 단순하고 가볍지만 제약이 있는 인덱스다.
여기엔 블록의 모든 값을 저장해둔다. 그리고 이 set에 필터 대상 값이 있으면 스캔하고, 없으면 skip하는 것이다.
set(0)이라면 한계 없이 저장하고, set(100)이라면 100개까지 저장한다. 한계를 정했을때 한계를 넘으면 빈 것으로 처리해서 skip을 하지 않는다.
단일 그래뉼 내에서는 카디널리티(값의 종류)가 낮지만 전체 데이터셋 기준으로는 카디널리티가 높은 경우에 효율적으로 동작한다.

어떤 상황에서 어떤 인덱스를 타는지는 다음 표를 참조한다.

https://clickhouse.com/docs/engines/table-engines/mergetree-family/mergetree#functions-support

인덱스 사용례: Bloom Filter

블룸필터는 일반적인 동등검색(=)에 최적화된 해시 기반의 인덱스다.

이런 테이블이 하나 있다고 가정하고, 블룸필터를 적용해보겠다.

그냥 이런 쿼리를 적당히 날려본다고 가정하겠다.

사실 그렇게 느리지는 않다. 인덱스를 타는지 아닌지만 확인해보겠다.

조건에 부합하는 인덱스를 2개 추가했다.

ALTER TABLE llm_request ADD INDEX idx_bloom request_type TYPE bloom_filter GRANULARITY 1;
ALTER TABLE llm_request ADD INDEX idx_bloom_2 status TYPE bloom_filter GRANULARITY 1;