[PostgreSQL] bloom index

Bloom Index는 Bloom Filter 기반의 인덱스 타입이다.
기본 확장으로 제공되며, 특수한 사용사례를 상정하고 제공된다.

블룸 필터에 대한 원리는 별도 포스트를 참조한다.
https://blog.naver.com/sssang97/223231946274

사용법

먼저 bloom 플러그인을 활성화해야 한다.
기본 확장으로 포함되어있긴 하지만, 켜져있지는 않다.

CREATE EXTENSION bloom;

그리고 만들때는 일반 인덱스 만들듯이 할 수 있다.

 create index 인덱스명 on 테이블명 USING bloom (필드, ...);

제한사항

이건 제한사항이 매우 많은 편에 속한다.
일단 등식(=) 기반의 조건에만 인덱스가 동작한다. 범위 조건 등에는 동작하지 않는다. 해시 기반이기 때문이다.

UNIQUE 제약을 활용할 수 없다.

일반적으로는 BTree보다 느리다.

카디널리티가 높은 경우에만 잘 동작한다. 값의 중복이 많다면 인덱스를 아예 타지 않을 수도 있다.

vs BTree

그러면 이걸 언제 써야할까? 사실 대부분의 사용사례에서는 Btree에 밀리는게 사실이고, 우선적으로 선택하지는 않아야 한다.

Bloom 인덱스는 기본적으로 인덱스의 크기가 상당히 작다.

게다가 복합으로 인덱스를 구성할 때도 인덱스의 "컬럼 순서"에 영향을 받지 않는다는 장점이 있다. 대충 (a, b, c, d, e)로 걸어놓고 e나 c만으로 필터를 걸어도 인덱스를 탄다.

사용해보기

데이터를 대충 세팅해보고, 잘 도는지 확인해보자.

CREATE TABLE benchmark (
    id BIGSERIAL PRIMARY KEY,
    a INT NOT NULL,
    b INT NOT NULL,
    c INT NOT NULL
);

INSERT INTO benchmark (a, b, c)
SELECT
    (random() * 1000000)::INTEGER as a,
    (random() * 5000000)::INTEGER as b,
    (random() * 10000000)::INTEGER as c
FROM
    generate_series(1, 10000000) AS t;

적당히 1000만개 정도의 값만 랜덤으로 깔았다.

그리고 인덱스를 적당히 만들었다.

 create index bloom_test on benchmark USING bloom (a, b, c);

이러면 a, b, c 컬럼을 전부 커버할 수 있는 인덱스가 된다.
순서는 상관없어서 a 조건 없이 b만 걸어도 인덱스를 탄다.

그리고 카디널리티가 가장 높은 c로 조건을 걸면, 인덱스를 탄다. 빠르진 않지만.

BTree로 걸면 bloom보다는 훨씬 빠르다.

그리고 카디널리티가 낮고 데이터의 중복이 많은 a, b 컬럼에 대한 조건은, 인덱스를 잘 타지 않는다.

통계를 보고 판단하는 것 같다.

성능만 보면 좀 애매하긴 한데, 그래도 크기 자체는 작은 편이다.

저것과 비슷한 효과를 내려면 Btree에서는 컬럼마다 인덱스를 만들어야 하는데, 그러면 이 경우에는 인덱스만 700M쯤 먹는다.
반면 bloom 인덱스는 그 절반도 안되는 300M를 먹는 것을 볼 수 있다.

참조
https://www.postgresql.org/docs/current/bloom.html