[PostgreSQL] Scan

Scan이란 말 그대로 데이터베이스를 스캔하는 것을 말한다.

기본적으로 관계형 데이터베이스들은 데이터를 디스크에 저장해놨다가 읽어들이는 방식을 취하는데. DB 사용에 있어서 가장 큰 부하가 걸리는 부분 중 하나가 이것이다.

디스크는 겁나 느리기 때문이다.

스캔에도 여러가지 종류가 있고 DB 시스템마다 조금씩 다른데, 일단 여기서는 Postgres의 스캔 종류만 간략히 다뤄보도록 하겠다.

Postgres에는 크게 순차 스캔, 인덱스 스캔, 인덱스 Only 스캔, 비트맵 스캔, TID 스캔 등이 있다.

순차 스캔(Sequencial Scan)

순차 스캔은 말 그대로 순차적으로 읽어오는 스캔이다.

가장 단순하고, 기본적이지만 성능의 폭발을 불러일으킬 수 있다.
만약 테이블에 10000개의 데이터가 있고, 그 중에 1개만 가져오려고 해도 순차 스캔이 발생한다면 10000개를 전부 읽어야 하는 말도 안되는 일이 벌어지기 때문에다.

그래서 저기서 text 중 하나만 가져오려 해도

실행시간이 전혀 줄어들지 않음을 볼 수 있다.

데이터가 많아지면 많아질수록 이에 대한 문제는 커진다.
아래는 약 2천만개의 데이터를 넣었을 때의 실행계획이다.

비용이 급격하게 상승한 것을 볼 수 있다.

따라서 순차스캔은 아주 적은 특정 값을 가져올 때는 적합하지 않다.

인덱스 스캔(Index Scan)

인덱스는 말 그대로 데이터베이스에 대한 색인(Index)을 다는 것이다.
기본 테이블이 순차적으로 저장되는 것에 반해서, 인덱스는 B트리 형태로 생성이 된다. 그리고 각 인덱스는 데이터베이스 원본을 직접 참조해서 접근할 수가 있다.
때문에 훨씬 빠른 속도로 탐색을 수행할 수 있는 것이다.

인덱스의 생성은 다음과 같이 할 수 있다.

CREATE INDEX 인덱스명 ON 테이블명 USING btree (컬럼들)

다시 이전의 쿼리를 측정해보면, 다르게 나올 것이다.

비용이 28만에 달했던 것이 무려 11로 줄어들었다.
무식하게 읽어온다음에 걸러낸 것이 아니라, 인덱스 트리로 빠르게 접근한 후에 가져와서 그렇다.

그렇다면 컬럼마다 인덱스를 달아주는게 빠르고 좋은 걸까?
그렇지는 않다.

인덱스를 생성하면 데이터마다 대응되는 인덱스 트리값이 생겨나기 때문에 기본적으로 메모리를 적지 않게 차지한다. 뿐만 아니라 데이터를 삽입, 수정, 삭제할때마다 인덱스값도 그에 맞춰주는 작업을 수행하기 때문에 추가적인 부하가 늘어날 수도 있다.

그렇다고 인덱스 스캔이 순차 스캔보다 항상 빠른 것도 아니다.
인덱스 스캔은 내부적으로 랜덤IO를 사용하는데, 이 작업 자체는 사실 순차IO보다 대략 4배는 느리다!
'빠르게 선별해서' 읽어올 수 있다는 것이지, 읽어오는 것 자체가 빠른 것은 아니란 것이다. 그래서 뭔가 잔뜩 가져올때는 인덱스가 더 느릴 수 있다.

게다가 테이블 규모가 어느 임계점을 넘어서 초대형 규모가 되면 인덱스가 오히려 느려지고 순차 스캔이 빨라질 수도 있다. 순차스캔은 규모가 클 경우 병렬처리를 통해 훨씬 빠른 스캔을 기대할 수 있는데, 인덱스의 랜덤 접근은 테이블 규모가 커지면 커질수록 캐싱 성공 확률이 낮아지는 등의 결점이 있기 때문이다.

그래서 소형 테이블의 경우 순차와 인덱스의 손익점이 15%라면, 대형의 경우에는 5%, 초대형의 경우에는 1%가 될 수도 있는 것이다. 이런 극단적인 경우에는 전체 데이터의 1%를 인덱스 스캔하는 것보다 순차스캔을 때리는 것이 빠를 수 있다.

그래서 웬만하면 필요할 때, 필요한 만큼만 추가해서 쓰는 것이 바람직하다.

인덱스 Only 스캔

이건 기본적으로 인덱스 스캔과 유사하다.
차이점은, 인덱스로 탐색해서 인덱스 컬럼값을 가져올 때만 발생한다는 것이다.

아까는 select *로 인덱스컬럼이 아닌것까지 다 가져왔지만, 이번에는 인덱스인 text만 가져왔다.

인덱스 스캔에 비해서 특별한 성능 이점이 있는지는 잘 모르겠다.

비트맵(Bitmap) 스캔

앞에서 언급했듯이, 인덱스 스캔은 적은 데이터를 가져올 때 효과적이고, 순차 스캔은 많은 데이터를 가져올 때 효과적이다.
근데 인덱스를 돌리기엔 애매하게 많고, 순차를 돌리기엔 애매하게 적을 때가 있을 수 있다.
그럴 때 사용되는 것이 바로 비트맵 스캔이다.
비트맵 스캔은 인덱스 스캔에서 발생할 수 있는 과도한 랜덤IO를 방지하면서, 인덱스의 성능도 어느정도 가져올 수 있다.
게다가 무겁고 경직된 BTree가 아닌 비트맵을 올려놓고 돌리는 형태라, 이런저런 효율점이 많은 편이다.

비트맵 스캔은 비트맵 인덱스 스캔과 비트맵 힙 스캔의 2 단계를 거친다.
1.비트맵 인덱스 스캔이란 것으로 인덱스를 가져와서 비트맵이란 걸 만들고,
2.비트맵 힙 스캔. 그 비트맵을 읽고 메모리에서 데이터를 가져오는 것이다.

TID 스캔

postgresql의 데이터에는 TID라는 고유한 식별값이 내장되어있다.
이건 평소엔 숨겨져있지만, 일반 컬럼처럼도 접근이 가능하다.

그리고 저걸 통해 검색을 시도하면 TID 스캔을 수행하게 되는 것이다.

아마 빠르기는 제일 빠르지 않나 싶다?

참조
"『새로 쓴 대용량 데이터베이스 솔루션』, 이화식"
https://severalnines.com/database-blog/overview-various-scan-methods-postgresql
http://www.gurubee.net/lecture/2394
http://wiki.gurubee.net/pages/viewpage.action?pageId=1507452