[PostgreSQL] 샤딩(sharding) - partition

SQL RDB에서 샤딩이란 규모가 큰 테이블을 임의로 여러개로 분할해서 사용하는 것을 말한다.

다 풀스캔을 때리기 어렵거나 한곳에 저장하기 힘들 정도의 대용량 데이터를 다루다보면 사용하게 되는 기법이다.

샤딩의 원리

대략적인 원리는 이렇다.

1. 일단 컬럼중에 기준값으로 삼을 것을 하나 정한다. 보통은 유일성이 보장되고 인덱스를 타는 기본키 등으로 정할 것이다.
2. 만약 사용자 데이터라면 유저 고유번호 user_id가 1,2,3,4... 의 순서로 들어가있을 것이다.
3. 샤드 분배용 해시함수를 작성한다. 2개의 테이블로 샤딩을 하고 싶다면, user_id를 홀수 짝수대로 분배되도록 할 수 있겠다.
4. 그러면 A 샤드에는 1,3,5,...의 유저 데이터가 들어가고, B 샤드에는 2,4,6,...의 데이터가 들어가도록 구성하면 되는 것이다.

아래 이미지는 방금 언급했던 것과 동일한 예시다. 숫자에서 A, B, C, D으로 바뀌었을 뿐이다.

장단점

일단 특정 샤드에만 접근해도 될 경우에는, 샤딩을 하지 않은것보다 훨씬 빠르게 스캔을 해올 수가 있다. 또 그렇기때문에 성능 최적화를 고려해서 샤드를 분할해야 한다.
샤드가 애매하게 나뉘어서 매번 샤드 여러개를 다 읽어오면, 나눠놓은 의미가 없을 것이다.

또, 대량으로 업로드하는 경우에도 상당한 성능의 이점이 있다. 데이터 뭉치를 insert할때 그냥 올리는게 아니라 그걸 insert해놓은 새 샤드를 통째로 올려버리는 것이다. 그럼 postgresql vaccum의 특성 일반적인 대량 insert나 대량 delete보다 훨씬 빠르게 처리가 된다.
partition attach와 partition detach 등의 명령어로 이를 수행할 수 있다.

그리고 데이터베이스의 저장소 자체가 부족해질 경우에도 필수적이다. 디스크에 다 쓰지를 못하는데.. 어떻게 하겠는가? 나눠서 다른 머신에 저장해야지.
게다가 잘 사용되지 않는 샤드의 경우에는 느리고 저렴한 스토리지에 몰아넣어서 비용의 효율화를 꾀할 수도 있다.

다만, 메모리 분할에도 신경을 좀 써야 한다.
관련해서 가장 대표적인 문제로는 유명인(celebriry) 문제라는 것이 있다.
그냥 컴퓨터적인 사고로는 홀수 짝수 분리해놓으면 알아서 균형을 맞추겠지 싶을 수도 있지만.. 항상 그렇지는 않다. 이를테면 특정 데이터에만 무언가가 쏠리는 경우 말이다. 이런건 복합적인 아키텍처를 통해 해결을 해야한다.

partition

샤딩도 원리는 간단하지만 직접 구성하려면 귀찮고 번거로운 작업인데, postgresql은 다행히 이러한 기능을 기본으로 제공한다.

아래는 예제의 원본 쿼리다.

create table Food
(
	id serial primary key,
	name varchar(100),
	value int
);

만약 이러한 테이블을 파티셔닝으로 구현하고 싶다면 일단 파티션용 테이블을 하나 작성해야 한다면,

다음과 같이 partition by에 파티션 타입을 넣어주면 된다.

create table 파티션테이블명
... table 정의
partition by hash(기준값)

파티션 타입은 hash 외에도 range, list가 있는데, 해시는 나머지셈을 해서 모든 샤드에 골고루 들어가도록 유도한다.
range는 말 그대로 값의 범위별로 나누는거고... list는 특정 값의 목록만 하드코딩받아서 그걸로 나누는 것이다.
range는 보통 기간별로 분할하는데 주로 사용될 것이다.

이렇게 만들어진 파티션용 테이블은 그 자체로는 동작하지 않는다.

그저 여러개의 파티션을 묶어서 보여주는 중간자에 불과하기 때문이다.

그럼 이제 저기다 파티션을 추가해보자.
나는 2로 나머지셈을 해서 1이 남으면 홀수 샤드로, 0이 남으면 짝수 샤드로 가도록 구성했다.

create table 샤드명 partition of 파티션테이블명 for values with(값 조건...);

그럼 내부적으로 샤드 테이블이 생성되고 관리된다.

이렇게 보일 것이다.

이제부터는 파티션용 테이블을 일반 테이블처럼 사용할 수 있다.
그냥 넣는것도 문제없고

읽어올때도 잘 읽어온다.

그냥 쭉 읽어오는것처럼 보이지만, 플랜을 찍어보면

실제로는 2번 호출해서 이어붙이고 있다는 것을 알 수 있다.

반대로 짝수값만 필터하도록 유도하면

짝수 샤드만 읽어서 가져올 것이다.

다른 타입 (range)

바로 위에서는 hash로 샤딩을 했지만, 실제로는 range 기반의 샤딩도 곧잘 쓰이곤 한다.
로그성 데이터 같은 것들을 달이나 연 단위로 분할해서 관리하는 것이다.

우선 파티션용 테이블을 정의할때 hash 대신 range를 넣어준다.

그리고 이걸 연단위로 샤딩할 수 있게 파티션들을 3개만 추가해보겠다.

이런식으로 FROM - TO에 범위값을 잘 집어넣어주면 된다.

그럼 마찬가지로 저 created_at 날짜값에 따라 각각의 샤드로 저장이 될 것이다.

참조
https://www.postgresql.org/docs/current/ddl-partitioning.html
https://needjarvis.tistory.com/574
https://www.digitalocean.com/community/tutorials/understanding-database-sharding
https://www.postgresql.fastware.com/postgresql-insider-prt-ove