[Qdrant] 분산 DB 구성

#qdrant

Qdrant는 자체적으로 Raft 기반의 분산시스템을 제공한다.
이를 통해 멀티노드, 멀티샤드 기반의 수평 처리량 확장, 고가용성 보장 등을 가져갈 수 있다.

고가용성이 가장 중요하다면 권장되는 사용 형태는, 최소 3 노드 클러스터에 레플리카는 2개 이상으로 두는 것이다. 이 경우에는 노드 하나가 죽어버려고 중단 없이 사용할 수 없다.

Docker로 구성해보기 (Docker compose)

docker compose를 통해서 클러스터 구성을 한번 만들어보자.
일단, master 역할을 할 첫번째 DB 노드가 필요하다.
이후에 바뀔 수는 있으나, 처음 시작하는게 첫번째 마스터가 된다.

7333 포트로 열고, CLUSTER 옵션 켜고, 실행할때 플래그도 넣어줘야 한다.
uri 플래그로 자기 자신에게 도달할 수 있는 경로를 명시해준다.

그럼

클러스터 구성이 활성화된 것을 볼 수 있다.
이렇게 첫번째로 구성한 것이 자동으로 Leader(master) 노드가 된다.

그리고 현재는 피어가 하나만 있는 것을 볼 수 있다. 저기에 하나씩 붙여나가는 것이다.

2번째 노드를 띄워보자.

설정이 크게 다를 것은 없으나, --bootstrap 플래그를 통해서 연결할 중심 노드를 지정해줘야 한다.
그리고 uri 플래그를 통해 자기 자신의 진입점을 명시해주는 것도 마찬가지로 필요하다.

실행해보면

이제 메인 노드의 피어 목록에 뜨는 것을 볼 수 있고

방금 추가한 2번째 노드는 Follower(slave)로 참여한 것을 볼 수 있다.
이것도 leader 노드와 마찬가지로 직접 read/write를 처리할 수 있다.

이후로 노드를 더 추가하더라도, 방법은 달라지지 않는다.

부트스트랩 넣고, uri 넣어서 병렬적으로 계속 이어붙이면 되는 것이다.

그럼 이제 노드 사망에 따른 회복이 잘 되는지 보자.
Follower가 죽는 것도 그렇지만, 사실 중요한건 Leader가 죽는 최악의 사태다.

Leader를 한번 죽여보면

나머지 2개의 노드가 실패했다고 난리치다가

자기들 중에서 새로운 후보를 Leader로 선출한다.

만약 기존 Leader 노드가 다시 날아나더라도, Leader의 지위를 되찾진 못한다.

이렇게 상황에 따라 Leader가 바뀔 수 있기 때문에, 단일 엔드포인트로 사용해서는 안된다.

올바르게 구성된 클러스터라면 이 여러개의 노드를 단일 엔드포인트로 접근할 수 있는 환경을 만들어둬야 한다.
대부분의 managed cluster 환경들이 그렇기도 하고.

qdrant도 elasticsearch 같은 멀티노드 DB들과 동등하게, 큰 데이터를 여러 노드에 쪼개서 저장하는 샤드(partition), 동일 데이터를 여러 노드에 복제해서 백업하는 레플리카(replica)를 모두 지원한다.

샤드를 다루는 방법은 이후 포스트에서 다뤄본다.