[Qdrant] 세그먼트 (Segment)

Qdrant가 세그먼트라는 단위를 통해 실제 데이터를 저장하고 쿼리하는 구조를 갖고 있다.

대략적으로 어떤 구조를 갖고 있고, 또 최적화를 어떻게 해야하는지 간략하게 정리해본다.

세그먼트

컬렉션 내의 벡터 행 데이터들은 하나씩 저장되는게 아니라, 세그먼트라는 고유의 디스크 블록 단위로 저장이 된다.
약간 Elasticsearch의 Index Segment와 비슷하다고 봐도 된다.

세그먼트에는 여러개의 데이터 행들이 그룹화된 채로 저장되어있고,

각 세그먼트들은 그 자체로도 고유하게 동작할 수 있게끔 벡터 원본 데이터와 페이로드 데이터 쌍, 그리고 성능 최적화를 위한 인덱스들까지 일체형으로 들어가있다.

이건 효율적인 읽기 처리를 위해 약간 제한적인 구조를 갖고 있다.
세그먼트에는 append, 혹은 delete만 가능하다. update는 되지 않는다.

세그먼트의 크기

단일 세그먼트가 너무 크다면 인덱싱 속도가 느려질 수 있다.
그래서 인덱싱 속도를 빠르게 하고 싶다면 세그먼트 크기를 제한하는 것이 좋다.

그런데 반대로 세그먼트가 좀 더 작은 단위로 분할되어있어야 병렬처리를 통한 성능 극대화를 꾀할 수 있기도 하다.
단, 이것도 상황에 따라서 다를 수 있다. 세그먼트 크기가 커야 벡터 비교 횟수가 적어질 수도 있기 때문이다.

최대 세그먼트 크기는 collection 생성/수정 옵션에서 max_segment_size를 건드리는 것으로 제어 가능하다.
기본값은 200Mb이다.

세그먼트 병렬처리

쿼리를 날릴때는 세그먼트 단위를 독립적으로 연산 후 병합해서 처리할 수도 있다.

그건 컬렉션의 optimizer_config.default_segment_number 옵션으로 조정할 유도할 수 있는데, 기본값은 0이다. 0이면 그냥 크기를 기준으로 세그먼트 개수를 알아서 정한다.

예를 들어 CPU 코어가 총 4개고, optimizer_config.default_segment_number를 4로 지정한다면, 세그먼트가 총 4개로만 분산된다.
그리고 하나의 코어가 하나의 세그먼트를 독립적으로 처리할 수 있으니 이론적으로 최적의 레이턴시를 달성할 수 있다.

대신 인덱스 구성 시간이 길어진다는 단점이 있다.

참조
https://qdrant.tech/documentation/concepts/storage/
https://qdrant.tech/documentation/concepts/optimizer/
https://api.qdrant.tech/v-1-13-x/api-reference/collections/create-collection
https://qdrant.tech/documentation/guides/optimize/