[Qdrant] 양자화 (Quantization)

벡터 양자화에 대해서 잘 모른다면, 별도 포스트를 참조한다.
https://blog.naver.com/sssang97/223848217468

qdrant는 일반적인 양자화인 binary, 스칼라, product를 모두 지원한다.
여기서는 가장 일반적이고 리스크도 적은 스칼라 양자화를 만들어서 응용하는 법을 다뤄보겠다.
다른 것들은 옵션 형태가 좀 다르긴 하지만, 접근법은 비슷하다.

양자화 옵션은 collection 생성시에 주거나, 컬렉션을 변경하는 형태로만 조정할 수 있다.
quantization_config 값을 설정해주면 된다.

quantile은 양자화할 값 범위?라고 할 수 있을 것이다. 0.5~1.0 범위의 값을 지정할 수 있고, 낮출수록 더 많은 값이 손실되어서 정확성이 떨어진다.
이것도 양자화된 벡터를 메모리에 올릴지, 디스크에 올릴지를 결정할 수 있다. always_ram: true를 주면 양자화된 벡터를 메모리에 올리게 된다.

난 기존 데이터를 기준으로 256 길이 벡터 1000만개 정도를 간단히 테스트해봤다.

실행 속도의 경우에는 꽤 두드러진 차이가 보였다.

거의 2-3배는 빨라졌다.

그리고 메모리 사용량은 생각보다 큰 차이는 없었다. 원래 4-5기가 정도를 오갔던지라.
애초에 벡터 길이가 짧아서 드라마틱한 차이가 없는 것 같기도 하다.

하지만 무언가를 얻으면 잃는 것도 있는 법이다.
양자화 전에는 정확성이 거의 98%에 수렴했던 것이

스칼라 양자화를 적용했을 경우에는 84%대로 줄어들었다.

손실 정도는 데이터 상태에 따라서 좀 다를 수 있으니, 직접 검증을 해보는 것을 권한다.
손실된 정확도는 rescoring 같은 방법을 동원해서 좀 보완할 수는 있지만, 한계는 있다.

rescore를 통한 정확도 보완

rescore는 양자화 시 손실된 정확도를 끌어올리고자 사용되는 보조적인 기법 중 하나다.
이건 인덱스에 추가적인 설정을 더하는건 아니고, 쿼리를 날리는 시점에 적용하는 것이다.

예를 들어, 이런 식으로 옵션을 주면 가장 유사한 20개를 가져온 다음에, "양자화되지 않은 원본 벡터"를 디스크에서 읽어온 뒤에 다시 재평가(rescore)를 해서 최종 10개를 가져온다.

정확도를 조금 높일 수 있다는 장점이 있지만, 오버샘플링 개수만큼 조회하는데서 부하가 발생하고, 디스크를 읽는데 추가 비용이 발생한다.

이것도 그리 완벽한 방법이 아니라는 점을 유의한다.
직접 본인의 데이터셋에서 확인해봐야 한다.

계산기

qdrant는 손에 꼽을 정도로 편리한 자체 계산기를 제공한다.
단순 비용뿐만 아니라, 양자화를 적용했을 경우 절약되는 사이즈가 어느 정도인지도 간단하게 파악해볼 수 있다.

https://cloud.qdrant.io/calculator

참조
https://qdrant.tech/documentation/guides/quantization/
https://www.unite.ai/comparing-quantization-techniques-for-scalable-vector-search/