[Vector Search] Vector의 양자화 (Quantization)

#데이터베이스

양자화(quantization)는 벡터 검색 및 벡터 DB에서 벡터 값을 효율적으로 다루기 위해 압축하는 방법들을 말한다.

왜 양자화가 필요한가?

벡터 DB에서 벡터 인덱스는 그래프 형태로 관리가 되는데, 이게 다 배열 값이다보니 메모리 사용량도 많고, 비교 연산에 소모되는 리소스도 많은 편이다.

예를 들어, 길이가 1536짜리 배열을 쓴다면 데이터 하나당 6kb 정도를 차지하는 셈인데, 그러면 이게 100만개만 쌓여도 6기가어치가 된다.

양자화는 인덱스 구성시에 소모되는 리소스를 줄이는 방향으로 벡터 값을 가공한다.
여기에는 대표적으로 3가지 정도의 방법이 있고, trade-off되는 지점들이 다 각자 다르다. 공짜로 주어지는 것은 아니기 때문에 잘 알고 선택할 수 있어야 한다.

Binary 양자화는 가장 단순한 형태의 양자화 기법이다.

별로 설명할 것도 없다.
벡터의 각 요소 값이, 0 이하면 0으로 강제로 값을 다 버리고, 0을 초과하면 1로 고정하는 것이다.

이건 당연히 굉장히 많은 정보 손실이 발생한다.

하지만 길이가 굉장히 긴 벡터라면 0,1 패턴만으로도 어느 정도의 유사도를 유지할 수는 있어서 적용하는게 아주 불가능하지는 않다. 다만 벡터의 길이가 최소한 1024 이상은 되어야 한다.

메모리 사용량은 32배 정도까지 줄일 수 있고, 검색 시간도 최대 40배 정도까지 빠르게 만들 수 있다.
워낙 화끈하게 데이터를 압축하다보니, 이것만큼 가벼우면서도 빠른 양자화 기법은 없다.

하지만 손실량이 굉장히 많기 때문에 섣부르게 선택해서는 안 되는 기법이다. 그리고 사용중인 모델에 대해서도 충분한 테스트를 거쳐야 한다. 모델에 따라서 잘 맞지 않을 수도 있다.

스칼라 양자화는 양자화 기법 중에서 가장 균형 잡힌 방법이다.
정확도, 성능, 메모리 사용량 등이 다 무난하기 때문에 그냥 도입해도 대체로는 큰 무리가 없다.

이건 기본적으로 벡터의 부동소수점 값들을 정수 형태로 조정해서 압축하는 방법을 취한다.

실수를 정수로 바꾸는게 별거인가 싶을 수도 있지만, 4바이트짜리 single 부동소수점을 1바이트짜리 정수로 바꾼다고 생각해보면 계산이 빠를 것이다.

스칼라 단위를 1바이트로 한다고 치면 메모리 사용량은 최대 4배까지 줄일 수 있다. 속도 향상은 최대 2배 정도다.
정확도가 약간 손실되긴 하지만 binary 양자화에 비하면 미미한 편이다. 대체로 99% 정도는 유지할 수 있다.

Product 양자화는 압축률 측면에서 가장 극단적인 방법이다.

압축률은 최대 64배까지 뽑을 수 있지만, 처리속도는 반토막이 날 수 있고, 정확도도 50%~70% 정도로 낮은 편이다.
그래서 실시간 서비스에 도입하기에도 난감하고, 정말 극단적인 상황이 아니라면 가장 나중에 고려해야 하는 방법이다.

Product 양자화에서는, 일단 벡터를 부분집합으로 적당히 나눈다.

이때 각 부분집합을 codebook이라고 부른다.

그리고 각 codebook의 중심 값을 계산해서 원본 벡터 값을 버리고, 그 벡터를 대표하는 점(dot)을 추출하는 것이다. 그리고 이 중심점들을 최종 벡터값으로 사용한다.

그렇게 하면 최종적으로 1024 차원의 벡터가 128 차원의 벡터로 컴팩트하게 줄어든다.

우격다짐으로 줄이는 만큼 정확도는 가장 낮다.

위에서 소개한 양자화의 공통적인 단점은, 어쨌든 정확도가 손실된다는 것이다.
VectorDB에서는 이를 보완하기 위해서 OverSampling과 Rescoring이란 방법을 사용하곤 한다.

오버샘플링은 후보를 넉넉하게 가져오는 것을 말한다. 가져와야 하는 최종 k 개수가 4이면 넉넉하게 8이나 80쯤 가져오는 것이다.

그리고 나서는 그 후보군 내에서 다시 비교를 한다. 단, 이 때는 양자화된 값을 쓰는게 아니라 디스크에서 원본 벡터를 꺼내와서 유사도 처리를 한다.

추가 읽기 부하가 생기지만, 정확도가 상승하고, 보통의 구현에서 원본 벡터는 디스크에만 저장해두기 때문에 메모리 사용량에는 문제가 없다.