벡터 검색 (Vector Search)

벡터 검색 매커니즘은 AI가 부상하면서 함께 돌출되기 시작한 개념 중 하나다.

텍스트 데이터나 이미지 같은 미디어 데이터를 일정한 크기의 숫자 벡터로 변환한 뒤에 저장해놓고, 검색할 때도 입력을 벡터로 변환해서 값의 패턴이 "유사한" 것을 찾는 식으로 응용하는 것이다.

벡터 검색 (이미지의 경우)

벡터 데이터베이스의 가장 많은 사용사례가 이런 경우다.
이미지 유사도 검색을 위한 일련의 모델을 사용해서 이미지를 "벡터" 값으로 변환하고, 그걸 벡터DB에 저장하거나 쿼리해서 유사성이 높은 데이터를 찾는 것이다.

여기서 원본 데이터를 벡터로 변환하는 것 자체를 벡터 임베딩이라고도 부른다.

당연히 이런 사용사례에 있어서는 벡터 변환을 위한 모델의 성능이 중요하다. 애초에 AI 기술의 보조용으로 등장한 매커니즘이기도 하고.

벡터 검색 (텍스트의 경우)

요즘은 텍스트 기반 데이터에 대해서도 벡터 검색을 적용하는 경우가 꽤 있다.
이 경우에도 AI 모델을 통해서 일련의 텍스트를 벡터로 변환하고, 그 벡터를 저장하거나 검색에 사용한다. 이미지로 검색을 돌리는 것과 본질적으로 접근법은 같다. 다만 데이터의 포맷만 다를 뿐이다.

AI 모델에 변환을 위임하고, 모델에서 추출한 패턴을 기준으로 유사도를 찾아낸다.

vs 전통적인 텍스트 검색
벡터 텍스트 검색을 기존의 검색 방법과 비교하면 어떨까? 대부분의 기술 선택이 그렇듯, 이것도 trade-off가 존재한다. 뭐가 뚜렷하게 우월하다고 말하기는 어렵다.

전통적인 검색
어휘적인 부분에 대한 엄격한 처리나, 정확히 포함되는 텍스트를 찾는다거나 하는 부분에서는 전통적인 방식이 더욱 강력하고, 시스템 리소스도 적게 먹는다.
대신 유연한 형태의 쿼리 적용에는 어려움이 존재한다. 예를 들어, "red apple" 텍스트를 "fruit"로 찾을 수는 없기 때문이다. 물론 이것도 데이터에 카테고리나 메타데이터를 덕지덕지 바르고 동의어나 그런거 붙이면 어떻게 할 수는 있지만, 모든 상식적인 경우를 커버하기는 힘들다.

벡터 텍스트 검색
벡터 검색을 응용한 텍스트 검색은 유연한 확장을 가능케 한다. (모델만 잘 쓴다면) fruit를 검색했을때 "red apple"이 높은 유사도로 걸리게 할 수도 있는 것이다.
하지만 단점도 있다.
일단 검색의 정확성을 보장할 수 없다. 모델에 의해 근사치를 뽑아내는 것이라서, "구찌 아르마딜로"를 쳤을때 "구찌 아르마딜로 가방"이 가장 높은 유사도로 나온다는 보장이 없다. 이렇게 정확하게 포함되는 경우를 검색하는건 전통적인 방식이 더 확실하다.
그리고 무엇보다. 벡터 검색의 시스템 리소스가 훨씬 비싸다. 모델 굴리는 것도 비싸고, 벡터DB 자체의 리소스도 비싼 편이다.

벡터 유사도 알고리즘

소스를 벡터로 변환하는건 거의 순수한 AI 모델의 영역이지만, 벡터값들을 서로 비교해서 유사도 수치를 뽑아내는건 또 별개의 영역이다.

ANN

벡터 유사도 알고리즘에는 여러가지가 있지만 통상적으로 AI에서 사용하기 위한 접근 방식은 어느 정도 정해져있는데, 그게 ANN(Approximate Nearest Neighbor)다.
이건.. 뭐라고 해야할까? 처리량을 위해서 비교의 정확도를 조금 포기한 접근법이라고 보면 된다.

https://velog.io/@minchoul2/RecSys-ANN-Approximate-Nearest-Neighbor-%EA%B8%B0%EB%B2%95
ANN은 특정 알고리즘을 적확하게 지칭하는건 아니고, 그런 방법론 자체를 말하는 것이다.
정확도를 포기하고 근사치를 사용해서 빠르게 유사도를 가져오게끔 구현했다면, 그 모두를 ANN 알고리즘이라 부를 수 있다.

그리고 대표적으로 사용되는 거리(distance), 혹은 유사도 알고리즘을 일부만 소개해보겠다.
기본적으로 벡터 유사도 계산 방법론에는 3가지 방향성이 있다. 나머지는 이 3가지의 변종일 뿐이다.

A. 유클리드 거리 (Euclidean Distance)

약간 벡터 검색에 있어서 뼈대가 되는 알고리즘 중 하나다.
L2라는 이름으로도 불리고, 대부분의 벡터 데이터베이스 옵션들에서 기본으로 제공된다.
가장 직관적이고 심플한 구조를 가졌다.
비교할 벡터값들을 요소끼리 뺀 다음에 제곱하고, 그걸 다시 더해서 다시 루트 씌우는 것이다. a와 b가 길이 3짜리 벡터라면, 이런 식이 된다.
root( (a[0]-b[0])^2 + (a[1]-b[1])^2 + (a[2]-b[2])^2 )
그리고 이 결과값이 거리(distance) 값이 되고, 이 값이 작을 수록 유사도가 높은, 가까운 벡터가 되는 것이다.

단순하고 적용하기 쉽지만, 순수한 요소값들의 크기에 민감해서 AI 기반 분야에서 지배적으로 사용되지는 않는 것 같다. 실질적으로는 순수한 벡터간 거리보단 벡터의 방향이 더 중요한 경우도 많기 때문이다.

B. 코사인 유사도 (Cosine Similiarity)

두 벡터 사이 각도의 코사인을 측정하는 기법이다.

벡터 간 거리 크기에 민감하지 않고, 벡터의 방향이 얼마나 비슷한지를 알 수 있다는게 특징이다.
그래서 모델을 활용한 Vector search에서는 코사인 거리, 혹은 코사인에 기반한 유사도 알고리즘을 꽤 사용한다.

C. dot product

negative inner product나 그냥 inner product로도 불린다.
벡터의 크기와 두 벡터 사이의 각도의 코사인을 기반으로 벡터 유사도를 측정하는 접근법이다.

이건 코사인 거리와 유클리드 거리의 특징이 어느 정도 혼재된 경향이 있다. 벡터의 방향에도 민감하지만, 벡터의 거리에도 영향을 받기 때문이다.

요즘에는 이게 vector search에서 가장 높은 빈도로 쓰이는 것 같더라.

변종으로는 max inner product 같은 것도 있다. (Elasticsearch의 경우)

벡터 데이터베이스

ANN에 기반한 근사치 벡터 검색 동작은 일반적인 DB 구조에서는 효율적으로 구현하기가 어렵다.
이건 애초에 동등 검색도 아니고, 일반적인 형태의 정렬 검색도 아니기 때문이다.

그래서 벡터 검색을 구현하려면 벡터 검색을 지원하는 데이터베이스를 사용하는 것이 가장 일반적인 선택이다.

전문 데이터베이스로서 가장 대표적인 것은 milvus, qdrant, pinecone 정도가 있다.
milvus와 qdrant가 오픈소스로서는 가장 인지도가 있고, pinecone은 오픈소스가 아니다.
milvus와 qdrant 둘 다 수십억개 단위의 데이터를 핸들링하는 것을 전제로 벡터 검색을 지원한다.

비-전문 데이터베이스 중에서도 벡터 검색을 지원하는 것들이 있다.
Elasticsearch, PostgreSQL, Redis, MongoDB, CassandraDB 정도가 대표적이다.
이 중에서는 Elasticsearch가 가장 유명하고, 프로덕션 사례에서도 많이 쓰인다.
그 다음 인지도로는 PostgreSQL의 확장인 pgvector가 있고, 메인 DB를 PostgreSQL로 쓰던 곳에서는 가장 쉽게 도입할만하다.
그 외에도 MongoDB, Redis 등이 Vector Search를 지원하나, 그렇게 강력하다는 말은 들어보지 못한 것 같다.
Redis는 통짜 메모리라서 관리도 어려운데, 벤치마크상으로 성능도 그렇게 좋은 편은 아닌거같더다.

성능뿐만 아니라 리소스 효율성, 혹은 기능 수준에서도 꽤 많은 차이가 난다. 지원하는 기능 수준을 잘 보고 판단하길 바란다.
예를 들어, 벡터검색 시에 사전 필터링을 걸어야 한다면 milvus, qdrant 같은 전문 VectorDB나 Elasticsearch를 사용해야만 달성 가능하다. pgvector 같은 경우에는 벡터검색을 할때 벡터 단일 필드에 대해서만 인덱스를 걸 수 있다.

참조
https://stackoverflow.com/questions/49250963/vectorizing-algorithms
https://danawalab.github.io/elastic/2022/07/08/ES-Similarity-Search.html
https://www.elastic.co/search-labs/integrations/vectorize-io
https://stackoverflow.com/questions/76854425/whats-the-difference-between-a-vector-database-and-full-text-search
https://aws.amazon.com/ko/what-is/vector-databases/
https://www.meilisearch.com/blog/full-text-search-vs-vector-search
https://labelbox.com/blog/how-vector-similarity-search-works/
https://www.elastic.co/search-labs/blog/vector-search-set-up-elasticsearch
https://www.pinecone.io/learn/vector-similarity/
https://docs.timescale.com/ai/latest/key-vector-database-concepts-for-understanding-pgvector/