[Qdrant] Multi Vector와 Named Vector

Qdrant는 단일 컬렉션에 여러개의 벡터를 집어넣는 것을 지원한다.

방식은 2가지다. 동작이나 사용 방식이 완전히 달라서 사용사례에 맞춰서 잘 선택해야 한다.

1. multi vector: 벡터의 벡터를 동적으로 넣는 형태 (2차원 벡터)

2. named vector: 이름이 붙은 벡터를 별도로 넣는 형태

Multi Vector

multi vector는 동일한 차원을 가진 벡터를 여러개 넣어서 사용할 수 있게 해주는 기능이다.
들어갈 수 있는 벡터의 개수는 정해져있지 않다. 넣고 싶은대로 넣을 수 있다.

생성 방식은 다음과 같다.

PUT collections/foods
{
  "vectors": {
    "size": 10,
    "distance": "Euclid",
    "multivector_config": {
      "comparator": "max_sim"
    }
  }
}

여기서 중요한 것은 comparator라는 옵션이다. 현재는 max_sim라는 단일 옵션만 제공한다.

아무튼 저게 벡터가 여러개가 되니까 유사도 방식을 어떻게 정의할지를 지정하는 것인데, max_sim은 한 point에 들어있는 벡터 중에서 가장 큰 값을 최종 유사도로 사용하겠다는 것이다.

예를 들어 [A, B] 벡터 쌍을 현재 검색 쿼리와 비교할 경우, (A, 쿼리), (B, 쿼리) 유사도를 각각 계산한 다음에, B의 유사도가 더 크다면 A의 유사도를 버리고 B를 최종 유사도로 사용하는 것이다.

사용 방식 자체는 그렇게 복잡할 것은 없다.
집어넣을 때는 벡터를 원하는 만큼 구겨넣을 수 있다.

이런 식으로 2개, 3개 지그재그로 넣을 수 있다.

쿼리를 날리는 방식 자체는 특별할 것이 없다.

max_sim 유사도를 계산해서 판단하는 것은 내부적으로 알아서 처리한다.

Named Vector

named vector는 좀 다른 사용사례를 위한 옵션이다.
이건 독립적인 벡터 여러가지를 정의해서 사용할 수 있게 해준다.

예를 들어 상품에 이미지 속성 기반의 임베딩과 텍스트 속성 기반의 임베딩을 둘 다 넣어서 활용해야 하고, 2가지의 벡터 차원/유사도가 다르다면 named vector를 사용해야 한다.

multi vector와는 다르게 차원이나 유사도 매커니즘이 완전히 다른 벡터들을 단일 point에 집어넣을 수 있는데, 대신 단일 쿼리로 여러개의 벡터를 동시에 활용해서 검색을 하는 것은 불가능하다. 당연하다.
유사도/차원이 다 다를 수 있는게 어떻게 하겠나?

컬렉션 정의는 다음과 같이 할 수 있다.
key:value 쌍으로 별도의 벡터 config를 정의하면 된다.

값을 넣을 때도 정의한 벡터 값을 전부 넣어줘야 한다.

검색할 때는 조금 사용 방식이 달라진다.
using 플래그로 어떤 벡터에 대해 검색을 할지 지정해야 한다.

단일 쿼리에서는 한가지의 벡터만 사용해서 검색할 수 있지만, 하이브리드 쿼리를 사용하면 여러개의 벡터를 동시에 활용해서 쿼리를 날리는 것이 가능하다.
이건 다음 포스트에 정리해본다.

참조
https://qdrant.tech/documentation/concepts/vectors/