[Qdrant] prefetch: Score boosting

벡터 검색은 기본적으로 정렬 기반의 검색이다.
그렇기 때문에 본질적으로 검색에 더해 우선순위 기반의 정렬을 덧대기가 어려운 부분이 존재한다.

그럼에도 분명 정렬에 기반한 필터가 필요한 비즈니스 수준 요구사항은 있을 수 있고, Qdrant는 그를 위한 커스텀 정렬 기능도 제공한다.

https://qdrant.tech/articles/vector-search-resource-optimization/
동작 방식 자체는 직관적이다. prefetch라고 하는 전처리 쿼리를 먼저 실행해서 스캔한 다음에, 메인 쿼리로 후처리를 하는 식으로 동작한다.

페이로드 값을 기준으로 score를 부여한다면, 페이로드 인덱스를 활용할 여지가 있다.

데이터 세팅

동작 확인을 위해서 적당히 우겨넣어보겠다.

PUT /collections/products
{
    "vectors": {
      "size": 4,
      "distance": "Dot"
    }
}

PUT /collections/products/points
{
    "points": [
      {
        "id": 1,
        "payload": {
          "color": "blue", 
          "price": 10000
        },
        "vector": [1,1,1,1]
      },
      {
        "id": 2,
        "payload": {
          "color": "red", 
          "price": 5000
        },
        "vector": [1,2,1,1]
      },
      {
        "id": 3,
        "payload": {
          "color": "blue", 
          "price": 20000
        },
        "vector": [1,1,2,2]
      },
      {
        "id": 4,
        "payload": {
          "color": "yellow", 
          "price": 4000
        },
        "vector": [1,2,3,1]
      },
      {
        "id": 5,
        "payload": {
          "color": "blue", 
          "price": 4500
        },
        "vector": [1,1,1,1]
      },
      {
        "id": 6,
        "payload": {
          "color": "black", 
          "price": 15000
        },
        "vector": [1,1,1,1]
      },
      {
        "id": 7,
        "payload": {
          "color": "white", 
          "price": 2000
        },
        "vector": [1,1,1,1]
      },
    ]
}

집어넣고

쿼리를 날려보면

POST /collections/products/points/query 
{
  "query": [2,2,2,2], 
  "with_vector": true, 
  "with_payload": true
}

qdrant는 쿼리 결과마다 벡터 검색의 유사도 점수, score라는 것을 내려준다.
벡터마다 다 비교해서 유사도를 매기고, 유사도가 높은 순으로 뿌려주는 형태인 것이다.

저기서 우리가 할 것은, 저 score에 다른 custom store를 부여하는 것이다.
prefetch 절을 사용하고, 후에 formula 구문을 사용하면 최종 score가 집계되는 방식을 지정할 수 있다.

예를 들어, 다음 쿼리는 color가 yellow나 red인 값에 대해서 score 10점을 더해준다.

POST /collections/products/points/query 
{
  "prefetch": {
    "query": [
      2,
      2,
      2,
      2
    ]
  },
  "query": {
    "formula": {
      "sum": [
        "$score",
        {
          "mult": [
            10,
            {
              "key": "color",
              "match": {
                "any": ["yellow", "red"]
              }
            }
          ]
        }
      ]
    }
  },
  "with_vector": true,
  "with_payload": true
}

돌려보면, 실제로 10점을 더해서 red와 yellow가 상위 결과로 나오는 것을 볼 수 있다.
저기서 mult는 곱셈식이고, 조건절은 일치하면 1 값을 반환한다. 그래서 10*1점이 더해진 것이다.

그 이외에 조건을 거는 부분들은 payload 필터 사용법과 동등하다.
그리고 이것도 payload index를 거는 것이 좋다. 인덱스를 활용할 수 있다.

참조
https://qdrant.tech/documentation/concepts/hybrid-queries/#score-boosting
https://api.qdrant.tech/v-1-14-x/api-reference/search/query-points