[Qdrant] Full Text Filtering

#qdrant

Qdrant는 텍스트 검색에 대한 기능도 꽤 잘 제공한다.
기능의 범위가 Elasticsearch보다는 못하지만, 가벼운 사용사례에서는 쓸만하다.

qdrant의 Full Text Filtering은 Payload Index의 한가지 변종으로서 지원된다.

단어 분리 (Tokenizer)

Qdrant는 Elasticsearch와 마찬가지로, 텍스트를 형태소 기반으로 나눠서 inverted index 구조 기반으로 빠르고 품질 높은 검색을 수행할 수 있다.

이를 위해 지원되는 tokenizer 목록은 다음과 같다.

whitespace - 공백 기반 분리
word - 공백 및 구두점, 특수문자 기반 분리
prefix - word와 동일한 조건 하에 접두사 검색용 분리 (red => r, re, red)
multilingual - 자연어의 문장 구성요소를 파악해서 형태소 분석 (다국어 가능)

위에서 아래로 갈수록 섬세한 토큰화가 가능하나 그만큼 오버헤드가 증가한다.
단순한 사용사례라면 word 정도로 충분할테지만, 한국어에 대한 자연어 분석 같은걸 해야한다면 multilingual을 사용해야 한다.

multilingual는 내부적으로 meilisearch 팀에서 만든 형태소 분석기를 사용한다.
이건 현재 라틴문자, 중국어, 한국어, 태국어, 일본어, 아랍어 등을 지원한다.
지원 목록에 대한 상세 내용은 아래 페이지를 참조하면 된다.
https://github.com/meilisearch/charabia (일본어 제외)
https://github.com/daac-tools/vaporetto (일본어 한정)

테스트 데이터 세팅

한번 직접 데이터 깔고 쿼리 날려보면서 동작을 확인해보자.
난 다음과 같이 데이터를 깔았다.

PUT collections/testdb 
{
  "vectors": {
    "size": 4,
    "distance": "Euclid"
  }
}

PUT collections/testdb/points 
{
  "points": [
    {
      "id": 1, 
      "vector": [1,1,1,1], 
      "payload": {
        "name": "red banana"
      }
    },
    {
      "id": 2, 
      "vector": [1,2,1,1], 
      "payload": {
        "name": "red ramen"
      }
    },
    {
      "id": 3, 
      "vector": [1,2,1,3], 
      "payload": {
        "name": "blue banana"
      }
    },
    {
      "id": 4, 
      "vector": [1,2,2,1], 
      "payload": {
        "name": "blue wine"
      }
    },{
      "id": 5, 
      "vector": [1,4,2,1], 
      "payload": {
        "name": "red ramen"
      }
    },
    {
      "id": 6, 
      "vector": [3,2,1,1], 
      "payload": {
        "name": "red chip bag"
      }
    },{
      "id": 7, 
      "vector": [2,2,1,1], 
      "payload": {
        "name": "golden record"
      }
    },
    {
      "id": 8, 
      "vector": [2,2,2,2], 
      "payload": {
        "name": "gucci bag"
      }
    },{
      "id": 9, 
      "vector": [2,1,1,1], 
      "payload": {
        "name": "awesome chicken noodle"
      }
    },
    {
      "id": 10, 
      "vector": [1,2,3,4], 
      "payload": {
        "name": "red noodle"
      }
    }
  ]
}

기본 사용법

텍스트 검색을 쓰려면 인덱스를 먼저 만들어야 한다.

다른 기본 필터링들은 인덱스가 없어도 성능이 느릴뿐 동작은 하지만, text 검색은 전용 text 인덱스가 반드시 존재해야 한다. 생성 방식 자체는 다른 payload index들과 비슷하나, 옵션이 매우 많다는게 차이점이다.

PUT /collections/컬렉션명/index
{
    "field_name": "필드명",
    "field_schema": {
        "type": "text",
        "tokenizer": "word"
    }
}

text 검색 (문장 단어 무조건 포함)

만들고 나면, 이제 filter 등을 통해서 텍스트 검색을 수행할 수 있게 될 것이다.
사용법 자체는 단순하다. 그냥 text 절을 사용하면 된다.

POST /collections/testdb/points/query
{
  "with_payload": true,
  "filter": {
    "must": [
      {
        "key": "name",
        "match": {
          "text": "red"
        }
      }
    ]
  }
}