[MongoDB] Vector Search

MongoDB는 벡터 검색 기능을 공식적으로 지원한다.

7.* 버전에서는 전용 클라우드에서만 사용 가능해서 포지션이 진짜 애매했는데, 8.*에서는 벡터 검색 기능이 오픈소스 버전에도 포함되어있다.

제한 및 호환성

MongoDB Cloud를 쓴다면 7~8 버전에서 모두 사용할 수 있고, 오픈소스 버전으로 사용한다면 8 버전을 사용해야만 한다. Linux면 대충 다 된다.
https://www.mongodb.com/ko-kr/docs/atlas/atlas-vector-search/compatibility-limitations/

테스트 데이터 세팅

먼저 데이터부터 깔아보자. 벡터 자체는 그냥 실수의 배열로 넣으면 된다.

db.products.insertMany([
  {
    name: "빨간 원피스",
    category: "드레스",
    description: "여름용 플로럴 원피스",
    embedding: [0.1, 0.8, 0.3, 0.5, 0.2],  
  },
  {
    name: "청바지",
    category: "바지",
    description: "슬림핏 데님 팬츠",
    embedding: [0.9, 0.1, 0.7, 0.2, 0.4],
  },
  {
    name: "흰 블라우스",
    category: "상의",
    description: "오피스룩 시스루 블라우스",
    embedding: [0.3, 0.6, 0.1, 0.8, 0.5],
  },
  {
    name: "플리츠 스커트",
    category: "스커트",
    description: "미디 길이 주름 스커트",
    embedding: [0.2, 0.7, 0.4, 0.6, 0.3],
  },
]);

벡터 인덱스 생성

그럼 이제 인덱스를 만들어보자.
다음 스크립트는 카테고리에 대한 메타데이터 인덱스가 포함된 벡터 인덱스를 생성한다.

// 2. Vector Search 인덱스 생성
db.products.createSearchIndex(
  "vector_index", // 이름
  "vectorSearch",
  {
    fields: [
    // 벡터 인덱스
      {
        type: "vector",
        path: "embedding",
        numDimensions: 5,
        similarity: "cosine",
      },
      // 필터링을 위한 카테고리 필드
      {
        type: "filter",
        path: "category",
      },
    ],
  }
);

차원은 5, 유사도 알고리즘은 코사인으로 넣었다.
유사도 타입은 euclidean, cosine, dotProduct가 지원된다.

당연히 HNSW 기반의 근사치 검색 인덱스고,
동작이나 내부 구현 방식은 Elasticsearch/Opensearch과 거의 같다.

세부적인 옵션은 다음 문서를 참조한다.
https://www.mongodb.com/ko-kr/docs/atlas/atlas-vector-search/vector-search-type/?deployment-type=atlas&embedding=byo&interface=driver&language=python#mongodb-vector-search-index-fields

벡터 검색 쿼리

벡터 검색은 일반 find로는 불가능하고, aggregate의 한 절로만 지원된다.
다음과 같이 $vectorSearch 절을 넣어서 검색을 돌리면 되는 것이다.

db.products.aggregate([
  {
    $vectorSearch: {
      index: "vector_index",
      path: "embedding",
      queryVector: [0.2, 0.7, 0.3, 0.6, 0.4],  // 검색 쿼리 벡터
      numCandidates: 10,   // 후보군 (Candidates)
      limit: 3,            // 최종 반환 수 (K)
    },
  },
  {
    $project: {
      _id: 0,
      name: 1,
      category: 1,
      description: 1,
      score: { $meta: "vectorSearchScore" },  // 유사도 점수
    },
  },
]);

그럼 이런 식으로, 유사도 점수와 더불어 유사도로 정렬된 값을 받아올 수 있다.

filter 절을 사용해서 벡터 검색에 적용할 필터를 추가하는 것도 가능하다.

저기에 들어가는 필터 식의 필드는, 벡터 인덱스를 만들때 넣어준 filter 컬럼만 넣을 수 있다. 아니면 에러가 난다.

pre-filtering의 스캔 방식은 Elasticsearch/Opensearch와 거의 비슷하다. 필터링으로 인해 많은 항목이 걸러져서 HNSW 스캔 범위 내에 충분한 K가 없다면, 충분한 K가 나올때까지 HNSW 스캔을 반복하는 방식이다.

참조
https://www.mongodb.com/ko-kr/docs/atlas/atlas-vector-search/vector-search-overview/
https://www.mongodb.com/ko-kr/docs/atlas/atlas-vector-search/tutorials/vector-search-quick-start/?deployment-type=atlas&embedding=byo&interface=driver&language=python
https://www.mongodb.com/company/blog/product-release-announcements/supercharge-self-managed-apps-search-vector-search-capabilities
https://www.mongodb.com/ko-kr/docs/atlas/atlas-vector-search/vector-search-type/?deployment-type=atlas&embedding=byo&interface=driver&language=python