[Opensearch] Vector Search

Opensearch는 벡터 검색을 지원한다.
다만 시기가 좀 달라서 Elasticsearch와는 독자적인 형태로 분기해서 발전해하고 있다. 둘이 완전 다르다.

AWS에서 관리하고 있는데다, 벡터검색이 요즘 가장 돈이 되는 부분이기도 해서 발전을 열심히 시키고 있다.

벡터 인덱스 만들기

이것도 마찬가지로 인덱스를 만드는 시점에서 벡터 옵션을 정의해줘야 한다.

### 
PUT http://{{HOST}}:{{PORT}}/vector_index
Content-Type: application/json

{
    "settings": {
        "index.knn": true
    },
    "mappings": {
        "properties": {
            "vector": {
                "type": "knn_vector",
                "dimension": 256,
                "space_type": "innerproduct",
                "mode": "on_disk",
                "method": {
                    "name": "hnsw"
                } 
            }
        }
    }
}  
###

index.knn 옵션을 켜고, 사용할 유사도 알고리즘과 벡터 차원, 저장 방식 등을 선택하면 된다.
유클리드 거리는 l2, 코사인은 cosinesimil, 점곱은 innerproduct로 지정할 수 있다.
그리고 dimension이 벡터의 길이, 차원이다.

인덱스는 hnsw과 lvf 중에 선택할 수 있다. hnsw가 좀 더 일반적인 옵션이다.

생성하면 이런 식으로 옵션이 만들어지고

벡터 값 삽입

벡터 값을 넣을 때는 일반적인 인덱스 필드처럼 값을 집어넣을 수 있다.
그냥 벡터 값에 해당하는 실수 배열로 넣으면 된다.

벡터 검색

search API를 사용하는 것은 기존 검색과 동일하나, knn 옵션을 사용한다는게 다르다.

### 
POST http://{{HOST}}:{{PORT}}/vector_index/_search 
Content-Type: application/json

{
    "query": {
        "knn": {
            "벡터필드명": {
                "vector": [벡터값],
                "k": 2
            }
        }
    }
}
###

vector는 검색할 기준값이 되는 벡터고, k가 가져올 최대 개수다.

저렇게 날리면

가장 비슷한 것 2개를 가져오는 식으로 작동한다.
전반적인 사용 방법에 있어서는 다른 Vector DB들과 크게 다르진 않다.

참조
https://docs.opensearch.org/docs/latest/vector-search/creating-vector-index/
https://docs.opensearch.org/docs/latest/vector-search/searching-data/
https://docs.opensearch.org/docs/latest/field-types/supported-field-types/knn-spaces/
https://docs.opensearch.org/docs/latest/query-dsl/specialized/k-nn/index/
https://docs.opensearch.org/docs/latest/vector-search/filter-search-knn/index/
https://docs.opensearch.org/docs/latest/vector-search/filter-search-knn/efficient-knn-filtering/