[PostgreSQL] pgvector

pgvector는 PostgreSQL의 vector 검색용 확장이다.
PostgreSQL의 핵심 도구 중 하나이며, AWS RDS를 포함한 많은 제공 서비스들에서도 기본으로 설치가 되어있다.

여기서는 pgvector 자체의 기본 사용구조만 다룬다.

설치 (Ubuntu)

직접 받아서 make로 빌드해도 되고, 패키지 매니저에 있으면 그냥 받아서 써도 된다.

sudo apt-get install postgresql-16-pgvector

그리고 psql에 들어가서 확장을 활성화해주면 끝이다.

CREATE EXTENSION vector;

테이블 생성

vector라는 특수한 타입을 통해서 벡터 타입을 정의한다.
벡터들은 길이가 고정된 배열이기 때문에, 타입을 선언할때부터 길이를 지정해줘야 한다.

다음은 길이가 10짜리인 벡터 타입을 정의한 것이다.

CREATE TABLE vector_items (
    id serial8 PRIMARY KEY,
    embedding vector(10)
);

그리고 문자열 내의 숫자 배열을 통해 벡터 데이터를 정의한다. 이런 식이다.

INSERT INTO vector_items (embedding) VALUES
('[1,5,1,1,1,1,1,1,1,1]'),
('[1,1,1,4,1,4,1,1,1,1]'),
('[1,1,1,1,3,3,1,1,1,1]'),
('[1,1,1,1,1,3,3,3,1,1]'),
('[1,1,2,1,1,1,4,1,1,1]');

기본 사용법

vector 데이터들은 기본적으로 유사도 기반의 검색을 행할때 주로 사용한다.
그래서 일치 검색보다는 유사도가 높은 순서대로 가져오는 행위가 일반적이다.

그래서 pgvector에서도 정렬조건의 형태로 벡터 검색을 수행한다.
order by로 유사성이 높은 순서대로 정렬하고, LIMIT을 걸어서 상위 데이터만 가져오는 식이다.

아래는 L2 distance로 유사도를 측정해서 상위 5개만 찾아오는 쿼리다.

SELECT *
FROM vector_items
ORDER BY embedding <-> '[1,1,1,1,1,1,1,1,1,1]'
LIMIT 5;

이건 유클리드 distance라고도 부른다.
상세한 원리는 굳이 여기서 다루진 않겠다. 길어진다.

이외에도 다양한 유사도 검색 연산자들을 제공한다.
예를 들어 <#>는 inner product로 벡터를 가져오고

SELECT *
FROM vector_items
ORDER BY embedding <#> '[1,1,1,1,1,1,1,1,1,1]'
LIMIT 5;

<=>는 cosine distance로 벡터 데이터를 가져온다.

SELECT *
FROM vector_items
ORDER BY embedding <=> '[1,1,1,1,1,1,1,1,1,1]'
LIMIT 5;

같은 데이터라도 검색 방식에 따라서 가져오는 항목과 순서가 다른 것을 볼 수 있다.

인덱스

그냥 무식하게 쿼리만 날리면 뭐하겠는가?
벡터 데이터베이스의 핵심 중 하나는 이런 복잡한 근사치 검색에서의 안정적인 성능이다.

pgvector는 유사도 검색에서 인덱스를 통해 빠른 검색이 이뤄질 수 있도록, 전용 인덱스 형식들을 제공한다.
예를 들어, 다음은 l2 distance에 맞게 동작하는 hnsw 알고리즘 기반의 인덱스를 생성한다.

CREATE INDEX vector_items_idx ON vector_items USING hnsw (embedding vector_l2_ops);

vector_l2_ops는 l2 distance에 대해서 동작한다는 뜻이고, hnsw이 인덱스 타입이다.

hnsw은 메모리를 꽤 많이 사용하는 대신 성능은 빠른 편이다.
인덱스 타입으로는 HNSW와 IVFFlat 2가지가 제공되는데, 서로 trace-off가 확실하니 사용사례에 맞춰서 잘 선택하면 된다.

참조
https://github.com/pgvector/pgvector