[Qdrant] Query: Pagination

#qdrant

Vector Query에도 페이지네이션이 지원된다.

사용법은 별게 없다. 그냥 offset으로 몇번째부터 값을 조회할지 지정하면 된다.

성능 문제

offset 방식의 쿼리는 모든 데이터베이스를 통틀어, 근본적으로 성능 문제가 잠재되어있는 기능이다.
qdrant도 여기에서 별로 벗어나지는 않는다.

애초에 유사도 검색이란게 일치 검색이 아니라 특정한 기준으로 가까운 순서대로 정렬을 해서 상위 몇개만 뽑아오는건데, offset 1000이 들어가면 1000개까지 계속 뒤로 가면서 조회를 해야 하기 때문이다.

그래서 내 경우에는 10만 단위까지는 버텼지만, 이런 극단적인 값이 들어가면

바로 초단위로 딜레이가 극심하게 걸렸다.

이건 따로 뭔가 최적화를 할 건덕지도 없다. 기능상 명백한 한계가 존재하기 때문이다.
애초에 벡터 검색은 커서 방식처럼 명확한 기준으로 중간에 잘라서 범위를 거는 것도 안된다.

그래서 vector query를 써서 기능을 구현한다면 페이지네이션의 한도를 항상 명확하게 정해두는 편이 좋다.