Vector Search 벤치마크 (pgvector, elasticsearch, qdrant)

#데이터베이스

Vector Search를 약간 실험적으로 도입해볼 필요가 있었는데, 리소스를 대략적으로 얼마나 요구하는지, 성능은 어떤지 등을 확인해보려고 간단하게 벤치마크를 구성해서 돌려봤다.

예상되는 초기 데이터 크기는 1000만개 정도.
벡터의 크기는 256, dot product를 사용할 예정이었다.
처리 시간은 빠르면 빠를수록 좋지만, 밀리초 단위만 보장되더라도 충분했다.

시스템 리소스도 적으면 적을수록 좋았다. 확실한 유용성이 아직 검증되지 않았으므로, 일단 가볍게 시작해서 데이터셋과 사용량이 증가한 다음에 본격적으로 옮기는 것도 검토해볼만했다.

그래서 단일 노드에, 메모리는 8GB, CPU는 단일코어로 가정하고 얼마나 잘 버티는지를 검증했다.

후보는 PostgreSQL(pgvector), Elasticsearch 정도다.
milvus 같은 전문 vectordb도 생각은 해봤지만, 충분한 사용량이 생긴 뒤에 옮겨도 무방하다고 판단했다.

테스트에 사용한 전체 소스코드는 깃헙에 있다.
https://github.com/myyrakle/benchmarks/tree/master/vector_search

벡터 생성

먼저 테스트에 사용할 벡터열 1000만개를 사전에 생성했다.

use rand::Rng;
use std::error::Error;
use std::fs::OpenOptions;
use std::io::{BufWriter, Write};
use std::time::Instant;

const NUM_VECTORS: usize = 10_000_000;
const VECTOR_DIM: usize = 256;
const OUTPUT_FILE: &str = "vectors.txt";

fn main() -> Result<(), Box<dyn Error>> {
    println!(
        "Generating {} vectors of dimension {}...",
        NUM_VECTORS, VECTOR_DIM
    );
    let start_time = Instant::now();

    let file = OpenOptions::new()
        .create(true)
        .write(true)
        .truncate(true)
        .open(OUTPUT_FILE)
        .unwrap();
    let mut writer = BufWriter::new(file);

    let mut randomizer = rand::rng();

    for i in 0..NUM_VECTORS {
        let vector: Vec<f32> = (0..VECTOR_DIM)
            .map(|_| randomizer.random_range(-1.0..1.0))
            .collect();

        let magnitude: f32 = vector.iter().map(|&val| val * val).sum::<f32>().sqrt();

        // 각 요소를 크기로 나누어 정규화
        let normalized_vector: Vec<half::f16> = vector
            .iter()
            .map(|&val| half::f16::from_f32(val / magnitude))
            .collect();

        // 벡터를 문자열 레코드로 변환
        let record: Vec<String> = normalized_vector
            .iter()
            .map(|&val| val.to_string())
            .collect();

        // 진행 상황 표시 (선택 사항, 성능에 약간 영향 줄 수 있음)
        if (i + 1) % 1_000_000 == 0 {
            println!("Generated {} vectors...", i + 1);
        }

        let row_string = record.join(",");

        // 파일에 벡터 문자열을 append로 저장
        writer.write_all(row_string.as_bytes())?;
        writer.write_all(b"\n")?;
    }

    let duration = start_time.elapsed();
    println!(
        "Successfully generated and saved {} vectors to {}",
        NUM_VECTORS, OUTPUT_FILE
    );
    println!("Total time taken: {:?}", duration);

    Ok(())
}

뽑으니까 7기가 정도의 텍스트가 나왔다.

DB 설정

데이터베이스는 pgvector(hnsw용), pgvector(ivfflat용), elasticsearch 정도만 고려했다.

도커 컨테이너 기반으로 테스트 환경을 구성했다.

services:
  pgvector-IVFFlat:
    image: pgvector/pgvector:0.8.0-pg17
    container_name: pgvector-ivfflat
    environment:
      - POSTGRES_USER=postgres
      - POSTGRES_PASSWORD=q1w2e3r4
      - POSTGRES_DB=postgres
    ports:
      - "15432:5432"
    volumes:
      - pg-IVFFlat:/var/lib/postgresql/data
    deploy:
      resources:
        limits:
          cpus: "1"
          memory: 8096M

  pgvector-HNSW:
    image: pgvector/pgvector:0.8.0-pg17
    container_name: pgvector-hnsw
    environment:
      - POSTGRES_USER=postgres
      - POSTGRES_PASSWORD=q1w2e3r4
      - POSTGRES_DB=postgres
    ports:
      - "15433:5432"
    volumes:
      - pg-HNSW:/var/lib/postgresql/data
    deploy:
      resources:
        limits:
          cpus: "1"
          memory: 8096M

volumes:
  esdata:
    driver: local
  pg-IVFFlat:
    driver: local
  pg-HNSW:
    driver: local