[AWS] S3: Vector bucket

Vector bucket은 AWS에서 얼마전에 공개한 S3 기반의 벡터검색 서비스다.

현재 시점에서는 아직 프리뷰이며, 일부 리전에서만 지원되고 있다.
버지니아, 오하이오, 오리건, 프랑크프루트, 시드니 정도이며, 서울은 없다.

Opensearch로의 내보내기 기능을 제공하며, Bedrock 임베딩 기능과의 통합이 지원된다.

제한사항

아직 프리뷰 기능이라 그런지 제한이 많다.

인덱스당 최대 5000만개의 벡터만 저장할 수 있다.
벡터 유사도 알고리즘은 유클리드와 코사인만 지원한다. (Dot Product 없음)

쓰기 제한 수도 초당 5건이고, 뭐 제한사항이 과하게 많은 상태다. 아직 프로덕션에 쓰기는 힘들어보인다.

기타 제한사항 목록은 별도 문서를 참조한다.
https://docs.aws.amazon.com/AmazonS3/latest/userguide/s3-vectors-limitations.html

비용

당연히 공짜는 아니다.
https://aws.amazon.com/s3/pricing/?nc1=h_ls

저장비용은 GB당 0.06달러 정도다.

기본 S3 클래스가 GB당 0.023인 것을 생각하면 대략 2.5배쯤 비싼 것이다.
그래도 EBS 디스크 볼륨이 gp3 기준 GB당 0.8달러 정도니까... 흠, 미묘한 중간점이긴 하다.

요청별로도 요금을 부과한다.

사용해보기

S3 콘솔에 전용 탭이 별도로 존재한다.

버킷을 먼저 대충 만들고

사용사례별로 인덱스를 따로 만들면 된다.

벡터 길이와 유사도 방식만 정하면 된다. 간단한 편이다.

이렇게 인덱스가 생성되면 준비는 잘 된 것이다.
이건 다른 S3 기능과는 다르게 콘솔로 제어할 수 있는게 별로 없다. SDK를 써야한다.

AWS CLI를 통해서 찔러보자.

다음 명령은 대충 벡터 저장된거 리스트업하는 명령이다.

aws s3vectors list-vectors \
  --vector-bucket-name "vector-test" \
  --index-name "test-index" \
  --segment-count 2 \
  --segment-index 0 \
  --return-data \
  --return-metadata

당연히 아무것도 안나온다.

삽입을 한번 해보자. put-vectors를 쓰면 된다.

aws s3vectors put-vectors --vector-bucket-name 'vector-test' --index-name 'test-index' --vectors \
'[{
        "key": "Something",
        "data": {"float32": [69, 22, 38, 4, 72, 61, 34, 3, 65, 36, 87, 86, 1, 42, 30, 22, 25, 7, 89, 16]},
        "metadata": {"category": "TOPS"}
}]'

aws s3vectors put-vectors --vector-bucket-name 'vector-test' --index-name 'test-index' --vectors \
'[{
        "key": "Rust",
        "data": {"float32": [77, 55, 14, 20, 2, 50, 41, 83, 35, 48, 38, 4, 68, 87, 86, 99, 61, 50, 26, 21]},
        "metadata": {"category": "Lang"}
}]'

<br>

aws s3vectors put-vectors --vector-bucket-name 'vector-test' --index-name 'test-index' --vectors \
'[{
        "key": "Special",
        "data": {"float32": [52, 40, 49, 25, 19, 6, 82, 72, 65, 54, 49, 65, 25, 59, 9, 94, 13, 66, 51, 37]},
        "metadata": {"category": "TOPS"}
}]'

이렇게 넣을 수 있다.
key는 개별 행을 구분하는 고유의 값이고, 메타데이터는 말 그대로 메타데이터다.
메타데이터는 필터링 조건으로 사용할 수도 있다.

넣고나서 보면

이제 보이기 시작할 것이다.

여기서 특정 벡터값과 유사한 2개의 벡터만 가져오고 싶다면, 이렇게 쿼리를 날릴 수 있다.

aws s3vectors query-vectors --vector-bucket-name 'vector-test' --index-name 'test-index' \
--query-vector '{"float32": [77, 55, 14, 20, 2, 50, 41, 83, 35, 48, 38, 4, 68, 87, 86, 99, 61, 50, 26, 21]}' --top-k 2

그러면 이렇게 키값이 넘어온다.

만약 메타데이터나 거리 값까지 가져오고 싶다면, 플래그를 줘서 함께 가져올 수 있다.

aws s3vectors query-vectors --vector-bucket-name 'vector-test' --index-name 'test-index' \
--query-vector '{"float32": [77, 55, 14, 20, 2, 50, 41, 83, 35, 48, 38, 4, 68, 87, 86, 99, 61, 50, 26, 21]}' --top-k 2 \
--return-distance --return-metadata

또 여기서 유용한 기능 중 하나는, 메타데이터 값으로 필터링이 된다는 것이다.

aws s3vectors query-vectors --vector-bucket-name 'vector-test' --index-name 'test-index' \
--query-vector '{"float32": [77, 55, 14, 20, 2, 50, 41, 83, 35, 48, 38, 4, 68, 87, 86, 99, 61, 50, 26, 21]}' --top-k 2 \
--filter '{"category": "TOPS"}'  --return-metadata

그러면 해당 메타데이터 키와 일치하는 벡터만을 사전 필터링해서 가져온다.

아직은 잘 모르겠는데, 좀 안정화되고 검증이 되면 사용을 고려해볼만도 한 것 같다.

참조
https://aws.amazon.com/ko/s3/features/vectors/
https://aws.amazon.com/ko/blogs/aws/introducing-amazon-s3-vectors-first-cloud-storage-with-native-vector-support-at-scale/