[AWS] S3 Table

S3 Table은 근래에 추가된 S3 부가기능 중 하나다.
S3에 파일을 "데이터베이스처럼" 넣고, "데이터베이스처럼" 읽기 위한 용도다.

이 데이터베이스란게 일반적인 RDB나 Key-Value DB를 말하는건 아니고, 분석용 OLAP DB를 말하는 것이다.

사실상 자사 서비스인 Athena와의 통합을 고려해서 만든 것이라고 보면 된다.
Athena에 대해 잘 모른다면, 먼저 알아두길 권한다.
https://blog.naver.com/sssang97/223170376691

vs S3

그래서 이게 S3와 대비해서 뭐가 달라지고 뭐가 좋아진건가?

S3 Table은 파일을 그냥 파일로만 두는 S3와는 다르게, 최적화를 위한 파일 압축이나 불필요한 파일 제거 등의 작업을 자동으로 처리한다. 파일의 내부 저장 압축 형식은 Apache Parquet이다.

그리고, AWS에서는 Athena를 통해서 쿼리를 할때 최대 3배까지도 성능 향상이 있다고 주장한다.
그리고 동시 트랜잭션 처리량도 10배 정도는 된다고 한다.

근데 내가 볼때 3배 빠르다는건 마법같은 최적화를 한게 아니라, 압축을 하지 않은 상태로 쿼리를 한 것과 비교한게 아닐까 싶다...
원래 최적화를 위해서 번거롭게 세팅해서 전처리하고 돌리던 것을 자동화해주는 것이다.

비용

https://aws.amazon.com/ko/s3/pricing/

비용 체계는 기본 S3와 좀 다르다.

저장 비용만 하면 서울 기준 GB당 0.0288달러인데, 원래 S3는 GB당 0.025이었다.
약 15% 정도 더 비싼 것이다.

모니터링하면서 제어를 해야하니까, 모니터링에 따른 객체 개당 비용도 존재한다.
1000개당 0.025달러다. 이건 저장비용과는 또 별개다.

그리고 압축이 발생할 경우 그 요금도 뜯어간다.

사용해보기

한번 직접 만들어서 써보자.

아예 전용 탭이 존재한다.

버킷 자체는 그냥 만들면 된다. 줘야하는 옵션은 별로 없다.

그럼 이런 식으로 만들어지고, 버킷 페이지로 이동할 수 있게 된다.

테이블 버킷은 기존 버킷과는 좀 다르다.
콘솔에서 뭘 직접 올릴 수도 없고, 보통 DB에나 있는 네임스페이스와 테이블이라는 단위가 존재한다.

실제로 테이블을 만들거나 데이터를 조작하는건 Athena를 통해서 이루어진다.

네임스페이스 만들고 이동해서

CREATE TABLE `foo`.daily_sales (
sale_date date, 
product_category string, 
sales_amount double)
PARTITIONED BY (month(sale_date))
TBLPROPERTIES ('table_type' = 'iceberg')

자동 생성된 쿼리로 테이블을 만들면

테이블 목록에도 방금 만든 것이 뜰 것이다.

그리고 Athena 콘솔에서 바로 데이터를 넣어서 테스트를 해볼 수도 있다.

INSERT INTO daily_sales
VALUES
(DATE '2024-01-15', 'Laptop', 900.00),
(DATE '2024-01-15', 'Monitor', 250.00),
(DATE '2024-01-16', 'Laptop', 1350.00),
(DATE '2024-02-01', 'Monitor', 300.00),
(DATE '2024-02-01', 'Keyboard', 60.00),
(DATE '2024-02-02', 'Mouse', 25.00),
(DATE '2024-02-02', 'Laptop', 1050.00),
(DATE '2024-02-03', 'Laptop', 1200.00),
(DATE '2024-02-03', 'Monitor', 375.00);

넣으면 들어가고

조회도 원하는대로 될 것이다.

짜증나는 것

아직 버킷 삭제 같은 기본적인 부분도 콘솔 구현을 안해놨다.
API로 찔러야 한다.

아직 전반적으로 베타서비스 느낌이 있다.

https://aws.amazon.com/ko/s3/features/tables/
https://devocean.sk.com/blog/techBoardDetail.do?ID=167170&boardType=techBlog
https://aws.amazon.com/ko/blogs/korea/new-amazon-s3-tables-storage-optimized-for-analytics-workloads/