[AWS] S3: Inventory

S3는 편하기도 하지만 사용량이 늘게 되면 상당한 골칫거리가 된다.
사용 패턴을 확인하고 비용을 최적화하는 것이 상당히 까다롭기 때문이다. 도대체 무슨 파일들이 용량을 먹고 있는지, 지워도 되는건지 확인하기가 참 난감하다.

S3 Inventory는 그런 상황에서 파일 목록을 추적하기 위한 수단이다. 어떤 파일들이 어떤 경로로 있는지, 크기는 얼마나 되는지 등을 자동으로 뽑아서 다른 S3 버킷에 보고서로 정리해주는 기능을 제공한다.
LIST API 써서 직접 받아와도 되긴 하는데, 너무 오래걸리고, 비용도 비용대로 들고, 불편하다.

비용

이것도 공짜는 아니다.
S3에 저장하는 비용도 비용이고, 개수당 비용을 또 받는다.

https://aws.amazon.com/ko/s3/pricing/?nc=sn&loc=4

S3 버킷 지표에 가보면 개수가 뜨니까 그걸로 비용을 추산해볼 수 있다.
이 경우에는 22.3 X 0.0028이니까 0.06달러인 셈이다. 막 엄청 비싸지는 않다.

Inventory 세팅하기

먼저 저장할 버킷을 마련하다.
기존 버킷의 하위 디렉터리로 저장해도 되긴 하는데, 별도로 파는걸 권한다.

그리고 S3의 관리 탭으로 들어가면 인벤토리 구성 화면으로 들어갈 수 있다.

저장될 버킷 경로 지정하고

어떤 형식으로 저장될 지를 선택할 수 있다.
진짜 엄청 많아서 비용이나 읽기 성능이 부담될 것 같다면 Parquet으로 뽑으면 되고, 대충 편하게 보고 싶으면 CSV로 뽑으면 된다.

추가 필드도 선택할 수 있다.
이 정도만 넣어도 충분하지 싶다.

그렇게 만들고 나면... 아무런 일도 없다.
실시간 서비스가 아니라서 바로 뭐가 생기진 않고, 최대 48시간 이내에 모아서 던져줄 것이다.
근데 말이 48시간이지, 보통 몇시간 이내로 주긴 하더라.

이렇게 말이다.

그럼 저걸 다운받든, athena를 쓰든 해서 읽으면 된다.
가장 간단한건 그냥 athena 붙여서 쿼리를 바로 날리는 것이다.

CREATE EXTERNAL TABLE s3_inventory (
  bucket                STRING,
  key                   STRING,
  size                  BIGINT,
  last_modified_date    STRING,
  storage_class         STRING
)
ROW FORMAT SERDE 'org.apache.hadoop.hive.serde2.OpenCSVSerde'
STORED AS INPUTFORMAT  'org.apache.hadoop.mapred.TextInputFormat'
         OUTPUTFORMAT  'org.apache.hadoop.hive.ql.io.HiveIgnoreKeyTextOutputFormat'
LOCATION 's3://<dest-bucket>/<dest-prefix>/<src-bucket>/<config-id>/data/'
TBLPROPERTIES ('skip.header.line.count'='0');

그럼 이런 식으로 잘 뽑혀나올 것이다.

SELECT
  split_part(key, '/', 1)                              AS top_dir,
  COUNT(*)                                             AS object_count,
  SUM(CAST(size AS BIGINT))                            AS total_bytes,
  ROUND(AVG(CAST(size AS BIGINT)), 0)                  AS avg_bytes,
  MIN(CAST(size AS BIGINT))                            AS min_bytes,
  MAX(CAST(size AS BIGINT))                            AS max_bytes,
  -- 사람이 보기 좋은 단위(GB/MB)
  ROUND(SUM(CAST(size AS BIGINT)) / 1024.0/1024/1024, 2) AS total_gb,
  ROUND(AVG(CAST(size AS BIGINT)) / 1024.0/1024, 2)      AS avg_mb,
  ROUND(MAX(CAST(size AS BIGINT)) / 1024.0/1024, 2)      AS max_mb
FROM s3_inventory
GROUP BY split_part(key, '/', 1)
ORDER BY total_bytes DESC;

최상위 prefix 기준으로 집계하는 단순한 쿼리다. 이렇게 쫓아가면 된다.

참조
https://docs.aws.amazon.com/ko_kr/AmazonS3/latest/userguide/storage-inventory.html
https://docs.aws.amazon.com/ko_kr/AmazonS3/latest/userguide/configure-inventory.html
https://dev.classmethod.jp/articles/extract_object_metadata_from_s3_bucket_using_s3_inventory/