[AWS] DynamoDB: S3 내보내기

#AWS

DynamoDB는 단순한 형태의 Key-Value 사용사례에 적합한 시스템이라서, 넓은 범위의 스캔이나 풀스캔 동작은 매우 느리고, 비용효율성도 썩 좋지는 못하다.

그럼에도 불구하고 DynamoDB의 데이터를 기반으로 데이터 파이프라인을 돌리거나 해야한다면, S3로 내보내서 처리하는 것이 성능적으로나 비용적으로나 좋은 선택이 될 수 있다.
DynamoDB는 자체적으로 이러한 기능을 제공한다.

비용

추가 비용이 발생한다.
DynamoDB의 읽기 요금 단위를 소모하지는 않는 대신에, 내보낸 데이터 크기의 총량으로 비용을 부과한다.
https://aws.amazon.com/ko/dynamodb/pricing/on-demand/

1테라어치 옮긴다고 하면 100gb가 부과되는 것이다. 그렇게 막 싸지는 않다.

먼저 내보낼 대상 버킷이 존재해야 한다.
난 추가로 하나 만들었다.

그리고 데이터베이스에는 테스트용 데이터 8개 정도만 대충 넣어놨다.

저기서 "S3로 내보내기" 버튼을 누른다.

이걸 하려면 먼저 PITR이란 옵션이 켜져있어야 하고

옵션만 적당히 선택하고 그대로 내보내기를 시도하면 된다.
난 전체로 했다.

그러면 비동기 작업이 시작된다.

이건 데이터 규모와 관계없이 상당히 오래 걸린다.
내 경우에도 데이터가 8개뿐임에도 16분이 걸렸다. 자기들 비용 최적화한다고 일정 주기 시간으로 처리하게 해둔거같다.

저렇게 다 돌고 나면

이렇게 버킷에 최종 결과물이 생성된다.

데이터는 총 4개가 생성되었다. 보통 2개 정도를 하나로 묶어서 저장하는 것 같다.

받아서 풀어보면

이런 식으로 데이터가 들어가있다.

이걸 이제 적당히 가져다 쓰면 된다.