[AWS] Glue

#AWS

Glue는 AWS에서 제공하는 관리형 데이터 파이프라인 관리 시스템이다.

Airflow의 역할을 한다고 보면 된다. 그리고 Spark와 통합된 형태로 제공된다.

비용

Glue 플랫폼에는 여러가지 기능 요소가 제공되지만, 가장 주된 요소는 데이터 중간 처리 목적의 ETL 기능이다.
https://aws.amazon.com/glue/pricing/

ETL의 경우를 들자면, 프로비저닝 비용이 따로 없고 작업에 소모된 시간당*노드당 비용을 청구한다.

여기서 컴퓨팅 비용은 DPU를 기준으로 측정되는데, 하나의 DPU는 4 vcpu + 16 gb짜리의 고성능 머신이다. DPU 갯수는 작업 크기에 따라서 자동으로 선택된다.

실행 단위가 많고 비용도 다 따로라 뭐라고 축약하기 어려운데, 실행시간 기준으로 DPU 1개-1시간당 0.44달러 정도를 부과한다고 보면 된다.

ETL 시작해보기

간단한 ETL 예제를 돌려보는 것으로 사용 방법을 대략 훑어보겠다.

전용 탭으로 이동한 뒤에

생성 창으로 진입한다.

Visual - UI 기반으로 워크플로를 정의할 수도 있고, 코드 기반으로 정의할 수도 있다.
UI 완성 기능은 한계가 많아서 이걸로 다 해먹겠다는 생각은 포기하는게 좋고, 기본적인 틀만 잡고 시작한다는 느낌으로 쓰는게 바람직하다. 결국에는 코드로 수정해야 할 것이다.

이번 예제에서는 DynamoDB의 데이터를 S3에 parquet 형태로 저장하는 것을 시도해보겠다.
S3 parquet으로 적당히 말아서 저장해놓기만 해도 저장 비용이 괜찮은 편이고, Athena를 통해서 빠른 분석을 처리하기도 쉽기 때문이다. 일반적인 사용사례에 가깝다.

Source - DynamoDB

먼저 테이블과 데이터를 적당히 준비해놨다.

8개다.

테이블에는 PITR이 켜져있어야 한다.

AWS Glue에서 DynamoDB Source를 사용하는 방법은, 그리 단순하지만은 않다.

권장하는 방법은 DynamoDB 자체의 S3 export 기능을 활용하는 것이다. 그러면 DynamoDB의 데이터를 S3로 옮긴 다음에 그걸 다시 읽어서 Source로 사용하는 형태가 된다.
이러면 당연히 추가 비용이 발생한다. 자세한 것은 별도 포스트를 참조한다.
https://blog.naver.com/sssang97/223715737789
두번째 방법은 DynamoDB에서 데이터를 직접 크롤링해서 Source로 사용하는 것이다. 자체적으로 제공하는 크롤링 매커니즘이 있는데, 당연히 DynamDB 읽기 요금 단위가 부과된다.

나는 지금 1번째 방법을 사용하려 한다.

DynamoDB를 드래그해서 만들고

테이블을 지정한다.
그리고 S3의 중간 저장 경로를 선택한다.

그러면 저기다가 DynamoDB 데이터를 옮긴 다음에, 그것을 사용할 것이다.

버킷은 결과물용으로 따로 만들어놨다.

Target - S3 설정

자, 이번에는 저장되는 대상 항목이다.

끌어다가 만들고, 데이터 소스를 방금 만든 DynamoDB로 지정한다.

저장 방식은 압축 형식인 parquet, 압축 방식은 snappy를 선택했다.
그리고 최종 결과물 저장 경로를 지정했다. 나는 대충 루트경로로 했는데, 보통은 좀 디렉터리를 제대로 파서 나누는게 좋을 것이다. athena 용으로 사용할 거라면 더더욱.

Spark 설정

Job details에서는 spark 수준의 설정을 할 수 있다.

role이 필요하다고 한다. 자동 생성 기능은 없는거같다.

일단 role부터 하나 만들어준다.
귀찮아서 DynamoDB와 S3에 대한 FullAccess를 만들어서 넣었는데, 제대로 관리할거라면 권한 대상 리소스를 지정하는게 좋다.

그리고, 생성된 워크플로는 코드로도 제어할 수 있다.

좀만 커스텀하려고 해도 건들게 되는 시점이 올 것이다.

그리고 트리거하면, 작업이 시작된다.

Glue ETL 자체가 그리 느린건 아닌데, Dynamo export 시간이 꽤 걸려서 전반적인 실행시간 또한 늘어졌다.
7분 정도가 걸렸다.

그리고 결과물 버킷 경로에 들어가보면, parquet 파일들이 들어가있을 것이다.

근데 이렇게 기본옵션만으로 내보내면 문제가 좀 있다. dynamoDB 기본 동작에 따라 행 2개씩 묶어서 하나의 파일로 만들었다보니 파일이 너무 잘게 많고, 압축률도 떨어진다.
게다가 athena의 탄력적인 사용을 고려한다면 폴더 단위로 파티션을 나눌 필요도 있다.

데이터 파티션 - 개수 파티션

파일 하나에 들어가는 행 개수를 조절해보자.
먼저 2개씩 묶는게 아니라 5개씩 묶도록 파티션 단위 수정을 해보겠다.

기존에 이런 코드에다가, 중간에 transform 동작을 쑤셔넣으면 된다.

from awsglue.dynamicframe import DynamicFrame

import하나 추가해주고

# DynamicFrame을 DataFrame으로 변환
df = AmazonDynamoDB_node1736078338707.toDF()

# 파티션 수 조정 (4개 레코드당 하나의 파일로 묶기)
num_partitions = df.count() // 4
df_repartitioned = df.repartition(num_partitions)

# DataFrame을 다시 DynamicFrame으로 변환
dyf_repartitioned = DynamicFrame.fromDF(df_repartitioned, glueContext, "dyf_repartitioned")