[AWS] Athena: S3

Athena는 S3에 대한 SQL 쿼리 기능을 제공하는 서비스다.

대형 데이터같은걸 다루다보면 S3 같은 스토리지에 파일을 기록하게 될 일이 꽤 많다.

근데 S3에 저장하는건 그렇다 쳐도, 꺼내쓰는 것은 상황이나 취향에 따라 여러가지 선택지가 있다.

대표적으로 AWS의 redshift나 GCP의 bigquery 등이 이런 빅데이터 분석에 최적화된 도구다. 이러한 도구들의 단점은, 아무래도 동기화를 추가로 시켜줘야 하고, 그런데서 발생하는 전송 비용이나 번거로움이 존재한다는 것이다.

반면 Athena는 별다른 처리 없이 S3에 바로 액세스할 수 있게 해주는 기능을 제공한다.
Presto, Apache Spark, Aparch Hive 등을 기반으로 동작하며, 페타바이트 단위의 데이터도 처리 가능하다.

비용

https://aws.amazon.com/ko/athena/pricing/?nc=sn&loc=3

순수하게 Athena에서만 발생하는 요금은, 스캔한 데이터의 크기당으로 부과된다.
테라바이트당 5달러다.

그리고 S3에서 발생한 요금은 또 그것대로 나간다. 데이터를 읽거나 쓰는데서 다 비용이 부과된다.
그리고 경우에 따라서는 Lambda 요금도 뜯길 수 있다. 내부적으로 이래저래 쓰나보다.

vs Redshift

빅데이터 분석을 위한 기능이라는 점에서는 Redshift와 장르가 비슷하지만, 영역이 완전히 겹치지는 않는다.

Redshift는 복잡한 구조를 가진 데이터셋 처리에 능하다. 여러가지 데이터를 구겨넣고 빠른 성능으로 대규모 JOIN 작업도 무리없이 해낼 수 있다.
반면 Athena는 단일 데이터셋에 대한 처리에 최적화되어있으며, JOIN 같은 작업에는 성능한계가 있다.

사용성에서는 Athena가 큰 강점을 가진다. Redshift의 경우에는 별도의 프로그램을 구성해서 동기화를 해줘야 하지만, Athena는 몇번의 클릭만으로 S3를 통째로 바로 로드할 수 있다.

비용 면에서는 논란이 있을 수 있다. 하지만 Redshift는 비용 계산이 매우 복잡한 반면에 Athena는 꽤나 간단하고 명료한 과금 체계를 가지고 있다.

성능은 마치 RDB vs NoSQL의 대결과 비슷하다.
단순 Read나 Aggregate는 대체로 Athena가 약간 더 빠르다.
하지만 테이블간 Join에 대해서는 Redshift가 확실하게 더 빠르다.

Data Source

데이터 소스는 데이터를 어디서 가져올지에 대한 구성이다.

S3만을 사용할거라면 추가로 구성을 할 필요는 없다.
이미 있기 때문이다.

버킷 만들기

먼저 원본 소스를 저장해둘 버킷을 만든다. 꼭 전용 버킷을 만들어야만 하는건 아니고, 기존 버킷에 폴더 추가해서 거기다 써도 되긴 한다.

여기다가 csv로 테스트데이터를 올려보겠다.
csv 말고도 tcv, json 같은 다양한 데이터 포맷을 지원한다.

time,user_id,board_name,action
2022-03-06 22:06,bob,game,insert
2022-03-05 22:06,jake,free,delete
2022-03-05 22:06,jake,stock,delete
2022-03-05 22:06,jake,free,insert
2022-03-05 22:06,bob,game,insert
2022-03-05 22:06,mike,qna,delete
2022-03-05 22:06,alica,qna,insert
2022-03-05 22:06,mike,game,delete
2022-03-05 22:06,mike,stock,view
2022-03-05 22:06,jake,qna,insert

이렇게 잘 올라가면 됐다.

출력 경로 지정

Athena는 전부 S3만을 기반으로 동작한다.
그래서 출력 결과도 S3에 백업을 해두는데, 그걸 저걸 눌러서 하면 된다.

원하는 경로로 깔아주기만 하면 된다.

저 디렉터리는 가급적 비어있어야 한다.

데이터베이스 만들기

아테나도 RDB들과 마찬가지로 데이터베이스->테이블의 레이어를 가진다.
먼저 하나 만들어준다.

CREATE DATABASE test;

테이블 만들기

테이블 생성 쿼리는 마법사를 써서 짜는게 편하다.

이름 짓고 데이터베이스 고르고

테스트데이터가 들어있는 경로를 넣어준다.

경로는 /로 끝나야하고, 아테나는 저기 들어있는 파일을 전부 풀스캔때린다.

그리고 입력 파일 형태도 정해준다.

내가 csv로 올렸으니까, csv로 하면 된다.

그리고 컬럼을 순서대로 정의한다.

그럼 이러한 형태로 쿼리가 생성될 것이다.

생성해준다.

그래서 이렇게 왼쪽에 테이블이 생성되면 잘 된 것이다.

csv만 처리할거라면 이렇게 하는게 좋다.

CREATE EXTERNAL TABLE IF NOT EXISTS `DB명`.`테이블명` (
  ...
)
ROW FORMAT SERDE 'org.apache.hadoop.hive.serde2.OpenCSVSerde' 
WITH SERDEPROPERTIES ("separatorChar" = ",", "escapeChar" = "\\") 
LOCATION 's3://...-cost/aws/디렉터리/' -- 읽어올 csv 파일이 존재하는 디렉터리
TBLPROPERTIES ("skip.header.line.count"="1") -- 첫번째 row는 생략

분석하기

테이블이 잘 만들어졌다면, 그냥 RDB쓰듯이 쿼리를 날려서 결과를 조회하면 된다.

분석 결과는 실시간으로 S3 버킷에 백업된다.

참조
https://aws.amazon.com/ko/athena/
https://aws.amazon.com/ko/blogs/big-data/analyzing-data-in-s3-using-amazon-athena/