[AWS] Redshift

Redshift는 AWS에서 제공하는 빅데이터용 데이터베이스 시스템이다.

일반적인 데이터베이스들과는 다르게 모든 컬럼에 인덱스가 걸리고, 그룹이나 정렬, 서브쿼리가 떡칠된 복합적인 OLAP 쿼리들도 매우 빠르게 처리할 수 있다.

GCP의 BigQuery나 Clickhouse 등과 비슷하다고 할 수 있겠다.

비용

비용에는 꽤나 다양한 옵션이 있다.

자세한건 문서를 참조하는게 좋은데
https://aws.amazon.com/ko/redshift/pricing/

우선 말만 온디맨드인 프로비저닝 요금이 있다.

스펙부터가 꽤 높긴 하지만, 비싸다.

반면에 서버리스 서비스는 사용한 처리량만큼만 지불을 할 수 있는데

이게 좀더 나아보인다.
AWS에서도 이걸 더 권장하는 것 같기도 하고. 지금은 기본옵션이 이거더라

한번 맛이라도 봐보자.
다행스럽게도 처음 써볼 경우에는 프리티어와는 별개로 300달러어치 크레딧을 제공해준다.

시작하기

시작버튼을 누르면 serverless 영역을 만드는 것부터 하라고 한다.

그냥 기본값대로 줘도 무방하다.

그럼 이런식으로 공간이 생겨날 것이다.
여기서부터 하나씩 해보면 된다.

작업 그룹

어째서인지는 모르겠지만 저 서버리스 영역 내에서도 작업그룹이란 단위를 또 만들어야 거기서 실질적인 작업을 할 수 있다.

대충 짓고

기본 네임스페이스를 적절히 지정해준다.
나는 처음 서버리스 영역이 생길때 만들어졌던 default로만 했다.

그래서 이렇게 잘 만들어졌다면 된 것이다.

쿼리 에디터

Redshift는 더 좋은 사용성을 위해서 이 서비스만을 위한 전용 콘솔을 제공해준다.

꽤 나쁘지 않아보인다.
DB나 테이블 생성같은 DDL도 되고, 대충 쿼리 에디터만 열어서 쿼리짜고 실행시킬 수도 있다.
Notebook은 자주 사용할만한 쿼리들을 묶어서 관리해주는 역할인듯싶다.

팀단위의 공동 작업 관리도 곧잘 지원한다.

기본 사용법

이것도 관계형 데이터베이스들의 구조를 따른다.
그래서 데이터베이스 > 스키마 > 테이블 ...의 레이어로 구조가 만들어져있다.

데이터베이스 하나 만들면

이렇게 추가될 것이다.

스키마도 필요하다면 만든다.
만들지 않아도 기본 스키마인 public이 제공되긴 한다.

이제 테이블 생성부터 중요한 부분이다.

여러가지 옵션들이 있는데, 이것도 관계형 데이터베이스들과 큰 차이점은 없다.
기본값이나 NOT NULL, 기본키, Auto increment, Unique 같은 기본적인 개념들은 다 있다.

다만 인덱스는 특성상 자동으로 다 걸어주니까 따로 없다.

만들고 나면 그냥 RDB 쓰듯이 데이터를 넣고

조회하는 식으로 사용해볼 수 있다.

대용량 데이터에도 빠르게 동작하고, 집계나 정렬 같은 복잡한 기능들이 섞인 쿼리도 빠르게 처리해준다는게 다를 뿐이다.

샘플 데이터 가져와보기

근데 저걸로만 뭘 하려면 심심할 수 있다.
애초에 빅데이터를 위한 건데, 저렇게 찔끔찔끔 넣어봐야 뭘 하겠는가?

기본 dev 데이터베이스를 보면 샘플데이터가 좀 들어있다.

처음 저런상태라면 활성화를 좀 해주고

그럼 이렇게 sample_data_dev라는 DB가 뜬다.

거기서 tickit이라는 스키마를 한번 까봤다.

그럼 이런식으로 데이터들이 들어있을 것이다.

기본 수십만개 정도의 데이터들이 있다.

저 스키마의 노트북을 열면 노트북에 모인 쿼리들로 다소 복잡한 쿼리들을 실행해볼 수 있다.

잘 돈다.

S3로 데이터 가져오기

이번엔 기존 데이터를 가져오는 방법을 다뤄보겠다.

근데 그러려면 데이터를 어디다가 저장해놓고 그걸로 가져오는 방법을 취해야 하는데, 여기에는 S3와 DynamoDB가 지원된다. 비교적 싸고 사용하기 편한 S3를 사용하겠다.

먼저 집어넣을 데이터를 CSV 등의 포맷으로 뽑아놓는다.
CSV 말고도 JSON이나 여러가지 포맷이 지원이 되는데, 보통은 대중적인 CSV을 쓰는게 편할 것이다.

여기서 주의점은, 맨 위의 메타 행이 없어야 한다는 것이다.
순수하게 데이터 열만 나열하고 테이블의 순서에 맞춰서 저장한다.

그리고 업로드한 다음에

(권한이 없다면) 네임스페이스에 S3 접근을 위한 IAM 권한을 부여해준다.

여기서 버킷을 전체지정하거나 일부 지정해서 가져올 수 있게 해준다.

그리고 다음과 같은 형태로 쿼리를 돌린다.

copy 테이블명
from 's3 경로'
iam_role default
delimiter ',' resion 리전

그럼, 짜잔

잘 들어간 것을 확인할 수 있다.

이제 가공해서 써먹기만 하면 된다.

참조
https://docs.aws.amazon.com/ko_kr/redshift/latest/dg/tutorials-redshift.html