[GCP] Big Query

Big Query는 GCP의 간판 서비스 중 하나다.

사실 GCP의 서비스들 대부분은 다른 클라우드 서비스와 비교해 그렇게 좋은게 딱히 없는데, 이건 상당히 특출난 사용성과 성능으로 유명한 편이다.

Big Query는 GCP에서의 정의에 따르면

머신러닝, 지리정보 분석, 비즈니스 인텔리전스와 같은 기본 제공 기능으로 데이터를 관리하고 분석할 수 있게 해주는 완전 관리형 엔터프라이즈 데이터 웨어하우스
gcp

다.

말이 좀 어렵긴 한데, 그냥 대용량 처리용 DB를 제공한다는 말이다.

우리가 기존에 자주 사용하던 RDB들은 사실... 대용량 처리가 그렇게 편리하지는 않다.
양이 적을 때는 괜찮지만 테이블에 데이터 수가 100만개, 1000만개를 넘어가면 대부분 맛이 좀 가기 시작한다.
넣고 읽는 속도 자체도 그렇고, 데이터를 가공해오는데도 부하가 엄청나게 커지고, 최적화도 잘못 하는 경우가 잦다.

그에 비해 big query는 애초에 대용량 처리를 위한 managed DB 시스템이라 그런 고충을 겪을 일이 거의 없다.
페타바이트급 연산도 손쉽게 처리한다고 하고, 비용도 성능에 비해 그렇게 비싼 편은 아니다.

일반적인 용도는 로그성 데이터나 빅데이터들을 집어넣어서 이런저런 분석에 사용하는 것이다.
비즈니스 서비스의 메인 서버로는 적합하지 않다.

비용

big query는 특이하게 사용한 데이터의 크기 단위로 요금을 물린다.
이렇게

테라바이트 단위로 요금을 가져가고, 1테라바이트 정도는 월마다 무료로 제공해준다.

자세한 무료 한도는 이렇다.

자세한 것은 문서를 참조하길 바란다.
https://cloud.google.com/bigquery/pricing?hl=ko&utm_source=google&utm_medium=cpc&utm_campaign=japac-KR-all-ko-dr-bkws-all-super-trial-b-dr-1009882&utm_content=text-ad-none-none-DEV_c-CRE_540956965822-ADGP_Hybrid%20%7C%20BKWS%20-%20PHR%20%7C%20Txt%20~%20Data%20Analytics%20~%20BigQuery_BigQuery-big%20query-en-KWID_43700065776849882-kwd-45626140766&userloc_1009871-network_g&utm_term=KW_big%20query&gclsrc=aw.ds&gclid=Cj0KCQiA7oyNBhDiARIsADtGRZb70_DRJIntweRRA67sn6NAKNPbELhRlr37_CR5qzxZM5T18dm02bIaAgDoEALw_wcB#bigquery-pricing

일단 콘솔 페이지에 들어가보자.

데이터 세트 만들기

데이터세트는 일반적인 RDB들의 데이터베이스와 동등한 단위다.
하나의 데이터세트에는 여러개의 테이블이 들어갈 수 있다.

프로젝트를 선택해서 데이터 세트 만들기를 클릭

이름과 리전을 선택해준다.

만들어서 이런 식으로 프로젝트 아래에 뜨면 성공이다.

테이블 만들기

그럼 이제 테이블을 만들어보자. RDB들의 테이블과 동등하다.

데이터 세트를 선택해서 "테이블 만들기"를 클릭

테이블명을 적어주고

테이블 구조를 정의할 수 있다.
컬럼에는 필드명과 타입, 모드, 코멘트 정도를 써줄 수 있다.

모드에서 NULLABLE는 RDB의 NULL, REQUIRED는 NOT NULL과 대응된다.
repeated는 배열 형태라는 말이다.

잘 만든다면 이런식으로 데이터세트 아래에 생성이 될 것이다.

쿼리 실행

쿼리는 전형적인 RDB들의 SQL과 거의 동일하다.
다만 진짜 RDB는 아니라 완전 호환은 아니라는 점에 유의한다.

함수는 약간 다르지만 삽입도 똑같이 할 수 있고

select도

조인도 잘 된다.

단점?

뭐 대부분의 시스템이나 서비스가 그렇듯이, 완벽한건 없다.

빅쿼리의 가장 큰 단점 중 하나는, 삽입이 매우 느리다는 것이다.
아래 쿼리는 고작 하나의 데이터만 넣는 단순한 쿼리인데도

무려 2초나 경과했다.
이런저런 분산처리나 읽기 성능을 위해 희생하는 것이 꽤 많은 것 같다.
그래서 데이터들이 자주 추가되고, 빠르게 변경되어야 하는 환경에는 적합하지 않다.

그리고 한번 정의한 스키마는, 기존 컬럼의 수정이나 삭제가 불가능하고, 추가만 가능하다.

그렇다.