[GCP] Bigtable

Bigtable은 초대형 스토리지 데이터베이스 서비스다.
Hbase 기반으로 만들어졌고, 페타바이트 단위의 무식한 데이터를 쌓아놓는데 최적화되어있다.

Apache HBase와 Cassandra의 대안 중 하나고, 마이그레이션도 잘 지원하는 편이다.

보통 bigtable에 무식하게 쌓다가 분석이 필요하면 데이터를 꺼내서 mapreduce를 돌리거나, bigtable->bigquery로 데이터를 옮겨넣어서 쓰는 방법을 많이들 취하는 것 같다.

다만 자체적으로 MapReduce 기능을 제공하지는 않는다. 자체적으로 클라이언트 수준에서 구현해서 써야한다.

비용

https://cloud.google.com/bigtable/pricing?hl=ko

비용은 기본적으로 노드가 떠있는 시간과 저장된 크기를 기반으로 매겨진다.
저렴한 편은 아니다. 매우 비싸다.

시간당 0.85달러니까, 노드가 하나만 떠있어도 한달에 612달러=80만원이 넘게 나가는 셈이다. 꽤 비싸다.

스토리지 비용은 SSD와 HDD 비용이 다르다.
1테라만 저장한다고 치면, SSD는 한달에 220달러=30만원, HDD는 34달러=5만원 정도 나간다.

인스턴스 만들기

인스턴스를 만들고 써보면서 테스트를 해보자.

이름 짓고

스토리지 타입을 선택한다.
나는 좀더 저렴한 하드를 택하겠다..

리전과 노드 개수를 선택한다.

이렇게 만들어지면 잘 된 것이다.

테이블 만들기

bigtable도 여타 DB들과 마찬가지로 테이블 단위로 데이터 구조를 관리한다.

테이블 만들기 누르고

이름을 짓고, 컬럼 패밀리들을 적절히 정의한다.
제대로 써먹으려면 컬럼 패밀리를 최소한 하나 이상은 둬야한다.

컬럼 패밀리는 쉽게 말해 컬럼들의 그룹이다.
Bigtable에서 테이블은 하나의 기본키와 여러개의 컬럼패밀리로 이루어진다.

각 컬럼 패밀리에는 컬럼이 여러개 들어갈 수 있다.

CLI로 다뤄보기

bigtable은 cbt라는 전용 CLI 도구를 지원한다.
없다면 gcloud로 설치하면 된다.

gcloud components install cbt

cloud shell을 통해 쓴다면 기본으로 깔려있다.

인스턴스 목록을 조회하는 명령은 다음과 같다.

cbt listinstances

그리고 특정 인스턴스의 테이블 목록을 조회하려면, ls 명령을 쓰면 된다.

cbt -instance=인스턴스명 ls

테이블 내의 컬럼 정보를 조회하려면 이렇게 한다.

cbt -instance=인스턴스명 ls 테이블명

데이터를 삽입하려면 set 명령을 사용하면 된다.

cbt -instance=인스턴스명 set 테이블명 키값 컬럼패밀리:컬럼=값

예) 
cbt -instance=bigtable-test set orders 1 test:price=5000 test:product_id=12 test:buyer_id=1 
cbt -instance=bigtable-test set orders 2 test:price=7000 test:product_id=15 test:buyer_id=1 
cbt -instance=bigtable-test set orders 3 test:price=3000 test:product_id=11 test:buyer_id=2 
cbt -instance=bigtable-test set orders 4 test:price=1000 test:product_id=13 test:buyer_id=3

읽을때는 read 명령을 쓴다.

cbt -instance=인스턴스명 read 테이블명

cbt -instance=bigtable-test read orders

지우려면 deleterow 명령을 쓰면 된다.

cbt -instance=인스턴스명 deleterow 테이블명 키

참조
https://cloud.google.com/bigtable?hl=ko
https://cloud.google.com/bigtable/docs/create-instance-write-data-cbt-cli?hl=ko
https://medium.com/google-cloud/getting-started-with-bigtable-on-gcp-adfb896e0b26
https://github.com/googleapis/nodejs-bigtable/tree/main/samples#before-you-begin