[Clickhouse] Engine: MaterializedPostgreSQL

MaterializedPostgreSQL는 PostgreSQL 데이터를 clickhouse로 퍼오기 위한 목적의 실험적 엔진이다.

원본 데이터 크기가 10만개 미만 정도로 작고, 복제를 실제로 할 필요도 없다면 PostgreSQL Engine이 간단한 대안이다.
https://blog.naver.com/sssang97/223913979700

특징과 한계

실험적 기능이라서 뭐 안되는게 많다.
일단, 보조 인덱스를 추가하는 것이 안되고 DDL 변경 같은 것도 안된다.

그리고 대규모데이터를 넣으면 높은 확률로 중단에 가까운 상황이 발생할 수 있고, 데이터가 완전히 꼬여버리는 문제고 종종 발생한다.

이것도 현 시점에서는 수십GB를 넘는 대형 데이터에서는 적절하지 않은 것 같다.

내부적으로는 ReplicingMergeTree와 구조를 공유한다. 그래서 해당 엔진이 가지고 있는 장단점을 고유한다.
https://blog.naver.com/sssang97/223926254595

플래그

이건 안정화된 기능이 아니라서 그냥은 못쓴다.

해당 세션에서 SET 명령을 통해 활성화를 해야 쓸 수 있다.

SET allow_experimental_database_materialized_postgresql=1

트랜잭션으로 묶어서 함께 사용하면 된다.

제약과 한계

테이블 정의시 PRIMARY KEY가 반드시 존재해야 한다. 그래야 그걸 기준으로 데이터를 땡겨올지 말지 선택하기 때문이다.

그리고 테이블 생성시 필요한 PostgreSQL 계정은 만드시 테이블의 owner이면서, replication/superuser role을 줘야 한다.

기본 사용법: Table Engine

사용법은 PostgreSQL Engine과 거의 유사하다.
테이블 스키마 정의하고, Engine 절에 접속정보 주르륵 넣어주면 된다.

만들면 이런 식으로 테이블이 2개 만들어진다.
저 이상한 uuid로 만들어진게 실제로 데이터를 받아와서 저장하는 부분인 것 같다. PK를 기반으로 upsert를 해서인지 RepliacedMergeTree로 되어있다.

데이터 규모가 좀 된다면 저 uuid 테이블이 먼저 만들어지고, 동기화가 좀 끝난 뒤에야 다 완성이 된다.

그럼 PostgreSQL에서 INSERT,UPDATE,DELETE를 할때마다

자동으로 동기화를 해줄 것이다.

데이터베이스 수준 동기화

데이터베이스를 통째로 복제하거나, 테이블을 여러개 복제해오고 싶다면 CREATE DATABASE 명령을 통해서 대충 처리할 수도 있다.
이 경우 테이블 스키마 변환을 자동으로 수행해준다.

이걸 쓰려면 또 다른 플래그를 켜야 한다.

SET allow_experimental_database_materialized_postgresql=1;

이러면 전체 데이터베이스를 가져오는거고

CREATE DATABASE DB명
ENGINE = MaterializedPostgreSQL('host:port', 'database', 'user', 'password');

일부 테이블만 가져오도록 명시할 수도 있다.

CREATE DATABASE DB명
ENGINE = MaterializedPostgreSQL('host:port', 'database', 'user', 'password')
SETTINGS materialized_postgresql_tables_list='테이블1,테이블2,테이블3';

예를 들어, 테이블 2개만 동기화시키고 싶다면,

이렇게 할 수 있다.

그럼 자동으로 스키마까지 정의해서 데이터도 부어줄 것이다.
Database로 만들 때는 Table을 직접 만들 때와 다르게, MaterializedPostgreSQL 엔진 테이블이 따로 생기지 않고 ReplacingMergeTree만 만들어진다.

데이터베이스 초기화 이후에 동기화할 테이블을 추가하고 싶다면, ATTACH 구문을 사용할 수 있다.

ATTACH TABLE load_test.color;

그냥 테이블명만 넣어서 실행하면

자동으로 부어준다.

테이블을 동기화 대상에서 제외하고 제거하고 싶다면 DETACH를 쓰면 된다.

DETACH TABLE load_test.color PERMANENTLY;

참조
https://clickhouse.com/docs/engines/database-engines/materialized-postgresql
https://clickhouse.com/docs/engines/table-engines/integrations/materialized-postgresql