[CassandraDB] CDC (Change Data Capture)

#CassandraDB

CassandraDB는 자체적으로 변경 데이터 캡쳐(CDC, Change Data Capture) 기능을 제공한다.
이를 통해 CassandraDB의 데이터를 소스로 삼아, 외부 시스템에 데이터를 동기화할 수 있다.

근데 다른 주요 DB들의 CDC 기능에 비하면 매우 성의없고 저열한 형태로 제공된다.
API가 뭐 따로 있는게 아니고, 로컬 디스크에 있는 커밋로그(WAL)을 직접 읽어야 하기 때문이다.
이런 면에서는 ScyllaDB가 훨씬 뛰어나다.

CDC 활성화하기

먼저 DB 수준에서 활성화를 해줘야 한다.

sudo vim /etc/cassandra/cassandra.yaml
sudo systemctl restart cassandradb

기본값은 비활성화다.

cassandradb를 재부팅해보면, 데이터 디렉토리에 cdc_raw라는 폴더가 생긴다.

저기에 cdc 읽을 것이 들어온다.

그리고 개별 CDC 옵션은 테이블 수준에서 관리된다.
테이블을 만들때 cdc 플래그를 주거나

CREATE TABLE test_space.foo (id int, value text, PRIMARY KEY(id)) WITH cdc=true;

나중에 활성화할 수도 있다.

ALTER TABLE foo WITH cdc=true;

그러면 다음과 같이 적용이 된다.

중요한건, 이게 하는 역할은 그냥 commitlog가 읽히기 전까지 지워지지 않게 하는 정도라는 것이다.
직접 다 해야 한다. 그래서 CDC를 읽는 프로그램은 반드시 CassandraDB가 있는 노드에 같이 올라가야 한다.

커밋로그는 아까 언급했던 cdc_raw 경로에 있고

저걸 파싱해서 쓰면 되는 것이다. 그리고 다 처리했다면 직접 지우면 된다.
근데 자체 포맷이라 자바 아니면 호환되는 라이브러리 찾기도 쉽지 않다.

그래서 편하게 쓰려면 그냥 debezium 처럼 대신 구현해준 것을 갖다쓰는 편이 낫다.
https://github.com/debezium/debezium-connector-cassandra