[PostgreSQL] Publication: WAL 기반 복제/CDC

Publication은 PostgreSQL에서 자체적으로 제공하는 데이터 복제용 기능이다.
WAL을 그대로 스트리밍할 수 있게 해주며, Replica 구성을 위한 복제나 CDC 기능 등에 활용할 수 있다.

제한

DML, INSERT/UPDATE/DELETE에 대해서만 유효하게 동작한다. DDL 등에 대해서는 반응할 수 없다.

Publication 만들기

복제 경로를 뚫으려면 먼져 publication이라는 일종의 채널을 만들어야 한다.
다음과 같이 만들 수 있다.

CREATE PUBLICATION 이름 FOR ALL TABLES -- 모든 테이블

CREATE PUBLICATION 이름 FOR ONLY TABLE 테이블, 테이블2 -- 특정 테이블

CREATE PUBLICATION 이름 FOR TABLE ONLY 테이블 WITH (publish = 'update'); -- 특정 테이블의 update 연산만

예를 들어 global_state라는 테이블에 대해 update/insert 기록을 조회하고 싶다면, 이런 식으로 만들 수 있다.

publication 목록은 이걸로 조회할 수 있고

SELECT * FROM pg_publication order by oid desc

publication에 속한 테이블 목록은 이걸로 조회할 수 있다.

SELECT * FROM pg_publication_tables where pubname = 'pub 이름'

삭제는 반대로 DROP 명령을 통해서 처리할 수 있다.

생성 이후에 테이블을 추가하거나 제거하고 싶다면, ALTER PUBLICATION을 사용할 수 있다.

ADD TABLE이나 DROP TABLE을 사용하면 된다.

Slot 만들기

변경내역을 조회하려면 슬롯이란걸 또 만들어야 한다.
슬롯을 기반으로 해서 일종의 페이지네이션 조회를 할 수 있다.

SELECT pg_create_logical_replication_slot(슬롯이름, '출력 포맷');

출력 포맷은 응답이 어떤 형태로 나올지를 정의한다.
pgoutput이 가장 일반적인 선택이고, 바이너리 형태로 응답을 반환한다. pgoutput을 쓸 경우에는 단순한 SQL 인터페이스로는 조회를 할 수 없다.

이렇게 만들고 나면

만들어진 slot은 다음 쿼리로 조회할 수 있고

select * from pg_replication_slots

슬롯을 지우고싶다면 이렇게 지울 수 있다.

SELECT pg_drop_replication_slot('슬롯이름');

변경 데이터 구독하기

변경 데이터 구독은 pg_logical_slot_peek_binary_changes 혹은 pg_logical_slot_get_binary_changes을 사용해서 처리할 수 있다.
peek은 데이터를 조회만 하고, get은 조회 후 소비까지 한다.

SELECT *
FROM pg_logical_slot_peek_binary_changes('슬롯이름', NULL, NULL, 'proto_version', '1', 'publication_names', 'publication_이름')
SELECT *
FROM pg_logical_slot_peek_binary_changes('슬롯이름', NULL, NULL, 'proto_version', '1', 'publication_names', 'publication_이름')

그럼 이런식으로 조회가 되는데, 문제는 저 데이터가 바이너리 인코딩이라서 해석하려면 디코딩을 해야 한다는 것이다. 이건 SQL 내에서 처리하긴 좀 까다로울 수 있고, 프로그램으로 해결해야 한다.

Consumer 코드 작성 (Go)

예시 코드는 다음 위치에 있다.
https://github.com/myyrakle/go_example/blob/master/database/postgresql/publication.go

그리고 테이블에서 값을 변경해보고

Consumer를 실행해보면

이런 식으로 찍힐 것이다.
참고로, 저렇게 조회되는 메세지 중에는 쓸모없는 transaction/rollback 등이 섞여있다.
그래서 실제 메세지는 몇만개 남짓인데 실제 변경에 대한 이벤트는 하나인 것이다. 이건 그냥 적당히 알아서 거르는수밖에 없다.

그리고 peek는 읽기전용이라서 읽더라도 소모가 되지 않고 계속 노출이 된다.

get 버전을 사용한다면 읽기 이후에 소모해서

다시 조회하면 그 이후의 데이터만 조회가 될 것이다.

수동 슬롯 위치 조절

peek는 슬롯 위치를 이동하지 않고 데이터를 꺼내오고, get은 위치를 이동시키면서 꺼내온다고 했다.

근데 그러면 데이터 가공을 완료한 뒤에 위치를 이동시키려면 어떻게 할까?
get을 썼는데, 오류가 나면 그대로 데이터가 증발하는 셈이고, peek를 쓰면 위치가 이동되지 않는다.

그럴때는 pg_replication_slot_advance라는 함수를 쓸 수 있다.

pg_replication_slot_advance("슬롯이름", "커서(lsn)");

만약 저기서 6번째까지 다 처리했다고 하면

이렇게 슬롯 위치를 이동시킬 수 있다.

그러면 이후에 조회할 때는 그 로그부터 조회가 될 것이다.

문제: WAL 만료

슬롯을 오래 쓰다보면 WAL이 날라가서 읽기가 불가능한 상태가 될 수 있다.

이 상태에서 내가 알기로 슬롯을 살리는건 불가능하다.
아마 삭제 후에 다시 만들어야 할 것이다.

이걸 좀 덜 날라가게 만들려면, postgres에서 wal 보존 관련된 옵션을 조절해야 한다.

참조
https://www.postgresql.org/docs/9.4/catalog-pg-replication-slots.html
https://blog.ex-em.com/1809
https://postgresql.kr/docs/12/logicaldecoding-example.html
https://blog.ex-em.com/1817