[Clickhouse] Engine: Log

clickhouse가 제공하는 자잘한 엔진 중 하나다.
이건 디스크에 중소규모의 데이터를 빠르게 쓰고 읽기 위한 용도로 제공되는 엔진이다.
이름이 로그이긴 한데 일반적인 로그를 저장하기 위한 용도는 아니다.

StripeLog, Log, TinyLog 3가지 엔진이 제공되며, 제한 자체는 대동소이하다.

공통 제한

다방면으로 활용하기에는 제한사항이 많은 편이다.

일단, 데이터 행의 UPDATE/DELETE이 불가능하다.
무지성으로 밀어넣은 다음에 DROP TABLE을 하는 것이 일반적인 사용 형태일 것 같다.

인덱스라는 개념이 존재하지 않는다. 조회 최적화를 위한 수단이 거의 없다.

쓰기 실패 시에 테이블이 망가질 수 있다. 그러면 그냥 다 꼬인다.

읽기 작업은 동시에 실행이 가능하나, 쓰기는 다른 읽기와 쓰기를 모두 차단한다.

엔진별 차이

TinyLog
진짜 딱 로그만 쌓는 엔진이다. 조회 최적화를 위한 아무런 수단도 없고, 무조건 풀스캔을 때린다.
모든 데이터를 하나의 파일에 저장한다. 100만개 미만의 작은 데이터에만 적합하다.

Log
Offset 스킵을 위한 mark 파일이 존재한다. 그래서 OFFSET 기반의 스킵 쿼리 자체는 매우 효율적으로 동작한다.
블록 단위로 데이터를 압축하고 분할해서 저장한다. mark를 기반으로 조회할 블럭을 선택한다.
읽기 시에 스레드를 통한 병렬 최적화가 가능하다.

StripeLog
TinyLog과 Log의 중간지점에 있는 엔진이다. 단일 파일에 모든 데이터를 저장한다.
읽기 성능은 떨어지는 대신 FD를 포함한 리소스 사용량이 적다는게 장점이다.
그래서 100만개 미만의 테이블을 여러개 만들어서 관리할 경우에 적합한 로그 타입이다.
읽기 시에 스레드를 통한 병렬 최적화가 가능하다.

기본 사용법

사용법 자체는 간단한 편이다.
생성할때는 그냥 엔진 값만 넣어주면 되고

INSERT도 그냥 하면 된다.

하지만 위에서 언급했듯이, 수정이나 삭제는 안된다.

참조
https://clickhouse.com/docs/engines/table-engines/log-family
https://clickhouse.com/docs/engines/table-engines/log-family/tinylog
https://clickhouse.com/docs/engines/table-engines/log-family/log