[Clickhouse] Materialized View

Materialized View는 효과적인 쿼리 최적화를 위한 보조도구 중 하나다.
미리 원하는 형태대로 조회용 테이블을 생성하는 것이다.

Incremental Materialized View와 Refreshable Materialized View 2가지가 지원된다.

동작 구조

이게 뭐냐면, 뷰 구조를 정의해두면 clickhouse가 자동으로 그에 맞게 데이터를 부어주는 것이다.

https://clickhouse.com/docs/materialized-view/incremental-materialized-view
그때그때 들어온 값에 대해서만 집계 연산을 해서 대상 테이블에 부어준다.
View INSERT에 따른 부하가 증가하지만, 그대신 해당 View 접근 패턴에 대해서는 매우 극적인 최적화 효과를 얻을 수 있다.

Incremental과 Refreshable의 차이는 INSERT 될때마다 실시간으로 View를 생성하는 것인지, 아니면 일정 기반으로 느긋하게 View를 만드는 것인지다.
Refreshable의 구조도는 다음과 같다.

https://clickhouse.com/docs/materialized-view/refreshable-materialized-view
이건 일정마다 전체쿼리를 날려서 넣는거라서, Incremental에 비해 부하가 좀 크다.

SummingMergeTree 엔진

View 기능은 엄밀하게는 그 자체로 완성된 테이블을 만들어주는 기능은 아니다.
별도의 View 테이블을 만들고 나서 거기에 부어주는 역할을 하는게 Materialized View의 동작이다.

View 저장 대상 테이블을 위해 존재하는 것이 SummingMergeTree라는 엔진이다.

이런 집계 쿼리가 있다면

그 구조에 맞춰서 테이블을 짜주면 된다.

View 적용 (Incremental)

뷰 생성은 다음과 같이 할 수 있다.

CREATE MATERIALIZED VIEW 뷰이름 TO 대상테이블 AS
SELECT 쿼리...

그럼 뷰가 생성되는데, 유의할 점은 뷰도 테이블처럼 취급된다는 것이다. 조회도, 삭제 방법도 같다.

여기서의 문제는, 기존 데이터를 자동으로 옮겨주거나 하진 않는다는 것이다. INSERT에 반응해서 옮겨준다.
그래서 처음에는 수동으로 쿼리 날려서 한번 초기화해주는 과정이 필요하다.

이후부터 들어오는 INSERT에 대해서는 자동으로 집계 결과가 삽입된다.

지속적으로 관리할 거라면 이 Incremental 방식이 훨씬 리소스 효율적이고 권장되는 편이다.

Refreshable Materialized View

REFRESH View는 사용법이 크게 다르진 않고, Refresh 절만 추가하면 된다.

CREATE MATERIALIZED VIEW 뷰이름
REFRESH 일정
TO 대상테이블 AS
SELECT ...

예를 들어, 위의 경우에도 10분마다 동기화를 하고 싶다면 이렇게 할 수 있다.

그리고 이건 주기마다 전체 데이터를 지우고 새로 넣는거라서, Incremental과는 다르게 이전에 있던 데이터도 한번에 동기화가 된다.

다만 대체로는 Incremental에 비해 비효율적인 편이다.

정합성 같은게 매우 중요하거나, 이런 일정 주기 기반의 집계가 효율적인 경우에 차선책으로 선택해야 한다.

참조
https://clickhouse.com/docs/materialized-view/incremental-materialized-view
https://clickhouse.com/docs/materialized-view/refreshable-materialized-view