[Clickhouse] Asynchronous Insert

#Clickhouse

Clickhouse는 잦은 Insert 패턴에 최적화되어있는 DB는 아니다. RDB를 비롯한 주류 DB들에 비하면 더욱 그렇다.

그래서 1000개의 행을 하나씩 1000번 넣는것보다 한번에 넣는 것이 훨씬 좋고, 웬만하면 1초에 여러개의 INSERT를 하지 않는 것을 권장한다.

근데 이런걸 일일이 지키기는 아무래도 어려운 경우가 많다. 예를 테면 writer가 단일 클라이언트가 아닌 상황에서, 각각의 클라이언트가 메트릭이나 로그를 INSERT하는 경우가 있을 수 있다.

이를 위한 보조 기능 중 하나가 바로 async insert 기능이다. 이 옵션을 사용하면 clickhouse는 insert를 바로 처리하지 않고 buffer에 쌓아둔 다음에 적당히 모아서 flush를 한다.

흔히 시계열 데이터베이스들이 쓰기 처리량을 높이고자 사용하는 방식과 동일하다/

실시간 데이터 반영 수준은 전보다 못하겠지만, 그래도 write 처리량이나 write에 따른 부하는 줄일 수 있다.

사용법

사용자 자체에 async_insert를 활성화할 수도 있고

ALTER USER default SETTINGS async_insert = 1

커넥션 수준에서 async insert를 활성화할 수도 있으며

"jdbc:ch://HOST.clickhouse.cloud:8443/?user=default&password=PASSWORD&ssl=true&custom_http_params=async_insert=1,wait_for_async_insert=1"

INSERT 쿼리 수준에서도 활성화할 수 있다.

INSERT INTO table_name(...) SETTINGS async_insert=1, wait_for_async_insert=1 VALUES (...)

이러면 async 모드로 INSERT를 시도한다.

async_insert는 ASYNC 모드로 insert를 한다는 것이다.

중요한게 wait_for_async_insert라는 옵션인데, 0으로 하면 클라이언트는 insert를 날린 다음에 그냥 잊어버린다. 성공했는지 실패하는지 기다리지 않는 모드라서 데이터 손실이 발생해도 괜찮은 경우에만 사용해야 한다.

일반적인 경우에는 wait_for_async_insert=1로 설정하는 것이 권장된다. 이러면 실제로 클라언트가 디스크에 flush되기까지를 기다리고, 성공했는지 실패했는지도 알 수 있다.

실제로 async insert 여부에 따라서 얼마나 처리량이 차이가 나나 비교를 해봤다.
1000만개를 별도 insert로 밀어넣을 때, non-async는 초당 300개 정도 쓰기가 가능했고

.png?type=w800)

async는 초당 2000개 정도 쓰기가 가능했다.

확실히 유의미하게 차이가 나긴 한다.