시계열 DB. InfluxDB와 TimescaleDB

대표적인 시계열 DB인 InfluxDB가 기존의 DB와 어떤 구조를 갖고 있으며, 어떤 장점과 단점을 갖고 있는지, 그리고 그에 대항하는 TimescaleDB은 어떤 녀석인지 한번 분석해보는 시간을 가지겠다.

시계열 데이터베이스(time series database)

시계열 데이터베이스는 기본적으로 데이터 저장의 기준을 시간(time)으로 삼는 것이다. 기본키를 전부 타임스탬프 같은 값으로 삼는다는 뜻이다.

시계열DB가 가장 처음 사용된 분야는 여러가지 수치값들이 실시간으로 쌓이는 환경이었다. 예를 들어, 센서로 측정된 수치들을 시간대별로 저장한다든가 하는 것들 말이다.

하지만 현재에 이르러서는 "시간"이 중요한 시스템에서는 꽤나 광범위하게 사용되는 편이다. 예를 들어 "주식 거래"나 "암호화폐 거래" 등의 거래 시간이 중요한 경우에는 시계열을 활용할 수 있다.

그리고 대체로, 데이터 저장에 압축을 좀더 적극적으로 하는 편이라 대형 데이터 저장에도 유리한 편이다.

하지만 시계열의 표준이 있는 것도 아니라서, DB마다 개성이 뚜렷하고 차이점이 굉장히 크다. 그래서 시계열이 딱 뭐라고 명확하게 정의하기는 힘들다.

InfluxDB

InfluxDB는 명실상부한 시계열의 대표주자다. 가장 유명하고, 가장 많이 사용된다.
주변환경이 튼튼하고, 전용 클라우드 서비스도 잘 제공하는 편이다. (논란이 많긴 하지만)

InfluxDB vs RDBMS

기존의 RDB들이 Tree 기반의 인덱스를 통해 저장이 된다면, InfluxDB를 위시한 시계열 DB들은 오직 "시간"에 기반해서 데이터를 저장한다.

출처 https://devconnected.com/the-definitive-guide-to-influxdb-in-2019/
그런데 왜 이렇게 해야할까?

기본적으로 RDB들은 단일 노드에서 초당 20000-100000 수준의 insert도 곧잘 감당해내곤 한다.
하지만 RDB에는 맹점이 상당히 많은데, 주로 사용하는 B-Tree 기반의 인덱스는 시간이 지나고 데이터 집합이 커짐에 따라 insert 성능이 계속해서 떨어질 수 있다는 것이다.

반면 시계열 DB는 일정하고 빠른 수집에 최적화된 데이터 구조를 가진다. 타임스탬프 인덱스에 B-Tree를 사용하지 않아서 느린 Rebalancing 동작이 없기 때문이다. 대신 Time Structured Merge Tree라고 부르는 특수화된 구조를 사용한다.
그래서 단일 노드당 50000-100000건 정도의 insert를 무리없이 감당할 수 있다.
RDB와 성능이 아주 크게 차이나는 것은 아니지만, 안정적으로 그 성능이 계속 유지된다는 점이 주효하다.

장점

지속적인 데이터 대량수집에 유리하다.
InfluxDB 그룹의 기술지원을 받을 수 있다. (유료)

단점

시리즈 카디널리티, 그러니까 태그나 필드에 의해 인덱싱되는 경우의 수가 높아질수록? insert나 read 쿼리가 심각하게 느려지고 리소스를 과도하게 소모한다.
심각한 경우에는 수백만-수천만개가 되는 상태에서 약간의 분석 쿼리만 사용해도 수십초-분 단위까지 시간이 걸릴 수 있다.
이건 데이터 자체를 시간으로만 저장하기 때문에 생기는 한계인데, 무조건 풀스캔을 때려서 메모리에 로드하고 분석을 처리하기 때문이기도 하다.

TimescaleDB

TimescaleDB는 PostgreSQL 엔진을 기반으로 만들어진 시계열 데이터베이스다.
그래서 기본적인 저장 전략은 기존의 RDB들과 크게 다를 것은 없다. 여러가지 트릭들과 중간 추상화를 적용해서 시계열 DB처럼 "보이게" 구현한 것이다.

그래도 있을 것은 다 있다.
시계열 DB들 특유의 데이터 압축을 통한 저장공간 효율화도 제공하고, 아주 훌륭한 SQL 기반의 분석 기능도 제공한다. RDB를 그대로 갖다썼으니 당연히 RDB 수준의 분석성능을 가지고 있다.
InfluxDB가 가지고 있는 카디널리티 문제가 없다.

그리고 B-Tree 인덱스를 그대로 사용하지만, Tree에 시간 값에 기반한 Chunk 단위로 데이터를 분할 저장해서 시계열 특유의 안정적인 insert 성능도 보장한다.

여러모로 InfluxDB의 단점들을 잘 극복한 훌륭한 시계열DB로 평가를 받는 것 같다.

아래는 InfluxDB와 벤치마크를 돌린 표다.

https://www.timescale.com/blog/timescaledb-vs-influxdb-for-time-series-data-timescale-influx-sql-nosql-36489299877/
카디널리티가 낮을 때는 InfluxDB가 더 빠르지만, 카디널리티가 조금만 더 올라가도 timescaleDB의 성능이 더 높아지는 면이 있다.

장점

RDB의 풍부한 기능을 전부 다 활용할 수 있다. 인덱스 추가를 통한 read 쿼리 최적화에도 제한이 없다.
카디널리티 문제가 없다.

단점

카디널리티가 낮을 때는 InfluxDB보다 느릴 수 있다.

참조
https://stackoverflow.com/questions/34492966/what-is-time-series-database
https://stackoverflow.com/questions/47581703/influx-index-and-high-cardinality