[AWS] timestream - LiveAnalytics

AWS timestream은 시계열 데이터베이스를 관리형으로 제공하는 서비스다.
그렇게 많이 쓰는지는 모르겠는데, 종종 데이터 파이프라인 같은데에 쓰긴 하는 것 같더라.

사용량이 미묘해서 그런지, 실제로도 리전 지원 수준이 높지 않다.
현재 작성 기준으로 일단 서울 리전에는 제공되지 않는다. 그래서 만약 한국에서 서비스를 한다면 도쿄에다가 둬야 할 것이다.

실행 옵션

Timestream은 2가지의 실행 옵션을 제공한다.

하나는 서버를 특정 스펙으로 프로비저닝해서 사용하는 Timestream for InfluxDB다. 이거는 그냥 InfluxDB와 크게 다를 것이 없으니 대충 넘어가겠다.

두번째는 서버리스형 DB인 Timestream for LiveAnalytics다. InfluxDB와는 관계가 없다.
이건 사용한 저장공간, 쓰기 사용량, query에 대해서만 요금을 지불하고, 사용량에 따라서 자동으로 확장된다.
서버리스하게 관리되며, 페타바이트급의 빅데이터에 대해서도 초단위 query를 제공한다는게 장점이다.

다만 Timestream for InfluxDB보다도 리전 지원 수준이 좁다.

여기서는 자체 시스템인 LiveAnalytics를 위주로 다룬다.

비용

https://aws.amazon.com/ko/timestream/pricing/

비용 측정 방식은 꽤 간단하고 직관적인 편이다.

100만개 쌓을때마다 비용을 뜯는다. 일단 쓰기 비용 자체는 나름 저렴한 축이다.
저장된 데이터 크기에 대해서도 요금을 뜯는다. RAM인지, 디스크인지에 따라서 차이가 좀 난다.

디스크 저장비용은 그리 비싸진 않다.
S3가 GB당 0.025달러고, DynamoDB가 GB당 0.285달러인걸 생각하면 무난한 편이다.
그래서 데이터 파이프라인의 첫번째 데이터소스로도 종종 쓰더라

그리고 여기서 좀 헷갈릴 수 있는건, 쿼리에 사용되는 TCU라는 단위다.
하나의 TCU는 추상적인 단위가 아니라, 4개의 vCPU와 16GB로 구성된 하나의 노드 단위다. 쿼리를 날리면 데이터 규모에 맞춰서 TCU 노드를 여러개 띄워서 병렬처리를 하고, 그에 비례해서 과금을 하는 것이다.

제한사항

timestream은 특수화된 시계열 데이터베이스라서, 몇가지 제한사항이 존재한다.

단일 레코드, 그러니까 하나의 행에는 크기 제한이 존재한다. 현재는 2kb다.
그래서 엄청 큰 데이터를 넣을 수가 없다.

그 외에도, 데이터가 영구적이지 않아서 언젠가는 증발한다거나 하는 부분들이 존재한다.
그래서 결국 그 전에 수집에서 어딘가 다른 곳에 넣어야 한다. 보통은 그게 S3가 된다.

디스크와 메모리

위의 비용 표에서 봤을테지만, timestream은 메모리와 디스크 2가지 레이어로 데이터를 관리하고, 요금도 2가지를 혼합해서 부과한다.

데이터가 들어오면, 일단 timestream은 그걸 메모리에 올린다.
그리고 메모리 보존 기간이 지나면 디스크로 옮기는 것이다.

그래서 이에 대한 보존 기간 설정이 테이블 설정에 들어있다.
이런 식이다.

메모리 레이어는 조금 특수한 목적을 위해 존재한다. 쿼리 성능을 높이려고 있는게 아니라 write 부하를 감당하기 위해 존재하는 것이다.

그래서 키값이 되는 time 값도 메모리 스토어의 보존기간에 의존적이다.
뭔 소리냐면, 예를 들어 메모리 보존 기간이 24이라면 time 값은 현재를 기준으로 24시간 전까지의 값으로만 insert할 수 있다는 것이다. 그 이전 범위로는 time key 값을 넣을 수 없다.

디스크에 있는 데이터는 언제든지 쿼리로 조회할 수 있다.

DB 생성

한번 직접 DB를 만들고 데이터를 쿼리해보자.

생성에는 2가지 옵션이 있는데, 샘플로 생성하더라도 DB 형태 자체는 동일하다. 그 아래에 샘플 테이블이 하나 생기는 것일 뿐이다.

나는 일단 IoT 샘플 베이스로 생성해봤다.

프로비저닝 시간은 굉장히 짧은 편이다. 거의 바로 만들어진다.

그리고 테이블 탭에서 데이터베이스에 속한 테이블들을 조회하거나 관리할 수 있다.

일반적인 DB들과 동일하게, 하나의 DB에 여러개의 테이블이 별도로 생성될 수 있는 구조다.

샘플 테이블 사용해보기

샘플 테이블에 들어가보면 이런 식으로 생성이 되어있을 것이다.

여기서 뭔가 바로 볼 수 있는건 없다.

뭔가 데이터를 까보려면, 쿼리 편집기로 가서 직접 쿼리를 날려야 한다.

쿼리는 SQL 형태로 제공하긴 하나, 정확한 세부사항들을 알고 싶다면 문서를 참조하는게 좋을 것이다.
https://docs.aws.amazon.com/timestream/latest/developerguide/reference.html

아무튼 저기서 실행을 누르면

이런 식으로 데이터를 긁어올 수 있다.

이 시점에 TCU 소모하면서 비용을 부과하는 것이다.
그래서 데이터 규모가 크다면 이거 쿼리 날리는 한번 한번이 비용이 크게 터질 수도 있다.

그리고 쿼리 결과에 대해서 저장을 누르면

저장된 쿼리에 저장이 되고

그 결과를 추가 비용 없이 언제든 조회할 수 있다.
의외로 이거 저장에 대한 비용은 따로 없는 것 같더라

테이블 만들어보기

이번에는 직접 테이블을 만들어보자.
옵션이 그렇게 많은 것도 아니라서, 그다지 어려울 것은 없다.

일반적인 사용사례에서는 그냥 기본 파티셔닝에

데이터 보존 시점만 조절해도 충분할 것이다.

이렇게 만들어지면 잘 된 것이다.

그럼 이것도 마찬가지로 쿼리 에디터로 쿼리를 날려볼 수 있는데

당연히 데이터가 없으니 아무것도 안나올 것이다.
이제 데이터를 하나 밀어넣어보자

데이터 Insert하기 (Node.js)

데이터를 밀어넣으려면 콘솔로는 안되고, aws-sdk를 써야만 한다.
여기서는 nodejs 코드를 예시로 들어보겠다.

먼저 종속성을 설치하고

npm i @aws-sdk/client-timestream-write

이런 식으로 짜면 된다.

const {
  TimestreamWriteClient,
  WriteRecordsCommand,
} = require("@aws-sdk/client-timestream-write");

async function main() {
  const client = new TimestreamWriteClient({ region: "ap-northeast-1" });

  const currentTime = Date.now().toString();

  const command = new WriteRecordsCommand({
    DatabaseName: "sampleDB",
    TableName: "foobar",
    Records: [
      {
        Dimensions: [
          { Name: "region", Value: "us-east-1" },
          { Name: "az", Value: "az1" },
        ],
        MeasureName: "temperature",
        MeasureValue: "70",
        MeasureValueType: "DOUBLE",
        Time: currentTime,
        TimeUnit: "MILLISECONDS",
      },
    ],
  });

  try {
    const response = await client.send(command);
    console.log(response);
  } catch (err) {
    console.error(err);
  }
}

main();

좀 파라미터 구성이 특이한 편이다.

DatabaseName과 TableName은 바로 알 것이라 믿는다.

Time과 TimeUnit은 기본키가 되는 시간 기준값에 대한 필드다. 저건 밀리초 단위로 정수를 받아서 그걸 키로 쓴다는 말이다.

MeasureName, MeasureValue, MeasureValueType은 해당 row 측정값에 대한 고정 필드다.

그리고 Dimensions에 들어있는 각 요소들이 좀 자유롭게 입력할 수 있는 일종의 메타데이터에 속한다.

저대로 넣으면

들어가고

조회에도 반영이 될 것이다.

시스템 수준에서 쿼리 결과를 조회해서 사용할 일이 있다면, 비슷하게 aws-sdk를 써서 query를 날리고 응답을 받아서 쓰면 된다.

참조
https://docs.aws.amazon.com/timestream/latest/developerguide/tcu.html
https://docs.aws.amazon.com/ko_kr/timestream/latest/developerguide/ts-limits.html
https://www.reddit.com/r/aws/comments/q19yc5/configuring_aws_timestream/