[nats] JetStream

#nats

nats JetStream은 nats의 공식 확장 시스템이다.

이걸 사용하면 on-disk로 저장돼서 데이터의 영속성을 보장할 수 있고, FIFO 기반의 메세징 처리 등 Kafka와 동등한 기능을 사용할 수 있다.

JetStream 활성화하기

별다른 설정을 하지 않는다면 JetStream은 꺼져있다. 쓰려면 명시적으로 켜줘야 한다.

켜져있는지 여부는 account info 명령으로 확인할 수 있다.

nats account info

이렇게 돼있다면,

기존의 nats-server를 죽인다음에 -js 옵션을 줘서 jetstream 모드로 재실행하거나

nats-server -js

공식 이미지를 사용하는 경우에는 맨 오른쪽에 추가 명령행 인자 -js를 던져주면 된다.

docker run -idt --name nats --network nats --rm -p 4222:4222 -p 8222:8222 nats:2.9.15-alpine3.17 --http_port 8222

그렇게 해서, 이런식으로 JetStream account 정보가 조회되면, 잘 된 것이다.

이번에는 스트림을 만들어보겠다.
스트림은 하나의 고유한 큐 단위다. 여기에다 메세지를 넣으면 컨슈머가 꺼내쓰는 구조가 된다.

stream add 명령을 치고, 옵션을 대화형으로 골라준다.

nats --server nats://localhost:4222 stream add test_stream

일반적인 카프카처럼 FIFO 큐로 쓰고싶다면, 그냥 다 디폴트 옵션만 줘도 무방하다.

그럼 다음과 같이 정보를 조회할 수 있다.

nats --server nats://localhost:4222 stream info test_stream

stream만 있어서는 데이터를 읽어오는게 불가능하다.
consumer는 stream에서 데이터를 읽어올 수 있게 해주는 인터페이스다. 이 consumer 단위를 이용해서 읽은 것과 읽지 않은 것을 구분할 수 있다.

이것도 stream처럼 대화형으로 생성이 가능하다.

nats consumer add

stream도 consumer도 다 만들었다면, 한번 핑퐁을 해보자.
메세지를 던지는건 아래와 같은 형태로 할 수 있다.

nats pub [subject] [메세지]

nats pub test "test 1"
nats pub test "test 4"
nats pub test "test 3"
nats pub test "test 2"

그러면 이렇게 consumer를 통해서 순차적으로 읽어올 수 있다.

nats consumer next [stream] [consumer] --count [가져올개수]

nats consumer next test_stream test_consumer --count 1000

Discard Policy가 Old(FIFO)이기 때문에, 하나씩 읽어와도 먼저 쌓인것을 하나씩 가져온다.

그렇다.