[AWS] DynamoDB: Streams

Dynamo Streams는 DynamoDB를 기반으로 제공되는 CDC 기반 스트림 서비스다.

데이터를 밀어넣고 consume하는 Kinesis나 Kafka 같은 역할을 기대할 수 있다. 특히 Lambda와 통합해서 사용하기 용이하다.
데이터가 중복없이 단 한번만 전송되는 것을 보장하고, 실제 삽입된 순서에 따라 FIFO 형태로 동작한다.
Kafka의 가볍고 저렴한 대체재로 쓰기에 괜찮다.

비용

https://aws.amazon.com/ko/dynamodb/pricing/on-demand/
비용 단위는 DynamoDB와 거의 동일하고, 추가 요금이 따로 발생하지 않는다.

그냥 기존 읽기 요금과 동일하게 낸다고 보면 된다.

한번 직접 사용해보자

Dynamo Stream 활성화

먼저 DynamoDB 테이블이 있어야 한다.

적절히 돈 안나가게 온디맨드로만 만들어준다.

"내보내기 및 스트림" 탭을 보면

스트림을 활성화하는 부분이 있다. 이걸 켠다.

스트림 트리거에서 어떤 값을 받을지 정한다.
일단 키만 받도록 했다.

그럼 스트림 ARN이 만들어지는데, 저걸 aws sdk를 통해 바로 사용할 수도 있다.
https://docs.aws.amazon.com/AWSJavaScriptSDK/latest/AWS/DynamoDBStreams.html
하지만 여기서는 Lambda 기반으로 제공되는 자동화된 통합만 사용해보겠다.

Lambda로 트리거 등록

먼저 트리거에 사용할 Lambda 함수를 하나 만들어준다.

이게 메시지를 전송받아서 처리하는 역할을 맡게 될 것이다.
일단은 로그만 찍었다.

{
	"Version": "2012-10-17",
	"Statement": [
		{
			"Sid": "Statement1",
			"Effect": "Allow",
			"Action": [
				"dynamodb:GetRecords",
				"dynamodb:GetShardIterator",
				"dynamodb:DescribeStream",
				"dynamodb:ListStreams"
			],
			"Resource": "*"
		}
	]
}

Lambda 권한은 이정도 주면 된다.

이제 저걸 트리거로 걸면 된다. Dynamo Stream 하단으로 이동해서

트리거를 만들어준다.
배치 크기는 한번에 최대 몇개씩을 받을지를 정하는 옵션이다.

그럼 이렇게 연동될 것이고

Dynamo 테이블에 데이터가 삽입, 수정, 삭제될때마다 반응해서 메세지를 전송하게 된다.
대충 하나 넣어봤다.

그럼 상태확인도 해주는데

와서 보면 삽입정보에 대한 이벤트가 찍혀있음을 볼 수 있다.
키만 받는 것으로 했기 때문에 키값만 넘어왔다. 저거 조회해서 잘 처리하면 된다.

스트림 타입을 다른걸로 생성한다면

이런 느낌으로 온다. 이건 이전 상태와 현재 상태가 다 나와서 추가 조회 없이도 처리가 가능하다.

재시도

Dynamo Stream은 실행한 Lambda가 실패하면 실패 상태로 간주하고 성공할때까지 재시도를 한다.

실행 로그 보니까 처음에는 초단위로 빠르게 재시도를 하다가 몇번 이상 실패하면 긴 간격으로 재시도를 하더라

트리거 설정 변경

Lambda의 트리거 탭으로 이동하면 Dynamo<>Lambda 간 상호작용 설정을 확인하거나 제어할 수 있다.

배치 옵션을 변경하거나

재시도 같은 몇가지 옵션을 조정할 수도 있다.
이게 앞의 프로세스가 실패하면 그게 성공할때까지 계속 retry를 하면서 이후 처리를 블락하기 때문에, 재시도를 usecase에 따라 조정하는게 중요하다.

Retry attempts는 최대 재시도 횟수다. 기본값 -1는 계속 시도하는거다.
On-failure destination는 재시도가 끝나고 최종적으로 실패했을때 메세지를 어디로 보낼지를 지정한다. 보통 SNS나 SQS로 보낼 수 있다.

Split batch on error는 오류가 발생하면 배치를 더 잘게 나눠서 재시도하는 옵션이다.
배치 단위가 너무 많아서 성능적 문제로 오류가 생길때 꽤 효과적으로 대응할 수 있는 기능이다.

Concurrent batches per shard는 한 샤드에서 동시에 몇개의 배치를 돌릴지를 결정한다. 디폴트는 1이므로 한번에 하나의 배치만 돌린다.
동시에 실행되어도 되고 순서가 꼬여도 된다면 저걸 높이는게 성능상 유리할 것이다.

참조
https://docs.aws.amazon.com/ko_kr/amazondynamodb/latest/developerguide/Streams.html
https://stackoverflow.com/questions/38571922/difference-between-kinesis-stream-and-dynamodb-streams
https://stackoverflow.com/questions/48676604/dynamodb-stream-in-ordering-processing
https://docs.aws.amazon.com/amazondynamodb/latest/developerguide/Streams.html
https://docs.aws.amazon.com/lambda/latest/dg/with-ddb.html