[AWS] SNS: SQS FIFO Fan-out 구성하기

SNS는 SQS을 기반으로 트리거를 수행할 수 있게 해주는 어댑터 같은 역할을 한다.

과거에 SQS->Lambda 트리거가 직접 지원되지 않을 때는 가운데 SNS을 껴넣어야했고, 지금도 일부 재처리 매커니즘에 있어서는 SQS->SNS->Lambda 같은 형태로 구성하는 것에 이점이 있다.

그 외에도 SNS가 유용한 부분이 있는데, FIFO 환경에서 확장성을 위해 Fan-out을 하는 것이다.
이 경우에는 SQS->SNS가 아니라, SNS->SQS가 된다.

비용

https://aws.amazon.com/ko/sns/pricing/
SNS을 사용하는데 있어서 추가적인 요금이 발생한다. 보통 2가지 관점에서 발생하는 것 같다.

일단 SNS에서 구독 SQS에 메세지를 하나하나 쏘는걸 요청 횟수로 쳐서 100만개당 비용이 나간다.

그리고 SNS->SQS 전송도 데이터 전송 비용으로 취급된다.

FIFO 큐 만들기

먼저 Fanout할 fifo 큐를 2개 만들어보겠다.

그냥 기본 옵션으로 만들었다.

주제(Topic) 만들기

이제 저 큐들을 SNS를 통해서 묶어야한다.

fifo로 적당히 만든다.

구독 연결하기

큐로 가서

방금 만든 sns 토픽을 구독시킨다.

그렇게 해서 2개 다 연결하면 거의 끝이다.

SNS에 메세지 쏘기

그럼 이제 SNS에 메세지를 쏘면, SNS가 다시 구독중인 SQS 큐들에게 메세지를 다시 전달해줄 것이다.

들어가서 "메시지 게시"

메세지 옵션은 적당히 넣는다. sqs fifo와 동일하다.

날려주면

구독중인 모든 큐에 날라간다.

구독 필터 구성하기

근데 메세지를 특정 주제별로 각각의 큐에 분산되게 하고 싶다면, 저 동작은 문제가 될 것이다.

다행히 sns 구독에는 구독 필터라는게 있어서, 메시지 속성 기반으로 걸러줄 수 있는 기능이 있다.
이걸 응용하면 더욱 효과적인 분산을 처리할 수 있다.

먼저 buy 큐의 구독에 들어가서 필터를 추가해주겠다.

이렇게 만들면 group이라는 속성이 buy인 것만 받겠다는 뜻이다.

sell도 마찬가지로 했다.

그리고 다시 메세지를 쏘되, 속성을 통해 그룹을 설정하면

그 필터에 일치하는 큐에만 메세지가 전송될 것이다.
이번엔 하나에만 잘 전송됐다.

이런 느낌으로 쓸 수 있다.

참조
https://docs.aws.amazon.com/AWSSimpleQueueService/latest/SQSDeveloperGuide/sqs-fifo-queue-message-identifiers.html
https://velog.io/@zzaoman/AWS-SQS-vs.-SNS
https://aws.amazon.com/getting-started/hands-on/send-fanout-event-notifications/