[AWS] SQS Standard: MessageGroupId (Fair Queue)

#AWS

SQS 표준 큐에도 FIFO에만 있던 Message Group 기반의 테넌트 격리 기능이 추가되었다.
원래 표준 큐는 채널을 동적으로 생성하고 분리하는 것이 불가능해서 용도마다 큐를 하나씩 만들어야 했는데, 그런 번거로움이 좀 해소된 것이다.

최초로 나온 것은 2025년 7월즈음인데, 서울을 포함한 모든 리전으로 확대된 것은 최근인 것 같다.

이제는 메세지를 전송할때 메세지 그룹 ID를 지정할 수 있다.

Fair Queue의 동작 원리

이건 FIFO 큐의 MessageGroupID처럼 엄밀한 격리를 제공하지는 않는다. A/B 그룹을 GroupID로 나눈다고 해서 A Consumer가 A 메세지만 받고 B Consumer가 B 메세지만 받는다거나 하는 파티션은 안된다.

이건 일종의 우선순위 큐처럼 작동할 뿐이다. ReceiveMessage를 할때 먼저 나오는 메세지의 우선순위 말이다.
왜 이런 어설픈 기능이 추가되었을까?

예를 들어보자.
표준 큐에서 채널을 수동으로 관리한다면(메세지 안에 group 값을 넣거나 해서), 일종의 "노이즈" 문제가 발생할 수 있다. A 그룹의 메세지가 많다고 치면 A 그룹의 처리로 인해서 다른 그룹의 메세지가 지연될 수 있는 것이다.

이런 식으로 말이다. A가 하도 많으니까 확률적으로 A 메세지의 받환이 더 잦아지고, 다른 메세지는 뒤로 밀린다.

SQS에서 제대로 지원하는 Fair Queue -MessageGroupID을 사용한다면 이런 문제가 다소 완화된다.
메세지의 개수에 비례해서 우선순위를 낮추는 것이다. 그러니까, 메세지가 적은 Group의 처리를 우선한다.

이러면 A 메세지가 많이 몰려도 C를 우선으로 Receive하게 해주므로, 비교적 공정한 처리가 되게끔 해준다.

공짜는 아니고 추가 요금을 요구한다.

https://aws.amazon.com/ko/sqs/pricing/
해당 기능을 사용하면 요청 백만건당 0.1달러가 추가로 청구된다. 그렇게 비싸지는 않다.

사용법은 별것 없다.
이건 Producer에만 영향을 주고, Consumer 측에는 실질적인 변경이 없는 사항이므로 더 그렇다.

전송할때 GroupID만 넣어준다면 SQS에서 자체적으로 우선순위 처리를 알아서 잘 해준다.
그 이후로 건드려야할 부분은 없다. 우선순위만 달라질 뿐, 기능적으로 달라지진 않기 때문이다.

그래서 groupID 기반의 파티션 처리가 필요하다면 그건 수동으로 해줘야 한다.

Receive 시점의 MessageGroupID 필터링은 현재도 FIFO에서만 지원하는 기능이다.
파라미터가 있긴 하지만 무시될 것이다.

consumer를 group 단위로 나누고 싶다면 일단 받은 다음에, 본인 group이 아니면 다시 큐에 반환하는 식으로 수동 구현을 해줘야 한다.