[MongoDB] aggregate: 기본 구조

mongodb는 aggregate라는 기능을 통해서 aggregation 기능을 제공한다.
기존에는 map-reduce를 통해서 이런 그룹화된 데이터 처리 기능을 제공했었는데, 그걸 제거하고 이걸로 대체한 상태다.

기본 사용법

만약 이런 형태의 데이터셋이 있다면

aggregate는 배열의 형태로 여러개의 스텝을 순서대로 정의해서, 파이프라인처럼 입출력을 뽑아내는 형태로 동작한다.
하나씩 뜯어보자.

match 스텝

가장 기본이 되는 stage다. 이건 말 그대로 필터 역할만을 수행한다.

기본적인 find 절과 다를게 없다.

skip과 limit

Limit와 Offset을 구현하는 stage다.

별로 특별할건 없다.

project 스텝

이건 필드에 대해서 프로젝션을 제공하는 기능이다.

특정 필드만 골라내서 다음 스텝으로 넘긴다. 뽑을것만 뽑아서 미리 넘기면 사이즈가 작아지기 때문에, 최적화를 위해서 사용된다.

unwind 스텝

이건 배열 필드를 강제로 펼쳐내는 특수한 기능이다.

만약 이런 배열 필드가 있다면

그 필드를 기준으로 이렇게 row 단위를 강제로 쪼갤 수 있다.

group 스텝

group by를 처리하는 기능이다.

일단 그룹이 되는 기준점을 정의해야 하는데, 그게 여기서는 _id라는 기본키로 고정되어있다.

그리고 나머지 집계되는 값들을 다른 필드로 정의하고, 값을 계산하게 하면 된다.
이건 각 row에 대해서 1로 치고서 합산한다는 뜻이다. 그러니까 결국에는 count 쿼리가 되는 것이다.

이 경우에는 shopTaskItem.price를 합산하도록 했다. 그러면 그룹 기준으로 가격이 합산된다.

이외에도 avg도 있고 연산자가 이것저것 있다.

나머지는 문서를 참조한다.

sort 스텝

정렬을 위한 기능이다.

-1로 주면 역순이고, 1로 주면 오름차순정렬이다.

기본적인 step, 그러니까 stage들은 이정도다.
더 많긴 한데, 이정도가 자주 쓰이는 것들이다.
나머지는 별도 문서를 참조한다.
https://www.mongodb.com/docs/manual/reference/operator/aggregation-pipeline/#std-label-aggregation-pipeline-operator-reference

단점

MongoDB를 메인으로 사용할 생각이 있다면, 일단 이걸 먼저 확인해봐야 한다.

성능

일단 이거 별로 빠르진 않다. RDB와 비교하면 체감상 오히려 더 느린 것 같다.

메모리 크기 제한

가장 치명적인 문제다. 놀랍게도, aggregate의 각 스텝은 100MB라는 하드코딩된 메모리 제한을 갖고 있다.
이 제한을 넘어서면 어떻게 되느냐 하면, 그냥 스텝이 처리되지 않고 애매한 값을 뭉개서 반환한다.
오류를 반환하지도 않고, 그냥 응답을 망가뜨려서 반환하는 것이다. 참으로 mongo스럽다고 할 수 있다.

그래서 빅데이터는 커녕 미디엄급 데이터도 처리하지 못한다. 조금이라도 데이터 처리 단위가 커질 수 있다면, aggregate 기능에 의존하지 않고 직접 응용프로그램 레벨에서 직접 처리를 해야 한다.

메모리 초과할 때를 대비해서 useDisk... 같은 디스크 사용 옵션이 있는데, 모든 기능에 대해 동작하는 것도 아닌 것 같고, 잘 안먹히더라. 제대로 만든건지는 의심스럽다.

참조
https://www.mongodb.com/docs/manual/core/aggregation-pipeline/
https://www.mongodb.com/docs/manual/reference/operator/aggregation-pipeline/#std-label-aggregation-pipeline-operator-reference