[MongoDB] 맵리듀스(map reduce)

맵리듀스는 초대형데이터를 처리하기 위한 방법론이다.

대표적인 맵리듀스 전용 데이터베이스 시스템으로는 Hadoop이 있는데, 몽고DB도 제한적이지만 이러한 방법을 제공한다.
하둡처럼 디스크에 잘 올라가지도 않는 초대형 데이터를 다루는데는 한계가 있지만, 뭔가 그 아래의 애매한 지점에서는 대안으로 사용할만하다.

mongodb 5.0부터는 이것 대신 aggregation-pipeline을 사용하는 것을 권장한다. 그쪽이 더 빠르고 최적화도 잘 된다고 한다.

구조

map reduce는 크게 3가지 구성요소로 이루어진다.
데이터를 가져오는 조건인 query, 최초 데이터를 가공하는 map, 데이터를 그루핑해서 축소하는 reduce다.
아래는 그 예시다.

직접 한번 해보자.
우선 아래와 같이 데이터 세팅을 한다.

db.orders

// random datas
// random datas
db.orders.insertMany([
  {
    buyer_id: 1,
    product_id: 154,
    price: 200,
    quantity: 5,
    date: new Date("2014-03-01T08:00:00Z"),
  },
  {
    buyer_id: 2,
    product_id: 155,
    price: 150,
    quantity: 2,
    date: new Date("2014-03-01T09:00:00Z"),
  },
  {
    buyer_id: 3,
    product_id: 156,
    price: 5500,
    quantity: 1,
    date: new Date("2014-03-01T09:00:00Z"),
  },
  {
    buyer_id: 4,
    product_id: 157,
    price: 440,
    quantity: 1,
    date: new Date("2014-03-01T09:00:00Z"),
  },
  {
    buyer_id: 5,
    product_id: 158,
    price: 510,
    quantity: 1,
    date: new Date("2014-03-01T09:00:00Z"),
  },
  {
    buyer_id: 1,
    product_id: 159,
    price: 520,
    quantity: 1,
    date: new Date("2014-03-01T09:00:00Z"),
  },
  {
    buyer_id: 3,
    product_id: 1999,
    price: 100,
    quantity: 1,
    date: new Date("2014-03-01T08:00:00Z"),
  },
  {
    buyer_id: 3,
    product_id: 155,
    price: 150,
    quantity: 2,
    date: new Date("2014-03-01T09:00:00Z"),
  },
  {
    buyer_id: 3,
    product_id: 44,
    price: 50,
    quantity: 14,
    date: new Date("2014-03-01T09:00:00Z"),
  },
  {
    buyer_id: 4,
    product_id: 12,
    price: 330,
    quantity: 1,
    date: new Date("2014-03-01T09:00:00Z"),
  },
  {
    buyer_id: 5,
    product_id: 14,
    price: 140,
    quantity: 3,
    date: new Date("2014-03-01T09:00:00Z"),
  },
  {
    buyer_id: 1,
    product_id: 1500,
    price: 52,
    quantity: 4,
    date: new Date("2014-03-01T09:00:00Z"),
  },
]);

그리고 구매자(buyer_id)를 기준으로 해서 총 얼마나 돈을 썼는지 구하는 맵리듀스를 구현해봤다.

db.orders.mapReduce(
  function () {
    emit(this.buyer_id, { price: this.price, quantity: this.quantity });
  },
  function (key, values) {
    return values.reduce((acc, curr) => acc + curr.price * curr.quantity, 0);
  },
  { out: "temp" }
);

첫번째 인자인 map에서는, emit으로 reduce에 보낼 key-value 쌍을 보낸다.
그리고 두번째 인자는 reduce에서는 각 키별로 값을 어떻게 aggregate할지를 구현한다. 여기서는 각 구매 금액을 단가*개수로 곱해서 전부 더하도록 했다.
세번째 인자에서 out은 결과물을 저장할 collection명을 지정한다.

저대로 실행하면

이렇게 저 컬렉션을 통해 조회가 가능해질 것이다.

이런 식으로 쓰면 된다.

참조
https://www.mongodb.com/docs/manual/core/map-reduce/