[Rust] rayon

rayon은 rust의 경량 병렬처리 라이브리다.

tokio와 async-std와는 방향성이 좀 다르다.
rayon은 async/await을 지원하지도 않는다. 대기의 관리보다는 단순한 동시 처리에 집중한 경향이 있다.
그대신 datarace가 없음을 확실하게 보장한다.

병렬처리 터줏대감인 openMP와 경쟁하는 관계인 것 같다. 벤치마크들 봤을때는 아직 좀 뒤쳐지는 것 같기도...

복잡한 비즈니스로직의 비동기처리보단 대형 데이터셋을 병렬 처리하거나 할때 좀 잘 맞는 구조인 것 같다.

사용법

아주 가벼운 구조를 갖고 있기 때문에 복잡한 사전세팅이 필요하지도 않다.
디펜던시 하나 추가해주면 끝이다.

아래는 rayon으로 병렬처리를 시도하는 아주 간단한 예제코드다.
각 요소를 제곱한다음에 더한다.
prelude를 import하기만 해도 관련 메서드가 자동으로 디스패치되기 때문에 사용법도 간단한 편이다.

use rayon::prelude::*;

fn sum_of_squares(input: &[i32]) -> i32 {
    input
        .par_iter() // <-- just change that!
        .map(|&i| i * i)
        .sum()
}

fn main() {
    let dataset = vec![1, 2, 3, 4, 5, 6, 7, 8, 9, 10];

    println!("{}", sum_of_squares(&dataset));
}

par_iter로 iterator를 생성하는 순간부터 동작의 제어는 rayon에게 넘어간다. parellel iterator의 축약이란다.
알아서 병렬 스케줄링을 해준다는 것이다.

그러고 실행하면

기대한대로 동작할 것이다.

명시적 병렬처리: join

든든한 국밥 정렬 알고리즘인 quick-sort를 예시로 들어보겠다.
보통은 아래와 같이 재귀적 반복을 통해 분할-호출하는 것이 일반적인데

저기서 quick-sort를 lo와 hi에 대해서 호출하는 부분은 사실 어떤 순서로 처리되어도 상관이 없는 부분이다.
즉, 병렬처리에 최적화되는 케이스다.

rayon을 사용하면 이에 대한 처리를 손쉽게 수행할 수 있다.

이런 느낌으로 쓰면 된다.

참조
https://docs.rs/rayon/latest/rayon/
https://smallcultfollowing.com/babysteps/blog/2015/12/18/rayon-data-parallelism-in-rust/