[Redis] 분산 락 (Distributed Lock)

락은 동시성 구조를 가진 시스템에서 가장 중요한 것 중 하나다.

보통은 관계형데이터베이스의 락 기능을 활용해서 락 처리를 하곤 하는데, 그것만으로는 확장성이나 성능 면에서 부족할 때가 있다.
애플리케이션 코드를 이용한 Lock 처리도 싱글 앱에서나 가능하지, 스케일아웃된 분산 환경에서는 유효하지 않다.

그럴때는 Lock을 직접 구현해서 사용하곤 하는데, 보통 Redis를 중앙 메모리로 두고 Lock 기능을 직접 구현해서 사용하는 경우가 많다.

테스트 환경 구성

우선 redis를 docker로 간단하게 띄웠다.

docker run -p 12345:6379 redis

그리고 아래는 Rust로 작성한 예제코드다.
개념 설명을 위한 것이기 때문에 꼭 코드 전체를 다 이해할 필요는 없다.

use futures::future::join_all;
use redis::Commands;

#[tokio::main]
async fn main() -> Result<(), Box<dyn std::error::Error + Send>> {
    let redis_client = redis::Client::open("redis://127.0.0.1:12345/").unwrap();

    let mut redis_connection = redis_client.get_connection().unwrap();

    let _: () = redis_connection.set("counter", 0).unwrap();

    // 10000번 반복합니다.
    let _ = join_all((0..10000).into_iter().map(|_| {
        let redis_client = redis_client.clone();

        return tokio::spawn(async move {
            let mut redis_connection = redis_client.get_connection().unwrap();

            let old: i32 = redis_connection.get("counter").unwrap();

            let new = old + 1;

            println!("new: {}", new);

            let _: () = redis_connection.set("counter", new).unwrap();
        });
    }))
    .await;

    let counter: i32 = redis_connection.get("counter").unwrap();

    println!("counter: {}", counter);

    Ok(())
}

코드의 로직 자체는 매우 단순하다.
redis에서 "counter"라는 키에 멀티스레드로 10000번 동시에 반복하면서 증가를 시키고 있다.

원래 기대한대로라면 10000번 반복했으니 10000이 되어야 하지만,

결과는 그렇지 않다.

get으로 값을 가져오고, set으로 다시 설정하는 미묘한 간극에서 동시성 충돌이 발생했기 때문이다.
이를테면 counter가 2인 상태에서 동시에 2개의 스레드가 "2" 값을 받아오면, 2->3, 3->4로 값이 늘어나는 것이 아니라 2->3, 2->3 와 같이 중복할당을 해버리기 때문이다.

이러한 상황을 막기 위해 사용하는 것이 Lock이다.
사실 그냥 동시에 접근이 불가능하도록 막아버리는 것이다.

setnx 기반의 Spin Lock

Spin Lock은 Lock이 대기중일때 뺑글뺑글 돈다고 해서 부르는 명칭인데, 구현은 어렵지 않다.

매 프로세스마다 redis의 setnx 명령으로 lock 값을 저장하고, 이미 lock이 있다면 대기하고, 프로세스가 끝나면 lock 값을 제거하게 하면 된다.

setnx는 기존에 값이 존재하면 0을 리턴하는 atomic한 명령이라, 1을 반환할때까지 무한루프를 돌려서 대기를 타게 하면 된다. 이렇게 말이다.

그리고 나갈때는 del로 제거해주면 된다.

이러면 아주 간단한 Spin Lock의 완성이다.

자. 이제 기대한대로 동작할 것이다.

잘 동작하는 것 같다.

하지만 여기에는 단점이 좀 있는데...
애플리케이션단에서 무한루프 돌며 기다리는건 그렇다 치고, setnx를 와장창 날려대기 때문에 Redis에 가해지는 부담이 엄청나다는 것이다.

이걸 해결하려면 애플리케이션 단에서 무한루프를 sleep도 걸어가면서 천천히 하는 방법이 있긴 한데, best practice라고 말하기는 어렵다.

Redis pub/sub 기반의 Lock 구현

Redis는 다행스럽게도 pub/sub이라는 이벤트 기반의 시스템을 제공한다.

그러니까, 이걸로 lock을 풀때마다 알림을 보내서, 그때 다시 setnx를 시도하도록 하면, 무작정 쏟아지는 setnx의 횟수를 줄여서 Redis의 부담을 줄이는 것이다.

Lock 해제를 할때 Lock이 풀렸다고 알려주고

Lock 진입을 할때는 루프를 돌려고 할때마다 저 pub/sub을 기반으로 블럭을 걸어주면 된다.

이러면 lock이 해제될때만 setnx로 lock 진입을 시도할 것이다.

동작은 이전과 거의 동일하고,

일반 SpinLock은 Redis CPU가 이정도로 먹던게

거의 절반 정도로 줄어들었다.

이 로직은 꼭 다 직접 구현할 필요는 없고, 괜찮은 Redis 클라이언트 구현체가 있다면 그걸 쓰면 된다.

그런데 여기에도 문제가 있긴 있으니.. Redis마저 분산화된 멀티노드 Redis 클러스터에서는 기대한대로 동작하지 않을 수 있다는 것이다. 노드끼리 값이 다를 수 있으니까!

Redlock

Redlock은 가장 권장되는 형태의 Lock 알고리즘이다.
pub/sub 기반의 Lock에 멀티노드 Redis 환경까지 고려한 것이다.

자세한 것은 공식문서를 참조하면 좋다.
https://redis.io/docs/manual/patterns/distributed-locks/

멀티노드에서의 충돌을 피하기 위해 이러한 로직을 따른다.

1. 현재 시간을 밀리초 단위로 가져온다.

2. N개의 노드에서 모두 동일한 키 이름과 무작위 값으로 순차적으로 Lock을 획득하려고 시도한다.
   여기서 각 노드에 잠금을 설정할 때 클라이언트는 총 Lock 자동 해제 시간과 비교하여 작은 타임아웃을 사용하여 Lock을 획득한다.
   예를 들어, 자동 해제 시간이 10초인 경우 타임아웃은 대략 5-50 밀리초 범위일 수 있다. 이렇게 함으로써 클라이언트는 다운된 Redis 노드와 통신을 시도하는 동안 오랜 시간 동안 블록되는 것을 방지한다.
   노드가 사용 불가능한 경우 가능한 빨리 다음 노드와 통신을 시도해야 한다.

3. 클라이언트는 Lock을 획득하기 위해 단계 1에서 얻은 타임스탬프를 현재 시간에서 빼어 경과된 시간을 계산한다.
   클라이언트가 대다수의 노드(적어도 3개)에서 Lock을 획득하고, Lock을 획득하는 데 걸린 총 시간이 Lock의 validity time보다 작은 경우에만 Lock이 획득된 것으로 간주된다.

4. Lock이 획득된 경우, validity time은 단계 3에서 계산된 경과 시간을 초기 validity time에서 뺀 값으로 간주된다.

5. 만약 클라이언트가 어떤 이유로 인해 Lock을 얻지 못했다면 (N/2+1 개의 인스턴스를 잠글 수 없었거나 유효 시간이 음수인 경우), 클라이언트는 Lock을 얻지 못한 것으로 여겼던 모든 노드를 unlock한다.

그리고 여기에는 몇가지 구현체들이 존재한다.

보면 좀 이상한것도 많다. 스타 개수 보고 괜찮으면 골라쓰자..
당장 내가 써본 Rust 구현체도 제대로 된 물건이 아니었고, Go도 그랬다.
Node.js 구현체는 왜 없지...?

아무튼 저기서 Redisson이 이 방면에서 좀 잘 쓰이는 것 같았다.

참조
https://redis.io/docs/manual/patterns/distributed-locks/
https://hyperconnect.github.io/2019/11/15/redis-distributed-lock-1.html
https://hudi.blog/distributed-lock-with-redis/
http://redisgate.kr/redis/command/setnx.php