[Linux] Graceful Shutdown

Graceful Shutdown은 번역하자면 "우아한 중단"으로, 안정적인 시스템을 만들때 중요한 핵심 원칙 중 하나다.

Graceful Shutdown의 기본 원리는 대략 2가지 정도가 있다.

1. shutdown이 시작되면 더 이상의 요청을 받지 않는다.

2. shutdown이 시작되었더라도, 이미 받은 요청은 다 처리하고 종료한다.

이를 통해서 뭔가 이도 저도 아닌 상태로 작업이 끊기는 현상을 방지하는 것을 주안점으로 삼는다.
이에 대한 고려 없이 시스템을 만든다면, 온전하지 않은 상태로 데이터가 손상되기 쉽다. 예를 들어 매 태스크마다 A->B->C 3개의 작업을 해야하는데, B까지만 처리하고 중단되어버리는 것이다.

Graceful Shutdown은 이러한 사태를 방지하기 위해, 프로세스 종료 신호를 미리 감지해서 적정한 스텝에서 멈추도록 유도하는 방법론이다.

원리와 제한사항

Graceful Shutdown의 원리와 제한을 알려면 Linux에서 프로세스를 종료하는 방법에 대해서도 어느 정도 알고 있어야 한다.

일단 적절하게 Graceful Shutdown 환경을 구성하더라도, 모든 상황에서 동작하게 하는 것은 불가능하다.

Linux에서 프로세스를 종료하는 신호에는 대표적으로 크게 3가지가 있다.

1. SIGTERM: 정상 종료. 프로세스에게 종료 요청 신호를 보낸다. 몇 초 정도의 유예시간을 주고, 알아서 정리하지 않는다면 OS가 강제로 중단시킨다.

2. SIGINT: 정상 종료. Ctrl+C를 호출했을때 주로 날라간다. 이것도 SIGTERM과 동작 원리는 비슷하다.

3. SIGKILL: 비정상 종료. 바로 중단시킨다.

여기서 SIGTERM이나 SIGINT는 유예시간이 있기에 리소스 정리작업을 어느 정도 처리할 수 있지만, SIGKILL의 경우에는 그것이 불가능하다.

가끔 프로세스 종료할때 kill -9로 중단 명령을 날린 기억이 있을 것이다. 이게 SIGKILL이다.
당신은 뭔가 정리할 시간도 주지 않고 죽여벼린 것이다.
SIGTERM은 kill -15를 써야 한다.

https://linuxhandbook.com/sigterm-vs-sigkill/
앞으로는 몇초 정도 기다려주는 여유를 가져보자

SIGINT, SIGTERM 핸들링해보기 (with Rust)

간단한 예제코드를 통해서 Graceful Shutdown을 구현하는 방식을 보여보겠다.
아래와 같은 스텝을 반복하는 코드가 있다고 가정해보자.

여기서 A-B-C는 하나의 완전한 작업이다.
그럼에도 불구하고

애매한 지점에서 종료 신호를 보내면 이도저도 아닌 상태에서 중단될 수 있다.

이걸 핸들링하려면 SIGINT와 SIGTERM 신호를 catch해서 무시할 수 있도록 해야 한다.
여기서는 signal-hook라는 전용 crate를 통해서 간단한 제어 로직을 구현해보겠다.

use std::{
    process::exit,
    sync::{atomic::AtomicBool, Arc},
    thread::sleep,
    time::Duration,
};

fn main() {
    let sigterm = Arc::new(AtomicBool::new(false));
    let sigint = Arc::new(AtomicBool::new(false));

    signal_hook::flag::register(signal_hook::consts::SIGTERM, Arc::clone(&sigterm)).unwrap();
    signal_hook::flag::register(signal_hook::consts::SIGINT, Arc::clone(&sigint)).unwrap();

    let mut count = 0;
    loop {
        if sigterm.load(std::sync::atomic::Ordering::Relaxed) {
            println!("SIGTERM received");
            exit(0);
        }

        if sigint.load(std::sync::atomic::Ordering::Relaxed) {
            println!("SIGINT received");
            exit(0);
        }

        println!("A: {count}");
        sleep(Duration::from_secs(1));

        println!("B: {count}");
        sleep(Duration::from_secs(1));

        println!("C: {count}");
        sleep(Duration::from_secs(1));

        count += 1;
    }
}

각각의 플래그용 atomic 변수를 두고, SIG가 발생하면 그걸 catch해서 저장하도록 했다.
이러면 내부에서 핸들러를 커스텀하기 때문에 바로 중단되지 않고, 프로그램 수준에서 종료 시점을 통제할 수 있다.
할거 다하고 exit 날려서 종료하면 되는 것이다.

그럼 이제

바로 종료되지 않고 한 스텝 다 기다린 다음에 종료될 것이다.

Java SpringBoot의 경우

Spring처럼 어느정도 완성된 형태의 서버 프레임워크들은 자체적으로 Graceful Shutdown에 대한 옵션을 제공한다. 그냥 위에서 설명한걸 플래그만 추가하면 적용되도록 해둔 것이다.

application properties에 이것만 추가해주면 된다.

server:
  shutdown: graceful

SpringBoot 2.3부터 사용 가능하다.