[Spring Boot] Graceful shutdown으로 안전하게 종료하기

문제 상황

배포를 하기 위해 서버를 내릴 때 하필 서버가 어떤 요청을 수행하고 있다면 어떻게 될까요?
해당 요청은 끝까지 수행하지 못하고 실패하게 될 것입니다.
특히 배포가 잦은 환경이라면 더욱 문제가 생길 수 있을 것입니다.
 
[보틀] 프로젝트를 하면서 정말 짧은 주기로 배포를 해왔는데, 위와 같은 상황에 대해서 어떠한 처리도 하지 않고 있었습니다.
또한 비동기 이벤트 처리를 하는 로직이 늘어나면서, 서버를 내릴 때 하필 비동기 큐에 들어가 있던 요청들을 모두 잃어버릴 것이라는 문제가 있었습니다.

실제로 그럴까?

실제로 요청들을 모두 잃어버릴지 확인을 해보겠습니다.
 
우선 간단하게 요청이 엄청 느리게 처리되는 api 하나를 만들었습니다.
스레드를 20초간 sleep 시킨 후 "Request Success!"를 반환하는 api 입니다.

@GetMapping("/test")
fun test(): String {
    Thread.sleep(20000);
    return "Request Success!"
}

위 api를 요청하면 응답이 오기까지 로딩을 합니다.

그리고 20초가 지나기 전에 서버를 종료하면 아래와 같이 응답을 받지 못하고 실패합니다.

 

해결 방법

해결 방법은 정말 간단합니다.
Spring boot에서 제공하는 graceful shutdown을 사용하면 현재 처리중인 작업을 모두 종료한 후 서버가 안전하게 중단됩니다.
그리고 서버를 내린 후에는 더이상 새로운 요청을 받지 않습니다.

설정하는 방법은 application.yml 파일에 아래와 같이 추가하면 됩니다.

server:
    shutdown: graceful

그럼 다시 위의 api를 요청해서 어떻게 달라졌는지 보겠습니다.

요청을 보내고 10초 후 서버를 중단시켰습니다.

위의 로그와 같이, 요청을 처리한 후 요청을 보낸 시점으로부터 약 20초 뒤에 서버가 중단된 것을 확인할 수 있습니다.

응답도 제대로 오는 것을 확인했습니다.

비동기 처리도 확인해보자!

제가 가장 궁금한 것은 비동기 이벤트 작업도 정말 제대로 처리한 후 종료가 되는지 였습니다.

그래서 간단하게 실험을 해봤습니다.

@GetMapping("/test")
fun test(): String {
    for (i in 1..5) {
        applicationEventPublisher.publishEvent(
            EventDto(num = i)
        )
    }
    return "Request Success!"
}

컨트롤러 메서드를 위와 같이 변경했습니다.

요청이 들어오면 5개의 이벤트를 발행합니다. 이벤트 처리는 아래와 같이 수행합니다.

@Async
@EventListener
fun handleEvent(event: EventDto) {
    Thread.sleep((5000 * event.num).toLong())
    println("${LocalDateTime.now()} - ${event.num}번째 이벤트 처리 완료")
}

쓰레드를 sleep 시키는데, 요청마다 시간을 조금씩 늘렸습니다.

1번째 이벤트 -> 5초 뒤 완료

2번째 이벤트 -> 10초 뒤 완료

...

그리고 1번째 이벤트가 완료된 후 서버를 중단시켰습니다.

결과는 다음과 같았습니다.

이벤트 처리가 모두 완료 뒤에 서버가 중단되는 것을 확인할 수 있습니다.

 

이렇게 비동기 처리도 안전하게 모두 수행되는 것을 확인했습니다.

Graceful shutdown 내부 동작 과정

그렇다면 graceful shutdown은 내부적으로 어떻게 동작하는지 알아보겠습니다.

Webserver

public interface WebServer {
    void start() throws WebServerException;

    void stop() throws WebServerException;

    int getPort();

    default void shutDownGracefully(GracefulShutdownCallback callback) {
        callback.shutdownComplete(GracefulShutdownResult.IMMEDIATE);
    }
}

위 WebServer 인터페이스를 Netty, Tomcat, Jetty, Undertow가 구현을 합니다.

그리고 가장 아래에 shutDownGracefully가 디폴트 메서드로 구현되어 있습니다.

톰캣은 이를 어떻게 처리했는지 살펴봅시다.

TomcatWebserver

간단하게 필요한 부분만 가져왔습니다.

public class TomcatWebServer implements WebServer {

    private final Tomcat tomcat;
    private final boolean autoStart;
    private final GracefulShutdown gracefulShutdown;
    private volatile boolean started;

    public TomcatWebServer(Tomcat tomcat, boolean autoStart, Shutdown shutdown) {
        this.monitor = new Object();
        this.serviceConnectors = new HashMap();
        Assert.notNull(tomcat, "Tomcat Server must not be null");
        this.tomcat = tomcat;
        this.autoStart = autoStart;
        // graceful shutdown이 설정되어 있다면 GracefulShutdown 객체를 생성
        this.gracefulShutdown = shutdown == Shutdown.GRACEFUL ? new GracefulShutdown(tomcat) : null;
        this.initialize();
    }

    public void shutDownGracefully(GracefulShutdownCallback callback) {
        if (this.gracefulShutdown == null) {
            callback.shutdownComplete(GracefulShutdownResult.IMMEDIATE);
        } else {
            this.gracefulShutdown.shutDownGracefully(callback);
        }
    }
}

TomcatWebServer를 생성할 때 graceful shutdown 설정이 되어있다면 GracefulShutdown 객체를 생성합니다.

그리고 위 WebServer에 있던 메서드 shutDownGracefully 를 오버라이드합니다. 메서드를 살펴보면 GracefulShutdown 인스턴스가 shutDownGracefully를 구현하고 있습니다. 

GracefulShutdown의 shutdownGracefully

final class GracefulShutdown {

    void shutDownGracefully(GracefulShutdownCallback callback) {
        logger.info("Commencing graceful shutdown. Waiting for active requests to complete");
        (new Thread(() -> {
            this.doShutdown(callback);
        }, "tomcat-shutdown")).start();
    }

    private void doShutdown(GracefulShutdownCallback callback) {
        List<Connector> connectors = this.getConnectors();
        connectors.forEach(this::close); // 새로운 요청을 받지 않기 위해 커넥션을 모두 종료

        try {
            Container[] var3 = this.tomcat.getEngine().findChildren();
            int var4 = var3.length;

            for(int var5 = 0; var5 < var4; ++var5) {
                Container host = var3[var5];
                Container[] var7 = host.findChildren();
                int var8 = var7.length;

                for(int var9 = 0; var9 < var8; ++var9) {
                    Container context = var7[var9];

                    while(this.isActive(context)) { // 실행중인 요청이 있는지 확인하며 기다림
                        if (this.aborted) {
                            logger.info("Graceful shutdown aborted with one or more requests still active");
                            callback.shutdownComplete(GracefulShutdownResult.REQUESTS_ACTIVE);
                            return;
                        }

                        Thread.sleep(50L);
                    }
                }
            }
        } catch (InterruptedException var11) {
            Thread.currentThread().interrupt();
        }

        logger.info("Graceful shutdown complete");
        callback.shutdownComplete(GracefulShutdownResult.IDLE);
    }
}

doShutdown 메서드에서 Connector를 모두 가져와서 종료시킵니다. 이는 새로운 요청을 받지 않기 위한 처리입니다.

실행중인 요청이 있는지 확인하고, 만약 있다면 스레드를 sleep 시켰다가 다시 확인하는 과정을 반복합니다.

모든 요청이 완료되면 서버를 중단합니다.

 

결론

결론은 graceful shutdown으로 서버를 안전하게 종료하도록 합시다!