CPU 스로틀링 (Throttling)

스로틀링은 CPU가 지나친 과로로 과열될때 손상을 막기 위해서 전압을 낮추거나 하는 것을 말한다.
그래서 스로틀링이 발생하면 할수록 성능이 크게 떨어질 수 있다.

발생하는 이유

하드웨어적인 이유와 소프트웨어적인 이유가 전부 있을 수 있다.
결국 온도가 올라가면 꺼주는 소방수 역할인 것이기 때문에, CPU 성능 대비 쿨러가 딸리면 자주 발생할 수도 있다.

하지만 보통은 소프트웨어적인 이유가 많다.
그냥 로직 자체가 구릴 수도 있고, GC 같은 것 때문에 발생할 수 있다.
보통 GC가 돌아가는 프로그램일수록 몰아서 리소스를 처리할 때가 많고, 이는 CPU 압력으로 이어지기 쉽다.

Docker & Kubernetes에서

Docker는 cgroup을 기반으로 자원의 분배를 관리한다.

그래서 cgroup에 대해서 어느정도 알아야 대응을 할 수 있는데, cpu를 2개 할당한다고 하더라도 진짜 코어 2개를 할당하는게 아니라 cpu 스케줄링 시간 동안 분배를 하는 비율을 정하는 것이다.

docker 컨테이너에 CPU limit을 걸어두면 CPU throttling이 걸릴 때가 종종 발생하는데, 어차피 진짜 CPU가 꺼지는 것도 아니고 자원 점유 때문에 조금 밀리는게 다라서, 극심하게 걸리는게 아니라면 무시해도 괜찮을 때가 많다.
물론 아닐 수도 있고, 상황에 따라 다르긴 하다.

그리고 애초에 쿠버네티스에서는 Pod에 CPU 제한을 걸지 않을 것을 권장한다.

기타: API 스로틀링

스로틀링이란 단어는 CPU 외에도 인위적인 제한을 걸때 자주 사용되는 용어다.

예를 들어, API 스로틀링은 API 동시 최대 호출 수를 정해놓고 그 이상의 입력이 들어오면 429(Too Many Request)의 오류 등을 던지는 것을 말한다.

참조
https://medium.com/@ramandumcs/cpu-throttling-unbundled-eae883e7e494
https://home.robusta.dev/blog/stop-using-cpu-limits
https://github.com/robusta-dev/alert-explanations/wiki/CPUThrottlingHigh-(Prometheus-Alert)#why-cpu-throttling-can-occur-despite-low-cpu-usage-permalink