[k8s] Taint와 Toleration

쿠버네티스는 멀티 노드 분산 환경에서의 컨테이너 관리를 위한 시스템이다.
멀티노드에 컨테이너를 알뜰하게 채우는건 좋은데, 그렇다고 해서 항상 컨테이너가 랜덤 노드에 할당되어서는 목표를 이룰 수 없을 경우가 많을 것이다.

예를 들어, 특정 노드에 메모리가 꽉 차서 터지려는 상황이면 어떻게 해야겠는가? 당연히 그 노드에는 더 이상 pod를 띄우지 않도록 해야할 것이다.

이를 관리하기 위한 노드-Pod 할당 거부 매커니즘이 Taint와 Tolerations다.

허용 기반의 매커니즘을 알고 싶다면 별도 포스트를 참조한다.
https://blog.naver.com/sssang97/223647137454

Taint

Taint는 node 단위에 기록되고 관리되는 일종의 메타데이터다.

taint는 "오염됨"을 뜻하는 부정적인 단어인데, 말 그대로 노드에 이상이 생겼거나, 기타 이유로 pod를 띄워서는 안된다는 것을 표현한다. 쉽게 말해 노드가 새로운 Pod를 거부하는 개념이다.

예를 들어, kubeadm 등으로 클러스터를 구성했다면 컨트롤 플레인 노드는 기본적으로 NoSchedule taint가 구성되어있을 것이다.

이것은 해당 노드에 Pod를 띄우지 않기를 원하는 taint다.
기본 설정이 이런 이유는, control plain은 관리만을 전담하고 실제 pod를 띄우는건 worker들로 한정하는 것을 관리상 권장하기 때문이다.

Taint의 등록과 제거

만약 멀쩡한 노드에 NoSchedule Taint를 걸어서 pod 생성을 막고 싶다면, 이렇게 할 수 있다.

kubectl taint nodes 노드이름 taint값

그러면 이제부터는 Pod 생성이 막히는 것이다.

만약 전부 taint나 기타 조건에 걸려서 pod가 들어갈 곳이 없으면, 스케줄되지 않아서 거의 무한 pending 상태가 된다.

반대로, Taint를 제거하고 싶다면 뒤에 - 부호만 붙이면 된다.

kubectl taint nodes 노드이름 taint값-

그러면 삭제가 되고

생성도 될 것이다.

Taint의 구성과 속성

방금 우리가 예제에서 사용한 Taint는 node-role.kubernetes.io/control-plane:NoSchedule이었다.

이건 사실 node-role.kubernetes.io/control-plane와 NoSchedule 2가지로 분리된다.
node-role.kubernetes.io/control-plane가 Key고, NoSchedule가 Effect라고 한다.

사실 전체 형태는 "Key=Value:Effect"인데, Value가 생략 가능한 것이다.
아래는 value까지 포함해서 taint를 정의하는 간단한 예제다.

Key와 Value는 일종의 네임스페이스나 태그에 불과해서 어떤 값이든 들어갈 수 있다. 이걸 기반으로 Pod를 부분적으로 허용해줄지 말지를 선택하는데, 바로 아래에서 설명할 Toleration과 연관이 깊다.

Effect는 크게 3가지가 지원된다.

1. NoSchedule - "NoSchedule"를 허용하지 않는 Pod를 거부함. 기존 실행은 보존함.
2. PreferNoSchedule - "PreferNoSchedule"를 허용하지 않는 Pod를 "선호하지 않음" (가능은 함)
3. NoExecute - "NoExecute"를 허용하지 않는 Pod를 거부하고, 기존의 실행도 강제로 종료함

Toleration

Taint가 Pod를 거부하는 Node의 속성이라면, Toleration는 다시 그 거부 목록에 대해서 예외적인 허용을 추가하는 기능이다.

단어의 뜻과 동일하다.

다시 기본 taint를 건 다음에 toleration을 적용해서 안되던걸 되게 해보겠다.

다시 제대로 먹혔다.

그러면 이제 띄우고자 하는 pod spec에, 다음과 같이 tolerations을 작성해줘야 한다.

  tolerations:
  - key: "node-role.kubernetes.io/control-plane"
    operator: "Equal"
    effect: "NoSchedule"

이건 key가 "node-role.kubernetes.io/control-plane"고 effect가 "NoSchedule"인 taint는 무시하고 들어가겠다는 것이다.
여기서 value는 생략되었지만 필요하다면 넣을 수 있다.
operator는 Equal/Exists 2가지가 지원되며, 생략시 기본값은 Equal이다. Equal은 key:value완전 일치에만 매칭되며, Exists는 key만 일치해도 매칭된다.

아무튼 적당히 지정하고 실행하면

taint가 걸려있음에도 불구하고 잘 생성되는 것을 볼 수 있다.

Taint&Toleration를 이용한 리소스 관리

Taint는 단순히 컨트롤 플레인에 Pod 할당 막는 용도로 사용되는게 아니라, 리소스 부족으로 인한 문제를 관리하는 것에도 사용된다.

예를 들면, 노드에 메모리가 부족해지면 k8s의 node controller는 해당 노드에 node.kubernetes.io/memory-pressure:NoSchedule 라는 taint를 건다. 이를 통해 리소스가 부족한 노드에 Pod를 할당하지 않도록 한다.
그리고 메모리 문제가 해소되면 node.kubernetes.io/memory-pressure:NoSchedule를 풀어서 다시 Pod 할당이 가능해지도록 하는 것이다.

이러한 시스템 수준 taint 목록에는 대략 아래와 같은 것들이 있다.

1. node.kubernetes.io/not-ready: 노드가 아직 준비되지 않음
2. node.kubernetes.io/unreachable: 노드 컨트롤러에서 노드에 도달할 수 없음. 이는 NodeCondition이 Ready" Unknown"인 것과 일치함.
3. node.kubernetes.io/memory-pressure: 메모리 부족
   4, node.kubernetes.io/disk-pressure: 디스크 압력
4. node.kubernetes.io/pid-pressure: PID 압력
5. node.kubernetes.io/network-unavailable: 노드의 네트워크를 사용할 수 없음
6. node.kubernetes.io/unschedulable: 노드에 스케줄링 할 수 없음
7. node.cloudprovider.kubernetes.io/uninitialized: 클라우드 내부 관리용. 거의 몰라도됨.

참조
https://kubernetes.io/ko/docs/concepts/scheduling-eviction/taint-and-toleration/
https://stackoverflow.com/questions/50966318/difference-between-noexecute-noschedule-prefernoschedule