[k8s] Cilium: Egress Gateway (with kube-vip)

Egress Gateway는 cilium의 주요 확장 기능 중 하나다.
Egress, 그러니까 아웃바운드 트래픽을 어떤 IP로 나가게 할지 지정할 수 있게 해주는 기능을 제공한다.

기본 원리

기본적인 논리는 그다지 복잡할 것은 없다.

게이트웨이 노드를 하나 잡아놓으면, 그놈을 통해 트래픽을 경유해서 나가게 하는 것이다.

구성하기에 따라서 다양한 흐름으로 전개를 할 수 있지만, 일단 기본 논리는 한놈이 갖고 있는 IP로 SNAT을 때리는 것이다. 그리고 해당 IP를 특정 WAN에 물려서 내보내면 된다.

그래서 기본 구조에서는 이게 다운타임이 항상 생길 수밖에 없기도 하다. 일단은 하나의 노드가 IP를 물고 대행을 해줘야 하기 때문에, 부하의 문제도 있고, 해당 노드가 죽었을 때도 다운타임이 발생할 수 있다.

cilium egress에도 고가용성 옵션이 있긴 한데, 이건 cilium 엔터프라이즈에서만 제공되는 기능이고, 직접 구성하려면 손을 좀 써야한다.

사전 조건

이걸 사용하려면 cilium을 설치할 때 특정 옵션을 켜줘야 한다. 기본값이 아니다.
cilium CLI를 통해 설치할 경우 기본값에 이게 포함되어있지 않기 때문에 그냥 깔았다간 놓칠 수 있다.

helm을 통해 설치할 경우에는 다음과 같이 옵션을 넣어서 설치할 수 있다.

# Egress Gateway 전제조건. BPF 로 Service → Backend 로드밸런싱 수행.
kubeProxyReplacement: true

egressGateway:
  enabled: true

이거 2가지가 핵심이다.
이 2가지 값은 다운타임이 수반되는 변경이라서, 가급적이면 처음부터 넣어주는게 좋다.

Egress Gateway 사용해보기

일단 이런저런 부가 옵션 빼고 그냥 띄워서 쓰는게 목적이라면, 세팅은 매우 간단하다.

다음과 같이 정책만 하나 정의해주면 끝인 것이다.

apiVersion: cilium.io/v2
kind: CiliumEgressGatewayPolicy
metadata:
  name: egress-wan4
spec:
  selectors:
    - podSelector:
        matchLabels:
          egress.myyrakle.io/profile: wan4

  destinationCIDRs:
    - 0.0.0.0/0
  excludedCIDRs:
    - 10.42.0.0/16
    - 10.43.0.0/16
    - 192.168.88.0/24

  egressGateway:
    nodeSelector:
      matchLabels:
        egress.myyrakle.io/pool: default
    egressIP: 192.168.88.222

이 정의는 다음과 같은 의미를 가진다.

1. "egress.myyrakle.io/profile: wan4"가 붙어있는 pod에 대해서 적용한다.
2. "egress.myyrakle.io/pool: default"가 붙어있는 node를 gateway 노드로 선택한다.
3. 내보내는 최종 IP는 192.168.88.222다. (SNAT)

그리고 pod를 정의할때 위 조건에 맞춰서 라벨만 달아주면 된다.

spec:
  ...
  template:
    metadata:
      labels:
        ...
        egress.myyrakle.io/profile: wan4

그리고 테스트해볼때는 이런 식으로 하면 된다.

kubectl run egress-test-wan4 --image=alpine:3.20 \
--labels=egress.myyrakle.io/profile=wan4 --restart=Never \
--command -- sh -c 'sleep 5; for i in 1 2 3; do wget -qO- -T 8 http://ifconfig.me/ip; echo " rc=$?"; done'

kubectl logs egress-test-wan4

그럼 설정한대로 wan4에 붙어있는 공인 IP로 나간 것을 볼 수 있다.

kube-vip와 고가용성

근데 위 방식에는 문제가 있다.
노드가 혼자 몸빵하는 것도 문제라면 문제인데, 일단 게이트웨이 역할을 맡은 노드가 뻗으면 전체 장애가 발생하는 것이기 때문이다.

이럴때 활용하기 좋은 것이 kube-vip다.
https://blog.naver.com/sssang97/224428580085
이걸 사용하면 내보낼 IP 자체를 특정 노드에 종속시키기 않고, 다른 노드에 인계해서 장애가 자동으로 회복되도록 만들 수 있다.

하나의 노드에 부하가 과중되는건 그냥 IP 자체를 분산해놓고 동일 WAN에 라우팅하면 되는 것이고, 가용성을 챙기는건 이 vip를 활용하는 것이 가장 괜찮다.

여기서는 kube-vip를 활용해서 구성하는 방법을 다뤄본다.

내 경우에는 wan이 8개가 넘는데, 이걸 다 연동해야해서 구성이 조금 복잡하다.

그리고 vip를 쓰기 때문에 가상 ip로 사용할 ip 목록을 미리 정해놓고 DHCP 범위에서 빼놓는 편이 좋다.
내 경우에는 192.168.88.200~를 사용하기로 했다.

게이트웨이용 라벨 붙이기

자, 일단 Egress Gateway로 사용할 후보군을 라벨로 전부 붙여준다.

kubectl label node 노드명 egress.myyrakle.io/pool=default --overwrite
kubectl get nodes -L egress.myyrakle.io/pool

적으면 어쩔 수 없고, 2개 이상으로 해놓으면 자동으로 회복되도록 하는 것이 가능하다.

kube-vip 데몬셋 만들기

그리고 kube-vip용 기본 데몬셋을 하나 정의해준다.
이건 아까 라벨을 붙인 노드에만 실행되며, 핵심 컴포넌트가 될 것이다. wan을 여러개 붙이더라도 이건 한번만 만들어도 된다.

# kube-vip egress VIP (services mode) — WAN 하나당 LoadBalancer Service 하나 (04-vips/)
apiVersion: v1
kind: Namespace
metadata:
  name: kube-vip-egress
---
apiVersion: apps/v1
kind: DaemonSet
metadata:
  name: kube-vip-egress-svc
  namespace: kube-system
  labels:
    app.kubernetes.io/name: kube-vip-egress
    app.kubernetes.io/instance: svc
spec:
  selector:
    matchLabels:
      name: kube-vip-egress-svc
  template:
    metadata:
      labels:
        name: kube-vip-egress-svc
        app.kubernetes.io/name: kube-vip-egress
        app.kubernetes.io/instance: svc
    spec:
      hostNetwork: true
      serviceAccountName: kube-vip
      nodeSelector:
        egress.myyrakle.io/pool: default
      tolerations:
        - operator: Exists
          effect: NoSchedule
      containers:
        - name: kube-vip
          image: ghcr.io/kube-vip/kube-vip:v1.2.4
          args: [manager]
          env:
            # Node name 은 반드시 downwardAPI 로 넘겨야 kube-vip 가 올바른 k8s 노드에 label 패치 가능
            - name: NODE_NAME
              valueFrom:
                fieldRef:
                  fieldPath: spec.nodeName
            - name: vip_nodename
              valueFrom:
                fieldRef:
                  fieldPath: spec.nodeName
            - { name: vip_arp,              value: "true" }
            - { name: vip_cidr,             value: "32" }
            - { name: cp_enable,            value: "false" }
            - { name: lb_enable,            value: "false" }
            - { name: svc_enable,           value: "true" }
            - { name: svc_election,         value: "true" }
            - { name: svc_namespace,        value: kube-vip-egress }
            - { name: lb_class_name,        value: myyrakle.io/egress-vip }
            - { name: lb_class_only,        value: "true" }
            - { name: lb_class_legacy_handling, value: "false" }
            - { name: vip_leaseduration,    value: "5" }
            - { name: vip_renewdeadline,    value: "3" }
            - { name: vip_retryperiod,      value: "1" }
            - { name: enable_node_labeling, value: "true" }
            # hostNetwork 라 :2112 는 control-plane kube-vip 가 이미 점유
            - { name: prometheus_server,    value: ":2113" }
          securityContext:
            capabilities:
              add: [NET_ADMIN, NET_RAW]

kube-vip 서비스 만들기

이건 wan마다 하나씩 만들면 된다.
wan4만 먼저 만들어보겠다.

apiVersion: v1
kind: Service
metadata:
  name: egress-wan4
  namespace: kube-vip-egress
  labels:
    app.kubernetes.io/name: kube-vip-egress
  annotations:
    kube-vip.io/loadbalancerIPs: "192.168.88.222"
    kube-vip.io/allow-reconcile-without-endpoints: "true"
spec:
  type: LoadBalancer
  loadBalancerClass: myyrakle.io/egress-vip
  externalTrafficPolicy: Cluster
  ports:
    - name: unused
      port: 65535
      protocol: TCP
---
apiVersion: discovery.k8s.io/v1
kind: EndpointSlice
metadata:
  name: egress-wan4
  namespace: kube-vip-egress
  labels:
    kubernetes.io/service-name: egress-wan4
addressType: IPv4
endpoints: []

적당히 만들어주고, 여기까지 됐으면 이제 라우터에 들어가서 설정해주면 된다.

라우터 설정 (microtik)

자. 이제 해야할 것은 아까 매핑해놓은 vip를 특정 wan로 나가도록 최종 매핑을 해주는 것이다.
이건 microtik의 예시이긴 한데, 어떤 라우터든 거의 비슷하게 처리할 수 있을 것이다.

# 라우팅 테이블 만들기
/routing table add fib name=egress-wan4

# 192.168.88.222에서 시작된 연결에 마킹
/ip firewall mangle add chain=prerouting src-address=192.168.88.222 action=mark-connection new-connection-mark=egress-wan4 passthrough=yes comment="egress VIP .222 to wan4 conn"
/ip firewall mangle add chain=prerouting src-address=192.168.88.222 connection-mark=egress-wan4 action=mark-routing new-routing-mark=egress-wan4 passthrough=no comment="egress wan4 routing-mark"

# egress-wan4 라우팅 테이블에 경로 추가 => wan4로 나가도록
/ip route add dst-address=0.0.0.0/0 gateway=61.74.171.254%wan4 routing-table=egress-wan4 distance=1 comment="egress wan4 route"

# 최종 NAT 처리
/ip firewall nat add chain=srcnat out-interface=wan4 action=masquerade comment="egress SNAT via wan4"

오류 없이 잘 되면 된 것이다.

게이트웨이 정책 생성

이제 다시 적절히 맞춰서 게이트웨이 정책을 만들어주면 끝이다.

apiVersion: cilium.io/v2
kind: CiliumEgressGatewayPolicy
metadata:
  name: egress-wan4
spec:
  selectors:
    - podSelector:
        matchLabels:
          egress.myyrakle.io/profile: wan4

  destinationCIDRs:
    - 0.0.0.0/0
  excludedCIDRs:
    - 10.42.0.0/16
    - 10.43.0.0/16
    - 192.168.88.0/24

  egressGateway:
    nodeSelector:
      matchLabels:
        egress.myyrakle.io/pool: default
        service-provided.kube-vip.io/egress-wan4.kube-vip-egress: "192.168.88.222"
    egressIP: 192.168.88.222

이러면 저 vip를 들고 있는 놈을 게이트웨이로 삼아서 동적으로 가리킬 수 있다.

여기까지 하면 끝이다. 필요한만큼 wan 세트를 추가하고, 게이트웨이 노드로 선택된 녀석을 터뜨려서 복구가 되는지 확인까지 해보면 된다.

한계

이 방식에는 몇가지 한계점들이 존재한다. 몇가지는 Cilium Egress의 근본적인 한계점이기도 하다.

다운타임

게이트웨이 노드가 죽으면, vip를 통해서 계승받고 복구되기까지 보통 몇초 정도의 다운타임이 발생한다.
이건 완전히 없애기 어렵다. 복구를 빠르게, 자동으로 처리해줄 뿐이다.

노드 과부하

일단 Egress Gateway Policy가 사용하는 최종 게이트웨이 노드는 하나다. 그래서 부하가 과도하게 몰리는 것 자체를 깔끔하게 해결하진 않는다.

가장 단순한 완화 방법은, 같은 WAN으로 라우팅되는 내부 IP를 여러개 만들고, 각각 하나씩 Egress Gateway를 만들어서 직접 분산을 시키는 것이다.

이런 식으로 말이다.

192.168.88.222 → gateway-1 → WAN4
192.168.88.223 → gateway-2 → WAN4
192.168.88.224 → gateway-3 → WAN4

대신 관리나 사용이 좀 복잡해진다.

Egress 딜레이

cilium egress 라우팅 자체에도 딜레이가 있다. 이게 사실 Pod가 뜰때 바로 붙는게 아니라, 비동기적으로 나중에 붙는다.

그래서 컨테이너가 시작되고 몇초 정도는 원래의 IP로 나갈 수 있다. 이걸 방지하려면 그냥 컨테이너에 시작 대기시간을 넣거나, 원하는 IP가 붙을때까지 프로그램 시작을 지연시키는 스크립트를 박거나 해야한다.

참조
https://christianhuth.de/a-highly-available-egress-gateway-for-kubernetes-with-cilium-and-kube-vip/
https://tech.kakaopay.com/post/cilium-egress-gateway/
https://docs.cilium.io/en/stable/network/egress-gateway/egress-gateway/
https://cilium.io/use-cases/egress-gateway/
https://blog.naver.com/sssang97/224428580085
https://blog.naver.com/sssang97/224428274080
https://blog.naver.com/sssang97/224425032860