[k8s] CNI: Cilium (with k3s)

Cilium은 근래에 가장 핫한 쿠버용 네트워크 플러그인이다. 빠른 성능과 훌룡한 관측성, 네트워크 부가기능들을 장점으로 내세운다.

2018년에 나왔고, 빠르게 CNI 환경을 잡아먹고 있다.

대부분의 네트워크 기능들을 올인원-오픈소스로 제공한다. 그래서 반픈소스라 엔터프라이즈 사용이 강제되는 calico의 강력한 대안으로 부상하고 있다.

여기서는 cilium의 역할과 기능. 그리고 기본적인 구성 방법 정도만 정리해본다.

특징

다른 CNI 스택(특히 calico)과 차별화되는 특징들을 정리하면 다음과 같다.

eBPF

커널 기능인 eBPF를 활용해서 컨테이너간-노드간 통신 등을 아주 효율적이고 빠르게 처리할 수 있다.
https://blog.naver.com/sssang97/223412427281

자체 관측성 도구

자체 관측성 도구인 hubble을 지원한다. 패킷 흐름을 한눈에 보기 쉽다.

오픈소스

calico처럼 기능으로 장난치는 그런 오픈소스가 아니고, 중요한 거의 대부분의 고급기능을 무료로 사용할 수 있다.
물론 이것도 엔터프라이즈 솔루션이 있긴 한데, 어지간한 주요 기능은 다 오픈소스로 풀어놨다.

지원하는 기능과 역할

1. CNI의 기본 역할: Pod에 IP를 붙이고 라우팅 설정까지 해준다.
2. datapath 책임: 노드간 통신을 책임진다. (flannel를 대체)
3. kube-proxy 대체: kube-proxy를 완전히 대체할 수 있다. iptable 관리를 책임진다.
4. Service LB 책임: 기본 서비스 로드밸런서의 동작과 분산도 책임진다. (MetalLB도 대체 가능)
5. NetworkPolicy: NetworkPolicy를 이용한 방화벽 기능도 제공한다.
6. Service Mesh: 적당한 수준의 Mesh 제어 기능을 제공한다. (istio를 부분 대체)
7. Ingress: 자체 Ingress 기능을 제공한다.
8. Egress: Egress SNAT 기능을 제공한다.
9. Egress Gateway: Egress NAT 서버를 구성해서 게이트웨이를 뚫는 기능을 제공한다.

큰 덩어리가 이 정도고, 이외에도 다양한 부가기능들을 제공한다.

cilium CLI 설치 (선택)

cilium 전용 CLI를 설치하면 cilium 플러그인 설치나 관리 등을 편리하게 할 수 있다.
다만 이게 필수는 아니다. 이거 없이도 설치하고 운영할 수 있다. 특히 기존 클러스터에 cilium을 설치하는거라면 이건 별로 도움이 안된다.

bash에서

CILIUM_CLI_VERSION=$(curl -s https://raw.githubusercontent.com/cilium/cilium-cli/main/stable.txt)
CLI_ARCH=amd64
if [ "$(uname -m)" = "aarch64" ]; then CLI_ARCH=arm64; fi
curl -L --fail --remote-name-all https://github.com/cilium/cilium-cli/releases/download/${CILIUM_CLI_VERSION}/cilium-linux-${CLI_ARCH}.tar.gz{,.sha256sum}
sha256sum --check cilium-linux-${CLI_ARCH}.tar.gz.sha256sum
sudo tar xzvfC cilium-linux-${CLI_ARCH}.tar.gz /usr/local/bin
rm cilium-linux-${CLI_ARCH}.tar.gz{,.sha256sum}

fish에서

set CILIUM_CLI_VERSION (curl -s https://raw.githubusercontent.com/cilium/cilium-cli/main/stable.txt)
set CLI_ARCH amd64
if test (uname -m) = "aarch64"
    set CLI_ARCH arm64
end

curl -LO https://github.com/cilium/cilium-cli/releases/download/$CILIUM_CLI_VERSION/cilium-linux-$CLI_ARCH.tar.gz
curl -LO https://github.com/cilium/cilium-cli/releases/download/$CILIUM_CLI_VERSION/cilium-linux-$CLI_ARCH.tar.gz.sha256sum

sha256sum --check cilium-linux-$CLI_ARCH.tar.gz.sha256sum
sudo tar -C /usr/local/bin -xzvf cilium-linux-$CLI_ARCH.tar.gz
rm cilium-linux-$CLI_ARCH.tar.gz cilium-linux-$CLI_ARCH.tar.gz.sha256sum

설치하고

cilium version --client

이렇게 실행이 되면 된다.

신규 클러스터에 설치하기

가장 쉬운 방법은, 클러스터를 초기화할때 CNI를 cilium으로 못박고 시작하는 것이다.
이게 기존 CNI나 datapath를 대체하는 것이기 때문에, 일단 비활성화한 채로 클러스터를 초기화해야한다.

k3s의 경우에는 다음과 같이 설치할 수 있다.

curl -sfL https://get.k3s.io | INSTALL_K3S_EXEC='--flannel-backend=none --disable-network-policy' sh -

먼저 다 비활성화한채로 깔고

cilium CLI를 통해 설치하면 된다.

export KUBECONFIG=/etc/rancher/k3s/k3s.yaml
cilium install 1.20.2

다만 이 방식은 기존 클러스터에 사용할 수 없고, 세팅값 조절도 좀 불편하다는 단점이 있다.

기존 클러스터에 깔기 (k3s)

기존 k3s 클러스터에 cilium을 설치하는 방법을 정리한다.
이건 다운타임을 좀 감수해야한다.

먼저 control plane 에이전트의 설정값을 바꾸고 systemd로 재부팅을 해준다.

sudo mkdir -p /etc/rancher/k3s
sudo vim /etc/rancher/k3s/config.yaml

...
flannel-backend: none
disable-network-policy: true
disable-kube-proxy: true

에이전트 노드는 건들 필요 없다. 컨트롤플레인만 바꾸면 된다.

sudo systemctl restart k3s # 마스터노드

여기까지 왔다면 CLI는 쓸모없고, helm을 통해서 설치하는게 제일 편하다.
먼저 values를 준비하고, 안에 IP를 채워둔다.

# ── kube-proxy 교체 ───────────────────────────────────────────────
# Egress Gateway 전제조건. BPF 로 Service → Backend 로드밸런싱 수행.
kubeProxyReplacement: true

# kube-proxy 가 없으므로 Cilium agent 가 API 서버 주소를 직접 알아야 함.
# control-plane의 LAN IP + k3s 기본 포트.
k8sServiceHost: 192.168.88.202 # 알아서 바꾸시오
k8sServicePort: 6443

# ── CNI 교체 모드 ─────────────────────────────────────────────────
# 설치 시 기존 flannel CNI 설정 파일 (/etc/cni/net.d/*) 을 Cilium 것으로 교체.
cni:
  exclusive: true

# ── IPAM ──────────────────────────────────────────────────────────
# "kubernetes" = 각 노드의 .spec.podCIDR 을 그대로 사용.
# 기존 할당 (macmini-1: 10.42.0.0/24, macmini-2: 10.42.1.0/24,
# mini-pc-1: 10.42.2.0/24) 유지.
ipam:
  mode: kubernetes

# ── BPF ───────────────────────────────────────────────────────────
# masquerade: Pod → 외부 트래픽 SNAT 를 iptables 대신 BPF 로. Egress GW 필수조건.
# distributedLRU: 1.17+ 템플릿이 nil 체크 안 해서 명시 필요. 기본 off 유지.
bpf:
  masquerade: true
  distributedLRU:
    enabled: false

# ── Egress Gateway ────────────────────────────────────────────────
# 기능 플래그. CiliumEgressGatewayPolicy 리소스가 없으면 아무 작업 안 함.
# 설치 후 서비스별로 policy + pod label 로 opt-in.
egressGateway:
  enabled: true

# ── L7 Proxy ──────────────────────────────────────────────────────
# Hubble L7 메트릭/HTTP NetworkPolicy 용.
l7Proxy: true

# ── Standalone DNS Proxy ──────────────────────────────────────────
# 1.17+ 템플릿이 nil 체크 안 해서 명시 필요. 기본 off 유지.
standaloneDnsProxy:
  enabled: false

# ── Hubble (관측) ─────────────────────────────────────────────────
hubble:
  enabled: true
  relay:
    enabled: true
    # 1.17+ 템플릿이 logOptions.format nil 체크 안 해서 명시 필요.
    logOptions:
      format: json
  ui:
    enabled: true
  metrics:
    enabled:
      - dns
      - drop
      - tcp
      - flow
      - port-distribution
      - icmp

그리고 즉시 설치한다.

helm repo add cilium https://helm.cilium.io/
helm repo update
helm install cilium cilium/cilium --namespace kube-system --version 1.20.2 -f values.yaml

그리고 pod가 잘 스케줄링되는지 확인한다. 딸려오는 리소스가 제법 많다.

kubectl get all -A -l app.kubernetes.io/part-of=cilium

그리고 나서 기존 Pod들도 재실행해줘야 한다.
기존 Pod들은 구 네트워크 계층(flannel 등)으로 실행되고 있을 것이기 때문이다.
네트워크 안정성이 확실히 검증되면, 그 뒤에 재실행을 강제로 때려준다.

for ns in argocd kube-system envoy-gateway-system observability curhouse app arc-systems arc-runners default; do
  echo "=== $ns ==="
  kubectl -n $ns rollout restart deploy,ds,sts 2>/dev/null | grep -v "no resources"
done

트러블슈팅: 네트워크 확인

잘 설치되었다면 외부접속까지 다 잘 되어야한다. 다음은 DNS 체크용 스크립트다.

kubectl run t --rm -i --restart=Never --image=alpine:3.20 -- sh -c '
  echo "-- cluster DNS --"
  nslookup kubernetes.default.svc.cluster.local 2>&1 | tail -4
  echo "-- external DNS --"
  nslookup github.com 2>&1 | tail -3
  echo "-- external TCP --"
  nc -zvw3 github.com 443 2>&1
'

혹은, cilium CLI를 사용하는 것도 좋다. 이건 모든 네트워크 건전성을 확인해준다.
외부 인터넷 통신, 노드간 통신, pod간 통신을 포함해서 귀찮은 모든 체크리스트를 확인해주기 때문에, 꽤 괜찮다.

cilium connectivity test --test-concurrency 2

근데 결과를 예쁘게 정리해주진 않는다.

트러블슈팅: flannel 잔존 제거

가끔 flannel이나 예전 cilium의 부산물이 구성을 방해해서 뻑나는 경우가 있다.
그럴 때는 적당히 기존 세팅을 지워줘야 한다. 다음은 스크립트성 daemonset이다.

apiVersion: apps/v1
kind: DaemonSet
metadata:
  name: cilium-cleanup
  namespace: kube-system
spec:
  selector:
    matchLabels:
      app: cilium-cleanup
  template:
    metadata:
      labels:
        app: cilium-cleanup
    spec:
      hostNetwork: true
      tolerations:
        - operator: Exists
      containers:
      - name: c
        image: alpine:3.20
        command:
        - sh
        - -c
        - |
          chroot /host sh -c '
            # Cilium 디바이스
            ip link del cilium_vxlan 2>/dev/null
            ip link del cilium_net 2>/dev/null
            ip link del cilium_host 2>/dev/null
            ip link del cilium_wg0 2>/dev/null
            # flannel 디바이스
            ip link del flannel.1 2>/dev/null
            ip link del cni0 2>/dev/null
            # cni0 에 붙어있던 veth 들
            for v in $(ip -o link show | awk -F: "/@if[0-9]+/ {print \$2}" | awk -F@ "{print \$1}" | grep -E "^(veth|lxc)"); do
              ip link del $v 2>/dev/null
            done
            # 상태 디렉토리 + BPF fs + CNI 설정
            rm -rf /var/run/cilium /var/lib/cilium
            rm -rf /sys/fs/bpf/tc /sys/fs/bpf/cilium
            rm -f /etc/cni/net.d/*flannel* /etc/cni/net.d/*cilium*
          '
          echo "done on $(hostname)"
          sleep 3600
        securityContext:
          privileged: true                                        Jump to bottom (ctrl+End) ↓
        volumeMounts:
        - name: host                                              Jump to bottom (ctrl+End) ↓
          mountPath: /host
      volumes:                                                    Jump to bottom (ctrl+End) ↓
      - name: host
        hostPath:                                                 Jump to bottom (ctrl+End) ↓
          path: /

관측성 도구: hubble

cilium은 라우팅을 eBPF 기반으로 처리하는데, 그 과정에서 모니터링 데이터도 효율적으로 쌓아서 보여줄 수 있는 구조를 갖고 있다. 그래서 Pod간 네트워크 이동을

서비스를 보면 이렇게 있는데

여기서 웹 UI는 hubble-ui라는 녀석이다.

포트포워딩하거나 터널 열어서 들어가면

이렇게 뜨는데

네임스페이스 고르면 이렇게 한눈에 그래프로 보여준다.
아래에서는 실시간 트래픽이 빠르게 올라온다.

좀 디테일하게 조정해서 보고싶다면 hubble-CLI를 설치하고 릴레이 열어서 보면 된다.
자세한 것은 별도 포스트에서 다시 정리하겠다.

참조
https://cilium.io/
https://docs.cilium.io/en/stable/gettingstarted/k8s-install-default/
https://blog.naver.com/sssang97/223412427281