[k8s] Longhorn

Longhorn은 쿠버네티스용 분산 "블록" 스토리지 시스템이다.
오픈소스이고, 블록 스토리지를 지원한다.

이걸 잘 깔면 볼륨을 분산 구성으로 고가용성-고성능을 보장하면서 사용할 수 있다.

그리고 다른 블록 스토리지들에 비해서 사용이나 구성이 간편한 편이다.

기본 구조

구조도 꽤 간단한 편에 속한다.
롱혼 클러스터의 노드마다 Manager라는 것을 띄우는데, 이 Manager가 최종 스토리지를 관리하고, 볼륨 생성 요청 등을 받아서 처리하는 주요 작업을 다 담당한다.

https://longhorn.io/docs/1.12.1/concepts/
그 외에는 그다지 복잡한 것은 없다.

롱혼은 볼륨을 생성하고 파일을 쓰면, 동일한 복제본을 여러개 생성해서 손실을 방지한다.
이건 v1/v2마다 동작 방식이 판이하게 다른데, v1은 그냥 그 블록을 통째로 복제하지만, v2는 청크 단위로 쪼개서 분할 저장하는 방식을 사용한다.
v2는 이 글을 쓰는 시점에서는 아직 실험 단계다. 그래서 여기서도 v1을 기준으로 다룬다.

현재 롱혼에서 제공하는 주요 기능 요소는 대략 이 정도다.

1. 편리한 UI 기반 제어 기능
2. 고가용성 옵션
3. 자동 증분형 스냅샷 (S3 등)
4. 백업 기능

특히 스냅샷 기능을 주요한 강점을 내세우는 편이다. 별도 공간에 스냅샷을 저장해놨다가, 원하는 시점의 스냅샷으로 볼륨을 롤백할 수 있다.

vs Ceph

구성이나 관리가 간편하다는 것이 가장 큰 장점이지만, 고전인 ceph에 비하면 기능 범위가 좁은 편이다.
IOPS 제한이라든가 하는 고급 기능들, 세부적인 옵션들, 다년간 축적된 관리 경험들이 필요하다면 ceph를 선택하는 것이 좋다.

하지만 디스크를 그렇게 빡세게 굴릴 것이 아니고, 클러스터 규모가 막 엄청 크지 않다고 하면 longhorn 정도로도 충분히 요구사항을 충족할 수 있을 것이다. 딱 가볍게 적당히 복구되는 볼륨 매니저 쓰는 느낌으로는 충분하다.

말이 길었다.
자, 그럼 이제 설치해서 사용까지 한번 해보자.

노드에 라벨 달기

우선 longhorn을 실행시킬 노드를 3개 이상 선별해서 라벨을 단다.

kubectl label node 노드1 노드2 노드3 \
  node.longhorn.io/create-default-disk=true \
  storage.myyrakle.io/longhorn=true

그럼 추후 설치할때 여기에 longhorn 서버를 띄우게 될 것이다.

사전 종속성 (노드 호스트)

iscsid란 것을 포함해 이런저런 도구들을 필요로 한다. longhorn이 실행되는 모든 노드마다 직접 들어가서 호스트에 설치해줘야 한다.

# 패키지 (버전 무관)
sudo apt-get update
sudo apt-get install -y open-iscsi nfs-common jq cryptsetup dmsetup
sudo systemctl enable --now iscsid
systemctl is-active iscsid

그리고 커널 모듈도 로드해준다.

sudo modprobe nfs
sudo modprobe dm_crypt
echo -e "nfs\ndm_crypt" | sudo tee /etc/modules-load.d/longhorn.conf

여기까지 됐다면, 그 다음부터는 클러스터 레벨에서 설정이 가능하다.

전용 CLI 설치 & 검증 (optional)

이런저런 편의성 기능을 전용 CLI로 제공한다.
설치 전 최종 검수나 잡다한 유틸 기능을 제공한다.

여기서는 설치 전에 요건이 다 갖춰졌는지 검사하는 용도로만 쓰겠다.
믿음이 충분하다면 스킵해도 된다.

curl -sSfL -o longhornctl https://github.com/longhorn/cli/releases/download/v1.12.1/longhornctl-linux-amd64
chmod +x longhornctl
sudo mv longhornctl /usr/local/bin/

KUBECONFIG 파일을 넘겨서 preflight를 한번 날리면

sudo longhornctl check preflight --kubeconfig /etc/rancher/k3s/k3s.yaml

클러스터에 소속된 모든 노드들에 대해서 검사를 돌려준다.
에러만 없으면 된다. 워닝도 좀 들어주면 좋고.

설치 (with helm)

가장 편리한 설치 방법은 helm을 쓰는 것이다.
차트 가져와서 업데이트하고

helm repo add longhorn https://charts.longhorn.io
helm repo update

values를 적절히 준비한다. 내 경우에는 이렇게 구성했다.

defaultSettings:
  # 기본 복제 수 = 2 (3 노드 중 2개에 저장)
  defaultReplicaCount: 2

  # 라벨 붙은 노드에만 default disk 자동 생성 (storage.myyrakle.io/longhorn=true)
  createDefaultDiskLabeledNodes: true

  # Degraded 볼륨 자동 재구축 — 노드 복귀 시 자동 sync
  replicaAutoBalance: least-effort

  # 노드 다운 시 복제본 재구축 지연 (5분) — 재부팅은 커버
  replicaReplenishmentWaitInterval: 300

  # 디스크 가득참 방지 (25% 예약)
  storageReservedPercentageForDefaultDisk: 25

  # V2 Data Engine (SPDK) 비활성화
  v2DataEngine: false

  # Guaranteed engine CPU — 복제 성능 안정화
  guaranteedInstanceManagerCPU: 12

# Longhorn 컴포넌트들을 스토리지 노드에만 배치 (macmini 제외)
longhornManager:
  nodeSelector:
    storage.myyrakle.io/longhorn: "true"

longhornDriver:
  nodeSelector:
    storage.myyrakle.io/longhorn: "true"

longhornUI:
  replicas: 2
  nodeSelector:
    storage.myyrakle.io/longhorn: "true"

# CSI 컴포넌트
csi:
  kubeletRootDir: /var/lib/kubelet
  attacherReplicaCount: 2
  provisionerReplicaCount: 2
  resizerReplicaCount: 2
  snapshotterReplicaCount: 2

# UI Ingress 비활성 (cloudflared 로 노출 예정)
ingress:
  enabled: false

# StorageClass
persistence:
  # default SC 아님 — 기존 local-path 와 충돌 방지, Longhorn 쓸 땐 명시
  defaultClass: false
  defaultClassReplicaCount: 2
  # PVC 삭제돼도 PV 유지 (실수로 데이터 날아가는 거 방지)
  reclaimPolicy: Retain

그리고 설치를 날린다.

helm install longhorn longhorn/longhorn \
  --namespace longhorn-system \
  --create-namespace \
  --version 1.12.1 \
  -f /Users/myyrakle/orca/k8s/longhorn/values.yaml

완료에는 시간이 약간 걸린다.
그리고 모든 pod가 오류 없이 실행되면 세팅은 끝난 것이다.

그러면 여기서 frontend를 통해서 관리 페이지에 접속할 수 있다.
포트포워딩을 하든 터널을 열든 해서 적절히 내부망에서 들어가게 한다.

관리용 UI 사용하기

상기한 longhorn-frontend로 들어가면, 로그인 없이 대시보드에 진입할 수 있다.

여기서 전반적인 상태나 저장공간 등을 빠르게 볼 수도 있고

노드 목록이나 노드 설정 등을 수정할 수도 있다.

자, 일단 노드별로 디스크를 얼마나 쓸건지부터 명확하게 지정해줘야 한다.

오른쪽에 노드와 디스크 수정 버튼이 있는데

여기서 이런걸 바꿔주면 된다.
약간 여유를 두고 현실적인 값으로 잘 넣어준다.

볼륨 사용하기

자, 그러면 이제 밑작업은 다 된 것이다.
갖다쓰기만 하면 된다.

---
apiVersion: v1
kind: PersistentVolumeClaim
metadata:
  name: test-pvc
spec:
  accessModes: [ReadWriteOnce]
  storageClassName: longhorn
  resources:
    requests:
      storage: 2Gi
---
apiVersion: v1
kind: Pod
metadata:
  name: test-pod
spec:
  containers:
    - name: busybox
      image: busybox
      command: ["sh", "-c", "echo hello > /data/hello.txt && sleep 3600"]
      volumeMounts:
        - name: data
          mountPath: /data
  volumes:
    - name: data
      persistentVolumeClaim:
        claimName: test-pvc

이렇게 PVC를 만들어서 pod에 붙이면, longhorn이 알아서 그만큼을 떼서 붙여준다.

그리고 UI에서도 볼륨의 사용량이나 실제 노드 배치 등까지 확인할 수 있다.

참조
https://longhorn.io/
https://longhorn.io/docs/1.12.1/
https://longhorn.io/docs/1.12.1/concepts/