[Grafana] Loki (with k8s)

Loki는 Grafana에서 만들고 관리하는 로그 수집 도구다.
로그를 쌓고, 검색하는 기능을 제공한다. 로그 저장용 오픈소스로는 단연 최고 중 하나다.

스토리지 옵션은 다양하다. 싱글 노드에 그냥 저장하는 방법도 있고, minio도 있고, s3 같은 클라우드 공급 스토리지를 사용해서 관리할 수도 있다.

여기서는 단일노드에 NFS를 통해서 구성해보고, 그라파나 대시보드까지 연결해보는 것까지를 해본다.

아키텍쳐

Loki는 수평 확장을 지원하는 로그 저장소다.

https://grafana.com/docs/loki/latest/get-started/architecture/
Loki에서 가장 중요한 개념은 인덱스와 청크다. 저 2가지의 형태로 로그 데이터를 저장하게 된다.

청크는 말 그대로 로그를 압축해서 저장하는 형태를 말하고, 인덱스는 로그를 검색하기 위한 용도의 데이터셋을 말한다.

인덱스는 예전에는 BoltDB라는걸 썼는데, 그건 단종했고 TSDB라는 Prometheus 원산의 포맷을 쓴다.

자세한 내용은 다음 문서를 참조하면 좋다.
https://grafana.com/docs/loki/latest/get-started/architecture/

helm으로 설치하기

우선 helm으로 레포지토리를 가져온다.

helm repo add grafana https://grafana.github.io/helm-charts
helm repo update

그리고 구성 파일을 작성한다.

vi loki-single.yaml

deploymentMode: SingleBinary
loki:
  auth_enabled: false
  ingester:
    wal:
      flush_on_shutdown: true
  commonConfig:
    replication_factor: 1
  storage:
    type: 'filesystem'
  schemaConfig:
    configs:
    - from: "2024-01-01"
      store: tsdb
      index:
        prefix: loki_index_
        period: 24h
      object_store: filesystem # we're storing on filesystem so there's no real persistence here.
      schema: v13
memberlist:
  service:
    publishNotReadyAddresses: true
singleBinary:
  replicas: 1
read:
  replicas: 0
backend:
  replicas: 0
write:
  replicas: 0

그리고 바로 생성을 때려준다.

kubectl create namespace loki
helm install --values loki-single.yaml loki grafana/loki -n loki

그리고 좀 기다리다가

다 이렇게 Running이 되면 잘 뜬 것이다.

PVC 문제 해결 (온프레미스의 경우)

클라우드 클러스터에서 쓰면 문제가 없을 수도 있는데, 온프레미스 클러스터에서 공식문서만 따라치다가는 대가리가 깨진다.

0/1 nodes are available: pod has unbound immediate PersistentVolumeClaims. preemption: 0/1 nodes are available: 1 Preemption is not helpful for scheduling.

다음과 같은 오류가 흔하게 발생할 수 있는데

https://blog.naver.com/sssang97/223495801532
붙일 볼륨 없다고 찡찡거리는 것이다.

내 경우에는 NFS를 쓰고 있어서 그냥 그거로 붙였다.

apiVersion: v1 
kind: PersistentVolume
metadata:
  labels:
    app.kubernetes.io/component: single-binary
    app.kubernetes.io/instance: loki
    app.kubernetes.io/name: loki
  name: nfs-pv-loki
  namespace: loki
spec:
  storageClassName: nfs
  capacity:
    storage: 15Gi 
  volumeMode: Filesystem
  accessModes:
    - ReadWriteOnce
  persistentVolumeReclaimPolicy: Retain
  nfs:
    server: 192.168.1.2 
    path: /home/nfs/loki

볼륨 만들고 레이블도 좀 달아주면 된다.
기본 설정으로는 최소 10G짜리 볼륨이 필요하다.

기본 구성에서 헬름 스택은 storage-loki라는 pvc를 만드는데, 그게 바인딩되면 잘 될 것이다.

직접 API 찔러서 사용해보기

한번 직접 찔러서 Loki가 잘 구성되어있는지를 검증해보자.

loki 스택은 기본적으로 ClusterIP를 통한 내부접근만을 권장하기에, 내부에서 k8s dns로 찔러서 사용하는 경우가 많다. 저대로면 pod 하나 띄우고 들어가서 써야하는데, 그러기엔 영 귀찮다.

호스트에서 쓸 수 있도록 포트포워드좀 열고

kubectl port-forward --namespace loki svc/loki-gateway 3100:80

API로 바로 찔러보면 된다.

curl "http://127.0.0.1:3100/loki/api/v1/query_range" --data-urlencode 'query={job="test"}' -H X-Scope-OrgId:foo | jq .data.result

이건 쿼리를 검색하는 API다. 아직 아무것도 안했으니 아무것도 없다.

curl -H "Content-Type: application/json" -XPOST -s "http://127.0.0.1:3100/loki/api/v1/push"  \
--data-raw "{\"streams\": [{\"stream\": {\"job\": \"test\"}, \"values\": [[\"$(date +%s)000000000\", \"fizzbuzz\"]]}]}" \
-H X-Scope-OrgId:foo

이렇게 json 형태로 말아서 로그를 쌓을 수 있다.

job은 loki에서 로그를 묶는 단위다. 보통 하나의 시스템 단위를 하나의 job으로 잡고 로그를 쓸 것이다.

그리고 다시 조회하면 밀어넣은 데이터를 쿼리해볼 수 있다.

Grafana에 연동해보기

그라파나에 대해서는 약간 알고, 이미 구성해놨다고 전제한다.

그라파나 대시보드로 이동해서 connection을 먼저 등록해준다.

http://loki-gateway.loki.svc.cluster.local

그리고 대충 이런식의 k8s dns를 잘 추출한다.
helm으로 띄울 때도 알려주고, 내가 위에 적어놓은대로 했으면 이렇게 나올 것이다.

URL에 엔드포인트를 적고

Save & Test를 누른다.
이렇게 뜨면 잘 뜬 것이다.

근데 몇가지 이유로 연결이 되지 않을 수도 있다.

loki에 인증이 켜져있다거나, networkpolicy가 걸려있다거나, 그냥 엔드포인트가 잘못되었거나. 원인은 여러가지가 있을 수 있다. 정확한 원인은 그라파나 서버 로그를 보는게 정확하다.

아무튼 이렇게 추가가 되면 된 것이다.

그걸 대시보드에 추가해주면 되는데

Add visualization을 누르ㅗ

로키 선택

그럼 편집창이 뜬다.

조회할 로그 필터를 적절히 걸고

어떻게 볼지를 정한다.

테이블은 뭐 이렇게 뜨고

Logs는 이렇게 뜬다.

Logs가 대체로 더 나은거같다.

아무튼 뭐로든 저장하면

대시보드에서 이제 볼 수 있게 된다.

Logs의 경우에는 옵션도 좀 있다.

이러면 앞단은 대충 된 것이다.

다음 포스트에서는 Promtail을 통해 로그를 수집해서 Loki로 쏘는걸 해보겠다.

https://blog.naver.com/sssang97/223518925037

참조
https://grafana.com/docs/loki/latest/setup/install/helm/
https://whchoi98.gitbook.io/k8s/observability/loki
https://github.com/grafana/loki/issues/7907
https://github.com/grafana/loki/issues/10529
https://github.com/grafana/loki/issues/9756