[k8s] kube-prometheus-stack

kube-prometheus-stack은 k8s 클러스터에서 Grafana+Prometheus 기반의 리소스 모니터링을 쉽게 구성할 수 있게 해주는 숏컷 패키지다.

어떤 노드에서 얼마나 리소스를 쓰는지, Pod들이 리소스를 얼마나 먹고있는지 등을 쉽게 파악할 수 있게 해준다.

helm을 통해 간편하게 설치할 수 있다.

helm repo add prometheus-community https://prometheus-community.github.io/helm-charts
helm install prometheus prometheus-community/kube-prometheus-stack

설치하고 나면, 다음 명령을 사용해서 정상적으로 실행이 되는지를 먼저 확인해보자.

kubectl --namespace default get pods -l "release=prometheus"

다 Running이면 정상이다.

이제 Grafana 대시보드에 대한 엔드포인트를 뚫어야 한다. 온프레미스 환경인 경우에는 적당히 외부IP 열면 되고, 클라우드라면 로드밸런서를 쓰면 된다.

kubectl patch svc prometheus-grafana --type=json -p='[{"op": "replace", "path": "/spec/ports", "value": [{"name":"default", "port":28080, "targetPort": 3000, "protocol": "TCP"}]}]'
kubectl patch svc prometheus-grafana -p '{"spec": {"type":"ClusterIP", "externalIPs": ["192.168.0.8"]}}'

대시보드 접속

방금 열어놓은 Grafana 대시보드 Serive의 IP로 들어가면 로그인창부터 뜰 것이다.

기본 관리자 username은 admin인데, 패스워드는 랜덤이라서 시크릿을 통해 읽어와야 한다.

kubectl --namespace default get secrets prometheus-grafana -o jsonpath="{.data.admin-password}" | base64 -d ; echo

이걸 패스워드로 넣고 로그인하면 된다.

그럼 위와 같은 다양한 대시보드들이 깔려있을 것이다.
이게 다 내부적으로 클러스터 정보를 계속 읽으면서 prometheus에 메트릭을 쌓고, 그걸 시각화해주는 것들이다.
보고싶은 것만 골라서 보면 된다.

이건 클러스터 전체의 사용량 통계고

CoreDNS 수준 트래픽 통계

노드들이 리소스를 얼마나 쓰고 있는지

이건 개별 Pod에 대한 통계다.

성능이나 사용량 조사 지표로 활용하면 된다.

참조
https://leehosu.github.io/kube-prometheus-stack
https://artifacthub.io/packages/helm/prometheus-community/kube-prometheus-stack