[Prometheus] 시작

Prometheus는 쿠버네티스 환경에서 주로 사용하는 모니터링 도구다.
쿠버네티스 전용은 아니고, 범용이다.

2012년에 처음 나왔고, Go로 만들어졌다.

단독으로 사용하지는 않고, 시각화를 위해서 grafana 등과 함께 사용하곤 한다.

이벤트 중심의 로그를 관리하는데 특화되어있으며, 그래서 내부적으로 시계열 DB를 써서 로그를 저장한다.

구조

일반적인 프로메테우스 시스템은 이런 구조를 가진다.

조금 특이한 부분은, 여타 모니터링 도구들은 에이전트->모니터링서버 방향의 데이터 전달을 통해 데이터를 수집하는데 반해, 프로메테우스는 모니터링서버->에이전트의 역순으로 직접 접속해서 데이터를 긁어가는 형태라는 것이다.
그래서 각 머신에 깔린 에이전트를 Exporter라고 부르고, 메트릭을 땡겨온다(pull)고 표현한다.

이번 포스트에서는 쿠버네티스 없이 Docker conteiner를 기반으로 가볍게 써보면서 그 사용구조를 익혀보도록 하겠다.

Prometheus 띄우기

우선 프로메테우스의 설정 정보를 prometheus.yml로 작성해줘야 한다.

# 전역 설정
global:
  scrape_interval:     15s # 15초마다 매트릭을 수집한다. 기본은 1분.
  evaluation_interval: 15s # 15초마다 규칙을 평가한다. 기본은 1분.

  # 외부 시스템에 표시할 이 서버의 레이블
  external_labels:
      monitor: 'codelab-monitor'

rule_files:
  # - "first.rules"
  # - "second.rules"

scrape_configs:
  - job_name: 'prometheus'

    static_configs:
      - targets: ['localhost:9090']

딱 기본설정만 있는 구성이다.

저대로 Dockerfile을 써서 말아준다.

FROM prom/prometheus
ADD prometheus.yml /etc/prometheus/

docker build -t prom .

그리고 9090포트로 실행해주면

docker run -p 9090:9090 prom

접속이 될 것이다.

근데 이것만으로는 아무것도 할 수가 없다.
수집할 에이전트, exporter를 추가해줘야 한다.

exporter 추가하기

exporter에는 여러가지가 있다. MySQL server exporter, RabbitMQ exporter, HAProxy exporter, Docker Hub exporter, AWS CloudWatch exporter 등등...

하지만 여기서는 가장 범용적이고 기본에 충실한 Node Exporter를 써보겠다.
Node Exporter는 CPU와 메모리, 디스크 수치 정도만 수집한다.

아래 이미지를 사용하면 바로 띄울 수 있다.

docker run -d -p 9100:9100 prom/node-exporter

그리고 프로메테우스에도 저 exporter 정보를 추가한다.

  - job_name: 'test-server'

    scrape_interval: 10s

    static_configs:
      - targets: ['host.docker.internal:9100']

지금 내 경우에는 같은 host를 공유하고 있어서 host.docker.internal를 통해 localhost로 꽂아놨는데, 쿠버네티스 환경에서 실제로 쓸 때는 내부 IP를 박게 될 것이다.

그리고 프로메테우스를 재부팅해서

이렇게 서비스 디스커버리에 추가되면 잘 추가된 것이다.

메트릭 조회하기

그래프 페이지에서 저 검색창을 사용하면 query로 지표를 확인해볼 수 있다.

아래는 active 상태인 메모리 사이즈를 바이트로 보여준다.

근데 이게 기본 제공 지표는 아무래도.. 인간이 보기에는 좀 힘들다.

그래서 좀더 가공해서 보는게 좋은데, 약간 functional한 표현식으로 연산을 더할 수 있다.

아래는 CPU 사용량을 백분율로 띄우고

(1 - avg(irate(node_cpu_seconds_total{mode="idle"}[10m])) by (instance)) * 100

이건 메모리 사용량을 백분율로 띄운다.

100 * (1 - ((avg_over_time(node_memory_MemFree_bytes[10m]) + avg_over_time(node_memory_Cached_bytes[10m]) + avg_over_time(node_memory_Buffers_bytes[10m])) / avg_over_time(node_memory_MemTotal_bytes[10m])))

query 문법에 대한건 전용 문서를 참고하면 되겠다.
https://prometheus.io/docs/prometheus/latest/querying/basics/

참조
https://hub.docker.com/r/prom/prometheus
https://blog.outsider.ne.kr/1254