[Grafana] Opentelemetry: metric 구성하기

otel collector와 prometheus를 사용해서 기본 metric을 구성하는 방법을 간단히 정리해보겠다. 기반 환경은 docker compose다.

Grafana dashboard에 대해서 약간 안다고 가정한다.

otel collector

Trace에 사용하는 Grafana Tempo 같은 경우에는 자체적으로 opentelemetry API 규격을 충족하기 때문에 추가적인 인터페이스가 필요하지는 않다.

반면 metric에는 보통 prometheus 같은 시계열 데이터베이스를 사용하는데, prometheus는 opentelemetry와 아무런 연관점도 없다.
그래서 요즘은 prometheus로 metric을 구성한다고 하면 otel-collector 같은 중간 인터페이스 구현을 둬서 규격화된 형태로 저장하도록 하는 경우가 많다.

자, 그럼 시작해보자.
otel-collector를 띄우기 위한 config를 먼저 구성했다.

receivers:
  otlp:
    protocols:
      http:
        endpoint: 0.0.0.0:4318

exporters:
  prometheus:
    endpoint: "0.0.0.0:8889"

service:
  pipelines:
    metrics:
      receivers: [otlp]
      exporters: [prometheus]
    traces:
      receivers: [otlp]
      exporters: [otlp]
  telemetry:
    metrics:
      address: 0.0.0.0:8888
      level: detailed

receivers는 이 otel-collector가 어떤 리스너를 열지를 정의하는 부분이다.
otel-collector는 http와 grpc를 모두 지원하는데, http는 4318, grpc는 4317 포트를 쓰는게 기본이다.

exporters는 데이터를 어디로 전송하게 해줄지를 정의하는 부분이다.
유의할 점은, 이게 바로 데이터를 직접 전송시키는게 아니란 것이다. 8889 포트로 export API를 열어놓고, 그걸 다른 metric 저장소가 스크랩하게 하는 구조를 갖고 있다.
나머지는 prometheus 절에서 이어서 다루겠다.

아무튼 저 설정을 받아서 이미지를 말게끔 Dockerfile을 구성하고

FROM otel/opentelemetry-collector-contrib:latest

COPY ./otel-collector-config.yaml /etc/otel-collector-config.yaml

docker compose에는 이렇게 정의했다.

services:
  otel-collector:
    build:
      context: .
      dockerfile: Dockerfile.otel
    command: ["--config", "/etc/otel-collector-config.yaml"]
    ports:
      - "4317:4317"
      - "4318:4318"
      - "8888:8888"
    depends_on:
      - prometheus

Prometheus 구성

이번엔 prometheus를 구성해보자.
prometheus가 주체적으로 데이터를 가져가야 하기 때문에, 여기서는 otel-collector를 읽는 부분이 정의된다.

global:
  scrape_interval: 15s

scrape_configs:
  - job_name: 'otel-collector'
    scrape_interval: 10s
    static_configs:
      - targets: ['otel-collector:8889']

15초마다 한번씩 돌면서 아까 exporter로 연 엔드포인트를 찔러 데이터를 모으는 것이다.

마찬가지로 Dockerfile 말고

FROM prom/prometheus:latest

COPY ./prometheus.yaml /etc/prometheus.yaml

docker compose로 띄우도록 했다.

services:
  prometheus:
    build:
      context: .
      dockerfile: Dockerfile.prometheus
    command:
      - --config.file=/etc/prometheus.yaml
      - --web.enable-remote-write-receiver
      - --enable-feature=exemplar-storage
      - --enable-feature=native-histograms
    volumes:
      - prometheus_data:/prometheus
    ports:
      - "9090:9090"

volumes:
  prometheus_data: 
    driver: local

그리고 그라파나도 포함해서 함께 띄워보자.

  grafana:
    environment:
      - GF_PATHS_PROVISIONING=/etc/grafana/provisioning
      - GF_AUTH_ANONYMOUS_ENABLED=true
      - GF_AUTH_ANONYMOUS_ORG_ROLE=Admin
    entrypoint:
      - sh
      - -euc
      - |
        mkdir -p /etc/grafana/provisioning/datasources
        cat <<EOF > /etc/grafana/provisioning/datasources/ds.yaml
        apiVersion: 1
        datasources:
        - name: Prometheus
          type: prometheus
          uid: prometheus
          access: proxy
          orgId: 1
          url: http://prometheus:9090
          basicAuth: false
          isDefault: false
          version: 1
          editable: false
          jsonData:
            httpMethod: GET
        EOF
        /run.sh
    image: grafana/grafana:latest
    ports:
      - "13000:3000"
    volumes:
      - grafana_data:/var/lib/grafana
      - grafana_etc:/etc/grafana

volumes:
  grafana_data:
    driver: local
  grafana_etc: 
    driver: local

애플리케이션에서 agent 구성 (go)

근데 저것만 덜렁 있으면 뭐하겠나? 간단한 서버 하나 띄워서 메트릭을 쌓게 해보자.

기본 metric은 서버와 연관이 없기 때문에 프레임워크에 종속적이지 않다.
다음과 같이 초기화 코드만 심어서 진입점에서 실행하게 두면 끝이다.

func initMetric() *metric.MeterProvider {
	ctx := context.Background()

	metricExporter, err := otlpmetrichttp.New(ctx, otlpmetrichttp.WithEndpointURL(
		"http://localhost:4318",
	), otlpmetrichttp.WithInsecure())
	if err != nil {
		panic(err)
	}

	meterProvider := metric.NewMeterProvider(
		metric.WithReader(metric.NewPeriodicReader(metricExporter, metric.WithInterval(3*time.Second))),
		metric.WithResource(resource.NewWithAttributes(
			semconv.SchemaURL,
			semconv.ServiceNameKey.String("go-server"),
			semconv.ServiceNamespaceKey.String("dev"),
		)),
	)
	if err != nil {
		panic(err)
	}
	otel.SetMeterProvider(meterProvider)

	err = runtime.Start(runtime.WithMinimumReadMemStatsInterval(time.Second))
	if err != nil {
		panic(err)
	}

	return meterProvider
}

코드를 실행하고 기다려보면 뭐가 쌓일 것이다.

시계열 판날 가져다가 조회해보면

go 런타임 관련된 자질구레한 옵션들이나, up 같은 생존신호들이 쌓여있는 것을 볼 수 있다.

추가적인 구성이 없다면 기본 메트릭은 이런 단순한 정보들만 내려준다.

trace, API에 기반한 수치 통계들이 필요하다면 spanmetric 같은 추가 구성이 필요하다.
그건 다음 포스트에서 바로 다루겠다.