[Grafana] Grafana HTTP APM 구성하기

#Monitoring

Grafana Stack을 사용해서 HTTP 서버용 모니터링을 구성하는 방법을 정리해본다.

싸잡아서 APM이라고 부르긴 하지만, 크게는 Log, Trace, Metric의 구성요소로 분리된다.
각각은 용도만 다른게 아니라 형태에 따라서 저장하는 저장소 시스템도 완전 다르다.

여기서는 Grafana Loki(Log), Grafana Tempo(Trace), Prometheus(Metric)으로 APM을 구성하는 방법에 대해서 간단한 가이드를 남겨본다.

Loki 기반의 로그 구성

로그 저장을 어디에 할지는 사용중인 시스템 구조에 따라서 다르다.
사실 AWS Fargate 같은 로그까지 일체형으로 제공되는 서비스를 쓴다면 로그 저장소를 쓸 필요는 없다.

그래서 Loki를 직접 구성해서 쓰는건 보통 k8s 환경이다.

Trace는 각각의 독립된 기능 단위를 추적하는 로그 단위라고 할 수 있다.
여기서 각각의 기능은 보통 하나의 API 호출이 된다.

metric에는 대부분 시계열 데이터베이스를 저장소로 사용한다.
Mimir나 몇가지 대안이 있긴 한데, prometheus가 압도적인 국룰이다.

다음 포스트에서는 prometheus와 opentelemetry의 otel collector를 이용해서 기본적인 metric 환경을 구성하는 방법을 정리한다.
https://blog.naver.com/sssang97/223764113482

다음 포스트에서는 trace-span 기반의 spanmetric 통계를 쌓고 사용하는 방법을 다룬다.
API의 호출 횟수, 실패율 같은 trace 기반 통계를 볼때 사용한다.
https://blog.naver.com/sssang97/223764160315