[Prometheus] PromQL

Prometheus는 데이터를 조회하기 위한 용도로 자신만의 Query syntax를 제공하는데, 그게 바로 PromQL이다.

Prometheus 기반으로 대시보드를 구성했다면 Grafana에서 직접 쿼리를 조정할 일이 종종 있을 것이다.

기본 구조 - 단순 조회

PromQL도 기본적으로는 데이터를 스캔해오는 것이 먼저다.
데이터 스캔, 필터 표현식은 중괄호 내의 키=값 쌍으로 구성된다.

예를 들어 다음 쿼리는 __name__이 http_client_duration_milliseconds_count인 데이터만 필터링해오는 구문이다.

{__name__="http_client_duration_milliseconds_count"}

여기서 __name__은 metric 이름을 가리키는 특수한 필드다. 다른 데이터베이스에 비교하면 테이블과 동등한 단위라고 할 수 있다.

그리고 이건 다음과 같이 표현할 수도 있다.

http_client_duration_milliseconds_count{}

이건 바로 이전의 쿼리와 정확히 동일한 동작을 한다.
별 차이는 없지만 보통 이런 식으로 더 자주 사용된다.

필터

메트릭 조회에 추가적인 조건 필터를 걸고 싶다면, 중괄호 절에 키=값 쌍을 우겨넣으면 된다.
여기서 중괄호 절을 정확한 용어로는 Time series selector라고 부른다.

http_server_request_duration_seconds_count{service_namespace="prod", service_name="...-API"}

이러면 service_namespace이 prod고, service_name이 API인 메트릭 데이터만 조회가 된다.
이처럼 기본적으로 시스템 스테이지와 시스템 이름 정도는 필터로 주는 경우가 많을 것이다.

promQL의 필터 조건은 제한이 좀 강한 편이다.
대소비교 같은 복잡할 수 있는 조건식은 줄 수 없고, 일치 비교(=), 불일치 비교(!=), 정규식 비교(=), 정규식 불일치 비교(!) 4개 정도만 제공이 된다.

정규식 표현 처리는 융통성이 있는 편이다.
env="foo" 같은 식으로 쓰면, 암시적으로 env="^foo$"로 해석해서 포함 검색을 해준다.

offset

offset은 조회 시점을 과거로 돌리게 해주는 기능이다. 정확히 말하면 "현재 시간"을 특정 시점으로 고정한다.
필터 표현식 바로 오른편에 붙일 수 있다.

이런 식으로 쓰면, 일주일 전 시점을 현재로 잡고, 일주일 전에서 또 30분 전까지의 범위를 조회하게 된다.

Range Vector

PromQL 쿼리들을 보면, 대괄호 표현식을 자주 볼 수 있다.

쉽게 말해, 시간 범위 필터 같은 거다.
이건 단독으로 사용되지는 않고, 함께 사용되는 집계 함수에 따라서 정확한 동작 방식이 달라진다.

저기엔 5m나 30(초 단위) 같은 시간 단위 값을 넣는데, incrase를 사용할 경우에는 Grafana의 시간 필터를 적용하길 원한다면 하드코딩하는것보단 $__range 변수를 사용하는게 편리하다.

increase 함수

range vector와 함께 사용한다.

range vector를 [5m] 같은 식으로 주면 현재 시점에서 5m 전까지의 메트릭 데이터만을 가져오는 것이다.

increase(http_server_request_duration_seconds_count{service_namespace="prod", service_name="...-API"}[5m])

그러면 특정 범위 동안의 수치 차이만을 가져온다.
응용 범위가 넓은 기본 함수 중 하나다.

sum 함수

sum 함수는 말 그대로 총합을 집계하는 함수다. 일반적으로, 함수들은 그냥 중괄호 필터식 위에 감싸는 형태로도 간단하게 사용이 가능하다.

sum(http_server_request_duration_seconds_count{service_namespace="prod", service_name="...-API"})

근데 이렇게 보면 의도한 결과를 보기엔 애매하고,

Grafana Panel을 Stat으로 쓰는게 좀 더 일반적이다.

근데 이 상태에서 시간 범위를 조절하면서 수치를 확인해보면, 뭔가 이상한게 눈에 보일 것이다.
왜냐하면, sum은 현재 시간 범위를 고려하지 않고 평생동안 쌓인 개수를 집계하는 함수이기 때문이다.

그래서 현재 시간 필터를 고려해서

sum(increase(http_server_request_duration_seconds_count{service_namespace="prod", service_name="...-API"}[$__range]))

Group by

특정 값을 기준으로 묶는 것도 가능하다.
예를 들어, 다음 쿼리는 span_name(API 이름)을 기준으로 메트릭을 그룹화한다.

sum(increase(http_server_request_duration_seconds_count{span_kind="SPAN_KIND_SERVER", service_name="$app", service_namespace="$env", http_route=~"$route"}[$__range])) by(span_name)

이런 경우에는 chart 계열 panel이 적합한 편이다.

rate

rate는 특정 시간 단위마다 메트릭이 몇개 쌓였는지를 비율로 측정하는 집계 함수다. TPS 같은 것을 표현하기에 가장 적합하다.
보통 range vector와 함께 사용한다.

예를 들어 다음과 같이 쿼리를 짠다면

rate(http_server_request_duration_seconds_count{service_namespace="prod", service_name="...-API"}[1m])

1분 내에 몇건지 호출되었는지를 뽑아낸 다음에, 초당 개수를 추출한다.
1분 안에 쌓인 메트릭이 120개라면 tps는 2가 되는 것이다.

이외에도 함수들은 꽤 많다. 모든걸 여기서 다 다룰 수는 없고 기본적인 것들만 다뤘다.
함수들에 대한 정보를 원한다면 별도 문서를 참조하길 바란다.
https://prometheus.io/docs/prometheus/latest/querying/functions/

참조
https://prometheus.io/docs/prometheus/latest/querying/basics/
https://prometheus.io/docs/prometheus/latest/querying/functions/