[Grafana Tempo] TraceQL

#Monitoring

TraceQL을 통해 Trace를 효과적으로 검색하거나 가공하는 방법을 정리해본다.
Grafana 대시보드를 사용하면 Explorer 탭에서 바로 쿼리를 날릴 수 있는 기능을 제공해준다.

TraceID로 검색

그냥 문자열만 덜렁 박아넣으면, TraceQL은 그걸 TraceID로 인식하고 검색을 한다.

이번에는 span ID로 검색해보자.
여기부터는 필드 필터링이라서 필터 표현식을 사용해야 한다.
필터 표현은 중괄호 안에, =로 구분되는 키:값 쌍으로 표현된다.

이런 식이다.

필터에는 실제로 존재하는 거의 모든 필드를 조건으로 걸 수 있다.
status도 자주 사용할만한 기본 span 속성이다.
이러면 에러만 뽑아볼 수 있다.

span 기본 필터 외에 커스텀 필드로 필터를 걸고 싶다면, resource 하위 필드로 찾아서 필터를 걸면 된다.
아래는 service.name이라는 attribute로 필터를 거는 방법이다.

여러개를 조건으로 걸고 싶다면 &&를 쓰면 된다. 간단하다.

문자열에 정규식으로 필터링을 하는 방법도 있다.
=~ 연산자를 쓰고, 안에 정규식을 넣으면 된다.

다음은 Command - 로 시작하는 값을 전부 찾는 쿼리다.

이 TraceQL은 본질적으로 Span에 존재하는 필드를 기반으로 검색해서 Trace를 가져오는 것이다.
그런 부분에서 좀 미묘한 숙지사항이 있다.

만약 리전 us-east-1인 Span과 us-west-1인 Span이 동시에 포함된 Trace을 찾으려면 어떻게 해야할까?

{ resource.cloud.region = "us-east-1" && resource.cloud.region = "us-west-1" }

이건 틀렸다. 단일 Span이 다른 region을 가질 수 없기 때문이다.
이 중괄호 각각은 단일 Span에 대한 검색이다.

목표를 달성하려면 2개의 필터식을 따로 만들어서 묶어여 한다.

{ resource.cloud.region = "us-east-1" } && { resource.cloud.region = "us-west-1" }

이러면 2가지 조건을 각각 만족하는 Span을 동시에 갖는 Trace만 가져오게 된다.

이거 말고도 일치하는 조건의 하위 Span을 찾거나, 상위 Span을 찾거나 하는 복잡한 관계의 필터도 가능한데, 여기서는 상세히 다루지 않는다.

traceQL은 단순 필터 말고도 집계 기반의 쿼리 또한 제공한다.
전체 Trace를 집계하는건 아니고, Span을 Trace를 기준으로 묶어서 처리하는거다.

예를 들어 이런 식으로 짜면, error인 Span의 개수가 2개 이상인 Trace만 조회하는 쿼리가 된다.

이 외에도 aggregate 함수로는 avg, min, max, sum 정도가 제공된다.