HyperDX: Alert

HyperDX는 자체적인 Alert 시스템을 제공한다.
이걸 응용하면 오류가 발생한다거나 하는 이상 지표를 기반으로 Slack에 알림을 보내는 기능을 구성할 수 있다.

Alert는 대시보드 기반으로 만들어진다. 그래서 이상 패턴을 감지할 수 있는 그래프를 만드는 것이 먼저다.
예를 들면, 이런 식으로 오류 로그의 발생 횟수를 세는 대시보드를 만들 수 있을 것이다.

여기서 Add Alert를 클릭해서 활성화하고, Alert 조건식을 정의하면 된다.

조건은 쿼리로 넣는게 편하다. 이런 식으로.

그리고 발동 조건은 이런 식으로 세팅할 수 있다.
이건 5분 동안 오류 횟수가 10개 이상 발생하면 Slack에 전송하는 설정이다.

Group By로 묶을 경우에는 해당 그룹마다 별도의 카운트를 세서 따로 알림을 보낸다.

그리고 웹훅을 통해 Slack에 쏘도록 연결할 수 있다.

이런 식으로 간결하게 추가할 수 있다. Slack App 기반 연동은 없고 웹훅만 있더라.

Alert를 등록했다면, 임의로 오류를 주입해서 잘 동작하는지 확인해보자.

INSERT INTO otel_logs (
    Timestamp,
    SeverityText,
    SeverityNumber,
    Body,
    ServiceName,
    TraceId,
    SpanId,
    ResourceAttributes
)
SELECT
    now64(9),
    'error',
    17,
    concat('Alert Test #', toString(number + 1)),
    'test-api',
    '',
    '',
    map(
        'deployment.environment', 'dev',
        'service.name', 'test-api'
    )
FROM numbers(6);

그러면 Slack으로 알림이 날라올 것이고

대시보드 지표도 오류 상태로 뜨고

Alert 탭 목록에서도 오류가 뜰 것이다.

무시하게 할 수도 있다.

한계

저런 기본적인 통계 기반의 알림은 잘 되는데, 그 이상은 어렵다.
예를 들어, Alert에 Trace/Log의 상세 컨텍스트를 포함시키는 것이 현재로서는 불가능하다.

Datadog의 경우에는 이런 식으로 Alert Noti에 Error Trace로 이동할 수 있는 딥링크도 넣어주고 하는데, 이런건 어렵다.

참조
https://www.hyperdx.io/docs/alerts
https://github.com/hyperdxio/hyperdx