[Cloudflare] Logpush

#Cloudflare

Logpush는 Cloudflare의 유용한 로그 수집 솔루션이다.
Cloudflare를 통해서 처리되는 모든 트래픽에 대해서 로그를 수집해서 응용할 수 있게 해준다.

"엔터프라이즈 전용" 솔루션이다. 그냥 일반 사용자는 못쓴다.

사전 조건

그냥 DNS만 Cloudflare를 쓴다고 해서 이게 수집이 되진 않는다.
중요한건 Zone(DNS)가 등록되어있고, 거기에 "프록싱됨"으로 등록된 레코드가 있어야 한다는 것이다.

애초에 "프록싱된" 리소스란 것 자체가, Cloudflare가 모든 트래픽을 대행하고 감시한다는 의미다.

아무튼 이런게 있으면, Zone 단위로 모든 요청 로그 등을 수집할 수 있다.

로그푸시를 직접 만들고 데이터가 쌓이는 것까지 확인해보자.

가로채길 원하는 DNS Zone을 고른 뒤에, Investigate/Logpush로 들어간다.

그리고 스토리지를 골라서 만들면 된다.
그러면 자동으로 그 저장소에 로그를 저장해주는 구조다.

S3 버킷을 만들고

정보를 적절히 입력하고

버킷 정책에도 Cloudflare가 접근할 수 있도록 권한을 준다.

그럼 바로 되진 않고, 보안 위험 때문에 확인 절차를 한번 거친다.

인증용 토큰 파일을 올려주니까, 읽어서 넣으면 통과다.

그러면 그 다음에는 어떤 로그를 수집할지 정한다.
일반적으로는 HTTP 요청을 많이 쓸 것이다.

이름이나 수집 조건 지정하고

어떤 필드를 수집할지 정할 수 있다.

어지간한건 다 있다.

디테일한 보안 옵션이나 샘플링도 있더라

그렇게 생성이 잘 된다면, 끝이다.

좀 기다리면 몇분 간격으로 파일을 계속 올려댈 것이다.

CreateObject에 트리거를 걸어서 SQS에 쌓든 해서 적절히 처리하면 된다.

다운받으면 JSON-LD 형식으로 데이터가 들어있다. JSON이 아니다!
이런 식이다.

파일이 얼마나 업로드되고, 얼마나 성공/실패했는지를 전용 대시보드에서 추적할 수 있다.

Logpush는 예전 데이터를 보내주는 기능이 없다.
항상 실시간으로 발생하는 이벤트만을 수집하기 때문에, 뭔가 문제가 생겼을때의 백필을 처리할 수가 없는 것이다.