[Elasticsearch] Kibana 구성 (with Docker)

Docker Compose 기반으로 Kibana + Elasticsearch 스택을 말아서 올리는 법을 대강 다뤄보겠다.

Kibana는 Elasticsearch Stack에 예속된 대시보드 전용 환경이다. 이것 자체로 뭐 엄청난걸 하지 않고, 보여주는 대시보드 역할만 한다. Grafana Dashboard에 대응된다고 보면 된다.

Elasticsearch 개발을 위한 개발/테스트 도구, 보안 관리, 시스템 리소스 모니터링, 메트릭 관리 등 모니터링/관리에 필요한 거의 모든 것이 올인원으로 들어있는게 특징이다. 사용성도 나쁘지 않다.

Docker compose 기반으로 elasticsearch와 kibana를 간단하게 띄워서 연결하는 법을 다뤄보겠다.
클러스터 구성이나 고가용성 등은 고려하지 않는다.

Elasticsearch 구성

일단 elasticsearch를 먼저 띄워야 한다.

  elasticsearch:
    image: docker.elastic.co/elasticsearch/elasticsearch:8.18.0
    container_name: elasticsearch
    environment:
      - node.name=elasticsearch
      - cluster.name=elastic-cluster
      - discovery.type=single-node
      - bootstrap.memory_lock=true
      - "ES_JAVA_OPTS=-Xms512m -Xmx512m"
      - xpack.security.enabled=true
      - xpack.security.enrollment.enabled=true
      - xpack.security.http.ssl.enabled=false
      - xpack.security.transport.ssl.enabled=false
      - xpack.security.authc.token.enabled=true
    ulimits:
      memlock:
        soft: -1
        hard: -1
    volumes:
      - elasticsearch_data:/usr/share/elasticsearch/data
    ports:
      - "19200:9200"
      - "19300:9300"
    networks:
      - elastic
    healthcheck:
      test: ["CMD-SHELL", "curl -s http://localhost:9200 > /dev/null || exit 1"]
      interval: 10s
      timeout: 5s
      retries: 3

elasticsearch가 뜬 다음에 kibana가 떠야 하기 때문에, 떴는지를 확인하는 헬스체크를 구성했다.

그 다음에는 패스워드와 토큰 등을 발급해줘야 한다.
이게 좀 짜증나는게, Docker 컨테이너 수준에서는 환경변수로 패스워드나 토큰 등을 바로 생성하도록 지정할 수가 없다. 예전에는 됐던거 같은데 최신 elasticsearch 기준으로는 안된다.

FATAL  Error: [config validation of [elasticsearch].username]: value of "elastic" is forbidden. This is a superuser account that cannot write to system indices that Kibana needs to function. Use a service account token instead. Learn more: https://www.elastic.co/guide/en/elasticsearch/reference/8.0/service-accounts.html

이전 버전인 6이나 7 등에서는 기본 계정이 elastic:changeme였는데, username이 elastic인 것은 동일하지만 패스워드가 기본으로 설정되지도 않을 뿐더러, 환경변수로 지정하지도 못한다. 왜 이따위로 만든거지?

Elasticsearch 패스워드 설정

아무튼 그래서 패스워드를 초기화하려면 elasticsearch-reset-password 같은 도구를 써야 한다.

  password-setter:
    image: docker:latest 
    container_name: password-setter
    command: >
      /bin/sh -c "
        if [ -f /config/elastic_password.env ]; then
          echo 'Password has already been set. Skipping.';
          exit 0;
        fi;

        echo 'Waiting for Elasticsearch to be ready before setting password...';
        sleep 5; 

        echo 'Setting password for elastic user...';

        PASSWORD=$(docker exec elasticsearch bin/elasticsearch-reset-password -u elastic -s -b -a);
        echo \"ELASTIC_PASSWORD=$$PASSWORD\" > /config/elastic_password.env;

        echo 'Password set successfully.';
      "
    volumes:
      - /var/run/docker.sock:/var/run/docker.sock
      - ./config:/config
    depends_on:
      elasticsearch:
        condition: service_healthy

자동화를 위해 그걸 대신 쏴주는 일회성 프로세스를 또 따로 만들었다.
이러면 현재 디렉토리 기준으로 config 폴더에 패스워드 파일이 생성된다.

키바나 토큰 생성

이것이 끝이 아니다.
키바나는 또 이상한 자체적인 보안 정책을 가지고 있는데, 기본계정인 elastic 계정으로는 로그인을 할 수 없다는 것이다.

예전 구버전은 이런거 없던거같은데, 어느샌가 이런게 생겼다.

그래서 토큰을 또 발급해줘야 한다.
방금 만든 패스워드를 읽어서 대신 쏘고 받아오도록 구성했다.

  kibana-token-setter:
    image: alpine:latest
    container_name: kibana-token-setter
    command: >
      sh -c "
        source /config/elastic_password.env
        env
        ELASTIC_PASSWORD=$${ELASTIC_PASSWORD}
        echo $$ELASTIC_PASSWORD

        if [ -f /config/kibana_token.env ]; then
          echo 'Kibana service token already exists. Skipping creation.';
          exit 0;
        fi;

        if [ -f /config/kibana_token.env ]; then
          echo 'Kibana token file exists. Skipping creation.';
          exit 0;
        fi;

        echo 'Creating Kibana service token...';

        apk add --no-cache curl jq;

        echo 'Creating Kibana service token...';
        # 서비스 토큰 생성 API 호출 (비밀번호 변수를 큰따옴표로 감싸고 $$로 이스케이프)
        TOKEN_RESPONSE=$(curl -s -X POST 'http://elasticsearch:9200/_security/service/elastic/kibana/credential/token/kibana?pretty' -u "elastic:$${ELASTIC_PASSWORD}" -H 'Content-Type: application/json');
        echo \"Response: $$TOKEN_RESPONSE\";

        # 응답에서 토큰 값 추출
        TOKEN=$(echo $${TOKEN_RESPONSE} | jq -r '.token.value');

        if [ '$$TOKEN' = null ] || [ -z '$$TOKEN' ] || [ "$$TOKEN" = "" ]; then
          echo 'Error: Failed to create or parse service token.';
          echo \"Response: $$TOKEN_RESPONSE\";
          exit 1;
        fi;

        # 호스트와 공유된 볼륨에 .env 파일로 저장
        echo \"ELASTICSEARCH_SERVICEACCOUNTTOKEN=$$TOKEN\" > /config/kibana_token.env;
        echo 'Kibana token has been saved to ./config/kibana_token.env';
      "
    volumes:
      - ./config:/config
    networks:
      - elastic
    depends_on:
      password-setter:
        condition: service_completed_successfully

키바나 구성

그러면 이제 키바나를 붙여볼 수 있다.

  kibana:
    image: docker.elastic.co/kibana/kibana:8.18.0
    container_name: kibana
    command: >
      sh -c "
        # 토큰 파일이 존재하면 읽어서 환경 변수로 로드
        if [ -f /config/kibana_token.env ]; then
          . /config/kibana_token.env;
          echo 'Service account token loaded.';
        else
          echo 'WARNING: Service account token file not found.';
        fi;
        # Kibana 원래 실행 명령어 실행
        exec /usr/local/bin/kibana-docker;
      "
    environment:
      - ELASTICSEARCH_SERVICEACCOUNTTOKEN=$${ELASTICSEARCH_SERVICEACCOUNTTOKEN}
      - ELASTICSEARCH_HOSTS=http://elasticsearch:9200
      - SERVER_NAME=kibana
      - SERVER_SSL_ENABLED=false
      - SERVER_HOST=0.0.0.0
      - xpack.security.enabled=true
      - xpack.encryptedSavedObjects.encryptionKey=min-32-byte-long-strong-encryption-key
    ports:
      - "15601:5601"
    networks:
      - elastic
    depends_on:
      elasticsearch:
        condition: service_healthy
      kibana-token-setter:
        condition: service_completed_successfully
    volumes:
      - ./config:/config
    healthcheck:
      test: ["CMD-SHELL", "curl http://localhost:5601"]
      interval: 10s
      timeout: 5s
      retries: 3

방금 만든 토큰을 기반으로 Elasticsearch에 연결한다.

그래서 뜬다면

elastic 계정 정보로 접근해서 써볼 수 있다.

전체 docker compose 구성은 다음 링크에 있다.
https://github.com/myyrakle/docker-compose/tree/master/elastic-and-kibana