[AWS] Cloudwatch: 로그 구성 in EC2

Fargate나 Lambda 같은 완전관리형 서비스를 쓰면 cloudwatch에 의한 로깅이 자동으로 처리가 돼서 이런걸 신경을 쓸 필요는 없다.

하지만 EC2로 직접 뭘 세팅해서 쓴다든지, 온프레스 구성요소를 쓴다든지 하면 직접 로그 그룹을 구성하고 거기에 로그가 들어가도록 세팅을 해줘야 한다.

여기서는 프로세스에서 발생한 표준 출력을 cloudwatch에 저장하도록 구성을 한번 해보겠다.
아니면, 애플리케이션에서 aws-sdk를 사용해서 직접 cloudwatch api로 로그를 집어넣는 것도 방법이긴 하다.

여기서는 전자만을 다룬다. 후자는 코드처리하는게 번거로워서 그렇지, 방법 자체는 훨씬 쉬울 것이다.

테스트환경은 EC2 Amazon Linux 2다.

로그 그룹 생성

먼저 로그 그룹부터 하나 만들어주겠다.

애플리케이션 작성 (Node.js)

그리고 로그를 찍기 위해 간단한 데몬 프로그램을 작성했다.

function sleep(milliseconds) {
  return new Promise((resolve) => {
    setTimeout(() => resolve(null), milliseconds);
  });
}

async function loop() {
  while (true) {
    console.log(`@ daemon is trying`);

    // Do something
    const random = Math.random();
    console.log(`@ random: ${random}`);

    console.log(`$ wait 10 second`);
    await sleep(10 * 1000);
  }
}

loop();

그리고, node.js의 출력을 특정 로그 파일에 쌓아주도록 실행을 해줘야 한다.
node.js는 기본적으로 발생한 모든 출력을 갖다버리기 때문이다.
이렇게 하고

파일을 열어보면

잘 들어가있을 것이다.

이건 언어 특성에 따라 잘 대처하면 될 것 같다.
nodejs는 없지만, 자동으로 로그파일이 쌓이는 것이 있다면 그걸 쓰면 된다.

권한 부여 (EC2)

프로그램이 cloudwatch에 접근을 할 수 있게 하려면, 아래 권한을 줘야 한다.

{
  "Version": "2012-10-17",
  "Statement": [
    {
      "Effect": "Allow",
      "Action": [
        "logs:CreateLogGroup",
        "logs:CreateLogStream",
        "logs:PutLogEvents",
        "logs:DescribeLogStreams"
    ],
      "Resource": [
        "*"
    ]
  }
 ]
}

EC2의 경우에는 EC2 자체에 역할을 부여할 수 있으니 그렇게 하면 되고, 온프레미스의 경우에는 사용자를 만들어서 그 ACCESS_KEY와 SECRET_KEY를 직접 넣어주는 방식으로 해야할 것이다.

아무튼 바꿔준다.

cloudwatch-agent 구성

이게 로그파일을 읽어서 자동으로 cloudwatch에 써줄 녀석이다.
모니터링이나 지표 관리 등등에 사용할 수 있는 도구인데, 여기서는 로깅용으로만 쓰겠다.

깔고

sudo yum install amazon-cloudwatch-agent -y

설정파일을 만들어준다.

sudo vi /opt/aws/amazon-cloudwatch-agent/etc/amazon-cloudwatch-agent.json

{
	"logs": {
		"logs_collected": {
			"files": {
				"collect_list": [
					{
						"file_path": "/home/ec2-user/app/app.log",
						"log_group_name": "test-log-group"
					}
				]
			}
		}
	}
}

만들었던 로그 그룹명을 넣고, nodejs(혹은 다른 프로세스)에서 만들었던 로그파일의 경로를 넣어준다.

그리고 에이전트를 재실행하면

sudo systemctl start amazon-cloudwatch-agent
sudo systemctl status amazon-cloudwatch-agent

이렇게 잘 들어와있을 것이다.

기존에 들어있던 로그에 대해서도 동기화를 해주고, 새로 들어와서 갱신되는 항목에 대해서도 자동으로 추가를 해준다.

참조
https://docs.aws.amazon.com/AmazonCloudWatch/latest/logs/QuickStartEC2Instance.html
https://docs.aws.amazon.com/AmazonCloudWatch/latest/logs/AgentReference.html
https://docs.aws.amazon.com/AmazonCloudWatch/latest/monitoring/Install-CloudWatch-Agent.html
https://stackoverflow.com/questions/10815218/where-is-nodejs-log-file