[AWS] Batch

aws batch는 말 그대로 배치성 작업만을 위한 전용 서비스다.

배치는 시간이나 주기를 정해놓고, 정해놓은 주기에 따라서 자동으로 돌리는 백그라운드 프로세스를 말한다.
batch는 이런걸 자동화해서 관리할 수 있게 도와주는 서비스다.

사실, 배치성 작업이 그렇게 오래 걸리는 작업이 아니고 무조건 10분 이내에 완료될 수 있는 작은 작업이라면 람다로 로직을 구현하고 cloudwatch로 트리거만 걸어도 충분하다.

그런 케이스라면 아래 포스트를 참조해서 쉽게 진행할 수 있다.
https://blog.naver.com/sssang97/222344061647
하지만 배치성작업이 항상 가볍다는 보장은 없다. 30분, 1시간이 걸릴 수도 있고, 하루가 걸릴 수도 있다.
이런 무거운 작업이나 주변 세팅이 복잡한 경우는 aws Batch로 작업을 하는 것이 적절하다.

다만 이것도 단독으로 쓰진 못하고, cloud watch로 트리거를 걸어줘야 한다.

비용은 작업에 사용되는 EC2나 Fatgate 요금 외에 추가비용은 없다고 한다.
잘 활용해보자.

페이지를 들어가면 이렇게 있는데

마법사를 쓰는게 한번에 만들기 편하긴 하지만, 일단은 하나하나 만들어보겠다.

컴퓨팅 환경 생성

컴퓨팅 환경은 실제로 배치를 어디서 돌릴지를 정의하는 부분이다.

유형은 웬만하면 관리형으로 해두는게 편리하고

인스턴스 구성도 Fargate가 가장 괜찮은 편이다.
특별한 이유가 없다면 이걸로 하자.

그렇게 만들면 끝이다.

작업 대기열 생성

작업 대기열은 말 그대로 대기열이다.
배치 작업 요청이 들어오는걸 핸들링해주는 녀석이다.

그냥 방금 컴퓨팅환경 설정해서 적당히 만들어주면 듼다.

작업 정의 생성

작업 정의는 실제로 배치작업을 어떻게 수행할지를 전부 정의하는 부분이다.

플랫폼은 Fargate.

실행 제한시간은 저걸 지나면 강제로 배치를 죽여버리는 것이다.
최소 60초에서 14일 미만으로 설정할 수 있다. 지정하지 않으면 14일까지만 실행될 수 있는듯하다.

그리고 실행시킬 도커 컨테이너 이미지와 실행할때의 명령어를 각각 지정해준다.

난 이미지는 ECR 프라이빗에 올렸고,
이미지 내부의 실행코드는 대충 이따위로 만들어뒀다.

그냥 디비 테이블에 데이터 하나 쌓는 것이다.
의미는 없다.

그리고 퍼블릭IP 할당을 활성화한다.

저거 안하면 ecr에서 못받아오더라.

작업 제출

이제 진짜 실행이 되도록 해보자.

이걸 날리면 작업정의에서 연결해둔된두 도커 이미지로 컨데이너를 올려 실행을 하게 된다.

사용할 작업정의, 대기열을 지정해주고.
필요한 경우 작업정의의 일부 설정을 덮어씌울 수 있다.

저렇게 해서 제출하면

대시보드에서 그 현황을 확인할 수 있다.

작업 페이지에서 모니터링도 되고.

기다리면 이렇게 로그도 잘 찍히고

데이터도 잘 들어온다.

cloudwatch로 등록

저렇게 손으로만 돌리는 것도 가능은 하지만, 그래서야 무슨 의미가 있겠는가.
저걸 자동으로 돌게 하려면 cloudwatch로 트리거를 걸어줘야 한다.

가서, 규칙을 생성한다.

저 크론식은 매 2분마다 돌릴거라는 뜻이다.
자세한 표현법은 찾아보길 바란다.

그리고 아까 손으로 작업 제출했던걸 여기 대상에 넣어준다.

작업대기열과 작업정의의 리소스식별자를 넣어준다.

이름짓고 활성화시키면 이제 자동으로 2분마다 돌면서 배치에 작업을 밀어넣을 것이다.

그리고 기다리면 이렇게 데이터가 쌓인다.
거의 2분간격으로 들어왔음을 알 수 있다.

그렇다.

이런식으로 쓰면 된다.

참조
https://docs.aws.amazon.com/batch/latest/userguide/job_timeouts.html
https://blog.leedoing.com/191