[AWS] Sagemaker AI: 모델 서빙

Sagemaker는 AWS에서 제공하는 AI 모델 개발/서빙용 플랫폼이다.
단일 서비스처럼 소개하긴 하는데, 온갖 다양한 별도 기능들이 하나로 뭉쳐진 혼종이다. 안쓰는 기능이 더 많다.

여기서는 AI 모델을 배포하기에 유용한 Realtime Endpoint(Realtime Inference)를 위주로 소개해본다.

구조

기본적으로 ECS처럼 컨테이너 기반의 방법론을 따른다.
모델 서버를 컨테이너로 말아서 ECR에 올려놓고 Sagemaker에 모델로서 등록을 하면, 설정하기에 따라서 Sagemaker가 모델서버를 자동으로 프로비저닝해서 쓸 수 있게 해주는 것이다.

이런 식이다.
아마 내부 인프라는 EC2를 사용할 것이다. 포장만 잘 해서 파는 것이다.

이점

다음과 같은 이점들이 있다.

로그 자동 관리 (cloudwatch)
메트릭 자동 관리
무중단 배포 기본 지원
엔드포인트 자동 지원
간편한 스케일링 기능
스파이크 대응을 위한 비동기 추론 기능
초대형 추론을 위한 Batch 기능 지원

제한사항 및 한계

컨테이너로 말기 때문에 기술 자유도는 제법 있는 편이긴 한데, 그래도 몇가지 프로토콜/드라이버 수준 제한사항은 있다.

1. 모델 구성은 cuda 12.* 버전에 호환되어야 한다.
2. 서버는 8080 포트로 열려야 한다.
3. 정해진 형태로 API를 개방해야 한다.
4. (서버리스의 경우) 모델이 먹는 메모리의 HARD LIMIT은 6GB다.
5. (동기형 프로비저닝의 경우) 모델 인스턴스를 0개로 줄일 수 없다.

비용

당연하지만, 마냥 싸진 않다.
https://aws.amazon.com/ko/sagemaker/ai/pricing/

가장 직관적인 프로비저닝의 경우에는 EC2 처럼 타입별 요금을 뜯는다.

CPU만 있는건 싸고, GPU 달린건 당연히 비싸다.
동일스펙의 EC2 대비 대략 1.5배쯤 비싼 편이다.

서버리스의 경우 실행된 시간 기반으로 뜯고, 트래픽으로 뜯는다.

그리고 이 용도로 AI Saving Plan이 따로 있다. 이건 프로비저닝에 대해서만 지원되며, 1년 선결제 기준 30% 정도가 절감된다.
https://aws.amazon.com/ko/savingsplans/ml-pricing/

Docker 이미지 말기

먼저 서버 규격에 맞춰서 코드를 좀 추가해야 한다.
다음 2가지 API가 필수적이다.

ping이 헬스체크용이고, invacation이 추론 API다.

이미지를 말때도 메타데이터를 넣지 않도록 약간 옵션을 줘야 한다.
안그러면 모델 등록할때 뻑난다. provenance와 sbom를 꺼서 올리자.

docker buildx build --platform linux/amd64 \
  --provenance=false \
  --sbom=false \
  -f Dockerfile.sagemaker-cpu \
  -t "$AWS_ACCOUNT_ID.dkr.ecr.$REGION.amazonaws.com/$REPO:$TAG" \
  --push .

그리고 ECR에 잘 올리기만 하면 된다.

모델 생성

이제 AWS로 가서 모델을 등록해보자.

Deployable Models 탭으로 이동한다.

그리고 방금 올린 ECR 경로를 적당히 넣어주면 된다.

네트워크 옵션은 선택이다.
만약 허깅페이스 같은 데서 다운받거나 이미지를 다운받거나 하면 저 격리를 꺼야한다.
보안이 중요하다면 켜는게 좋다.

그래서 이렇게 등록이 되면 벽돌 하나는 완성한 것이다.

엔드포인트 Config 생성

그 다음에는 구성을 만들어야 한다. 어떤 인스턴스 타입으로 띄울지 등을 선택한다.

이게 좀 헷갈리는게 있는데, 변형에 모델을 골라서 넣으면 지맘대로 인스턴스 타입을 고정해서 넣어버린다.

저기 오른편에 숨어있는 편집 버튼을 눌러야 타입을 고를 수 있다.

프로비저닝 엔드포인트 만들기

그럼 이제 방금 만든 구성을 통해서 실제 엔드포인트를 만들면 된다.
이게 찐막이다.

골라서 생성하면, 생성 시간이 약간 걸린다.

그러면 저기 URL이 생기는데

가라로 만든거라서 저걸 직접 쓰진 못한다. URL 자체가 별로 유니크해보이진 않잖나.

가장 편리한 방법은 sdk나 api를 쓰는 것이다.

aws sagemaker-runtime invoke-endpoint \
  --region ap-northeast-2 \
  --endpoint-name 엔드포인트명 \
  --content-type application/json \
  --cli-binary-format raw-in-base64-out \
  --body '{"text":"The battery life is terrible","aspect":"battery"}' \
  output.json

이런 느낌으로 날리면 응답이 구성한대로 json으로 잘 날라올 것이다.

관측성

관리형 서비스이기 때문에, 기본적인 메트릭은 알아서 쌓고 제공해준다.
CPU/메모리 정보 등은 기본 페이지에서 제공하며

로그도 Cloudwatch를 통해 제공한다.

오토스케일링

서버를 줄이고 늘리는 것도 꽤 간편하다.

여기서 그냥 바꿔도 되고

오토스케일링을 구성해서 스케일링을 자동화할 수도 있다.

다만. 기본 엔드포인트 구성에서는 0개로 자동 축소는 지원되지 않는다. 이건 Async 엔드포인트에서만 가능하다.

Async 엔드포인트

ASync 엔드포인트는 스파이크 패턴에 최적화된 한 변형이다.
엔드포인트 구성 수준에서 설정할 수 있다.

이렇게 적당히 설정하고, 엔드포인트를 새로 생성한다.
엔드포인트는 구성을 다운타임 없이 교체할 수 있지만, Async <> Sync 교체는 불가능하다. 새로 만들어야 한다.

Async 추론은 사용 방법이 좀 다르다.

요청 json을 버킷에 올린 다음에

그 경로를 넣어서 쏴야 한다.

aws sagemaker-runtime invoke-endpoint-async \
  --region ap-northeast-2 \
  --endpoint-name 엔드포인트\
  --content-type application/json \
  --input-location 파일경로

그럼 이렇게 응답이 오는데, InferenceID는 쓸모가 없다. 완료 알림이 필요하다면 SNS/SQS를 설정해서 대기하는 것이 일반적이다.
아무튼 그게 없다면 실제 성공 경로에 파일이 떨어질 때까지 기다리면 된다.

그러면 이렇게 파일이 떨어질 것이다.

까보면 응답값이 나온다.

그리고 Async Endpoint의 경우에는 사용이 없을때 인스턴스가 0으로 다운되는, zero scale이 가능하다. (단, t 시리즈는 안됨)

이렇게 맞춰놓으면

안쓸때 0개로 내려간다. 이게 좀 좋다.

서버리스 엔드포인트

또 매우 가벼운 사용사례라면 괜찮은 옵션 중 하나가 이거다.
Lambda 처럼 완전히 온디맨드라서 프로비저닝할 필요가 없고, 컴퓨팅 시간당 과금을 한다.
메모리 정도만 미리 명시해두면 알아서 내부에서 확장한다.

이렇게 대충 만들면 된다.

이게 콜드스타트가 좀 길다. 600MB 짜리 모델을 1GB 메모리에 올렸더니 콜드스타트가 40-50초 정도 걸리더라.

그리고 1GB짜리 최소스펙으로 해서는 성능이 좀 많이 딸리는 편이다.
Lambda처럼 메모리에 비례해서 CPU를 할당하기 때문이다.

1GB로 했을때

2GB로 했을떄

근데 이게 현실적으로 좀 많이 비싸기 때문에, 한달에 한번 정도 진짜 조금씩 호출하는 간헐적인 케이스가 아니라면 추천하지 않는다.
무슨 모델이 CPU에서도 한자릿수 밀리초 수준으로 빠른게 아니면 스파이크 트래픽에도 잘 맞지 않는다. CPU에서도 초 단위로 느린데 호출이 빈번하면 비용이 폭발한다.
내가 봤을때는 실패한 서비스의 한 형태다.

대부분의 경우 현실적인 추천안은 Async Endpoint다.

참조
https://docs.aws.amazon.com/ko_kr/sagemaker/latest/APIReference/API_runtime_InvokeEndpoint.html