[AWS] Bedrock

Bedrock은 AWS에서 제공하는 LLM 제공 서비스다.
API 기반으로 오픈소스 LLM 시스템들을 호출해서 사용할 수 있다.

다른 서비스와 비교한다면 GCP의 Vertex AI 같은 게 비슷한 종류라고 할 수 있겠다.

독자적인 모델을 갖고 있는 것도 아니고 통합 인터페이스일 뿐이라서 Bedrock만이 가진 특출난 장점이랄건 딱히 없다. 다른 AWS 데이터 소스와의 통합이 쉽다는게 가장 강력한 부분이라고 봐야할 것 같다.

모든 모델이 있는건 아니지만, 이래저래 많은 편이다.
AWS 자체 모델도 있고, 대표적인 오픈소스 모델들도 거의 다 있고, 제휴관계인 앤트로픽 모델들도 있다.

내 보기에 Bedrock의 가장 큰 단점은 기능에 대한 홍보나 문서화가 부실하다는 것이다.

비용

고정 비용이 크게 나가는 형태는 아니고, 서버리스 서비스라서 API 호출당, 토큰 갯수 등으로 비용이 부과된다.

https://aws.amazon.com/bedrock/pricing/
자세한 것은 페이지를 참조하는게 좋다.

LLM 모델이 이것저것 지원되는 편인데, 모델마다, 혹은 모델 버전마다 과금 방식이 전부 다르다.
또 어떤건 리전마다 비용이 다른 것도 있고 같은 것도 있다.

AWS 치곤 비용에 바가지를 씌운 부분은 적다.
앤트로픽 소넷 3.7 기준으로 비교해보면

앤트로픽은 입력이 100만 토큰당 3달러고,

AWS에서는 1000 토큰당 0.003달러다. 곱하면 비용은 거의 동등하다.

모델 사용 신청

모델은 기본적으로 비활성화 상태다.

사용하려면 쓰고 싶은 모델만 먼저 사용 신청을 하거나, 아니면 전체 사용 신청을 해야 한다.

앤트로픽의 경우에는 앤트로픽에 보낼 정보도 좀 써줘야 한다. 귀찮다.

플레이그라운드

그냥 콘솔에서 바로 대화형으로 챗봇을 써볼 수도 있다.
(서울 기준) 콘솔에서는 텍스트만 사용 가능하고, 이미지나 오디오는 API로만 된다.

플레이그라운드로 이동해서

모델 고르고

써보면 된다.
간단한 테스트는 여기에서 할 수 있다.

리전 차별

서울 같은 가난한 리전에는 기능이 제한되는 경우가 많은데, Bedlock은 더욱 그렇다.
플레이그라운드나, 모델 지원 수준이 현격하게 차이가 난다.

좀더 적극적으로 활용하고 싶다면 버지니아 같은 중심 리전을 사용하는게 권장된다.

지원 수준이 좀 많이 차이난다.
버지니아의 경우에는 이미지 같은 것도 콘솔에서 사용 가능하다.

그리고 Amazon 자체 모델과 앤트로픽 외의 오픈소스 모델들을 사용하고 싶다면, 사실상 버지니아에서만 가능하다.

이렇게 선택지가 많아진다.

그리고 직접 모델을 빚어 쓰거나 파인튜닝해서 쓰는 것도 가능하다.

API

간단한 테스트는 플레이그라운드에서 하더라도, 결국에 응용하려면 AWS API를 통해서 붙이는 형태가 된다.

다른 AWS SDK 내 API들과 크게 다르지 않다.

import { fileURLToPath } from "node:url";

import {
  BedrockClient,
  ListFoundationModelsCommand,
} from "@aws-sdk/client-bedrock";

const REGION = "us-east-1";
const client = new BedrockClient({ region: REGION });

export const main = async () => {
  const command = new ListFoundationModelsCommand({});

  const response = await client.send(command);
  const models = response.modelSummaries;

  console.log("Listing the available Bedrock foundation models:");

  for (const model of models) {
    console.log("=".repeat(42));
    console.log(` Model: ${model.modelId}`);
    console.log("-".repeat(42));
    console.log(` Name: ${model.modelName}`);
    console.log(` Provider: ${model.providerName}`);
    console.log(` Model ARN: ${model.modelArn}`);
    console.log(` Input modalities: ${model.inputModalities}`);
    console.log(` Output modalities: ${model.outputModalities}`);
    console.log(` Supported customizations: ${model.customizationsSupported}`);
    console.log(` Supported inference types: ${model.inferenceTypesSupported}`);
    console.log(` Lifecycle status: ${model.modelLifecycle.status}`);
    console.log(`${"=".repeat(42)}\n`);
  }

  const active = models.filter(
    (m) => m.modelLifecycle.status === "ACTIVE",
  ).length;
  const legacy = models.filter(
    (m) => m.modelLifecycle.status === "LEGACY",
  ).length;

  console.log(
    `There are ${active} active and ${legacy} legacy foundation models in ${REGION}.`,
  );

  return response;
};

// Invoke main function if this file was run directly.
if (process.argv[1] === fileURLToPath(import.meta.url)) {
  await main();
}

자세한 것은 별도 문서를 참조한다.
https://docs.aws.amazon.com/ko_kr/code-library/latest/ug/bedrock_example_bedrock_Hello_section.html

참조
https://aws.amazon.com/bedrock/pricing/
https://docs.aws.amazon.com/bedrock/latest/userguide/getting-started-console.html
https://docs.aws.amazon.com/bedrock/latest/userguide/getting-started.html