[GCP] Vertex AI: Gemini 사용해보기

#GCP

얼마전에 주작영상까지 뿌리면서 욕을 대차게 먹었던 Gemini다.

GCP에서 API를 통해서 사용할 수 있다. 서비스 탭은 Vertex AI다.

비용

https://cloud.google.com/vertex-ai/docs/generative-ai/pricing
현재는 프리뷰라서 1분에 60번까지 무료로 사용할 수 있고, 유료 요금은 2024.01.15부터 적용된다고 한다.

비싼가? 싼가?
금액 단위가 작긴 한데 체감이 잘 되지는 않는다.

들어가면

뭐 이렇게 뜬다.

진입하면 이런저런게 있는데, 여기서 우리가 Gemini를 쓰기 위해 필요한건 "Vertex AI Studio"다.

멀티모달

여기서 멀티모달에 들어가면 프롬프트를 열어서

바로 대화를 시도해볼 수 있다.

한국말고 되고

이미지 분석도 된다.

글씨도 읽는다.
근데 이게 구글 OCR보다 나은게 있나?

정확도는 잘 모르겠지만, 속도는 꽤 빠른 편인 것 같다.

API로 사용하기: 멀티모달

인증 구성이 되어있지 않다면 먼저 해준다.
https://blog.naver.com/sssang97/223295775358

우상단의 버튼을 누르면 바로 "코드 가져오기"로 어떻게 사용해야할지 대략은 알려준다.

근데 좀 부실한게 있어서 그대로만 하면 잘 안되더라

나는 든든한 국밥인 파이썬으로 돌려보겠다.

먼저 아래 디펜던시를 설치해준다.

pip install --upgrade google-cloud-aiplatform

그리고 아래와 같이 코드를 작성해준다.

import os
import vertexai
from vertexai.preview.generative_models import GenerativeModel, Part

def generate(message: str):
  model = GenerativeModel("gemini-pro-vision")
  responses = model.generate_content(
    message,
    generation_config={
        "max_output_tokens": 2048,
        "temperature": 0.4,
        "top_p": 1,
        "top_k": 32
    },
  stream=True,
  )

  for response in responses:
      print(response.candidates[0].content.parts[0].text)

os.environ['GOOGLE_APPLICATION_CREDENTIALS'] = '/home/myyrakle/.co...'
vertexai.init(project='banded-nuance-408414')

generate("안녕?")