[LLM] OpenRouter

OpenRouter는 대표적인 LLM 되팔이 솔루션 중 하나다.
직접 모델을 제공하지는 않고, 단일 엔드포인트에 여러가지의 모델을 붙여서 쓰게 해준다.

AI 프록시 같은 계층이다.
https://openrouter.ai/

지향점

모든 AI 모델들을 단일 서비스에서, 한번만 결제하고 편하게 쓸 수 있게 해주겠다는 것이다.
여기에는 오픈모델들도 포함된다.

단, 자기들이 직접 모델 인프라를 제공하는 것은 없다. API를 대신 호출해주고 통합 인터페이스만 제공해주는 것이다. OpenAI,Claude 프로토콜을 모두 지원한다.

모델 목록

거의 모든 모델을 지원한다.
특히 새로운 오픈모델이 나왔을때 그걸 테스트해보기 좋은 편이다. 이런건 하나하나 직접 띄우거나 결제해가면서 쓰기도 번거롭기 때문이다.

그리고 오픈모델은 Provider가 여러개 있다.

오픈라우터가 알아서 빠르고 살아있는 제공자를 골라서 쏘기 때문에 자세히 알 필요까지는 없다.

편의기능

Openrouter는 모델을 선택하고 사용하는데 있어서 다양한 편의기능을 제공한다.

이렇게 모델별로 비교하는 것도 지원하고

벤치마크도 볼 수 있고

모델별 사용량 랭킹도 있다.

비용

당연히 얘들이 공짜로 일하지는 않는다.
크레딧 충전 시점에서 수수료를 5.5% 떼먹는다.

https://openrouter.ai/pricing
무료 사용량도 제법 있는 편이라서, 가벼운 실험 정도는 공짜로 돌려볼 수 있다.

사용

자체 채팅 페이지도 따로 있다. 모든 모델에 연결 가능하고, 모델 자동 선택도 있다.

일단 날려보니까 GEMINI Lite를 쓰더라.

당연히 모델도 골라서 쓸 수 있는데

무료로 쓸 수 있는 모델이 있고 못쓰는 것이 정해져있다.

다른 시스템이나 에이전트에 통합해서 쓰기를 원한다면, API Key를 뽑아서 쓰면 된다.

만들고, 그냥 가져다가 쓰면 된다.
어렵지 않다.

그리고 전용 클라이언트 라이브러리도 제공한다.

특정 모델 프로토콜에 로직이 종속되기를 원하지 않는다면 이 또한 괜찮은 사용 방법이다.

되팔이(reseller) vs 게이트웨이

이렇게 여러개의 LLM을 묶어서 쓸 수 있게 해주는 계층에는 2가지가 있다.

하나는 아예 돈도 대신 받고 알아서 대신 쏴주는 되팔이가 있고, 아니면 그냥 키만 받고 대신 라우팅만 해주는 하는 게이트웨이 계층이 있다.

전자가 OpenRouter 같은 서비스고, 후자가 Cloudflare의 AI Gateway 같은 것이다.
전자는 추가 요금을 받는 대신 많은 지점들을 대신 관리하고 책임져줘서 사용이 편리하다. (특히 오픈모델의 multi provider 관리 등).
후자는 직접 다 관리해야 하는데 그냥 묶어서 단일 엔드포인트 라우팅이 된다는 정도의 이점만 있다. 통합 관리나 추적/제한 이상의 의미는 없다. 대신 비용은 독립적이다.

참조
https://daleseo.com/openrouter/
https://openrouter.ai/docs/quickstart