LLM推論のUber。OpenRouterについて調べた。

Read this post in English
目次

近年、大規模言語モデル(LLM)は私たちのデジタル生活に深く浸透し、その進化の速度は目覚ましいものがあります。しかし、多様なモデルや推論環境の提供者(プロバイダ)が登場する中で、企業や開発者はどのモデルを、どのプロバイダから、どのような条件で利用すべきかという、複雑な課題に直面しています。

例えば、企業が顧客サポート用のチャットボットを構築する場合を考えてみましょう。

  • どのモデルを選ぶか?: 顧客の質問に迅速に答えるための高速な応答性が必要か、それとも複雑な問い合わせにも対応できる高い推論能力が求められるか? GPT-3.5のような軽量モデルで十分か、それともGPT-4やClaude 3のようなより高性能なモデルが必要か? 特定の業界に特化したカスタムモデルが必要なケースもあるでしょう。

  • どのプロバイダを選ぶか?: 大手クラウドプロバイダ(AWS, OpenAI, Anthropic, Google Cloudなど)の安定したサービスを利用するか、それともよりニッチな専門プロバイダ(特定のオープンソースモデルに特化したプロバイダなど)のコスト効率や特定機能に魅力を感じるか? 各プロバイダのリージョン、SLA(サービスレベル合意)、そしてサポート体制も重要な選定基準となります。

  • どのような条件で利用できるか?: コスト(トークン単価、従量課金か定額か)、レイテンシ(応答速度)、スループット(処理能力)、レートリミット(API呼び出し制限)はもちろんのこと、データのプライバシー保護、セキュリティ、そして契約や法的なコンプライアンス要件(GDPR、CCPA、日本の個人情報保護法など)も考慮しなければなりません。

こうした多岐にわたる選択肢の中から、プロジェクトの要件に最も合致する最適な組み合わせを見つけ出すことは、専門知識と継続的な調査を要する作業となっています。そんな中、「LLM推論基盤のUber」とでも言うべき、非常にユニークな立ち位置のサービスが存在します。それがOpenRouterです。

OpenRouterThe unified interface for every model. Find the best models & prices for your promptsOpenRouter · openrouter.ai

OpenRouterとは何か?

OpenRouterは、一言で言えばLLM推論のためのプロキシサービスです。基本的なコンセプトは、OpenAIのAPIに準拠する形でAPIが提供されてさえいれば、あらゆるLLMモデルや推論プロバイダに対してリクエストを中継するというものです。これにより、開発者は共通のインターフェースを通じて、複数の異なるLLMとそのプロバイダにアクセスできるようになります。また、複数のプロバイダからの請求を一元的に管理し、決済をまとめられます。

プロバイダ側から見たOpenRouterの利用条件については、公式ドキュメントに詳しい情報が提供されており、このサービスの性質を理解する上で非常に参考になります。

このサービスの核となるのは、以下のような機能です。

フォールバック

OpenRouterの最も魅力的な機能の一つに、モデルおよび推論プロバイダのフォールバック機能があります。例えば、主要モデルとしてGPT-4を設定し、もしGPT-4のAPIが応答しない、あるいは何らかの理由で利用できない場合、自動的にClaude 3などの代替モデルに切り替えることができます。これは、サービスの安定稼働を確保する上で有用な機能であり、ダウンタイムのリスクを軽減します。

ただ、このフォールバック機能でプロバイダではなくモデルを切り替える場合、切り替え対象となるモデル間にある程度の互換性があることが前提となります。異なるモデル間では、同じプロンプトを与えても応答の精度や傾向が大きく異なる場合があります。そのため、フォールバックの対象となるモデルを選ぶ際には、単に技術的な互換性だけでなく、ビジネス要件やユーザー体験に与える影響も考慮し、応答の品質やスタイルが許容範囲内であるかを評価することが重要です。

モデルとプロバイダの分離による柔軟性

OpenRouterの世界では、モデルとプロバイダが分離して存在しています。例えば、オープンソースで公開されている重みを持つモデル(オープンウェイトなモデル)は、OpenRouterに登録されている様々な推論プロバイダを通じて利用可能です。これは、特定のプロバイダにロックインされることなく、ユーザーが利用したいモデルを、その時々で最適なプロバイダ経由で利用できるという自由度と安定性をもたらします。

プロバイダルーティング

OpenRouterの真骨頂は、そのインテリジェントなプロバイダルーティングにあります。OpenRouterは、多数のプロバイダのトークンあたりの価格、スループット、レイテンシ、稼働状況(ダウン情報)などのリアルタイムデータを把握しています。この情報を基に、ユーザーのリクエストに対して最もパフォーマンスが高く、コスト効率の良いプロバイダを動的に選択し、ルーティングを実行します。

OpenRouterが解決する課題とユースケース

「そんなに頻繁にモデルを変更したいことなんてあるのか?」という疑問は当然湧いてくるかもしれません。しかし、OpenRouterは以下のような具体的な課題を解決します。

  • レートリミット対策としてのフォールバック: 特定のプロバイダやモデルのレートリミットに達した場合でも、自動的に別のプロバイダやモデルに切り替えることで、アプリケーションの継続性を保つことができます。

  • 最適な価格とスループットの追求: さまざまなプロバイダが提供するモデルの価格やスループットをリアルタイムで比較し、その時点で最も最適な条件で利用することが可能になります。

  • 簡単なコードでのモデルベンチマーク: 複数のモデルやプロバイダを試す際に、コードを頻繁に変更する必要がなく、共通のインターフェースを通じて容易にベンチマークを行うことができます。これは、新しいLLMの性能評価や、特定のタスクに最適なモデルを見つける上で非常に有用です。

OpenRouterの課題と懸念点

便利そうなサービスであるOpenRouterですが、一方でいくつかの課題や懸念点も内包しています。

リージョンと機密情報に関する懸念

OpenRouterのインフラは、おそらく米国に存在すると考えられます。そのため、極めて機密性の高い顧客データや企業秘密など、データ主権やコンプライアンス要件が厳しい情報は、現時点ではOpenRouter経由でLLMに渡すのは難しい可能性があります。 理想的には、OpenRouterのインフラが日本国内に存在し、さらにプロバイダールーティングにおいて、特定のリージョン(例えば日本国内など)に絞り込む機能が求められます。プロバイダ向けの申し込みフォームには推論基盤の場所(国)を記入する欄があるため、OpenRouter側でこうした機能を提供することは技術的に可能であるはずです。ただ、最近は大手のクラウドベンダでも日本リージョンでの最新モデルの提供を見送る傾向があるので、気にしすぎても仕方ない側面もあります。

プロバイダの信頼性に関する懸念

OpenRouterのサービスを利用する上で、最も根深い懸念の一つは「そもそも、OpenRouterがルーティングしたプロバイダが、指定されたモデルで本当に推論を実行したのかを確かめるすべがない」という点です。大手クラウドベンダーにおいても同様の問題は存在しますが、そこは結局のところ、その企業のブランドやこれまでの実績に対する信用に依存しています。

もちろん、プロバイダをホワイトリストで指定する機能は提供されていますが、それでも、ある程度の数のプロバイダにプロンプト情報を流すことを前提としないと、OpenRouterの真価を発揮できません。聞いたこともないプロバイダが「ちゃんと指定のモデルを使ってます。プロンプトは記録しません。学習に利用しません。」と言ったところで、それをどうやって信用したらいいのでしょうか?OpenRouterがプロバイダをどのように審査しているのか、その基準が不明確であることも課題となります。

そのため、ある程度セキュアに利用したい場合は、ユーザー自身がプロバイダの与信チェックのようなものを行う必要があります。「処理を実行する会社って、そんな気軽にコロコロ変えていいものですか?」という、データ処理の安全性と信頼性に関する問いかけが、OpenRouterの利用を検討する私たちに投げかけられています。

割引プランとの兼ね合い

大手クラウドプロバイダ(AWSなど)は、利用量が増える企業に対して、プロビジョニングスループットやリザーブドインスタンスのような、特定の期間やスループットを約束することで単価を大幅に割引するプランを提供しています。しかし、OpenRouterのようなプロキシサービスを介して複数のプロバイダを動的に切り替える運用形態では、これらの割引プランを活用しにくいという課題があります。特定のプロバイダに利用量を集中させないため、割引が適用されるほどの利用量を一箇所で確保することが難しくなるためです。

現状、OpenRouter自体には、利用量に応じたボリュームディスカウントや長期利用割引といったプランは提供されていません。結果として、個別のプロバイダと直接契約した場合と比較して、トータルコストが高くなる可能性も考慮に入れる必要があります。

OpenRouterの根底にある思想

OpenRouterのサービス設計は、ある2つの仮定に基づいています。

その一つは、「そのときの情勢によって、同じモデルであってもプロバイダごとに価格もサービスレベル(レートリミットなど)も変わり得る」という仮定です。これは、LLM推論の安定供給がすぐには実現しないという見方とも言えるでしょう。

もう一つは、LLMは今後、様々な企業から多様な条件で提供されるようになり、それらのモデル間には高い「相互互換性」があるはずだ、という仮定です。

このような状況において、毎回アプリケーションのコードを変更してモデルやプロバイダを切り替えるよりも、共通のインターフェースからモデルやプロバイダを簡単かつ自動的にルーティングできる仕組みが必要である、という考え方がOpenRouterの根幹にあります。

しかし、大手クラウドベンダーが、徐々に安定的な供給と競争力のある価格設定を実現していく可能性は十分に考えられます。また、そうした大手ベンダーがOpenRouterと同様のプロキシ/ルーティング機能を自社のサービスとして提供し始める可能性も否定できません。そうなった場合、OpenRouterが長期的に競争優位性を保てるのか、という疑問も残ります。

まとめ

OpenRouterは、LLM推論の安定性向上と最適化という点で非常に魅力的なソリューションを提供しています。特に、モデルのフォールバック機能やインテリジェントなルーティングは、LLMを活用するアプリケーションの堅牢性と効率性を高める上で大きな価値を持ちます。

一方で、プロバイダの透明性と信頼性に関する懸念は、特に機密性の高いデータを扱う企業にとって、依然として大きなハードルとなります。大部分の企業や開発者にとっては大手クラウドベンダが提供する推論基盤で十分ということもあり得るでしょう。

この記事がみなさまサービス選定のお役に立てれば幸いです。