LiteLLM

SDKとプロキシ

Python SDKは、アプリケーション内のライブラリとしてモデルを呼び出すために用いられる。共通の関数で提供者とモデルを指定し、応答を統一した形式で受け取る。OpenAI、Anthropic、Vertex AI、Amazon Bedrockなどへの接続に対応する。ただし、OpenAI形式の引数の対応範囲は接続先のモデルによって異なり、未対応のものはエラーにするか、設定によって要求から除外する。

プロキシはアプリケーションとモデルの間に独立したサーバーとして配置する。クライアントは接続先をこのサーバーに設定し、OpenAI互換のAPIを通じて要求を送る。管理画面では、接続するモデル、仮想キー、利用状況、要求のログなどを管理する。この構成は、利用者側にOpenAI互換の接続点を示し、モデル名に応じて接続先へ要求を転送するリバースプロキシとしても説明される。

プロキシは、Model Context Protocol（MCP）に対応する外部ツールへの接続をまとめるゲートウェイとしても利用できる。複数のMCPサーバーのツールを共通の接続先から呼び出し、キーやチームごとに利用権限を管理する。

要求の振り分けと利用管理

要求の振り分けを担うルーターは、複数のモデルの稼働先に対する負荷分散を行う。要求が失敗した際の再試行や、別の稼働先・提供者に切り替えるフォールバック、タイムアウト、一時的に接続先を利用対象から外す処理などを備える。複数のサーバー間で利用制限や接続先の状態を共有する仕組みにはRedisを利用できる。

仮想キーは、ゲートウェイを利用するために発行する認証情報である。各キーにチーム、予算、利用可能なモデルを関連付けられ、管理画面からチーム・キー・モデルごとの費用や要求数、トークン数を確認できる。個々の要求についても費用、所要時間、利用したモデルなどを記録する。キー、利用者、チームごとの利用額の追跡にはデータベースを用い、モデルごとの単価と使用量から費用を算出する。

2026年3月のサプライチェーン攻撃

2026年3月24日、Python Package Indexに悪意のあるコードを含むLiteLLMの1.82.7と1.82.8が公開された。BleepingComputerは、セキュリティ企業Endor Labsの調査と同紙の解析を基に、これらが認証情報を盗むプログラムを含み、脆弱性検査ツールTrivyの侵害に続くTeamPCPの攻撃と関連すると報じた。

不正なプログラムはSSHの鍵、クラウドの認証情報、Kubernetesの秘密情報などを収集する。1.82.8には、LiteLLMを直接呼び出さなくてもPythonの起動時に実行される仕組みも含まれていた。両版はPyPIから削除された。AI向けの人材・データ事業を行うMercor（英語版）は、このLiteLLMに関係するサプライチェーン攻撃の影響を受けたと公表し、外部の専門家を交えた調査を進めているとした。

2026年10月のサプライチェーン攻撃

同年10月21日には配布工程が侵害され、認証情報を盗むプログラムと遠隔操作用のトロイの木馬を含む1.107.0がPyPIおよびコンテナの配布先へ公開された。The Recordが伝えたセキュリティ企業Wizの調査では、不正なパッケージはPyPI上で約2時間配布され、その間に約4万9000回ダウンロードされた。ただし同メディアの10月26日付の記事では、この版に関係する被害を公に認めた組織は確認されていないとしている。

開発元が10月23日に公表した原因調査によれば、5月27日に社内のエージェント実行基盤のマスターキーを誤って公開リポジトリに含め、該当するコミットを取り除いた後もキーを失効させていなかった。攻撃者は10月10日にそのキーで基盤へアクセスし、GitHubの組織所有者の権限を持つトークンを取得した。さらに別の保守担当者のトークンも盗み、複数の担当者による操作と承認を装って不正な版を公開したという。開発元は不正な配布物を取り下げるとともに、内部システムと外部サービスのトークンを失効させる対応を表明した。