from litellm import completion
resp = completion(
model="gpt-4o", # または "azure/gpt-4o", "anthropic/claude-3-5-sonnet", "gemini/gemini-1.5-pro"
messages=.
- 上記クイックスタートコードを実行。
- 目標：LiteLLM経由で最初のOpenAI互換リクエストを送信。
- 実践開発者向け
- DataCampチュートリアルでストリーミングやリトライ機能を追加拡張。
- プロバイダーを2つ追加し、フォールバックを検証。
- チーム／本番担当者向け
- 公式Getting Startedを熟読。
- プロキシを立て、可観測性とコスト管理を導入。
- レート制限とPIIマスキングポリシーを適用。
—
## 深掘り：週次で使うパターン
### OpenAI互換性をインターフェース契約として活用
- OpenAIのAPI形式をアプリの契約とみなし、すべてのリクエストはLiteLLMプロキシの`/v1/*`エンドポイントへ。
- コード変更なしに設定だけでモデル切替(`gpt-4o` → `claude-3-5`など)。
### ユースケース別モデルルーティング
- レイテンシ重視：高速・低コストモデルにルーティング。
- 推論重視：高品質モデルでRAGやツール利用。
- プライバシー重視：PII処理はローカルやOllamaへ。
### コスト管理ガードレール
- リクエストに`user_id`や`team`タグを付与。
- チーム・モデルごとに予算設定。
- トークン使用量を集中ログに記録し異常検知。
### 耐障害性
- ジッター付きリトライを有効化。
- プロバイダー別タイムアウトと連続失敗時のサーキットブレーカー設定。
- プロバイダー優先順位と明示的フォールバックの定義。
### 可観測性
- リクエスト／レスポンスのメタデータ取得、レイテンシヒストグラム、モデル・バージョンなど。
- ログ内の秘密情報やPIIのマスキング。
- 複数サービスにまたがるトレース相関で遅延要因を迅速に特定。
—
## LiteLLMプロキシ設定例（本番対応スターター）
```yaml
# config.yaml
model_list:
- model_name: gpt-4o
  litellm_params:
    model: openai/gpt-4o
    api_key: ${OPENAI_API_KEY}
- model_name: claude-3-5-sonnet
  litellm_params:
    model: anthropic/claude-3-5-sonnet
    api_key: ${ANTHROPIC_API_KEY}
- model_name: gemini-1.5-pro
  litellm_params:
    model: google/gemini-1.5-pro
    api_key: ${GOOGLE_API_KEY}
defaults:
  timeout: 30s
  max_tokens: 1024
routing:
- name: low-latency
  models: .
- 実践的で例示中心の記事。
- 公式LiteLLMドキュメントの入門とプロキシのベストプラクティス。
—
## アクションプラン：次の7日間
Day 1–2: クラッシュコースとクイックスタートを行い、最初のプロキシ経由リクエストを実施。
Day 3–4: 2つ目のプロバイダーとストリーミングを追加し、タイムアウト・リトライ設定。
Day 5: プロキシの立ち上げとユースケース別ルーティング（レイテンシ優先 vs 推論優先）。
Day 6: ロギング、コスト追跡、マスキングの導入。
Day 7: 負荷テスト、プロバイダー障害のシミュレーション、フォールバック検証。
—
## 重要ポイントまとめ
- LiteLLMはベンダーロックインなしでマルチプロバイダーLLMアプリを最速で構築可能。
- 最初はOpenAI互換インターフェースで始め、その後プロキシによるガバナンス機能を導入。
- ルーティング、耐障害性、可観測性へ早期投資を。使い始めるのは2週目であり、6ヶ月後ではありません。
- 紹介したチュートリアルは日常で使う80％をカバー。残りはあなたのプロダクトの秘訣です。
### よくある質問
Q1: 初心者に最適なLiteLLMチュートリアルは？
まずYouTubeのLiteLLMクラッシュコースで概要を掴み、公式のGetting Startedガイドでプロキシを学習。DataCampの実践例もコピペで使いやすいです。
Q2: LiteLLMをOpenAI互換プロキシとして使うには？
LiteLLMプロキシを起動し、SDKのベースURLをプロキシの`/v1`エンドポイントに設定。プロバイダー情報はLiteLLMの設定ファイルに保管し、アプリコードは移植性を保ちます。
Q3: LiteLLMはOpenAI、Anthropic、Gemini間のルーティングを自動で行えますか？
はい。LiteLLM設定でモデルとルーティング戦略を定義し、レイテンシ、コスト、品質に応じてプロバイダー切り替えが可能です。信頼性向上のためフォールバック設定もできます。
Q4: LiteLLMでストリーミングやツール・関数呼び出しを有効にする方法は？
LiteLLMのOpenAI互換APIを使い、`stream=True`（またはSDKのSSE）を有効化。関数呼び出しはOpenAIのフォーマットに従い、LiteLLMがターゲットプロバイダーへ転送します。
Q5: LiteLLMでコストを最速でコントロールする方法は？
リクエストをプロキシ経由で集約し、利用ログを有効に。キーごとのレート制限や予算を設定し、コスト最適化モデルへのルーティングを行い、バージョン固定で予期せぬコスト増を防ぎます。