from litellm import completion
resp = completion(
model="gpt-4o", # veya "azure/gpt-4o", "anthropic/claude-3-5-sonnet", "gemini/gemini-1.5-pro"
messages=.
- Yukarıdaki quickstart kodunu çalıştırın.
- Amaç: LiteLLM üzerinden ilk OpenAI uyumlu isteğinizi yapmak.
- Pratik geliştirici
- DataCamp öğreticisini okuyun ve örnekleri streaming ve tekrar denemelerle genişletin.
- İki sağlayıcı ekleyin ve yedekleri test edin.
- Takım/üretim sorumlusu
- Resmi Başlangıç kılavuzunu inceleyin.
- Proxy’yi kurun, gözlemlenebilirlik ve maliyet takibini ekleyin.
- Oran limitlerini ve PII gizleme politikalarını uygulayın.
—
## Derinlemesine İnceleme: Haftalık Kullanacağınız Kalıplar
### OpenAI Uyumluluğu Arayüz Anlaşması Olarak
- OpenAI’nin API yapısını uygulamanızın sözleşmesi olarak kabul edin. Tüm istekler LiteLLM proxy’nizin `/v1/*` uç noktalarına gider.
- Modelleri (ör. `gpt-4o` → `claude-3-5`) kod değil konfigürasyon ile değiştirin.
### Kullanım Durumuna Göre Model Yönlendirmesi
- Gecikmeye duyarlı yol: hızlı ve ucuz modeller yönlendirilir.
- Akıl yürütme yolu: retrieval-augmented generation (RAG) ya da araç kullanımı için yüksek kaliteli modeller yönlendirilir.
- Gizlilik yolu: PII içeren kısımlar için yerel/Ollama modellerine yönlendirin.
### Maliyet Koruma Kalkanları
- İstekleri `user_id`/`team` ile etiketleyin.
- Takım/model bazında bütçeler belirleyin.
- Token kullanımını merkezi kayda yazın ve anormallikler için uyarı verin.
### Dayanıklılık
- Jitter ile tekrar denemeleri etkinleştirin.
- Sağlayıcı bazında zaman aşımı ve tekrarlayan hatalarda devre kesiciler yapılandırın.
- Sağlayıcı önceliklerini ve açık yedeklemeleri tanımlayın.
### Gözlemlenebilirlik
- İstek/yanıt meta verisi, gecikme histogramları ve model/sürüm bilgilerini kaydedin.
- Kayıtlarda gizli bilgileri/PII’yı gizleyin.
- Hizmetler arası izlemeleri korelasyon ile hızlı yavaş çağrıları bulun.
—
## Örnek LiteLLM Proxy Konfigürasyonu (Üretime Hazır Başlangıç)
```yaml
# config.yaml
model_list:
- model_name: gpt-4o
litellm_params:
model: openai/gpt-4o
api_key: ${OPENAI_API_KEY}
- model_name: claude-3-5-sonnet
litellm_params:
model: anthropic/claude-3-5-sonnet
api_key: ${ANTHROPIC_API_KEY}
- model_name: gemini-1.5-pro
litellm_params:
model: google/gemini-1.5-pro
api_key: ${GOOGLE_API_KEY}
defaults:
timeout: 30s
max_tokens: 1024
routing:
- name: low-latency
models: .
- Pratik, örnek odaklı bir makale.
- LiteLLM resmi dokümanları: başlangıç ve proxy en iyi uygulamaları.
—
## Eylem Planı: Önümüzdeki 7 Gününüz
1–2. Gün: Crash course ve hızlı başlangıcı yapın; ilk proxy isteklerinizi oluşturun.
3–4. Gün: İkinci sağlayıcı ve streaming ekleyin; zaman aşımı ve tekrar denemeleri ayarlayın.
5. Gün: Proxy’yi konfigürasyonla ayağa kaldırın; kullanım durumuna göre yönlendirme yapın (gecikme vs akıl yürütme).
6. Gün: Kayıt, maliyet takibi ve gizlemeyi ekleyin.
7. Gün: Yük testi yapın; sağlayıcı hatalarını simüle edin; yedeklemeleri doğrulayın.
—
## Önemli Noktalar
- LiteLLM, satıcı kilitlemesine takılmadan çoklu sağlayıcı LLM uygulamalarına en hızlı yoldur.
- OpenAI uyumlu arayüzle başlayın, sonra yönetişim için proxy’ye geçin.
- Erken dönemde yönlendirmeye, dayanıklılığa ve gözlemlenebilirliğe yatırım yapın — bunlara ikinci haftada ihtiyaç duyarsınız, altıncı ayda değil.
- Yukarıdaki öğreticiler günlük kullanacağınız içeriğin %80’ini kapsar; kalan ise ürününüzün gizli formülüdür.
### Sıkça Sorulan Sorular
S1: Yeni başlayanlar için en iyi LiteLLM öğreticisi hangisidir?
Hızlı görsel bir rehber için YouTube’daki LiteLLM Crash Course ile başlayın, ardından proxy için resmi Başlangıç kılavuzunu okuyun. DataCamp öğreticisi ise kolayca kopyalayabileceğiniz pratik örnekler sunar.
S2: LiteLLM’yi OpenAI ile uyumlu proxy olarak nasıl kullanırım?
LiteLLM proxy’yi çalıştırın ve SDK’nızın temel URL’sini proxy’nin `/v1` uç noktalarına yönlendirin. Sağlayıcı detayları LiteLLM konfigürasyonunda tutulduğu için uygulama kodunuz taşınabilir kalır.
S3: LiteLLM OpenAI, Anthropic ve Gemini arasında otomatik yönlendirme yapabilir mi?
Evet. LiteLLM konfigürasyonunda modelleri ve yönlendirme stratejilerini tanımlayarak gecikme, maliyet veya kaliteye göre sağlayıcı değiştirebilirsiniz. Güvenilirlik için yedekleme seçenekleri de ayarlayabilirsiniz.
S4: LiteLLM ile streaming ve araç/fonksiyon çağrısı nasıl etkinleştirilir?
LiteLLM üzerinden OpenAI uyumlu API’yi kullanın ve `stream=True` (veya SDK’nızda SSE) parametresini aktif edin. Araç/fonksiyon çağırımı için OpenAI fonksiyon çağrısı formatını takip edin — LiteLLM bunu hedef sağlayıcıya iletir.
S5: LiteLLM ile maliyetleri kontrol etmenin en hızlı yolu nedir?
İstekleri proxy’den geçirerek merkezileştirin, kullanım kaydını etkinleştirin ve anahtar bazında oran limitleri ile bütçeleri uygulayın. Farklı iş yüklerini maliyet optimize modellerine yönlendirin ve sürümleri sabitleyin, sürprizleri önleyin.