# pip install litellm
from litellm import completion
response = completion(
model="gpt-4o", # ili "anthropic/claude-3.5-sonnet", "google/gemini-1.5-pro" itd.
messages=.
## LiteLLM vs. OpenRouter
OpenRouter objedinjuje mnoge modele iza jednog tokena i nudi jednostavno usmjeravanje, javna ograničenja brzine i tržišni pristup. S druge strane, LiteLLM je open-source i često radi u vašoj infrastrukturi.
- Kontrola: LiteLLM vam daje privatnu kontrolu; OpenRouter je upravljani agregator.
- Transparentnost troškova: S LiteLLM-om koristite vlastite ključeve; s OpenRouterom plaćate OpenRouter koji može uključiti dodatne naknade.
- Usklađenost: Samostalno hostanje LiteLLM-a olakšava podatkovnu rezidenciju i poštivanje pravila.
TrueFoundry analiza razlikuje LiteLLM i OpenRouter te pojašnjava kada je koji alat prikladniji.
## Usporedba s LangChain i LlamaIndex
- LangChain: Širi orkestracijski okvir (lanac, agenti, alati, memorija). LiteLLM se može koristiti unutar LangChaina za apstrakciju modela.
- LlamaIndex: Okvir orijentiran na podatke za RAG. LiteLLM može funkcionirati kao LLM sloj ispod.
- Izvorni SDK-ovi (OpenAI, Anthropic, Google): Najbolji za potpune i najnovije značajke; loši za prebacivanje između dobavljača.
Ako trebate samo izmjenjivost modela i čisto upravljanje, LiteLLM je specijalizirani alat. Za agenate ili složenije RAG pipelineove, koristite LiteLLM s LangChainom ili LlamaIndexom.
## Performanse i pouzdanost
- Latencija: Minimalni dodatni troškovi u odnosu na izravne pozive, no logika usmjeravanja/proxyja dodaje malu naknadu. U zamjenu dobivate rezervne opcije i kontrolu pravila.
- Pouzdanost: Centralizirani pokušaji ponovno + rezervni dobavljači poboljšavaju dostupnost u produkciji.
- Optimizacija troškova: Koristite jeftinije modele za rutinske zadatke; premium modele za kritične dijelove.
Savjet: Uključite logove i praćenje. Mnogi timovi prosljeđuju LiteLLM logove u svoje sustave za preglednost.
## Sigurnost i usklađenost
- Upravljanje ključevima: Sigurno pohranjujte ključeve dobavljača, koristite varijable okoline ili sigurnosne trezore.
- Revizija: Centralizirani proxy zapisuje upite, metapodatke odgovora i troškove.
- Rukovanje podacima: Samostalno hostanje pomaže u poštivanju zahtjeva o rezidenciji i privatnosti.
## Cijene i licenciranje
- LiteLLM je open-source; plaćate izravno dobavljače. To često znači manji zaključenost, jasnije troškove i slobodu prebacivanja.
- Operativni trošak: Ako pokrećete proxy, planirajte budžet za uslugu (kontejnere, nadzor, dežurstva).
## Kada odabrati LiteLLM
Odaberite LiteLLM ako želite:
- Podršku za više dobavljača sada ili uskoro
- Centralizirane ograničenja brzine, budžete i preglednost
- OpenAI-stil ergonomiju u cijelom sustavu
- Rezervne opcije za produkcijsku pouzdanost
Razmislite o alternativama ako:
- Koristite samo jednog dobavljača s najsuvremenijim značajkama
- Trebate duboke, dobavljački specifične mogućnosti odmah pri lansiranju
- Ne želite upravljati gateway uslugom
## Obrasci implementacije koji djeluju
1) Jednostavna apstrakcija za jednu aplikaciju
- Koristite Python SDK
- Konfigurirajte 1–2 rezervna modela
- Logirajte odgovore i troškove u telemetriju aplikacije
2) Gateway za cijelu organizaciju
- Pokrenite proxy u Kubernetesu ili ECS-u
- Provodite organizacijska ograničenja brzine i kvote
- Označavajte zahtjeve prema timu/projektu za naplatu
- Dodajte politike usmjeravanja (npr. jeftine zadane ili točne za produkcijske dijelove)
3) RAG + LiteLLM
- Koristite LlamaIndex/LangChain za logiku pretraživanja
- Uključite LiteLLM kao sloj modela za fleksibilnost dobavljača
## Iskustvo programera: prednosti i izazovi
- Prednosti: Jednostavna migracija iz OpenAI SDK-a, široka podrška modela, rezervne opcije.
- Izazovi: Povremene specifične manjkavosti kod dobavljača; paritet poziva alata/funkcija može biti nepotpun. Pratite bilješke o izdanjima i koristite fiksirane verzije radi stabilnosti.
Zajednica programera traži veću inženjersku rigoroznost u brzo mijenjajućim LLM knjižnicama; to je korisna perspektiva i za LiteLLM.
## Presuda: vrijedi li koristiti LiteLLM?
LiteLLM je jedan od najjednostavnijih načina za izgradnju multi-model strategije bez prepravljanja koda za svakog dobavljača. Ako vam u planu stoji fleksibilnost dobavljača, pouzdanost kroz rezervne opcije i kontrola troškova, LiteLLM je toplo preporučen. Ako ste potpuno posvećeni jednom dobavljaču i trebate svaku novu značajku odmah, koristite izvorno.
Usput, ako želite prijateljsko sučelje za eksperimentiranje s promptovima i modelima istovremeno, alat poput [Sider.AI](https://sider.ai) može ubrzati vaš rad dok evaluirate dobavljače – idealno za testiranje promptova i brze usporedbe prije nego što zaključate politike usmjeravanja.
## Brzi početni vodič
- Instalirajte LiteLLM SDK ili proxy
- Definirajte primarne i rezervne modele
- Postavite organizacijska ograničenja brzine i budžete
- Centralizirajte logove i praćenje
- Testirajte specifične značajke dobavljača (alati, slike, JSON načini)
- Fiksirajte verzije i dokumentirajte matricu modela
## Što dalje
- Dodajte provjere zdravlja i prekidače za svaki dobavljač
- Izradite A/B usmjerivač za usporedbu kvalitete i troškova modela u produkciji
- Kreirajte vodič za migraciju dodavanja/uklanjanja dobavljača
### Često postavljana pitanja
P1: Što je LiteLLM i zašto ga koristiti?
LiteLLM je open-source gateway i SDK koji omogućuje pristup 100+ LLM modela preko jednog, OpenAI-kompatibilnog API-ja. Koristite ga za jednostavno mijenjanje dobavljača, postavljanje rezervnih opcija i centralizaciju ograničenja brzine i praćenja troškova.
P2: Kako se LiteLLM uspoređuje s OpenRouterom?
LiteLLM je samostalno hostan i open-source, daje vam privatnu kontrolu vlastitim ključevima, dok je OpenRouter upravljani agregator. Izaberite LiteLLM za kontrolu i usklađenost, OpenRouter za brz pristup mnogim modelima.
P3: Može li LiteLLM zamijeniti LangChain ili LlamaIndex?
Ne. LiteLLM se fokusira na apstrakciju modela i usmjeravanje. Koristite ga zajedno s LangChainom ili LlamaIndexom ako trebate agente, lance ili RAG pipelineove uz fleksibilnost dobavljača.
P4: Podržava li LiteLLM rezervne opcije i ponovne pokušaje?
Da. Možete definirati lanac rezervnih dobavljača tako da, ako jedan ne uspije ili ograniči brzinu, LiteLLM automatski pokuša sljedeći model, što povećava pouzdanost u produkciji.
P5: Je li LiteLLM besplatan za korištenje?
LiteLLM je open-source i nema licence, ali platit ćete korištenje modela kod dobavljača. Ako pokrećete proxy, uračunajte operativne troškove za hosting i nadzor.