# pip install litellm
from litellm import completion
response = completion(
model="gpt-4o", # vai "anthropic/claude-3.5-sonnet", "google/gemini-1.5-pro" utt.
messages=.
## LiteLLM pret OpenRouter
OpenRouter apvieno daudzus modeļus aiz viena tokena un piedāvā vienkāršu maršrutēšanu, publiskas likmju robežas un tirgus līdzīgu pieredzi. LiteLLM, savukārt, ir atvērtā koda un bieži darbojas jūsu infrastruktūrā.
- Kontrole: LiteLLM dod jums privātu kontroli; OpenRouter ir mitināts apvienotājs.
- Izmaksu pārredzamība: ar LiteLLM izmantojat savus piegādātāju atslēgas; ar OpenRouter maksājat OpenRouter, kas var iekļaut papildu maksas.
- Atbilstība: pašpārvaldes LiteLLM var vienkāršot datu atrašanās vietas un atbilstības prasības.
TrueFoundry salīdzinājums LiteLLM un OpenRouter uzsver šīs stratēģiskās atšķirības un piemērotības gadījumus.
## Kā tas salīdzinās ar LangChain un LlamaIndex
- LangChain: plašāks orķestrācijas ietvars (ķēdes, aģenti, rīki, atmiņa). LiteLLM var izmantot LangChain kā modeļu abstrakciju slāni.
- LlamaIndex: datu orientēts RAG (Retrieve-and-Generate) ietvars. LiteLLM var kalpot kā LLM slānis zem tā.
- Natīvie SDK (OpenAI, Anthropic, Google): labāk pilnai funkcionalitātei un jaunākajām iespējām, bet sliktāk piemēroti vairāku piegādātāju pārslēgšanai.
Ja vajadzīga tikai modeļu apmaiņa un vienkārša pārvaldība, LiteLLM ir specializēts rīks. Ja nepieciešami aģentu ietvari vai sarežģītas RAG plūsmas, kombinējiet LiteLLM ar LangChain/LlamaIndex.
## Veiktspēja un uzticamība
- Aizkave: minimāla papildus slodze salīdzinājumā ar tiešajiem izsaukumiem, bet maršrutēšanas un proxija loģika pievieno nelielu nodokli. Pretī iegūstat rezerves variantus un politiku kontroli.
- Uzticamība: centralizētas atkārtotas mēģināšanas un piegādātāju rezerves lieliski paaugstina ražošanas lietotņu darbspēju.
- Izmaksu optimizācija: maršrutējiet lētus modeļus ikdienas uzdevumiem; saglabājiet kvalitatīvos modeļus svarīgām vajadzībām.
Padoms: iekļaujiet žurnālus un izsekošanu. Daudzas komandas novirza LiteLLM vārtejas žurnālus savām novērošanas sistēmām.
## Drošības un atbilstības apsvērumi
- Atļauju pārvaldība: Glabājiet piegādātāju atslēgas droši, izmantojiet vides mainīgos vai drošas glabāšanas risinājumus (vaults).
- Auditatabilitāte: centrālais proxijs žurnālizē pieprasījumus, atbildes metadatus un izdevumus.
- Datu apstrāde: pašpārvalde palīdz nodrošināt datu atrašanās vietas un privātuma prasības.
## Cenu un licences informācija
- LiteLLM ir atvērtā koda; maksājat tieši piegādātājiem. Tas bieži nozīmē mazāku piesaisti, skaidrākas izmaksas un brīvību pārslēgties.
- Darbības izmaksas: ja izmantojat proxiju, paredziet resursus servisa uzturēšanai (konteineri, uzraudzība, dežūras). 
## Kad izvēlēties LiteLLM
Izvēlieties LiteLLM, ja:
- Nepieciešams atbalsts vairākiem pakalpojumu sniedzējiem tagad vai tuvākajā nākotnē
- Vēlaties centralizētus likmju ierobežojumus, budžetus un novērošanu
- Patīk OpenAI tipi ergonomika visiem modeļiem
- Vajadzīgi rezerves varianti ražošanas uzticamībai
Izvērtējiet citas iespējas, ja:
- Izsaucat tikai vienu pakalpojumu sniedzēju ar modernākajām funkcijām
- Vajadzīgas dziļas, specifiskas iespējas no pirmās dienas
- Nevēlaties darbināt vārtejas servisu
## Struktūras paraugi, kas labi darbojas
1) Vienkārša abstrakcija vienai lietotnei
- Lietojiet Python SDK
- Konfigurējiet 1–2 rezerves modeļus
- Žurnālojiet atbildes un izmaksas savas lietotnes telemetrijā
2) Organizācijas mēroga vārteja
- Darbiniet proxiju Kubernetes vai ECS platformā
- Ieviest organizācijas likmju un kvotu ierobežojumus
- Marķējiet pieprasījumus pēc komandas/projekta izmaksu sadalījumam
- Pievienojiet maršrutēšanas politikas (piemēram, zemu izmaksu noklusējumus, augstu precizitāti ražošanas ceļiem)
3) RAG + LiteLLM
- Lietojiet LlamaIndex/LangChain vaicājumu loģikai
- Pievienojiet LiteLLM kā modeļu slāni, lai saglabātu piegādātāju elastību
## Izstrādātāju pieredze: plusi un izaicinājumi
- Plusi: ļoti vienkārša migrācija no OpenAI SDK, plašs modeļu atbalsts, rezerves varianti.
- Izaicinājumi: dažkārt piegādātāja specifiskas īpatnības var parādīties; rīku un funkciju izsaukumu pilnība var būt nepilnīga. Sekojiet izlaidumu piezīmēm un fiksējiet versijas stabilitātei.
Izstrādātāju kopiena pieprasa stingrāku inženierijas disciplīnu strauji attīstošām LLM bibliotēkām; tā ir veselīga perspektīva jebkurai ieviešanai, arī LiteLLM.
## Spriedums: vai LiteLLM ir tā vērts?
LiteLLM ir viens no vienkāršākajiem veidiem, kā veidot daudzmodeļu stratēģiju, nepārrakstot kodu katram piegādātājam. Ja jūsu ceļvedī ir elastība attiecībā uz piegādātājiem, augsta darbspēja ar rezerves variantiem un izdevumu kontrole, LiteLLM saņem stingru ieteikumu. Ja esat pilnībā uzticējies vienam piegādātājam un vēlaties visas jaunās funkcijas pirmajā dienā, izvēlieties natīvo risinājumu.
Starp citu, ja vēlaties draudzīgu interfeisu eksperimentiem ar aicinājumiem un modeļiem paralēli, rīks kā <a href="https://sider.ai">Sider.AI</a> var paātrināt jūsu darbu, izvērtējot piegādātājus — noderīgi ātriem izmēģinājumiem un salīdzinājumiem pirms maršrutēšanas politiku fiksēšanas.
## Ātrā palaišanas kontrolsaraksts
- Uzstādiet LiteLLM SDK vai proxiju
- Definējiet galvenos un rezerves modeļus
- Iestatiet organizācijas likmju ierobežojumus un budžetus
- Centralizējiet žurnālus un izsekošanu
- Testējiet piegādātāja specifiskas funkcijas (rīkus, attēlus, JSON režīmus)
- Fiksējiet versijas un dokumentējiet savu modeļu matriksu
## Kā turpināt
- Pievienojiet veselības pārbaudes un slēdžus katram piegādātājam
- Izveidojiet A/B maršrutētāju kvalitātes un izmaksu salīdzināšanai ražošanā
- Sagatavojiet migrācijas plānu piegādātāju pievienošanai vai noņemšanai
### BUJ
J1: Kas ir LiteLLM un kāpēc to lietot?
LiteLLM ir atvērtā koda vārteja un SDK, kas ļauj izsaukt vairāk nekā 100 LLM modeļus caur vienu, OpenAI saderīgu API. To lieto, lai viegli pārslēgtu pakalpojumu sniedzējus, uzstādītu rezerves variantus un centralizētu likmju ierobežojumus un izmaksu uzskaiti.
J2: Kā LiteLLM salīdzinās ar OpenRouter?
LiteLLM ir pašpārvaldāms un atvērtā koda, nodrošinot privātu kontroli ar savām piegādātāju atslēgām, kamēr OpenRouter ir mitināts apvienotājs. Izvēlieties LiteLLM atbilstībai un kontrolei, OpenRouter — ātrai piekļuvei daudz modeļiem.
J3: Vai LiteLLM var aizvietot LangChain vai LlamaIndex?
Nē. LiteLLM koncentrējas uz modeļu abstrakciju un maršrutēšanu. Ja vajadzīgi aģenti, ķēdes vai RAG plūsmas ar piegādātāju elastību, kombinējiet to ar LangChain vai LlamaIndex.
J4: Vai LiteLLM atbalsta rezerves variantus un atkārtotas mēģināšanas?
Jā. Jūs varat definēt rezerves ķēdes, lai, ja viens piegādātājs neizdodas vai ierobežo izsaukumus, LiteLLM automātiski izmēģina nākamo modeli, uzlabojot uzticamību ražošanas slodzēs.
J5: Vai LiteLLM ir bezmaksas?
LiteLLM ir atvērtā koda un bez licences maksas, bet jāmaksā par modeļu izmantošanu piegādātājiem. Ja darbināt proxiju, iekļaujiet arī mitināšanas un uzraudzības izmaksas.