Kako uporabljati Open WebUI: prijazen vodnik po korakih za hitrejše delovne tokove umetne inteligence
Če ste si kdaj želeli, da bi imel ChatGPT prilagodljiv dvojček, ki bi ga gostili sami in ga lahko povezali z lastnimi modeli in podatki, je Open WebUI točno to. Je sodoben, lahek vmesnik za klepet z lokalnimi ali oddaljenimi velikimi jezikovnimi modeli (LLM), upravljanje pozivov, ustvarjanje delovnih tokov RAG (Retrieval-Augmented Generation) in sodelovanje s člani ekipe – vse iz vašega brskalnika.
V tem praktičnem, na rešitve usmerjenem vodniku vas bomo vodili skozi uporabo Open WebUI od začetka do konca: možnosti nastavitve, povezovanje z Ollama ali API-ji, upravljanje modelov, ustvarjanje tokov pridobivanja, zavarovanje vaše instance in nekaj nasvetov strokovnjakov. Do konca boste lahko izvajali zmogljive delovne tokove umetne inteligence pod svojimi pogoji – hitro.
Kaj je Open WebUI (in zakaj ga uporabljati)?
Open WebUI je spletni vmesnik za LLM, ki ga lahko gostite sami. Predstavljajte si ga kot ukazno središče za vaše interakcije z umetno inteligenco – prinesite svoje modele (lokalne ali v oblaku), oblikujte pozive za večkratno uporabo, dodajte svoje dokumente in sodelujte prek čistega, intuitivnega uporabniškega vmesnika. Še posebej je priljubljen pri razvijalcih, podatkovnih ekipah in uporabnikih, ki se zavedajo zasebnosti in želijo nadzor, razširljivost in hitrost.
Ključni razlogi, zakaj se ljudje odločajo za Open WebUI:
- Imejte svoje podatke v lasti: Izvajajte lokalno ali na svojem strežniku.
- Prilagodljive zaledne storitve: Povežite se z lokalnimi pogoni, kot je Ollama, ali oddaljenimi ponudniki prek API-ja.
- Pripravljeno za delovni tok: RAG, orodja, vdelave in strukturirani pozivi.
- Administrativni nadzor: Upravljanje ključev API, preverjanje pristnosti in konfiguracija okolja.
Najhitrejši način za začetek: hitri začetek z Dockerjem
Če ste seznanjeni z Dockerjem, lahko začnete delovati v nekaj minutah.
docker pull ghcr.io/open-webui/open-webui:main
docker run -d --name open-webui -p 3000:8080 ghcr.io/open-webui/open-webui:main
- Odprite brskalnik in obiščite
Pristali boste v uporabniškem vmesniku, ustvarili skrbniški račun in pripravljeni ste za povezovanje modelov.
Nasvet: Za trajno shranjevanje in spremenljivke okolja (kot so omejitve ključev API in preverjanje pristnosti) preklopite na docker-compose.yml, da boste lahko čisto namestili nosilce in definirali konfiguracijo.
Povezovanje z modeli: lokalni (Ollama) ali API-ji v oblaku
Open WebUI ni odvisen od zaledne storitve. Lahko:
- Uporabite Ollama za lokalno izvajanje modelov (npr. Llama 3, Phi-3, Mistral). To je odlično za zasebnost in delo brez povezave.
- Uporabite API-je v oblaku, kot so OpenAI, Anthropic, Google ali drugi prek ključev API.
Možnost A: Uporabite Ollama lokalno
- Namestite Ollama (macOS, Linux, Windows)
- Obiščite ` za namestitev.
llama3 lahko zamenjate z modeli, kot so mistral, phi3 ali llama3:instruct, odvisno od vaših potreb.
- Zagotovite, da lahko Open WebUI doseže lokalno končno točko Ollama (običajno `).
- V Open WebUI pojdite na Admin Settings → Connections → Ollama
- Dodajte končno točko, izberite privzete modele in preizkusite povezavo.
Zdaj lahko klepetate z lokalnimi modeli neposredno v brskalniku.
Možnost B: Uporabite ponudnike v oblaku prek ključev API
- V Admin Settings → Providers (ali API/Keys)
- Dodajte ključe za OpenAI, Anthropic ali Google.
- Izberite privzeti model za posameznega ponudnika
- Na primer:
gpt-4o-mini (OpenAI), claude-3-haiku (Anthropic) ali gemini-1.5-flash (Google).
- Uveljavite omejitve hitrosti, obsege uporabe ali ključe za posameznega uporabnika, odvisno od nastavitve vaše ekipe.
Ta hibridni pristop (lokalno + oblak) je pogost: hitri osnutki na lokalnih modelih, nato pa izpopolnite z modelom v oblaku, ko je to potrebno.
Vaš prvi klepet: pozivi, načini in priloge
Ko je model povezan, začnite nov klepet. Nekaj osnovnih stvari:
- Predloge pozivov: Shranite pogosto uporabljena navodila (sistemske pozive), kot je »Ste moj mentor za Python – razložite s primeri in testi.«
- Načini: Preklapljajte med ustvarjalnimi, jedrnatimi ali tehničnimi slogi s prilagajanjem sistemskih pozivov ali temperature.
- Priloge: Naložite datoteke (PDF, TXT, CSV), na katere se model sklicuje. Za velike ali ponavljajoče se zbirke podatkov ustvarite bazo znanja z vdelavami (glejte RAG spodaj).
Nasvet strokovnjaka: Organizirajte klepete po projektih. Uporabite oznake, kot so #docs, #code ali #analysis, da boste prihodnje stvari hitro našli.
Zgradite RAG v nekaj minutah: znanje, vdelave in iskanje
RAG (Retrieval-Augmented Generation) omogoča, da vaš model odgovarja na vprašanja z vašo vsebino (dokumenti, zapiski, pravilniki, koda). Tukaj je opisano, kako ga sestaviti:
- Ustvarite bazo znanja (KB)
- V stranski vrstici ustvarite novo bazo znanja ali »Zbirke«.
- Naložite dokumente: PDF, markdown, HTML ali besedilne datoteke.
- Izberite zaledno storitev za vdelave (lokalno prek Ollama, če imate model za vdelave, ali ponudnika v oblaku prek API-ja).
- Indeksirajte svoje dokumente; večji kompleti lahko trajajo nekaj minut.
- Omogočite pridobivanje v klepetu
- V klepetu preklopite pridobivanje in izberite svojo bazo znanja.
- Zastavite vprašanja, kot so »Povzemite naš pravilnik o uvajanju in navedite elemente dejanj« ali »Katere izjeme dovoljujemo v varnostnem pravilniku?«
- Preglejte vire, izpopolnite svoje dokumente, prilagodite velikost razčlenjevanja in ponovno vdelajte, če se vam zdijo odgovori napačni.
Nasvet strokovnjaka: Vzdržujte ločene baze znanja za natančnost (npr. »Marketinško besedilo«, »Pravni pravilniki«, »Navodila za uporabo«). To zmanjšuje nepomembna pridobivanja.
Dejanja, orodja in delovni tokovi
Open WebUI podpira interakcije, ki jih poganjajo orodja, tako da lahko model »dela stvari«, ne samo klepeta. Odvisno od vaše nastavitve lahko:
- Kličete funkcije/orodja, ki jih definirate (npr. zaženete skript, pridobite URL, poizvedujete po bazi podatkov).
- Uporabite delovne tokove sistemskih pozivov za strukturiranje nalog, ki imajo več korakov.
- Dodate vtičnike/razširitve, če jih vaša uvedba podpira.
Primer: delovni tok »Kratek opis vsebine«
- 1. korak: Zaprosite model, da iz teme izvleče ključne besede.
- 2. korak: Raziščite prek spletnega orodja (če je omogočeno) in povzemite vire.
- 3. korak: Pripravite oris + različice naslovov.
- 4. korak: Ustvarite kratko/dolgo različico.
Shranite te korake v predlogo za večkratno uporabo, da jih lahko vaša ekipa izvaja z enim klikom.
Upravljanje modelov kot profesionalec
- Več privzetih vrednosti: Nastavite privzete vrednosti za posamezen delovni prostor ali klepet (npr. hiter lokalni za razmišljanje, natančen oblak za končno kopijo).
- Kartice modelov: Dokumentirajte, kaj vsak model počne najbolje – »Uporabite Llama 3 za kodo, Mistral za jedrnate povzetke.«
- Naloge v paketih: Uporabite daljše sistemske pozive in strukturirane izhode (
JSON, kontrolne sezname) za ponovljive naloge, kot so preverjanje kakovosti, prevajanje ali označevanje.
Skrbniške nastavitve: varnost in upravljanje
Če gostite sami za ekipo, si vzemite nekaj minut, da utrdite in upravljate svojo instanco.
- Preverjanje pristnosti: Zahtevajte prijavo. Če je na voljo, omogočite SSO/OIDC.
- Pravilniki ključev API: Omejite, katere ponudnike je mogoče uporabiti, določite obseg ključev glede na uporabnika/vlogo in po potrebi omejite izhod.
- Spremenljivke okolja: Konfigurirajte stvari, kot so URL-ji končnih točk modela, zaledne storitve za vdelavo in omejitve ključev prek nastavitev okolja.
- Omejitve hitrosti in kvote: Preprečite neobvladljive stroške z omejitvami za posameznega uporabnika ali delovni prostor.
- Revizija: Spodbujajte ekipe, da označujejo klepete in shranjujejo povzetke, da boste lahko sledili odločitvam.
Nasvet za razvijalce: Postavite Open WebUI za obratni proxy (npr. Nginx/Caddy) s HTTPS in nastavite dovoljene izvorne kode.
Sodelovanje ekipe in higiena znanja
- Skupni pozivi in baze znanja: Ustvarite kurirane knjižnice pozivov in baze znanja. Dodelite vzdrževalce.
- Različica vsebine: Za dokumente pravilnikov ali specifikacije shranite vire v Git ali središče za dokumente in jih ponovno vdelajte, ko so posodobljeni.
- Odgovori, ki so najprej vir: Spodbujajte uporabnike, da kliknejo citate in pregledajo izvirne dokumente. Zaupajte, a preverite.
Vsakodnevni primeri uporabe (kopirajte te)
- Spremenite kratek opis v tri osnutke, specifične za občinstvo.
- Ustvarite SEO orise, pogosta vprašanja in naslove.
- Razložite funkcijo in ustvarite teste za robne primere.
- Povzemite PR in ustvarite opombe o izdaji.
- Zgradite bazo znanja iz navodil za uporabo in SOP.
- Pripravite odgovore z uporabo svojega vodnika za ton/slog.
- Povzemite 10 dokumentov v 1 stran s citati.
- Primerjajte ponudnike z uporabo strukturirane matrike.
Odpravljanje težav: hitre popravke
- »Ne morem se povezati z Ollama«
- Preverite, ali Ollama deluje: `curl
- Preverite omrežni dostop od vsebnikov do gostitelja.
- Potegnite model prek Ollama:
ollama pull mistral
- Za oblak potrdite točno ime modela in dovoljenja.
- »Rezultati RAG so videti nepomembni«
- Ponovno vdelajte z boljšim modelom za vdelave.
- Prilagodite velikost razčlenjevanja (npr. 500–1.000 žetonov) in prekrivanje.
- Razdelite svojo bazo znanja na manjše, tematske zbirke.
- Nastavite omejitve hitrosti in privzeto nastavite lokalne modele za osnutke.
Nasveti za učinkovitost delovanja in napredne poteze
- Uporabite manjše lokalne modele za idejo in večje/modele v oblaku za dokončanje.
- Kjer je to mogoče, shranite pogoste pozive in odgovore v predpomnilnik.
- Sprejmite strukturirane izhode (
JSON, kontrolni seznami s točkami) za avtomatizacijo poznejših postopkov.
- Za občutljive podatke hranite vse lokalno (Ollama + lokalne vdelave + shranjevanje na mestu uporabe).
- Uporabite sistemske pozive za definiranje tona, oblikovanja in varoval.
Omeniti velja: Združevanje Open WebUI s Sider.AI
Če ustvarjate veliko vsebine ali raziskav, vam lahko pomaga spremljevalec delovnega toka. Omeniti velja: Sider.AI pomaga pri pripravi osnutkov, povzemanju in organiziranju dolgoročnega dela. Lahko si zamislite ali pridobite kontekst v Open WebUI, nato pa uporabite pomoč v slogu urejevalnika Sider.AI za poliranje, prestrukturiranje in optimizacijo člankov za objavo v iskalnikih. To je koristna kombinacija, ko želite tako nadzor (samogostovani klepet + RAG) kot hitrost (sodelovalno urejanje in optimizacija).
Preprost začetni načrt
- Zaženite Open WebUI prek Dockerja.
- Namestite Ollama, potegnite
llama3 in mistral.
- Povežite Open WebUI z
in nastavitemistral` kot privzeto za klepet.
- Ustvarite baze znanja:
Pravilniki, Trženje, Navodila za uporabo; vdelajte z močnim modelom za vdelave.
- Shranite tri predloge pozivov: »Povzemalnik s točkami«, »Generator orisa za SEO« in »Pisatelj opomb o izdaji«.
- Dodajte omejitve hitrosti in zahtevajte prijavo.
S to nastavitvijo lahko večina ekip pokrije 80 % dnevnih nalog umetne inteligence.
Ključni zaključki
- Open WebUI vam omogoča čist, nadzorovan uporabniški vmesnik za delo z lokalnimi in oblačnimi LLM.
- Za zasebnost in hitrost ga združite z Ollama lokalno; po potrebi dodajte modele v oblaku.
- Uporabite RAG za utemeljitev odgovorov v vaših dokumentih; naj bodo baze znanja majhne in osredotočene.
- Zavarujte svojo instanco z preverjanjem pristnosti, pravilniki ključev in omejitvami hitrosti.
- Standardizirajte pozive in izhode, da bo delo vaše ekipe dosledno in avtomatizirano.
Naslednji koraki
- Zaženite Open WebUI z Dockerjem in se povežite z Ollama.
- Ustvarite svojo prvo bazo znanja in preizkusite klepet s podporo za pridobivanje.
- Shranite tri predloge pozivov, ki jih bo vaša ekipa dnevno ponovno uporabljala.
- Če objavljate vsebino, posredujte osnutke prek Sider.AI, da izboljšate ton, strukturo in SEO, preden začnete objavljati.
Pogosta vprašanja
V1: Za kaj se uporablja Open WebUI?
Open WebUI je samogostovani vmesnik za velike jezikovne modele. Omogoča vam klepet z lokalnimi ali oblačnimi modeli, ustvarjanje delovnih tokov RAG z vašimi dokumenti ter upravljanje pozivov in ekip na enem mestu.
V2: Kako uporabljam Open WebUI z Ollama?
Namestite Ollama, potegnite model, kot je llama3 ali mistral, in nato usmerite povezavo Open WebUI z Ollama na http://localhost:11434. Nastavite lahko privzeti model in začnete klepetati lokalno s popolno zasebnostjo.
V3: Ali lahko Open WebUI izvaja RAG z mojimi PDF-ji in zapiski?
Da. Ustvarite bazo znanja, naložite dokumente, ustvarite vdelave in omogočite pridobivanje v klepetu. Model bo citiral in povzemal iz vaših lastnih virov za utemeljene odgovore.
V4: Ali je Open WebUI varen za ekipe?
Lahko uveljavite prijavo, upravljate ključe API glede na vlogo in nastavite omejitve hitrosti. Za produkcijo uporabite HTTPS za obratnim proxyjem in omejite, kateri ponudniki ali končne točke so dovoljeni.
V5: Ali naj uporabljam lokalne ali oblačne modele v Open WebUI?
Uporabite lokalne modele za zasebnost, hitrost in nadzor stroškov; uporabite oblačne modele za kompleksne naloge, ki zahtevajo višjo kakovost. Mnoge ekipe kombinirajo oboje in nastavijo privzete vrednosti, specifične za klepet.