Ar kada bandėte paaiškinti memą savo tėčiui?
Galų gale sakote tokius dalykus kaip: „Gerai, tai katė su akiniais nuo saulės – palauk, esmė ne tame – o tada antraštė sako „Pirmadieniai“, o tai juokinga, nes katė atrodo kaip mano viršininkas prieš kavą.“
Sveikiname: ką tik atlikote mažytį stebuklą, vadinamą įžeminimu – žodžių susiejimu su vaizdais. Dešimtmečius kompiuteriai su tuo sunkiai tvarkėsi. Jie galėjo skaityti tekstą arba analizuoti vaizdus, bet sumaišyti juos? Tai tas pats, kas paprašyti mikrobangų krosnelės sumokėti mokesčius.
Pristatome regos-kalbos modelius (VLMs). Tai yra AI sistemos, kurios skaito ir mato tuo pačiu metu – ir vis dažniau netgi klauso. Jie gali pažiūrėti į jūsų šaldytuvo nuotrauką ir pasiūlyti vakarienę, peržvelgti grafiką ir apibendrinti tendenciją arba paaiškinti, kodėl pokštas veikia (arba, būkime sąžiningi, neveikia). Kitaip tariant, mašinos pagaliau supranta juoką.
Šiame draugiškame paaiškinime išnarstysime, kas yra regos-kalbos modeliai, kaip jie veikia, ką jie gerai daro dabar ir kur jie greičiausiai užklius. Parodysiu jums realaus pasaulio naudojimo atvejus, spąstus ir keletą „išbandykite namuose“ triukų, kad gautumėte geresnių rezultatų – nereikalaujant daktaro laipsnio tenzorių srityje.
Pakeliui paminėsiu kelis dabartinius žaidėjus ir tendencijas, kad galėtumėte atskirti madingus žodžius nuo „oho, tai iš tikrųjų man padeda.“
Kas yra regos-kalbos modelis paprasta kalba?
Jei įprastas kalbos modelis yra nesotūs skaitytojas (tekstas įeina, tekstas išeina), tai regos-kalbos modelis yra knygų graužikas, kuris taip pat žiūri nuotraukas ir vaizdo įrašus – ir gali apie juos kalbėti. Jis apmokytas poromis: vaizdai su antraštėmis, diagramos su aprašymais, vaizdo įrašai su nuorašais. Laikui bėgant jis sužino, kad „auksinis retriveris“ atitinka tą kailuotą stačiakampį su nukarusiomis ausimis; kad „nugarinė“ atrodo kitaip nei „portobello“; kad frazė „sudaužytas ekranas“ dažnai būna su voratinkliniu stiklo raštu.
Pagrindinė idėja: VLM suderina dviejų rūšių atvaizdavimus – vaizdinius bruožus iš pikselių ir semantinius bruožus iš teksto – į bendrą „koncepcijos erdvę“. Užduokite klausimą („Kiek saulės kolektorių yra ant šio stogo?“), ir modelis išverčia klausimą ir vaizdą į tą bendrą erdvę, samprotauja tarp jų ir atsako.
Praktiškai kalbant, VLM atrakina tokias užduotis kaip:
- Vaizdo aprašymas natūralia kalba (vaizdo antraščių rašymas)
- Atsakymas į klausimus apie tai, kas yra nuotraukoje (vaizdinis klausimų atsakymas arba VQA)
- Diagramų ir PDF skaitymas, kuriuose sumaišyti vaizdai ir tekstas (dokumentų supratimas)
- Objektų ar teksto paieška vaizduose realiuoju laiku (įžeminimas, OCR)
- Scenų palyginimas skirtingais laikotarpiais arba kadrais (vaizdo įrašų analizė)
Norėdami gauti gerą VLM programų apžvalgą – antraščių rašymas, VQA, OCR, nulinio kadro aptikimas – OpenCV pateikia tvirtą apžvalgą.
Modeliai, apie kuriuos visi kalba (ir kodėl)
Kiekvienas sezonas atneša naują modelių abėcėlės sriubą, tiek nuosavybės teise priklausančių, tiek atvirojo kodo. Pagalvokite apie tai kaip apie išmaniuosius telefonus: antraštės patraukia dėmesį, tačiau atvirojo kodo minia tyliai meistrauja savo kelią į stebinančias funkcijas.
- GPT-4o ir multimodaliniai įpėdiniai: Šie modeliai gali „žiūrėti“ į vaizdus ir apie juos kalbėti, kartais realiuoju laiku, ir netgi tvarkyti vaizdo įrašų klipus. Tai yra puošnūs, universalūs asistentai, kuriuos matėte pristatymuose, atliekantys viską nuo servetėlės eskizo kodavimo iki logotipo atsiliepimų.
- Google Gemini šeima: Žinoma dėl ilgo konteksto ir stiprių multimodinių įgūdžių, ypač su sudėtingais dokumentais ir vaizdo įrašais. Taip pat pagrindas tyrimams robotikos stiliaus „vizija-veiksmas“, kur AI ne tik supranta sceną, bet ir planuoja, ką daryti toliau.
- LLaVA, Flamingo, BLIP, Kosmos, Qwen-QVQ: Atvirojo kodo pasaulio šalininkai. Galite patys juos priimti, pritaikyti nišiniams duomenims (pvz., medicininėms nuotraukoms arba statybvietėms) arba paleisti juos vietoje, jei jūsų teisininkams išberia nuo žodžio „debesis“.
Jei norite giliau pažvelgti į „multimodinius modelius“ suprantamais terminais, <a2>Sider'io</a> aiškinamasis straipsnis perteikia didelį vaizdą: tik tekstiniai modeliai yra puikūs žodžių meistrai; multimodiniai modeliai sujungia prasmę per tekstą, vaizdus, vaizdo įrašus ir kartais garsą.
Taigi... Kaip jie iš tikrųjų veikia?
Pažadėjau jokių tenzorių košmarų, taigi štai versija iš kiemo kepsninės.
- Vaizdinė pusė: Vaizdo koduotuvas (dažnai transformatoriais pagrįstas tinklas, kartais važiuojantis su CNN) kramto pikselius. Jis „nemato“ taip, kaip jūs; jis paverčia vaizdą funkcijų vektorių rinkiniu – matematiniais pirštų atspaudais kraštams, tekstūroms, formoms ir ryšiams.
- Kalbos pusė: Didelis kalbos modelis (LLM) paverčia žodžius vektoriais, kurie atspindi prasmę ir kontekstą. „Obuolys“ šalia „pyrago“ yra desertas; „Apple“ šalia „MacBook“ yra jūsų verkšlenantis biudžetas.
- Tiltas: Kryžminis modalinis modulis suderina vaizdo vektorius ir kalbos vektorius į vieną bendrą erdvę. Mokymai moko modelį, kad sakinys „raudonas kelio ženklas snieguotoje sankryžoje“ turėtų atitikti nuotraukas, kurios... žinote... tai turi.
- Atsipirkimas: Kai klausiate: „Kas keisto šioje rentgeno nuotraukoje?“, modelis sujungia jūsų klausimą su vaizdiniais bruožais ir bando sugeneruoti atsakymą, atitinkantį abu.
Tai tarsi draugas, mokantis dvi kalbas, kuris gali persijungti tarp anglų ir fotografijos ir vis tiek suprasti jūsų juokus.
Ką VLM puikiai daro (šiandien)
- Paaiškinti vaizdus, kurių nesuprantate: Įkelkite painią diagramą iš miesto biudžeto posėdžio ir paklauskite: „Kur iš tikrųjų keliauja pinigai?“ Geras VLM apibendrins didelius krepšelius ir atkreips dėmesį į tendencijas.
- Kartu išgauti tekstą ir kontekstą: Senosios mokyklos OCR pagauna simbolius; VLM gali pasakyti, kuris ženklas priklauso kuriam stulpeliui arba kuri suma priklauso kuriai sąskaitos eilutei. Tas „konteksto klijai“ yra slaptas padažas.
- Scenų aprašymas prieinamumui: Parašykite atostogų nuotraukos antraštę šeimos nariui, turinčiam silpną regėjimą, arba apibendrinkite paskaitos skaidrę studentui, kuris praleido pamoką.
- Paieška pagal prasmę, o ne pagal failo pavadinimą: „Raskite nuotrauką, kurioje šuo yra po stalu, o ne ant jo.“ VLM leidžia ieškoti nuotraukų naudojant kalbą.
- Greiti atitikties patikrinimai: „Ar kurioje nors iš šių produktų nuotraukų logotipas yra nukirstas?“ „Kurie lauko reklamos maketai pažeidžia spalvų taisykles?“ Jis nepakeis prekės ženklo policijos viršininko, bet susiaurins krūvą.
OpenCV taikomųjų programų vadove pabrėžiamos būtent šios stipriosios pusės – antraščių rašymas, VQA, OCR, netgi nulinio kadro objektų aptikimas be specialaus mokymo.
Kur jie vis dar sugadina kulminaciją
- Haliucinacijos: Jei diagrama yra neryški arba raginimas yra neaiškus, VLM gali linksmai išgalvoti faktus. Tai tarsi draugas, kuris „prisimena“ filmo siužetą, kurio niekada nematė. Laikykitės savo skepticizmo kepurės.
- Smulkus skaičiavimas: „Kiek mėlynių šiame dubenyje?“ gali pateikti užtikrintą, neteisingą skaičių. Maži, persidengiantys objektai gali sužlugdyti modelius, kurie kitaip atrodo nuostabiai.
- Diagramų logika: Suprasti metro žemėlapį ar chemijos diagramą gali būti sunkiau nei atpažinti katę. Samprotavimo žingsniai yra abstraktūs ir simboliniai.
- Nišinė patirtis: VLM gali apibūdinti jūsų MRI nuotrauką... apibendrintai. Dėl medicininių ar teisinių sprendimų visada pasitarkite su profesionalu. AI yra asistentas, o ne jūsų gydytojas.
- Privatumas ir atitiktis: Jautrių dokumentų įkėlimas į debesies modelį gali būti nepradinis dalykas reguliuojamoms pramonės šakoms. Čia savo vertę įgyja vietiniai arba atvirojo kodo modeliai.
Praktinis vadovas: „Ei, AI, kas yra šioje netvarkoje?“
Tarkime, kad jūsų darbalaukis yra ekrano nuotraukų laužynas – grafikai, kvitai, šuns nuotraukos, nuotraukos su svarbiais projekto užrašais iš jūsų „protų šturmo ir buritų“ susitikimo.
Štai greitas būdas panaudoti VLM:
- Rūšiuoti su kalbos paieška. Klauskite: „Parodykite man vaizdus, kuriuose yra rankomis pieštos diagramos su langeliais ir rodyklėmis.“ Paprastai tai pagauna lentas ir servetėlių eskizų nuotraukas.
- Išgauti tekstą su kontekstu. „Kiekvienai lentos nuotraukai perrašykite visą tekstą ir sugrupuokite pagal regioną; pateikite man punktais išdėstytą veiksmų ir savininkų santrauką.“ Gausite pseudo-protokolą iš kitaip chaotiško vaizdo.
- Apibendrinti grafikus žmonėms. „Kiekvienai ekrano nuotraukai su diagrama apibendrinkite tendenciją vienu sakiniu: „Pajamos didėja/mažėja, pagrindinė anomalija, tikėtina priežastis.“ Galite filtruoti triukšmą ir pažymėti tai, kas svarbu.
- Vyti atokiau esančius. „Kuriuose vaizduose minimas „Q4“, bet taip pat minimas „vėlavimas“ arba „rizika“?“ Nustebsite, kaip greitai tai susiaurina šieno kupetą.
Jei naršyklėje naudojate patogų AI asistentą, toks darbo srautas tampa maloniai paprastas. Pavyzdžiui, Sider.AI veikia kaip šoninė juosta naršant ir gali padėti skaityti, apibendrinti ir versti puslapius bei tvarkyti multimodinius raginimus – patogu, kai žongliruojate diagramomis, PDF ir ekrano nuotraukomis skirtinguose skirtukuose. Jų pačių aiškinamasis straipsnis suskaido multimodines koncepcijas suprantama kalba, jei smalsu sužinoti, kodėl už magijos slypi. Populiarūs realaus pasaulio naudojimo atvejai (kuriuos galite išbandyti šiandien)
- Klientų aptarnavimo rūšiavimas: Klientai siunčia klaidų ekranų, sugadintų produktų arba sąrankos painiavos nuotraukas. VLM gali klasifikuoti problemą, išgauti serijos numerius ir parengti žmogui suprantamą atsakymą. (Žmonės vis dar pasirašo.)
- Mažmeninės prekybos katalogo valymas: „Sukurkite produktų pavadinimus ir specifikacijas iš šių vaizdų, bet įspėkite mane, jei prekės ženklo logotipas yra uždengtas.“ AI tampa jūsų mažiausiai irzliu praktikos atlikėju.
- Švietimas: Paverskite sudėtingas diagramas, žemėlapius ir laboratorines nuotraukas paprastomis anglų kalbos mokymosi pastabomis. Arba paklauskite: „Ką 10 klasės mokinys gali neteisingai suprasti apie šią diagramą?“ ir pataisykite pamoką.
- Lauko aptarnavimas: Technikai nufotografuoja mašinos skydelį; modelis nustato modelio numerį, suranda vadovo puslapį ir paaiškina pataisymą trimis žingsniais – dar neištraukus veržliarakčio.
- Prieinamumas ir įtrauktis: Žmonėms, turintiems silpną regėjimą, VLM gali apibūdinti meniu, etiketes ir scenas – ypač nepažįstamose vietose, tokiose kaip oro uostai.
- Žiniasklaidos darbo srautai: Naujienų redakcijos naudoja VLM filmuotai medžiagai žymėti, interviu apibendrinti ir vaizdines citatas išgauti iš B-roll. Tai tarsi Ctrl-F vaizdo įrašui.
OpenCV apžvalga atitinka šias, ypač VQA, OCR, antraščių rašymą ir nulinio kadro aptikimą – greitos pergalės be mėnesių mokymo.
Mažas žodynėlis (kad neužkliūtume už žargono)
- VLM: Regos-kalbos modelis; supranta ir generuoja tekstą apie vaizdus/vaizdo įrašus.
- VQA: Vaizdinis klausimų atsakymas; klausiate, jis atsako apie paveikslėlį.
- Įžeminimas: Žodžių susiejimas su regionais vaizde („tai yra etiketė „varžtas“).
- OCR: Optinis simbolių atpažinimas; teksto pikselių pavertimas simboliais.
- Nulinis kadras: Užduoties atlikimas, kuriai jis nebuvo specialiai apmokytas, samprotaujant iš bendrųjų žinių.
- Multimodinis: Daugiau nei vienos rūšies įvestis – tekstas plius vaizdai, galbūt vaizdo įrašas ar garsas.
Patarimai dėl raginimo: Padarykite magiją mažiau paslaptingą
Galite smarkiai pagerinti rezultatus naudodami geresnius raginimus – ypač kai vaizdai yra netvarkingi arba diagramos yra tankios.
- Suteikite modeliui darbą. „Jūs esate analitikas, kuriam pavesta išgauti pagrindinius rodiklius iš rinkodaros diagramų. Grąžinkite vienos pastraipos santrauką, tada skaičių lentelę.“ Vadovavimas = geresnis rezultatas.
- Nurodykite regionus. „Viršutinėje kairėje diagramoje, kokia yra tendencija? Apatinėje dešinėje lentelėje, kokia yra Q4 suma?“ Regioniniai ženklai sumažina spėliojimą.
- Paprašykite struktūruoto išvesties. „Grąžinkite JSON su laukais: title, key_findings, anomalies.
VLM sąrankos pasirinkimas: Debesis, atvirojo kodo arba hibridinis?
VLM pasirinkimas yra tarsi automobilio pasirinkimas: puošnus, praktiškas ar modifikatoriaus rojus?
- Debesies asistentai (paruošti riedėti): Lengviausias kelias, stiprūs bendrieji gebėjimai ir nuolatiniai atnaujinimai. Atsisakote šiek tiek kontrolės ir galite susidurti su privatumo apribojimais.
- Atvirojo kodo (jūsų taisyklės): Priimkite vietoje, tiksliai sureguliuokite savo keistus, bet svarbius duomenis (labas, histologijos skaidrės ar grandinės plokštės). Reikia inžinerijos laiko ir GPU, bet atitikties žmonės miega geriau.
- Hibridinis (geriausias iš abiejų): Laikykite jautrų apdorojimą vietoje; perkelkite į debesį dėl bendro samprotavimo. Arba tiksliai sureguliuokite atvirojo kodo, tada naudokite patogią sąsają.
Jei jūsų kasdienis darbas vyksta naršyklėje – skaitote PDF, apibendrinate ataskaitas, verčiate diagramas atlikdami tyrimus – naršyklės asistentas, pvz., Sider.AI, gali būti mažai trinties būdas gauti multimodinę pagalbą neperkuriant savo krūvos. Lyginamieji testai prieš realų gyvenimą: Amžina kova
Lyginamieji testai yra tarsi SAT AI – naudingi, bet jie nematuoja, kas prisimena atsinešti užkandžių į kelionę. VLM lyderių lentelės rodo nuolatinį augimą tokiose užduotyse kaip VQA, diagramų supratimas ir atviro žodyno aptikimas. Tačiau jūsų rezultatai priklausys nuo jūsų vaizdų, jūsų raginimų ir jūsų tolerancijos „arti, bet ne“.
Štai proto patikrinimo rutina:
- Apibrėžkite sėkmę paprasta kalba. „Mūsų kvitams 98 % tikslumas pagal sumą ir datą; „neaišku“ leidžiama, jei neryšku.“
- Sukurkite prototipą su 20–50 realių pavyzdžių. Ne atrinkti. Ne švarūs.
- Stebėkite klaidų modelius. Ar praranda dešimtainį skaičių? Painioja valiutą? Neteisingai nuskaito ranka rašytus nulius kaip šešetus?
- Pakoreguokite raginimus ir išankstinį apdorojimą. Pagerinkite vaizdus, apkarpykite regionus, užduokite tikslinius klausimus.
- Nuspręskite dėl žmogaus įsikišimo taško. Kur žmogus turėtų patvirtinti prieš tai, kai jis pateks į duomenų bazę?
Privatumas, saugumas ir jūsų duomenų priežiūra ir maitinimas
- Redaguokite prieš įkeldami. Užmaskuokite vardus, sąskaitų numerius, adresus, jei nesate tikri, kaip modelis tvarko saugojimą.
- Pirmenybę teikite įmonės nustatymams. Daugelis pardavėjų siūlo režimus be mokymo, be registravimo jautriems dokumentams – naudokite juos.
- Apsvarstykite vietinius modelius. Jei duomenys negali palikti jūsų patalpų, paleiskite atvirojo kodo VLM vidiniame serveryje.
- Registruokite savo raginimus ir išvestis. Jei audituosite vėliau, padėkosite praeities sau už trupinius.
Mini atvejų istorijos: Penkių minučių pergalės
- Dotacijos valdytojas: Nepelno organizacijos darbuotojas į multimodinį asistentą įtraukia nuskaitytą dotacijos PDF: „Išgaukite terminus, reikalingus priedus ir biudžeto apribojimus.“ Po dešimties minučių kontrolinis sąrašas yra baigtas – be ašarų.
- Klasės dešifratorius: Mokytojas įkelia mokinių laboratorinių sąsiuvinių nuotraukas iš mobiliojo telefono: „Perrašykite pagrindinius veiksmus ir pažymėkite saugos klaidas.“ Pirmadienio vertinimas tampa... išgyvenamas.
- Mažo verslo finansų direktorius: Buhalteris įkelia pusiau įskaitomus kvitus: „Ištraukite pardavėją, datą, sumą; išveskite CSV; pažymėkite mažo pasitikėjimo eilutes.“ Penktadienio suderinimas nustoja valgyti šeštadienį.
- Produktų komanda: Jie įklijuoja vielinio rėmo ekrano nuotraukų sieną: „Apibendrinkite, ką vartotojas bando padaryti kiekviename ekrane; išvardykite trinties taškus.“ Staiga kelio žemėlapis turi duomenis.
- Lauko technikas: Nufotografuoja valdymo skydelį: „Kurie jungikliai iš naujo nustato kompresorių? Ar ekrane yra įspėjimų?“ Sutaupytos minutės. Nenudeginti pirštai.
Kelias į priekį: Nuo matymo iki darymo
Šiandieniniai VLM yra puikūs aiškintojai ir ekstraktoriai. Kita banga yra veiksmas: instrukcijų įžeminimas fiziniame ar skaitmeniniame pasaulyje. Įsivaizduokite:
- „Atidarykite prietaisų skydelį, filtruokite į „Vakarų regioną“, eksportuokite diagramą, nusiųskite ją el. paštu Prijai su dviem punktais.“
- „Šiame virtuvės vaizdo įraše paimkite raudoną puodelį, išplaukite jį ir padėkite ant viršutinės lentynos.“
Regos-kalbos-veiksmo modelių tyrimai – kur supratimas susitinka su manipuliavimu – įsibėgėja. Norėdami gauti suprantamą žvilgsnį į raginimo strategijas šioje srityje, „Gemini Robotics 1.5“ straipsnyje aprašoma, kas iš tikrųjų veikia (ir kas skamba šauniai scenoje, bet krenta į kriauklę).
Dar nesame pas Rosie the Robot, bet galite pajusti grindų lentų girgždėjimą.
Vienas paskutinis dalykas: Kaip išlaikyti sveiką protą
- Elkitės su modeliu kaip su sumaniu stažuotoju. Jis greitas, nori ir kartais užtikrintai klysta. Duokite jam aiškias instrukcijas ir patikrinkite svarbias dalis.
- Išsaugokite geriausius raginimus. Sukurkite mažą „žaidimų knygą“ apie tai, kas veikia – ypač jūsų diagramoms, formoms ir diagramoms.
- Pradėkite nuo mažų dalykų. Pasirinkite vieną erzinančią savaitinę užduotį. Jei VLM sutaupo jums 10 minučių kiekvieną antradienį, tai yra tikras gyvenimo pagerinimas.
- Juokitės, kai jis susimautų. Tai įvyks. Pasakykite jam, kodėl. Mokote naują bendradarbį, o ne šaukiate džiną.
Jei daugiausia dirbate naršyklėje ir žongliruojate tyrimais, PDF ir ekrano nuotraukomis, lengvas pagalbininkas, pvz., Sider.AI, gali būti puikus pasirinkimas: jis yra šalia ten, kur dirbate, tvarko skaitymą ir vertimą kontekste ir gražiai žaidžia su jūsų įprastu darbo srautu. Norėdami gauti platesnę VLM ir jų taikomųjų programų apžvalgą, OpenCV straipsnis ir naujausios DataCamp ir Hugging Face apžvalgos pateikia naudingą didelį vaizdą. Esmė: Regos-kalbos modeliai nepakeis jūsų akių ar sveiko proto. Bet jie padaro jūsų kompiuterį daug geresniu bendradarbiu – tokiu, kuris pagaliau gali pažiūrėti į tą patį dalyką, į kurį rodote, ir pasakyti: „Aha. Dabar aš tai matau.“
DUK
1 klausimas: Kas paprastai tariant yra regos ir kalbos modelis?
Regos ir kalbos modelis yra dirbtinis intelektas, kuris gali žiūrėti į vaizdus ar vaizdo įrašus ir apie juos kalbėti paprasta kalba. Pagalvokite apie tai kaip apie dvikalbį asistentą, kuris kalba tiek „pikseliais“, tiek „pastraipomis“, todėl jis gali antraštinti vaizdus, atsakyti į klausimus apie diagramas ir išgauti informaciją iš ekrano nuotraukų.
2 klausimas: Kam šiandien galiu naudoti regos ir kalbos modelius?
Dažniausiai jie naudojami vaizdų antraštėms rašyti, vizualiniams klausimams atsakyti, OCR su kontekstu ir diagramoms ar PDF dokumentams apibendrinti. Jie taip pat patogūs nuotraukų paieškai pagal prasmę, pavyzdžiui, „rasti nuotrauką, kurioje šuo yra po stalu“.
3 klausimas: Ar regos ir kalbos modeliai yra pakankamai tikslūs darbui?
Dažnai taip – ypač atliekant tokias užduotis kaip diagramų apibendrinimas, sąskaitų faktūrų detalių ištraukimas ir vaizdų žymėjimas. Tiesiog įtraukite žmogų į svarbių sprendimų priėmimą ir suprojektuokite raginimus, kurie pripažintų neapibrėžtumą, kai dirbtinis intelektas negali aiškiai matyti.
4 klausimas: Kaip gauti geresnių rezultatų iš VLM?
Suteikite modeliui vaidmenį, nurodykite vaizdo sritis ir paprašykite struktūruotos išvesties. Pridėkite apsaugos priemonių, tokių kaip „Jei neįskaitoma, sakykite „neaišku““, ir naudokite palyginimus arba žingsnis po žingsnio samprotavimus, kad sumažintumėte haliucinacijas.
5 klausimas: Ar turėčiau naudoti debesies VLM ar atvirojo kodo?
Debesijos modeliai yra paprasti ir galingi, tačiau atvirojo kodo VLM suteikia jums privatumą ir pritaikymą. Daugelis komandų naudoja hibridinį variantą: jautrų apdorojimą laikykite vietoje, o debesį naudokite bendrosios paskirties samprotavimams.
