Vai esat kādreiz mēģinājis izskaidrot memi savam tētim?
Galu galā jūs sakāt kaut ko līdzīgu: “Labi, tā kaķis valkā saulesbrilles — pagaidiet, tas nav galvenais — un tad paraksts saka ‘Pirmdienas’, kas ir smieklīgi, jo kaķis izskatās kā mans priekšnieks pirms kafijas.”
Apsveicam: jūs tikko veicāt nelielu brīnumu, ko sauc par iezemēšanu — vārdu savienošanu ar vizuāliem attēliem. Gadu desmitiem datori tajā bija briesmīgi. Viņi varēja lasīt tekstu vai analizēt attēlus, bet sajaukt abus? Līdzīgi kā lūgt mikroviļņu krāsni aprēķināt jūsu nodokļus.
Ienāciet redzes-valodas modeļi (VLMs). Tās ir AI sistēmas, kas lasa un redz vienlaikus — un arvien vairāk pat klausās. Viņi var apskatīt jūsu ledusskapja fotoattēlu un ieteikt vakariņas, pārlūkot grafiku un apkopot tendenci vai paskaidrot, kāpēc joks darbojas (vai, godīgi sakot, nedarbojas). Citiem vārdiem sakot, mašīnas beidzot saprot joku.
Šajā draudzīgajā skaidrojumā mēs izpakosim, kas ir redzes-valodas modeļi, kā tie darbojas, kas tiem šobrīd padodas un kur viņi, iespējams, paklups aiz pufika. Es jums parādīšu reālās pasaules pielietojumus, trūkumus un dažus “izmēģiniet to mājās” trikus, lai iegūtu labākus rezultātus — bez nepieciešamības pēc doktora grāda tensoros.
Pa ceļam es atsauksos uz dažiem pašreizējiem spēlētājiem un tendencēm, lai jūs varētu atšķirt modes vārdus no “oho, tas man patiešām palīdz”.
Kas ir redzes-valodas modelis vienkāršā valodā?
Ja parasts valodas modelis ir rijīgs lasītājs (teksts iekšā, teksts ārā), tad redzes-valodas modelis ir grāmatu tārps, kurš arī skatās fotoattēlus un videoklipus — un var par tiem runāt. Tas ir apmācīts ar pāriem: attēli ar parakstiem, diagrammas ar aprakstiem, videoklipi ar atšifrējumiem. Laika gaitā tas uzzina, ka “zeltainais retrīvers” atbilst šim pūkainajam taisnstūrim ar nokarenām ausīm; ka “antrekots” izskatās savādāk nekā “portobello”; ka frāze “saplaisājis ekrāns” bieži vien ir saistīta ar zirnekļveidīgu stikla rakstu.
Lielā ideja: VLMs saskaņo divu veidu attēlojumus — vizuālās iezīmes no pikseļiem un semantiskās iezīmes no teksta — kopīgā “konceptu telpā”. Uzdodiet jautājumu (“Cik daudz saules paneļu ir uz šī jumta?”), un modelis pārvērš gan jautājumu, gan attēlu šajā kopīgajā telpā, spriež par tiem un atbild.
Praktiski runājot, VLMs atbloķē tādus uzdevumus kā:
- Attēla aprakstīšana dabiskā valodā (attēlu parakstīšana)
- Atbildēšana uz jautājumiem par to, kas ir fotoattēlā (vizuāla jautājumu atbildēšana jeb VQA)
- Diagrammu un PDF failu lasīšana, kas sajauc attēlus un tekstu (dokumentu izpratne)
- Objektu vai teksta atrašana attēlos, atrodoties ceļā (iezemēšana, OCR)
- Ainu salīdzināšana dažādos laikos vai kadros (videoanalīze)
Lai iegūtu vispusīgu VLM lietojumprogrammu pārskatu — parakstīšana, VQA, OCR, nulles kadru noteikšana — OpenCV nodrošina stabilu kopsavilkumu.
Modeļi, par kuriem visi runā (un kāpēc)
Katru sezonu nāk jauns modeļu alfabēta zupas komplekts, gan patentēts, gan atvērtā pirmkoda. Padomājiet par to kā par viedtālruņiem: galvenie virsraksti piesaista uzmanību, bet atvērtā pirmkoda pūlis klusi iejaucas pārsteidzošās funkcijās.
- GPT-4o un multimodāli pēcteči: Šie modeļi var “skatīties” uz attēliem un runāt par tiem, dažreiz reāllaikā, un pat apstrādāt videoklipus. Tie ir krāšņi, vispārēja pielietojuma palīgi, kurus esat redzējis demonstrējam galvenajos ziņojumos, darot visu, sākot no salvešu skices kodēšanas līdz logotipa atsauksmēm.
- Google Gemini saime: Pazīstama ar garu kontekstu un spēcīgām multimodālām iemaņām, īpaši ar sarežģītiem dokumentiem un video. Arī pamats pētniecībai par robotikas stila “redzi-darbībai”, kur AI ne tikai saprot ainu, bet arī plāno, ko darīt tālāk.
- LLaVA, Flamingo, BLIP, Kosmos, Qwen-QVQ: Atvērtā pirmkoda pasaules uzticamie. Jūs varat tos mitināt pats, pielāgot tos nišas datiem (piemēram, medicīniskām skenēšanām vai būvlaukumiem) vai palaist tos uz vietas, ja jūsu juristiem rodas nātrene pie vārda “mākonis”. Lai iegūtu attīstības momentuzņēmumu par VLM līderiem un tendencēm līdz 2025. gadam, tādi resursi kā DataCamp apkopojums un Hugging Face perspektīva palīdz kartēt reljefu.
Ja vēlaties padziļināti izpētīt “multimodālus modeļus” pieejamā valodā, skaidrojošais raksts precīzi atspoguļo lielo bildi: tikai teksta modeļi ir lieliski vārdu meistari; multimodāli modeļi savieno sajūtas starp tekstu, attēliem, video un dažreiz arī audio.
Tātad… Kā viņi patiesībā strādā?
Es apsolīju nekādus tensoru murgus, tāpēc šeit ir pagalma grila versija.
- Vizuālā puse: Redzes kodētājs (bieži vien uz transformatoriem balstīts tīkls, dažreiz braucot ar šauteni ar CNN) košļā pikseļus. Tas “neredz” tā, kā jūs; tas pārvērš attēlu iezīmju vektoru kopumā — matemātiskos pirkstu nospiedumos malām, faktūrām, formām un attiecībām.
- Valodas puse: Liels valodas modelis (LLM) pārvērš vārdus vektoros, kas atspoguļo nozīmi un kontekstu. “Ābols” blakus “pīrāgam” ir deserts; “Apple” blakus “MacBook” ir jūsu budžets, kas raud.
- Tilts: Krusteniskā moduļa modulis saskaņo redzes vektorus un valodas vektorus vienā kopīgā telpā. Apmācība māca modelim, ka teikumam “sarkana apstāšanās zīme sniegotā krustojumā” jāatbilst fotoattēliem, kas… jūs zināt… ir tādi.
- Atlīdzība: Kad jūs jautājat: “Kas dīvains šajā rentgenā?”, modelis apvieno jūsu jautājumu ar vizuālajām iezīmēm un mēģina ģenerēt atbildi, kas atbilst abiem.
Tas ir kā bilingvāls draugs, kurš var pārslēgties starp angļu un fotogrāfiju un joprojām saprast jūsu jokus.
Kas VLMs lieliski padodas (šodien)
- Nesaprotamu attēlu skaidrošana: Augšupielādējiet mulsinošu diagrammu no pilsētas budžeta sanāksmes un jautājiet: “Kur nauda patiesībā nonāk?” Labs VLM apkopos lielos segmentus un izsauks tendences.
- Teksta un konteksta vienlaicīga iegūšana: Vecās skolas OCR satver rakstzīmes; VLMs var pateikt, kura etiķete pieder kuram stienim vai kurš kopējais rādītājs pieder kurai rēķina rindai. Šī “konteksta līme” ir slepenā mērce.
- Ainu aprakstīšana pieejamībai: Parakstiet atvaļinājuma fotoattēlu ģimenes loceklim ar vāju redzi vai apkopojiet lekcijas slaidu studentam, kurš kavēja nodarbību.
- Meklēšana pēc nozīmes, nevis faila nosaukuma: “Atrodiet attēlu, kur suns ir zem galda, nevis uz tā.” VLMs ļauj meklēt fotoattēlus ar valodu.
- Ātras atbilstības pārbaudes: “Vai kāds no šiem produktu attēliem parāda logotipu nogrieztu?” “Kuri reklāmas stendu maketi pārkāpj krāsu noteikumus?” Tas neaizstās zīmola policijas priekšnieku, bet sašaurinās kaudzi.
OpenCV lietojumprogrammu rokasgrāmata precīzi uzsver šīs stiprās puses — parakstīšanu, VQA, OCR, pat nulles kadru objektu noteikšanu bez individuālas apmācības.
Kur viņi joprojām sabojā joku
- Halucinācijas: Ja diagramma ir neskaidra vai uzvedne ir neskaidra, VLM var priecīgi izgudrot faktus. Tas ir kā draugs, kurš “atceras” filmas sižetu, kuru viņš nekad nav redzējis. Turiet savu skepticisma cepuri.
- Smalka skaitīšana: “Cik melleņu ir šajā bļodā?” varētu radīt pārliecinātu, nepareizu skaitli. Mazi, pārklājošies objekti var paklupināt modeļus, kas citādi izskatās izcili.
- Diagrammas loģika: Metro kartes vai ķīmijas diagrammas izpratne var būt grūtāka nekā kaķa atpazīšana. Spriešanas soļi ir abstrakti un simboliski.
- Nišas zināšanas: VLM var aprakstīt jūsu MRI skenēšanu… vispārīgi. Medicīniskiem vai juridiskiem lēmumiem vienmēr apstipriniet ar profesionāli. AI ir palīgs, nevis jūsu ārsts.
- Privātums un atbilstība: Jutīgu dokumentu augšupielāde mākoņa modelī var būt neveiksmīga regulētām nozarēm. Tur atvērtā pirmkoda modeļi vai modeļi uz vietas nopelna savu artavu.
Praktiska pamācība: “Hei, AI, kas ir šajā juceklī?”
Pieņemsim, ka jūsu darbvirsma ir metāllūžņu pagalms ar ekrānuzņēmumiem — grafiki, kvītis, suņa fotogrāfijas, tāfeles attēli ar svarīgām projektu piezīmēm no jūsu sanāksmes “smadzeņu vētra un burito”.
Šeit ir ātrs veids, kā likt VLM strādāt:
- Trijiet ar valodas meklēšanu. Pajautājiet: “Parādiet man attēlus, kuros ir roku zīmētas diagrammas ar lodziņiem un bultiņām.” Tas parasti noķer tāfeles un salvešu skices fotoattēlus.
- Iegūstiet tekstu ar kontekstu. “Katram tāfeles fotoattēlam atšifrējiet visu tekstu un grupējiet pēc reģiona; sniedziet man sarakstu ar darbībām un īpašniekiem.” Jūs iegūsit pseido-minūtes no citādi haotiska attēla.
- Apkopojiet grafikus cilvēkiem. “Katram ekrānuzņēmumam ar diagrammu apkopojiet tendenci vienā teikumā: ‘Ieņēmumi aug/krītas, galvenā anomālija, iespējamais cēlonis.’” Jūs varat filtrēt troksni un atzīmēt svarīgo.
- Dzenājiet izstumtos. “Kuros attēlos ir minēts ‘Q4’, bet arī ‘aizkavēšanās’ vai ‘risks’?” Jūs būsiet pārsteigts, cik ātri tas sašaurina siena kaudzi.
Ja savā pārlūkprogrammā izmantojat lietotājam draudzīgu AI palīgu, šāda veida darbplūsma kļūst patīkami vienkārša. Piemēram, Sider.AI atrodas kā sānjosla, kamēr jūs pārlūkojat, un var palīdzēt lasīt, apkopot un tulkot lapas, kā arī apstrādāt multimodālus uzvednes — noderīgi, ja žonglējat ar diagrammām, PDF failiem un ekrānuzņēmumiem dažādās cilnēs. Viņu pašu skaidrojošais raksts sadala multimodālus jēdzienus pieejamā valodā, ja jūs interesē burvības cēlonis. Populāri reālās pasaules lietojumi (ko varat izmēģināt šodien)
- Klientu atbalsta triāža: Klienti sūta kļūdu ekrānu, bojātu produktu vai iestatīšanas jucekļu fotoattēlus. VLMs var klasificēt problēmu, iegūt sērijas numurus un sagatavot cilvēkiem lasāmu atbildi. (Cilvēki joprojām paraksta.)
- Mazumtirdzniecības kataloga tīrīšana: “Ģenerējiet produktu nosaukumus un specifikācijas no šiem attēliem, bet brīdiniet mani, ja zīmola logotips ir aizsegts.” AI kļūst par jūsu vismazāk drūmo praktikantu.
- Izglītība: Pārvērtiet sarežģītas diagrammas, kartes un laboratorijas fotoattēlus vienkāršos angļu valodas mācību pierakstos. Vai jautājiet: “Ko 10. klases skolēns varētu nepareizi saprast par šo diagrammu?” un labojiet stundu.
- Lauka apkalpošana: Tehniķi nofotografē iekārtas paneli; modelis identificē modeļa numuru, atrod rokasgrāmatas lapu un izskaidro labojumu trīs soļos — pirms pat atskan uzgriežņu atslēga.
- Pieejamība un iekļaušana: Cilvēkiem ar vāju redzi VLMs var aprakstīt ēdienkartes, etiķetes un ainas — īpaši nepazīstamās vietās, piemēram, lidostās.
- Multivides darbplūsmas: Ziņu redakcijas izmanto VLMs, lai atzīmētu kadrus, apkopotu intervijas un iegūtu vizuālus citātus no b-roll. Tas ir kā Ctrl-F video.
OpenCV pārskats atbilst šiem, īpaši VQA, OCR, parakstīšana un nulles kadru noteikšana — ātra uzvara bez mēnešu apmācības.
Neliela glosārijs (lai mēs nepakluptu uz žargonu)
- VLM: Redzes-valodas modelis; saprot un ģenerē tekstu par attēliem/video.
- VQA: Vizuāla jautājumu atbildēšana; jūs jautājat, tas atbild par attēlu.
- Iezemēšana: Vārdu kartēšana reģioniem attēlā (“šī ir ‘skrūves’ etiķete”).
- OCR: Optiskā rakstzīmju atpazīšana; teksta pikseļu pārvēršana rakstzīmēs.
- Nulles kadrs: Uzdevuma veikšana, kuram tas netika īpaši apmācīts, pamatojoties uz vispārējām zināšanām.
- Multimodāls: Vairāk nekā viena veida ievade — teksts un attēli, iespējams, video vai audio.
Uzvedņu padomi: Padariet burvību mazāk noslēpumainu
Jūs varat krasi uzlabot rezultātus ar labākām uzvednēm — īpaši, ja attēli ir nekārtīgi vai diagrammas ir blīvas.
- Dodiet modelim darbu. “Jūs esat analītiķis, kura uzdevums ir iegūt galvenos rādītājus no mārketinga diagrammām. Atgrieziet viena rindkopas kopsavilkumu, pēc tam skaitļu tabulu.” Norādījumi = labāka izvade.
- Norādiet uz reģioniem. “Kas ir tendence diagrammā augšējā kreisajā stūrī? Kas ir Q4 kopējais rādītājs tabulā apakšējā labajā stūrī?” Reģionu norādes samazina minējumus.
- Pieprasiet strukturētu izvadi. “Atgrieziet JSON ar laukiem: nosaukums, galvenie_secinājumi, anomālijas.
VLM iestatījuma izvēle: Mākonis, atvērtā koda vai hibrīds?
VLM izvēle ir kā automašīnas izvēle: krāšņa, praktiska vai moddera paradīze?
- Mākoņa palīgi (gatavi darbam): Vienkāršākais ceļš, spēcīgas vispārējās spējas un pastāvīgi atjauninājumi. Jūs atsakāties no noteiktas kontroles un varat saskarties ar privātuma ierobežojumiem.
- Atvērtā koda (jūsu noteikumi): Mitiniet lokāli, precizējiet savus dīvainos, bet svarīgos datus (sveiki, histoloģijas slaidi vai shēmas plates). Nepieciešams inženiertehniskais laiks un GPU, bet atbilstības cilvēki guļ labāk.
- Hibrīds (labākais no abiem): Jutīgu apstrādi veiciet uz vietas; pārejiet uz mākoni vispārējai spriešanai. Vai precizējiet atvērto pirmkodu, pēc tam izmantojiet draudzīgu saskarni.
Ja jūsu ikdienas darbs norit pārlūkprogrammā — lasot PDF failus, apkopojot pārskatus, tulkojot diagrammas pētījuma laikā —, pārlūkprogrammā esošs palīgs, piemēram, Sider.AI, var būt zemas berzes veids, kā iegūt multimodālu palīdzību, nepārkārtojot savu steku. Salīdzinājums ar reālo dzīvi: Mūžīgā konfrontācija
Salīdzinājumi ir kā SAT AI — noderīgi, bet tie nemēra, kurš atceras paņemt uzkodas ceļojumā. VLM līderu saraksti parāda vienmērīgu progresu tādos uzdevumos kā VQA, diagrammu izpratne un atvērtā vārdu krājuma noteikšana. Bet jūsu rezultāti būs atkarīgi no jūsu attēliem, jūsu uzvednēm un jūsu tolerances pret “tuvojies, bet nē”.
Šeit ir saprāta pārbaudes rutīna:
- Definējiet panākumus vienkāršā valodā. “Mūsu kvītīm 98% precizitāte kopējā summā un datumā; ‘nenoteikts’ ir atļauts, ja ir neskaidrs.”
- Izveidojiet prototipu ar 20–50 reāliem paraugiem. Nav rūpīgi atlasīti. Ne tīrie.
- Izsekojiet kļūdu modeļus. Vai tas zaudē decimāldaļu? Jauc valūtu? Nepareizi nolasa ar roku rakstītus nulles kā sešus?
- Pielāgojiet uzvednes un pirmapstrādi. Uzlabojiet attēlus, apgrieziet reģionus, uzdodiet mērķtiecīgus jautājumus.
- Izlemiet par cilvēka iesaistes punktu. Kur personai jāapstiprina pirms tā nonāk datu bāzē?
Privātums, drošība un jūsu datu aprūpe un barošana
- Rediģējiet pirms augšupielādes. Maskējiet vārdus, kontu numurus, adreses, ja neesat pārliecināts, kā modelis apstrādā saglabāšanu.
- Dodiet priekšroku uzņēmuma iestatījumiem. Daudzi pārdevēji piedāvā režīmus bez apmācības, bez reģistrēšanas jutīgiem dokumentiem — izmantojiet tos.
- Apsveriet vietējos modeļus. Ja dati nevar atstāt jūsu telpas, palaidiet atvērtā pirmkoda VLM iekšējā serverī.
- Reģistrējiet savas uzvednes un izvadi. Ja vēlāk veicat auditu, jūs pateiksiet pagātnei par drupatas.
Mini gadījumu stāsti: Piecu minūšu uzvaras
- Dotāciju pārvaldnieks: Bezpeļņas darbinieks ievieto skenētu dotācijas PDF failu multimodālā palīgā: “Iegūstiet termiņus, nepieciešamos pielikumus un budžeta ierobežojumus.” Pēc desmit minūtēm kontrolsaraksts ir pabeigts — bez asarām.
- Klases telpas dekodētājs: Skolotājs ievada skolēnu laboratorijas piezīmju grāmatiņu mobilo tālruņu fotoattēlus: “Atšifrējiet galvenos soļus un atzīmējiet drošības kļūdas.” Pirmdienas vērtēšana kļūst… pārdzīvojama.
- Maza uzņēmuma finanšu direktors: Grāmatvedis augšupielādē daļēji salasāmas kvītis: “Izvelciet pārdevēju, datumu, kopējo summu; ģenerējiet CSV; atzīmējiet zemas pārliecības rindas.” Piektdienas saskaņošana pārtrauc ēst sestdienu.
- Produktu komanda: Viņi ielīmē vadu rāmja ekrānuzņēmumu sienu: “Apkopojiet, ko lietotājs mēģina darīt katrā ekrānā; uzskaitiet berzes punktus.” Pēkšņi ceļvedim ir dati.
- Lauka tehniķis: Nofotografē vadības paneli: “Kurš slēdzis atiestata kompresoru? Vai displejā ir brīdinājumi?” Ietaupītas minūtes. Pirksti neatdzisuši.
Ceļš uz priekšu: No redzēšanas līdz darīšanai
Šodienas VLMs ir pasakaini izskaidrotāji un ieguvēji. Nākamais vilnis ir darbība: norādījumu pamatošana fiziskajā vai digitālajā pasaulē. Iedomājieties:
- “Atveriet informācijas paneli, filtrējiet uz ‘Rietumu reģionu’, eksportējiet diagrammu, nosūtiet to pa e-pastu Prijai ar diviem punktiem.”
- “Šajā virtuves video paņemiet sarkano krūzi, nomazgājiet to un novietojiet to augšējā plauktā.”
Pētījumi par redzes-valodas-darbības modeļiem — kur izpratne satiekas ar manipulācijām — uzņem apgriezienus. Lai gūtu pieejamu ieskatu šīs jomas norādījumu stratēģijās, Gemini Robotics 1.5 raksts izklāsta, kas patiesībā darbojas (un kas uz skatuves izklausās forši, bet izgāžas izlietnē).
Mēs vēl neesam pie Rosijas Robotes, bet jūs varat sajust, kā grīdas dēļi čīkst.
Viena pēdējā lieta: Kā saglabāt savu saprātu
- Izturieties pret modeli kā pret gudru praktikantu. Tas ir ātrs, dedzīgs un dažreiz pārliecinoši kļūdains. Sniedziet tam skaidrus norādījumus un pārbaudiet svarīgākās daļas.
- Saglabājiet savas labākās uzvednes. Izveidojiet nelielu “rokasgrāmatu” par to, kas darbojas — īpaši jūsu diagrammām, veidlapām un diagrammām.
- Sāciet ar mazu. Izvēlieties vienu kaitinošu iknedēļas uzdevumu. Ja VLM ietaupa 10 minūtes katru otrdienu, tas ir reāls dzīves uzlabojums.
- Smejieties, kad tas sabojā. Tas notiks. Pasakiet tam, kāpēc. Jūs apmācāt jaunu kolēģi, nevis izsaucat džinu.
Ja jūs galvenokārt strādājat pārlūkprogrammā un žonglējat ar pētījumiem, PDF failiem un ekrānuzņēmumiem, viegls palīgs, piemēram, Sider.AI, var būt lielisks punkts: tas ir tuvu vietai, kur jūs strādājat, tas apstrādā lasīšanu un tulkošanu kontekstā un labi sader ar jūsu parasto darbplūsmu. Lai iegūtu plašāku VLMs un to lietojumprogrammu pārskatu, OpenCV raksts un nesenie DataCamp un Hugging Face pārskati sniedz noderīgu lielu attēlu. Secinājums: Redzes-valodas modeļi neaizstās jūsu acis vai veselo saprātu. Bet tie padara jūsu datoru par daudz labāku kolēģi — tādu, kurš beidzot var apskatīt to pašu lietu, uz kuru jūs norādāt, un teikt: “Ā. Es to tagad redzu.”
FAQ
Q1: Kas ir redzes-valodas modelis vienkāršiem vārdiem?
Redzes-valodas modelis ir mākslīgais intelekts, kas var aplūkot attēlus vai video un par tiem runāt vienkāršā valodā. Iedomājieties to kā divvalodu asistentu, kas runā gan “pikseļos”, gan “rindkopās”, lai tas varētu pievienot attēliem parakstus, atbildēt uz jautājumiem par diagrammām un iegūt informāciju no ekrānuzņēmumiem.
Q2: Kam es varu izmantot redzes-valodas modeļus šodien?
Biežākie pielietojumi ir attēlu parakstīšana, vizuāla atbilžu sniegšana uz jautājumiem, OCR ar kontekstu un diagrammu vai PDF failu apkopošana. Tie ir noderīgi arī fotoattēlu meklēšanai pēc nozīmes, piemēram, “atrast attēlu, kur suns ir zem galda”.
Q3: Vai redzes-valodas modeļi ir pietiekami precīzi darbam?
Bieži vien jā – īpaši tādiem uzdevumiem kā diagrammu apkopošana, rēķinu detaļu iegūšana un attēlu atzīmēšana. Tomēr kritiskos lēmumos vienmēr iesaistiet cilvēku un izstrādājiet uzvednes, kas pieļauj nenoteiktību, ja MI nevar skaidri redzēt.
Q4: Kā es varu iegūt labākus rezultātus no VLM?
Piešķiriet modelim lomu, norādiet attēla reģionus un pieprasiet strukturētu izvadi. Pievienojiet drošības pasākumus, piemēram, “Ja nav salasāms, sakiet ‘nenoteikts’”, un izmantojiet salīdzinājumus vai soli pa solim spriešanu, lai samazinātu halucinācijas.
Q5: Vai man vajadzētu izmantot mākoņa VLM vai atvērtā koda VLM?
Mākoņa modeļi ir vienkārši un jaudīgi, taču atvērtā koda VLM nodrošina privātumu un pielāgošanu. Daudzas komandas izmanto hibrīdu pieeju: sensitīvu apstrādi veic lokāli un izmanto mākoni vispārējas nozīmes spriešanai.
