Kas sa oled kunagi soovinud, et sinu brauser lihtsalt... täidaks selle vormi sinu eest?
Kujuta ette: kell on 23:58. Sa oled lubanud esitada sama kuluaruande vormi, mida sinu ettevõte on kasutanud ajast, mil Netscape oli popp. Sa kissitad silmi 17 lahtri ees – nimi, aadress, kuupäev, kuupäev uuesti (kahes vormingus!), rippmenüü, mis töötab ainult siis, kui sa klõpsad täpselt kolmnurgal. Sa pomised. Sinu kohv ohkab. Sa mõtled, kas internet on suureks kasvanud ja unustanud sind kaasa võtta.
Siseneb Gemini 2.5 Computer Use – Google'i mudel, mis õige seadistuse korral suudab sinu arvutit kasutada nagu kannatlik assistent, kes ei pahanda klõpsamist, tippimist, kerimist ja sinu nimel üleslaadimist. Mitte ainult küsimustele vastamist. Mitte ainult klahvivajutuste soovitusi. Me räägime sellest: see tegelikult liigutab kursori, avab saidi, logib sisse ja täidab veebivormi.
Kas tundub nagu annaksid oma auto võtmed sõbrale, kes just õppis manuaalkäigukastiga sõitma? Jah. Kas see on veidralt põnev, kui see töötab? Ka jah. Ja see on tänane sõit: kuidas automatiseerida veebivorme Gemini 2.5 Computer Use abil – turvaliselt, mõistlikult ja mõne naeruga, kui see arvab, et nupp "Saada" on tegelikult dekoratiivne logo.
Selles praktilises juhendis ma tutvustan sulle:
- Mida "Computer Use" tegelikult Gemini 2.5 jaoks tähendab
- Kuidas seadistada vormitäitmise töövoog, mis on korratav ja mitte hirmutav
- Samm-sammult demo: CSV-st täidetud vormideni
- Nipid keeruliste väljade jaoks (captchad, kuupäevavalijad, mitmeastmelised viisardid)
- Ohutus, privaatsus ja tänapäeva veebiautomaatika väga reaalsed piirid
- Kuidas sellised tööriistad nagu Sider.AI saavad olla sinu juhtimiskeskus selle tsirkuse taltsutamisel
Kõik lihtsas inimkeeles. Koos kõrvalepõigetega reaalse maailma probleemidele, millega sa teel kohtud.
Mis on Gemini 2.5 Computer Use? Mõtle sellele kui hoolikale robotharjutajale.
"Computer Use" on režiim, kus Gemini 2.5 ei genereeri ainult teksti – see kontrollib brauserit ja sinu töölauda sinu järelevalve all. See saab:
- Avada veebisaidi, navigeerida menüüdes ja klõpsata ringi
- Tippida sisestusväljadele ja tekstialadele (isegi need, mis hüppavad üles pärast kolme modaali)
- Teha ekraanipilte ja arutleda selle üle, mida see näeb (see on maagia)
Praktikas saab Gemini 2.5 Computer Use automatiseerida veebivorme otsast lõpuni. Sa kirjeldad ülesande (“Mine sellele URL-ile, logi sisse, esita iganädalane läbisõidu vorm selle töötajate nimekirja jaoks”), annad sellele andmed ja see teeb klõpsamise ja tippimise. Mis on atraktiivne? Enam mitte pöördtooli automatiseerimine – andmete kopeerimine arvutustabelitest ja väljadele kleepimine, kuni su hing kehast lahkub.
Aga – ja see on kuulsuse suurune aga – veeb on loomaaed. Vormid on väga erinevad. Mõned nõuavad ühekohalisi kuid; teised soovivad täielikku kuu nime norra keeles. Seetõttu vajad sa mõningaid parimaid praktikaid ja kaarti, kui robotharjutaja segadusse satub.
Õiged tööd Gemini 2.5 jaoks: Millal automatiseerimine särab (ja millal mitte)
Kasuta Gemini 2.5 Computer Use järgmiste jaoks:
- Korduvad sisevormid (kuluaruanded, personaliosakonna uuendused, tööle võtmine, reisikulude hüvitised)
- Hankijate portaalid, millel on järjepidev paigutus ja ennustatavad väljad
- Andmesisestuse migratsioonid (CSV-st veebivormi, andmebaasist SaaS-i rakendusse)
- Mitme kirje uuendused, kus tee on sama; ainult väärtused muutuvad
Väldi (või valmistu suuremaks abikäeks andmiseks) kui:
- On captcha või agressiivne botikaitse (väljaviskaja taskulambiga)
- Kahefaktoriline autentimine on vajalik iga toimingu jaoks
- Lehe paigutus muutub radikaalselt kirje kohta
- Juurdepääsetavus on halb (märgistamata väljad, klõpsatavad asjad, mis pole nupud)
Rusikareegel: Kui hoolikas inimene suudab seda rütmiliselt teha, saab Gemini 2.5 selle tavaliselt selgeks. Kui hoolikas inimene peab iga sammu ära arvama, võib mudel veeta kvaliteetaega dekoratiivsete kaunistuste klõpsamisega.
Sinu stardikomplekt: Tööriistad ja ettevalmistus
Sa vajad:
- Brauserit, mida Gemini saab kontrollida (tavaliselt Chrome/Chromium turvalise automatiseerimistaseme kaudu)
- Võimalusel kirjutuskaitstud mandaate sihtsaidi jaoks (minimaalsete õiguste mõtteviis)
- Puhast testkontot või liivakastikeskkonda (et sa ei telliks kogemata 12 000 vidinat)
- Sinu andmeid korras vormingus (CSV, JSON või Google'i tabel), mille päised vastavad vormi siltidele
- Vormi väljade kontrollnimekiri nende ilmumise järjekorras
Valikuline, kuid väga kasulik:
- Ekraanipildid vormist, mille sildid on ringiga märgitud nagu treeneri diagramm mängust
- Väike komplekt 3–5 näidisrida testjooksude jaoks
- Logifail, kuhu sa salvestad iga jooksu oleku ja kõik vead
Ülevaade: Gemini 2.5 Computer Use täidab näidiskuluaruande vormi
Me teeme seda nagu kokasaadet. Lõpuks on sul esitatud 40 vormi ja ükski suflee pole kokku kukkunud.
Stsenaarium: Sinu meeskond esitab iganädalasi läbisõiduhüvitisi. Veebivormil on:
- Töötaja nimi (tekstiväli)
- Nädala lõpp (kuupäevavalija)
- Määr (rippmenüü: 0,50, 0,58, 0,62)
- Üleslaadimine: Kviitung (PDF)
- Esita, seejärel kinnituskood
Sinu andmed elavad CSV-s:
name,week_ending,total_miles,rate,notes,receipt_path
Alex Park,2025-10-03,142,0.58,Client visits in Zone B,/receipts/alex-1003.pdf
Riya Shah,2025-10-03,87,0.58,Airport shuttle runs,/receipts/riya-1003.pdf
...etc
Samm 1: Varusta Gemini 2.5 kontekstiga
- Esita saidi URL, kõik sisselogimisetapid ja täpsed sildid, nagu need on lehel kirjutatud.
- Lisa CSV päised ja kirjeldus, kuidas neid väljadega kaardistada.
- Ütle, mida teha, kui väljad on puudu või blokeeritud (nt jäta rida vahele, logi viga).
Näide juhiste katkendist:
“Ava Logi sisse testkontoga. Iga CSV rea jaoks sisesta Nimi → Töötaja nimi, week_ending → Nädala lõpp (YYYY-MM-DD), total_miles → Kokku miile, rate → Määr rippmenüü, notes → Märkmed, receipt_path → Laadi üles. Esita. Pärast esitamist kopeeri kinnituskood ja salvesta see rea kõrvale.”
Samm 2: Üks kuiv jooks ühe reaga
- Paluge Geminil teha üks kirje, aeglaselt, iga tegevust jutustades. Vaata seda nagu pistrik.
- Kinnita, et see valib õige rippmenüü ja ei kirjuta märkmeid väljale “Kokku miile” (seda juhtub!).
- Kui kuupäevavalija avab kalendri vidina, juhenda: “Sisesta kuupäev otse väljale kujul AAAA-KK-PP; ära klõpsa kalendril.”
Samm 3: Lisa piirded
- Ütle sellele, kuidas tuvastada edu: nt otsi sõna “Kinnitus” ja koodimustrit nagu EXP-####.
- Ütle sellele, kuidas tuvastada ebaõnnestumist: kui ilmub “Viga” või “Proovi uuesti”, tee ekraanipilt ja mine järgmisele reale.
- Piira tempot: “Oota 500–800 ms pärast iga lehe laadimist. Kui nupp on keelatud, kontrolli uuesti nõutud välju.”
Samm 4: Pakettrežiim
- Nüüd sa ütled: “Töötle järgmised viis rida.” Jälgi. Kui see käitub, tõsta 20-ni.
- Hoia logi: rea number, olek, kinnituskood, ekraanipildi tee.
Samm 5: Kokkuvõte
- Ekspordi logi CSV-na. Lase Geminil see tagasi kleepida või salvesta see oma kausta. Kontrolli portaalis mõnda esitust.
Sa oled õpetanud Gemini 2.5 Computer Use'ile rituaali. Erinevalt hapratest skriptidest näeb see lehte, kohaneb väikeste UI nihetega ja jätkab. See on nagu töötamine hoolika assistendiga; sa näitad, siis usaldad – aga sa kontrollid ikka tööd.
Kleepuvad osad: Kuupäevavalijad, failide üleslaadimised, mitmeastmelised viisardid
Kuidas käsitleda tavalisi kurikaelu veebivormides:
- Kuupäevavalijad: Juhenda Geminit tippima kuupäeva sisestuskasti, kasutades saidi aktsepteeritud vormingut. Kui sait keelab tippimise, ütle: “Ava kalender, navigeeri vasak-/parempoolsete noolte abil õigesse kuusse, seejärel klõpsa kuupäeval.” Lisa näiteid: “2025-10-03 jaoks vali 3. oktoober 2025.”
- Numbriline valideerimine: Mõned väljad lükkavad komad või rohkem kui kaks kümnendkohta tagasi. Selgita: “Sisesta Kokku miile täisarvuna ilma komadeta.” Kui sa näed punast veateksti, ütle Geminile, kuidas seda tühjendada.
- Rippmenüüd: Paljud on kohandatud vidinad varjatud nimekirjadega. Ütle: “Klõpsa Määr rippmenüül; kui valikud ei avane, klõpsa nooleikoonil. Vali tekst '0.58.' Kui see pole nähtav, keri rippmenüü nimekirjas.”
- Failide üleslaadimised: Suuna Gemini täpsele failiteele. Kui ilmub OS dialoog, ütle sellele, et see tippiks tee failinime väljale ja vajutaks Enter. Kui mitu faili on lubatud, täpsusta, kas see peaks pärast ühte peatuma.
- Mitmeastmelised vormid: Ütle Geminile, et see ootaks, kuni nupp “Järgmine” on lubatud. Kui leht muutub, kinnita, otsides pealkirja nagu “Samm 2: Üksikasjad”.
- Captchad ja MFA: Sinu vihje punkti panemiseks. Palu paus, et inimene saaks captcha teha või push-teavituse kinnitada. Seejärel lase Geminil jätkata.
- Automaatse täitmise hüpikaknad: Kui brauseri soovituste mull kattub väljaga, juhenda Geminit enne tippimist vajutama Escape.
Reaalsuskontroll kiiruse ja täpsuse kohta
Gemini 2.5 Computer Use ei ole võidusõiduauto – see on rohkem nagu väga kannatlik jalgrattur, kes kuuletub igale stopp-märgile. See ei võida peadpidi inimkiiruse deemonit, kuid see säästab sinu tähelepanu. Veelgi olulisem on see, et see ei muutu kümnendal identsel vormil lohakaks.
Täpsuse näpunäited:
- Alusta viie kirjega. Paranda probleemid. Seejärel skaleeri.
- Lisa “mõistlikkuse kontrolle” pärast iga esitamist: kinnita summad, kontrolli, kas uus rida ilmub portaali ajaloo lehel.
- Hoia andmed allikas puhtana: ühtlusta kuupäevavormingud; eelvalideeri numbrid.
- Logi kõik. Kui sa ei saa seda auditeerida, ei saa sa seda usaldada.
Ohutus ennekõike: Load, privaatsus ja piirid
Oma brauseri kontrolli AI-le andmine on nagu oma lapsele poes krediitkaardi andmine. Sea reeglid.
- Kasuta eraldi brauseriprofiili piiratud küpsiste ja lubadega.
- Loo “minimaalsete õigustega” testkasutaja – ilma administraatori juurdepääsuta, piiratud ulatus.
- Ära kunagi salvesta tegelikke paroole lihttekstina viipades. Kasuta turvalist saladuste haldurit, kui see on saadaval.
- Kui voog puudutab isikuandmeid (isikukoodid, terviseandmed), kooskõlasta see kõigepealt oma vastavusmeeskonnaga.
- Salvesta ekraan või tee testjooksude ajal perioodilisi ekraanipilte auditeerimiseks.
- Ehita suur punane “Peata” nupp: juhis, mida mudel alati järgib, või klaviatuuri otsetee, mis kontrolli peatab.
Arvutustabelist vormini: Korduvkasutatav viipa mall
Siin on korduvkasutatav mall, mida saad Gemini 2.5 Computer Use jaoks kohandada. Kopeeri, kohanda ja salvesta see oma järgmise paketi jaoks.
“Ülesanne: Esita kuluaruanded lisatud CSV-st aadressil
Reeglid:
- Jutusta tegevusi. Liigu aeglaselt. Oota elemente kuni 1,5 sekundit.
- Kaardistamine: nimi → Töötaja nimi; week_ending → Nädala lõpp (AAAA-KK-PP otse sisestatud); total_miles → Kokku miile (täisarv); rate → Määr rippmenüü; notes → Märkmed; receipt_path → Laadi üles.
- Edu kontroll: Pärast esitamist jäädvusta kinnituskood (muster EXP-####). Ebaõnnestumise kontroll: kui ilmub “Viga” või “Proovi uuesti”, tee ekraanipilt, logi rea number ja veatekst, seejärel jäta vahele.
- Tempo: Töötle 5 rida korraga. Pärast iga paketti väljasta CSV logi veergudega: rida, olek, confirmation_code, screenshot_path, märkmed.
- Ohutus: Kui küsitakse MFA-d või captchat, peata ja teavita mind. Ära jätka.
Alusta ühe kirjega ja oota minu kinnitust enne jätkamist.”
See üks viip vähendab 90-minutilise vaeva 15-minutiliseks läbimõeldud järelevalveks.
Veaotsingu kõrvalmärkused (sest midagi läheb viltu)
- See tippib valele väljale: Ütle sellele, et see viitaks välja sildile teksti läheduse järgi: “Tipi sisendisse sildi 'Töötaja nimi' paremal.” Kui sildid puuduvad, viita kohatäite tekstiga.
- Nupp ei lülitu sisse: Tavaliselt on nõutav väli tühi või tühik. Ütle Geminile, et see kontrolliks, kas igal nõutaval väljal on mittetühi väärtus, ja hägustaks sisendit (Tab), et käivitada valideerimine.
- Leht näeb täna teistsugune välja: Palu Geminil vorm uuesti tuvastada, skaneerides pealkirju ja tavalisi märksõnu. Kui paigutuse varieeruvus on tavaline, säilita iga versiooni jaoks lühike “vormiprofiil”.
- Laadib alla tühja kviitungi: Veendu, et üleslaadimise etapp lõpetatakse enne esitamist; oota failinime kiipi või silti “üles laaditud”.
- Portaal logib sind välja: Lisa ridade vahele “keepalive” samm – värskenda seansi lehte või logi uuesti sisse, kui küpsis aegub.
Lähenemisviiside võrdlemine: Gemini 2.5 vs skriptid vs RPA
- Traditsioonilised skriptid (Selenium, Playwright): Väga kiired, väga täpsed, väga haprad. Üks muudetud CSS-i klass ja kogu doomino jooks kukub kokku. Suurepärane kontrollitud rakenduste jaoks.
- RPA platvormid: Võimsad, visuaalsete vooskeemide ja ettevõtte juhtimisega. Seadistamine võib olla projekt. Imeline, kui sa seda iga päev kasutad.
- Gemini 2.5 Computer Use: Paindlik, silmad-lehel arutluskäik. Aeglasem, kuid vähem habras. Ideaalne ad hoc jooksude, segaste kolmandate osapoolte portaalide ja ühekordsete migratsioonide jaoks.
Mõtle Geminile kui mitmekülgsele gig-töötajale, kes saab uude kontorisse sisse jalutada ja välja mõelda, millises sahtlis on kirjaklambrid peidus – väikese juhendamisega.
Kus Sider.AI sobib (ja tegelikult aitab)
Siin on üllatus: Sider.AI sobib väga hästi sinu juhtimiskeskuseks nende töövoogude jaoks. Sa saad hoida oma viipa malle, oma CSV-sid, oma logisid ja oma ekraanipilte ühes kohas – ja paluda assistendil sammud kokku õmmelda. See ei asenda Gemini 2.5 Computer Use'i praktilist lehekontrolli, kuid see saab: - Salvestada ja versioonida sinu viipasid nagu automatiseerimiste kokaraamatut
- Võtta jooksulogid kokku lihtsaks aruandeks “kes õnnestus, kes ebaõnnestus, mis järgmiseks”
- Genereerida kohandatud veaotsingu viipasid, kui portaal muutub
- Aidata sul muuta segane arvutustabel puhtaks, automatiseerimiseks valmis CSV-ks
Koos kasutatuna on Sider.AI lõikelaud ja mänguraamat; Gemini 2.5 on väljakul olev mängujuht. Täiustatud käigud: Tingimuslik loogika, hargnemine ja kinnitamine
Kui sa usaldad põhialuseid, lisa nutikust:
- Hargnemine: “Kui Määr rippmenüüs puudub soovitud valik, vali lähim vastavus ≥ nõutud määr; vastasel juhul märgi rida.”
- Tingimuslikud manused: “Laadi kviitung üles ainult siis, kui total_miles ≥ 50; vastasel juhul jäta tühjaks.”
- Tuletatud väljad: “Arvuta hüvitis = total_miles × määr; kontrolli, kas portaali arvutatud kogusumma vastab $0,01 piires; kui ei, tee ekraanipilt ja jäta vahele.”
- Lehtedevaheline kinnitamine: Pärast esitamist ava “Ajalugu”, leia tänane kirje ja valideeri, et nimi ja kogusumma vastavad CSV-le.
Need kontrollid muudavad lõbusa demo millekski, mida sinu juht heaks kiidab.
Kiire kõrvalepõige: Turvateater vs tegelikud kaitsemeetmed
Sa kohtad portaale, mis kasutavad mõistatusi, klõpsa-ja-lohista liugureid või hüpikakna mõistatusi, mis on väärt Kääbikut. Mõned on tegelikud botikaitsemehhanismid; mõned on lehe meik. Ära võitle heade vastu. Planeeri inimese-silmus pausi. Lase Geminil teatada: “Captcha tuvastatud – valmis sinu abiks,” seejärel jätka.
Tegelik kaitse tuleb sinu seadistusest: eraldi profiilid, piiratud load, auditilogid ja selged peatamistingimused.
Edu mõõtmine: Milline “hea” välja näeb
Tervislik veebivormi automatiseerimine Gemini 2.5 Computer Use abil näeb välja selline:
- 95%+ ridadest on töödeldud ilma käsitsi kohandusteta
- Vead on ennustatavad ja logitud (valesti sobitatud kuupäevad, puuduvad failid)
- Sa saad uuesti käivitada viimasest ebaõnnestunud reast ilma varasemaid puudutamata
- Inimene saab auditeerida ekraanipilte ja logisid, et täpselt aru saada, mis juhtus
Kui sa saavutad need eesmärgid, oled sa muutnud rutiinse töö korrastatud, läbivaadatavaks töövooguks.
Mini mänguraamat: Nullist “Esita”-ni 12 sammuga
- Tuvasta üks, igav vorm, mida sa iganädalaselt täidad.
- Puhasta oma andmed. Kuupäevad, numbrid, failiteed.
- Loo testkonto ja liivakast, kui see on saadaval.
- Ava Gemini 2.5 Computer Use kontrollitud brauseriprofiilis.
- Kirjelda vormi ja esita välja kaardistused.
- Käivita üks kirje – aegluubis, jutustatud, sinu silmad peal.
- Lisa edu- ja ebaõnnestumise kontrollid.
- Ehita pakettlogi ja ekraanipilt igast anomaaliast.
- Töötle viis kirjet; seejärel kakskümmend.
- Lisa väikesed piirded (Escape automaatse täitmise sulgemiseks; tipi kuupäevad otse).
- Ekspordi logi; kontrolli portaali ajaloos.
- Salvesta oma viip ja andmestruktuur järgmiseks nädalaks. Tulevane sina kirjutab sulle tänukirja.
Üks viimane asi: Ära võitle lehega – õpeta lehte sulle
Veeb armastab saladusi hoida. Nupud peidavad end ikoonide taha; väljad ootavad sind noomima, kuni sa ära klõpsad. Gemini 2.5 Computer Use ei paranda veebi võluväel – see õpib seda kannatlikult tundma. Võit ei ole kiirus; see on meelerahu. Sa taastad tunni, mille sa kulutasid kastides vahelehtedega navigeerimisele, ja selle asemel kulutad selle otsustamisele, kas märkmetes peaks olema kirjas “Kliendivisiidid B-tsoonis” või julgem “B-tsooni ekstravaganza”.
Nii et vali üks vorm. Pane Gemini 2.5 Computer Use juhiistmele – turvavöödega – ja lase sellel klõpsata. Kui see kinnituskood hüppab üles ja keegi ei pidanud rippmenüüd vingerdama, tunned sa, et internet vabandas 2007. aasta kuupäevavalija pärast.
Peamised järeldused
- Gemini 2.5 Computer Use saab automatiseerida veebivorme, nähes ja opereerides sinu lehte nagu hoolikas assistent.
- Alusta väikeselt, lisa turvameetmed ja skaleeri alles siis, kui see on – heas mõttes – igav.
- Kasuta puhast andmestikku, selgeid väljade vastavusse viimisi ja õnnestumise/ebaõnnestumise kontrolle.
- Aktsepteeri, et captchad ja MFA on kohad, kus inimene peab sekkuma.
- Kasuta koos Sider.AI-ga, et hallata viipasid, logisid ja puhastamist – nagu lõikelaud Gemini kätele.
Nüüd mine õpeta sellele vormile, kes on boss. Või õigemini, kes viisakalt delegeerib.
KKK
K1: Mis on Gemini 2.5 Computer Use lihtsas keeles?
See on režiim, kus Gemini saab tegelikult sinu brauserit juhtida – klikkida, trükkida, üles laadida – et ta saaks veebivorme automatiseerida. Mõtle sellele kui hoolikale praktikandile, kes järgib sinu juhiseid ja jutustab tegevusi.
K2: Kas Gemini 2.5 suudab tõesti automatiseerida veebivorme failide üleslaadimise ja kuupäevavalijatega?
Jah, selgete juhistega. Ütle sellele, et ta trükiks kuupäevad otse sisse, käsitleks Rate rippmenüüd selgesõnaliselt ja kleebiks failiteed üleslaadimise dialoogi – need spetsiifilised asjad muudavad midagi.
K3: Kuidas ma saan veebivormi automatiseerimise turvalisena ja nõuetele vastavana hoida?
Kasuta eraldi brauseriprofiili, minimaalsete õigustega kontosid ja logisid iga käivitamise kohta. Väldi paroolide panemist viipadesse; peata captcha’de ja MFA jaoks, seejärel jätka.
K4: Kas Gemini 2.5 on kiirem kui traditsioonilised skriptid nagu Selenium?
Tavaliselt mitte, aga see on kohanemisvõimelisem segaste lehtede ja ühekordsete tööde puhul. Skriptid on kiiremad ja hapramad; Gemini on aeglasem, kuid väiksema tõenäosusega puruneb, kui saidi CSS muutub.
K5: Kuidas Sider.AI selles töövoos aitab?
Sider.AI saab salvestada sinu viipasid, puhastada sinu CSV-sid, summeerida logisid ja genereerida tõrkeotsingu näpunäiteid. See on sinu automatiseerimise käsiraamatu organisaator ja peatoimetaja, samal ajal kui Gemini teeb klõpsamised. 
