Sinu tehisintellekti kaamera arvab, et iga naine on õde ja iga mees on tegevjuht. Lahe, lahe, lahe.
Oled sa kunagi laadinud fotot "tehisintellektiga täiustatud" rakendusse ja näinud, kuidas see sinu sõbra sarit kindlalt hommikumantliks sildistab? Või näinud meditsiinilise pildisüsteemi väitmas, et sinu käel olev sünnimärk on mustikas? See on andmestiku kallutatus tehisintellekti pilditöötluses ja see pole mitte ainult ebamugav, vaid võib olla ka ohtlik. Mõtle sellele nagu lapsele tähestiku õpetamine ainult vokaalidega. Muidugi, ta laulab midagi. Sa ei taha, et ta retsepte kirjutaks.
Me oleme veidras hetkes, kus arvutinägemine on piisavalt hea, et olla kõikjal – sinu telefonis, autos, arsti kabinetis –, kuid samas piisavalt halb, et jätta tähelepanuta peamine mõte, kontekst ja mõnikord terved inimrühmad. Süüdlane pole tavaliselt matemaatika. See on andmed. Täpsemalt andmed, mis treenisid neid mudeleid nägema maailma läbi väga kitsa läätse.
Vaatame lähemalt, kuidas andmestiku kallutatus tehisintellekti pilditöötluses sisse hiilib, asjad ära rikub ja – mis kõige tähtsam – kuidas sa saad seda takistada sinu kassi croissant'iks nimetamast.
Mis on andmestiku kallutatus tehisintellekti pilditöötluses? Lühike versioon, mida su tädi tegelikult loeb
Andmestiku kallutatus tehisintellekti pilditöötluses tekib siis, kui mudeli treenimiseks kasutatud pildid ei esinda tegelikku maailma. Kui sinu andmestik koosneb peamiselt ühe demograafilise rühma nägudest, piiratud hulga nahatoonidest või täiuslikus stuudiovalguses pildistatud objektidest (tere, mõjutaja rõngasvalgustid!), õpib mudel moonutatud versiooni tegelikkusest.
- Valiku kallutatus: Sa valisid pildid, mida oli kõige lihtsam saada – fotopanga pildid, valged taustad ja aeg-ajalt kahtlaselt õnnelik salatisööja.
- Sildistamise kallutatus: Inimesed sildistavad pilte. Inimesed toovad kaasa arvamusi. Mõnikord on need arvamused rohkem "loovkirjutamine" kui "reaalsus".
- Konteksti kallutatus: Stetoskoop naise kõrval? Peab olema õde. Sama objekt mehe kõrval? Arst. Mudel õppis stereotüübi andmestikust.
- Domeeni kallutatus: Sa treenisid läikivate tootefotodega, seejärel rakendasid tuhmides tehasepõrandates. Üllatus: tõstuk näeb välja nagu Bigfoot.
Kui sa õpetad tehisintellekti nägema maailma ainult ühe naabruskonna kaudu, siis ära ole šokeeritud, kui ta kesklinnas ära eksib.
Mitte nii naljakad tagajärjed: kus kallutatus lakkab olemast meem
Kallutatus tehisintellekti pilditöötluses ei too kaasa ainult meemiväärilisi ebaõnnestumisi. See ilmneb:
- Meditsiiniline pilditöötlus: Alaesindatud nahatoonid dermatoloogia andmestikes võivad viia halvemate tuvastamismääradeni selliste seisundite puhul nagu melanoom. Kui pikslid ei vasta treeningnäidetele, suurenevad vead.
- Ohutus ja jälgimine: Valetuvastamine näotuvastuses on seostatud ebaseaduslike vahistamistega, eriti värviliste inimeste puhul. Pole just suurepärane kasutajakogemus.
- Töölevõtmine ja identiteedi kinnitamine: Näo sobitamine, mis ajab segamini mittebinaarsed või transsoolised näod, pole mitte ainult tüütu, vaid ka tõrjuv.
- Autonoomsed süsteemid: Isejuhtiv auto, mis on treenitud peamiselt California päikesepaistes, ei pruugi ära tunda lumega kaetud STOP-märki Minnesotas. Auto pole hoolimatu. See on kaitstud.
Kui mudeli maailm on väike, maksavad päris inimesed selle eest hinda.
Kuidas see sisse hiilib: pildiandmestiku kallutatuse neli ratsanikku
1) "Tasuta asjade kallutatus"
Avatud veebist piltide kraapimine on põhimõtteliselt pikslite jaoks prügikastis sukeldumine. Sa leiad palju kuulsuste näopilte, tehnikakonverentside märke ja tootepilte, mis näevad välja nagu need oleksid kuule pildistatud. Igapäevane, segane reaalsus? Vähem. See kallutab sinu mudeli teatud nägude, kohtade ja vibratsioonide suunas.
2) "Annotatsioonide triiv"
Kaks sildistajat kõnnivad sildistamistööle. Üks märgistab kapuutsi kui "spordiriietus", teine ütleb "vabaajariided" ja kolmas nimetab seda "tänavariietuseks". Mudel õpib, et riided on kaos. Veel hullem, sildistajad toovad kaasa kultuurilisi eeldusi – nagu kes näeb välja nagu "boss" või mida loetakse "loomulikuks" soenguks.
3) "Konteksti kark"
Mudelid armastavad otseteid. Kui 90% sinu andmestikus olevatest kokkade fotodest kujutavad mehi, kasutab mudel soolisi vihjeid otseteeena, et ennustada "kokka". See pole intelligentsus; see on kallutatud spikker.
4) "Domeeni mittevastavus"
Treeni DSLR-i glamuursete kaadritega, rakenda madala eraldusvõimega turvakaamerates. Treeni päevaste piltidega, rakenda öösel. Treeni linnatänavatel, rakenda maapiirkonna teedel. Sinu mudel reisib sisuliselt ilma laadijata.
Kallutatuse tuvastamine ilma doktorikraadita – või valedetektorita
Siin on, kuidas sa tead, et sinu tehisintellekti pilditöötlusmudelil on kallutatuse probleem, lisaks sellele vajumistundele sinu demos:
- Toimivuse lüngad: Tükelda oma valideerimismõõdikud demograafia, valgustuse, geograafia või seadme tüübi järgi. Kui teatud rühmade puhul langeb täpsus nagu telefon ilma ümbriseta, on sul kallutatus.
- Segadusmaatriksid, mis sind segadusse ajavad: Kui mudel ajab pidevalt segamini teatud klassid – näiteks hidžaabid mütsidega –, on see andmestiku märk.
- Funktsioonide omistamise auditid: Tööriistad nagu Grad-CAM võivad paljastada, et sinu "kassi" detektor tuvastab tegelikult diivanimustri. Palju õnne, sa treenisid polstri äratundmist.
- Reaalse maailma pilootprojekti triiv: Käivita väikesed pilootprojektid looduses. Kui mudel satub fluorestsentsvalguses paanikasse nagu taim keldris, vajab see mitmekesisemaid andmeid.
Tööriistakomplekt: kuidas vähendada andmestiku kallutatust enne, kui see sinu toote teekaardi hammustab
Kujuta ette kallutatuse vastu võitlemist kui kodu renoveerimist. Sa saad lappida, tugevdada või välja rebida ja ümber ehitada. Sinu eelarve: aeg, andmed ja alandlikkus.
1) Kureeri nagu muuseum (mitte kirbuturg)
- Määratle katvus: Kirjuta üles demograafilised andmed, valgustingimused, kaameratüübid, geograafilised piirkonnad ja keskkonnad, millega sinu süsteem peab hakkama saama. Kui seda pole kirjas, on see soovmõtlemine.
- Sea kvoodid: Jah, kvoodid. Kui 30% sinu kasutajatest on vähese valgusega, peaks 30% sinu andmestikust olema vähese valgusega pildid. Sama kehtib nahatoonide vahemike (kasuta skaalasid nagu Fitzpatrick proksina), vanuserühmade, rõivastiilide ja kultuuriliste kontekstide kohta.
- Mitme allikaga andmed: Fotopanga pildid on magustoit. Sa vajad ka koduseid toite: kasutajate poolt panustatud fotosid (nõusolekul), avalikke andmestikke kallutatuse audititega ja sihipärast andmete kogumist alaesindatud rühmadelt.
2) Sildista nagu advokaat (aga sõbralikumalt)
- Selge taksonoomia: Kirjuta sildistamisjuhend. Ei, päris juhend. Kaasa äärmuslikud juhtumid, näited ja mida mitte teha. Vähenda sildistaja "vibratsioone".
- Mitmekesised annotaatorid: Kui sinu annotaatorid käisid kõik samas kolmes kohvikus, siis ka sinu sildid. Geograafiline ja kultuuriline mitmekesisus aitab.
- Kokkuleppekontrollid: Mõõda annotaatoritevahelist kokkulepet ja lahenda erimeelsused juhtiva sildistajaga. Ära keskmista mõttetusi.
- Tundlikud atribuudid: Kui see on asjakohane ja nõusolekul, kogu hindamiseks kaitstud atribuutide silte. Hoia need treenimisest eemal, kui sa ei tee kontrollitud õigluse sekkumisi.
3) Treeni nagu teadlane (koos suupistetega)
- Tasakaalustatud valim: Kasuta kihistatud valimit ja klassi ümberkaalustamist, et mudel ei upuks enamusklassi.
- Andmete suurendamine, vastutustundlikult: Muuda valgustust, nurki, oklusioone ja taustu. Sünteetilised andmed võivad aidata, kuid ära lase mängumootoril leiutada kogu sinu reaalsust.
- Kallutatuse vähendamise eesmärgid: Kaasa õiglusega seotud kaod või piirangud, mis minimeerivad toimivuse lünki rühmade vahel.
- Domeeni kohandamine: Kui kasutuselevõtt on tume, mürarikas või madala eraldusvõimega, simuleeri seda maailma. Parem: kogu selles maailmas.
4) Testi nagu küünik
- Viiluta ja tükelda hindamine: Raporteeri täpsust, täpsust/meeldetuletust ja kalibreerimist alarühma järgi. Kui sa ei näe seda, ei paranda sa seda.
- Kontrafaktuaalsed testid: Vaheta konteksti, hoides subjekti konstantsena. Kas naine, kes hoiab portfelli, muutub "õpetajaks", samal ajal kui portfelliga mees on "tegevjuht"? See on konteksti kallutatus, mis on tabatud 4K-s.
- Stressitestid: Viska oma mudelile vastaseid peegeldusi, liikumishägu, lund, udu, maske ja mütse. Põhimõtteliselt Halloweeni pidu närvivõrkudele.
5) Jälgi nagu sa mõtled seda
- Triivi tuvastamine: Jälgi sisendi jaotuse muutusi pärast käivitamist. Kui sinu rakendus muutub äkki Brasiilias suureks, tahad sa seda teada.
- Inimene-silmus: Lase kasutajatel märgistada vigu ja kallutatust ning tegelikult loe aruandeid. Jah, isegi neid, mis on suurtähtedega.
- Ümberõppe rütm: Planeeri värskendusi. Vananenud mudelid on kallutatud mudelid, millel on senioritis.
Reaalse maailma stsenaariumid: kus andmestiku kallutatus rikub vibratsiooni
- Dermatoloogia tehisintellekt: Kui sinu treeningpildid on enamasti heledamad nahatoonid, siis tumedamal nahal olevad kahjustused on aladiagnoositud. Lahendus: mitmekesista allikaid kliinikutest üle populatsioonide ja hinda nahatoonide kategooriate järgi.
- Jaemüügi kahjude ennetamine: Mudelid, mis on treenitud puhaste, eredate kaupluste testkaadritel, ebaõnnestuvad rahvarohketes, hämarates poodides. Lahendus: kogu andmeid tõelistest kauplustest üle piirkondade ja aastaaegade. Lisaks, võib-olla ära kriminaliseeri kapuutse.
- Põllumajanduse pilditöötlus: Mudel, mis on treenitud päevastel droonipiltidel, jätab hämaras kahjurid vahele. Lahendus: kaasa erinevad kellaajad ja anduritüübid (RGB + termiline). Taimedel on ka ööelu.
- Dokumentide skaneerimine: Passi selfie-kontrollid ebaõnnestuvad lokkis juuste või peakatete korral. Lahendus: laienda treenimist ja hinda selgesõnaliselt juuste tekstuure ja katteid. Boonus: paranda kasutajaliidese juhiseid ja valgustuse suuniseid.
Müüdid, mida ma kuulen (ja jah, ma tõin kviitungid)
- "Suuremad andmestikud = vähem kallutatust." Kui sinu suur andmestik on lihtsalt rohkem sama, oled sa probleemi suurendanud. See on nagu vale kohvi tellimine.
- "Me parandame selle postituses nutika algoritmiga." Algoritmid võivad kallutatust leevendada, kuid sa ei saa kartulit poleerida ja seda teemandiks nimetada. Alusta paremate kartulite – vabandust, andmetega.
- "Õiglus tähendab kõigile sama täpsust." Mõnikord on eesmärk pariteet; mõnikord on olulisemad võrdsustatud tõenäosused või kalibreeritud tulemused. Vali mõõdikud, mis vastavad kahjule, mida sa soovid ära hoida.
- "Sünteetilised andmed lahendavad mitmekesisuse." See aitab täita lünki, kuid kui generaator õppis kallutatust tõelistelt piltidelt, siis sa lihtsalt kloonisid probleemi 4K-s.
Praktiline, samm-sammult kallutatuse kontroll, mida sa saad tegelikult sel nädalal käivitada
- Inventeerige oma andmestik: Loo lihtne tabel selle kohta, kes ja mis seal on – demograafia, valgustus, seadmed, asukohad. Tõsta lüngad punasega esile. Teeskle, et sa hindad oma mudelit.
- Loo õigluse hindamise komplekt: 1000–10 000 pilti, mis on kihistatud rühmade vahel, kellest sa hoolid. See on sinu iga-aastane füüsiline läbivaatus.
- Vali kaks kallutatuse mõõdikut: Alusta alarühma täpsuse ja kalibreerimisveaga. Kui sinu rakendus on kõrge panusega (meditsiiniline, identiteet), lisa võrdsustatud tõenäosused või valenegatiivsete määrade lüngad.
- Sea läved: "Ükski alarühm ei tohi olla alla 95% üldisest täpsusest" on algus. Kirjuta see üles. Teibi see seinale.
- Triage ja ümberõpe: Täida lüngad sihipärase andmete kogumisega, kaalusta oma valimit ümber ja proovi domeeni suurendamist seal, kus sa kasutad. Käivita õigluse hindamine uuesti. Korda, kuni sinu seinale kleebitud plakat lakkab sinu peale karjumast.
Hoiatus: Määrused, auditid ja miks sinu juriidiline meeskond äkki lõunat armastab
Seadused ja standardid on jõudmas järele. Oota mõjuhinnangute, treeningandmete dokumenteerimise ja kasutuselevõtu järgse jälgimise nõudeid – eriti tervishoius, töölevõtmisel ja avaliku sektori kasutusaladel. Tõlge: pea arvestust. Andmelehed andmestikele, mudelikaardid mudelitele ja paberkandjal jälg iga suurema muudatuse kohta. Sinu tulevane mina – ja reguleerija – tänavad sind.
Tööriistad, mida tasub proovida, kui sinu arvutustabel hakkab nutma
- Kallutatuse hindamise teegid: Otsi avatud lähtekoodiga tööriistakomplekte, mis raporteerivad alarühma mõõdikuid, kalibreerimist ja õigluse piiranguid. Paljud integreeruvad tavaliste ML-raamistikega.
- Seletatavus: Salientsuskaardid, Grad-CAM, SHAP. Kasuta neid, et näha, mida mudel tegelikult vaatab. Kui see on logo, mitte toode, on sul armumise probleem.
- Andmebrauserid: Süsteemid, mis võimaldavad sul filtreerida metaandmete järgi, visualiseerida jaotuslünki ja märgistada peaaegu duplikaate. Püüa vähem kloone, rohkem katvust.
Väärib märkimist: Kui sa soovid mõistlikkuse kontrolli andmestike valimisel või auditeerimisel, saab Sider.AI aidata sul kiiresti võrrelda jaotusi, tõsta esile alaesindatud viile ja tuua esile "oi-oi" korrelatsioonid enne, kui neist saavad tootmisvead. Mõtle sellele kui sõbrale, kes ütleb sulle, et sinu hammaste vahel on spinatit – õrnalt ja diagrammidega. Inimlik külg: meeskonnad parandavad kallutatust, mitte tööriistaribad
- Mitmekesised meeskonnad märkavad erinevaid pimedaid nurki. Kui kõik sinu meeskonnas puhkavad samas kolmes linnas, siis sinu mudel teeb seda ka.
- Motivaatorid on olulised. Kui edu on ainult "üldine täpsus", siis inimesed saadavad kallutatud mudeli, mis võidab edetabeli. Sea õigluse eesmärgid ja premeeri nende saavutamist.
- Räägi kasutajatega, eriti nendega, kes saavad kõige halvemaid tulemusi. Nad ütlevad sulle, mida sinu juhtpaneel ei ütle.
Kiired võidud vs. pikad veod: mida teha vastavalt sinu tähtajale
- Saada homme: Lisa sihipärane suurendamine sinu kõige halvemini toimivale alarühmale, kaalusta oma kaotus ümber ja lisa jälgimispaneel koos triivi hoiatustega.
- Saada järgmisel kuul: Kogu väike, aga võimas andmestik, mis on keskendunud lünkadele, õpi ümber õigluse piirangutega ja käivita kontrafaktuaalne testikomplekt.
- Saada järgmisel kvartalil: Kujunda oma andmevoog ümber, et see sisaldaks kvoodipõhist valimit, pidevaid kallutatuse hindamisi ja funktsioonidevahelist ülevaadet enne vabastamist.
Kontrollnimekiri, mida sa tegelikult kasutad
- Kas me teame, kes on meie andmetes ja kes puuduvad?
- Kas me seadsime alarühma toimivuse eesmärgid?
- Kas meie sildid on järjepidevad ja kultuuriliselt teadlikud?
- Kas me testisime keskkondades, kus meie kasutajad elavad – mitte ainult meie laboris?
- Kas me saame selgitada mudeli otsuseid, kui asjad valesti lähevad?
- Kas meil on plaan pärast käivitamist värskendada ja jälgida?
Prindi see välja. Raami see. Või kleebi see oma espressomasinale.
Kui kallutatus on funktsioon, mitte viga: piirangute tunnistamine
Mõned pilditöötlusülesanded kodeerivad kultuurilisi norme (mood, žestid, sümbolid), mis pole universaalsed. Mõnikord on õige vastus lokaliseerida mudeleid piirkonna, kultuuri või kasutusjuhtumi järgi, selle asemel, et jahtida kõigile sobivat õiglust. Eesmärk pole teha tehisintellekti, mis teab kõike kõigi kohta – vaid ehitada see, mis teab, millal ta ei tea.
Põhiline järeldus: ära lase oma tehisintellektil mullis üles kasvada
Andmestiku kallutatus tehisintellekti pilditöötluses on nagu oma kaamera õpetamine nägema maailma läbi paberrätiku toru: sa saad kitsa vaate ja peavalu. Kuid sa pole hukule määratud.
- Auditeeri oma andmeid nii, nagu see oleks oluline – sest see on.
- Sildista kavatsusega, treeni piirangutega ja testi skeptiliselt.
- Jälgi, kuula ja paranda, kui reaalne maailm sind vältimatult üllatab.
Tee seda ja sinu tehisintellekt lõpetab saride ajamise hommikumantlitega ja sünnimärkide ajamise toodanguga. See võib isegi olla piisavalt hea, et aidata inimesi – turvaliselt, õiglaselt ja metsikus, segases reaalsuses, kus me kõik tegelikult elame.
Nüüd mine kontrolli oma andmestikku. Ma ootan. Ja ma olen see, kes on nurgas ja sosistab sinu mudelile: "See pole sina, see on sinu treeningkomplekt."
KKK
K1: Mis on andmestiku kallutatus tehisintellekti pilditöötluses lihtsas eesti keeles?
See on siis, kui treeningpildid ei vasta reaalsele maailmale – liiga vähe nahatoone, valgustingimusi või kontekste. Mudel õpib kitsa reaalsuse ja teeb kallutatud või valesid ennustusi, kui see kohtub millegagi, mis on väljaspool seda mulli.
K2: Kuidas ma saan tuvastada andmestiku kallutatust enne saatmist?
Viiluta oma mõõdikud alarühma järgi – demograafia, valgustus, seadmed – ja otsi toimivuse lünki. Lisa konteksti ja sildistamise kallutatuse varajaseks tabamiseks kontrafaktuaalsed testid ja väike, kureeritud õigluse hindamise komplekt.
K3: Kas sünteetilised andmed saavad parandada andmestiku kallutatust arvutinägemises?
Sünteetilised andmed võivad täita lünki nagu haruldane valgustus või nurgad, kuid see võib ka kloonida sinu olemasolevat kallutatust. Kasuta seda alaesindatud stsenaariumide suurendamiseks, mitte mitmekesiste reaalse maailma piltide asendamiseks.
K4: Millised on kiired viisid kallutatuse vähendamiseks ilma kõike ümber ehitamata?
Kaalusta klassid ümber, lisa sihipäraseid suurendusi ja kogu väike andmestik, mis on keskendunud sinu kõige halvemini toimivatele rühmadele. Seejärel treeni ümber õiglusega seotud kadudega ja jälgi triivi pärast käivitamist.
K5: Milliseid mõõdikuid ma peaksin kasutama pildistamiskallutatuse mõõtmiseks?
Alusta alarühma täpsuse ja kalibreerimisveaga, seejärel kaalu kõrge panusega ülesannete puhul võrdsustatud tõenäosusi või valenegatiivsete määrade lünki. Vali mõõdikud, mis ühtivad kahjuga, mida sa kõige rohkem soovid ära hoida.
