Tātad jūsu AI kamera domā, ka katra sieviete ir medmāsa, bet katrs vīrietis – izpilddirektors. Forši, forši, forši.
Vai esat kādreiz augšupielādējis fotoattēlu lietotnē, kas ir "uzlabota ar AI", un redzējis, kā tā pārliecinoši apzīmē jūsu drauga sārī kā halātu? Vai arī redzējis medicīniskās attēlveidošanas sistēmu, kas uzstāj, ka dzimumzīme uz jūsu rokas ir mellenes? Tas ir datu kopas neobjektivitāte AI attēlveidošanā, un tas nav tikai neveikli – tas var būt bīstami. Padomājiet par to kā par bērna mācīšanu alfabētam tikai ar patskaņiem. Protams, viņi kaut ko nodziedās. Jūs nevēlaties, lai viņi izrakstītu receptes.
Mēs atrodamies dīvainā brīdī, kad datorredze ir pietiekami laba, lai būtu visur – jūsu tālrunī, jūsu automašīnā, jūsu ārsta kabinetā –, bet joprojām pietiekami slikta, lai palaistu garām galveno domu, kontekstu un dažreiz veselas cilvēku grupas. Parasti vainīgs nav matemātika. Tie ir dati. Konkrēti, dati, kas apmācīja šos modeļus redzēt pasauli caur ļoti šauru lēcu.
Izpētīsim, kā datu kopas neobjektivitāte AI attēlveidošanā iezogas, sabojā un – pats galvenais – kā jūs varat neļaut tai nosaukt jūsu kaķi par kruasānu.
Kas ir datu kopas neobjektivitāte AI attēlveidošanā? Īsā versija, ko jūsu tante patiešām izlasīs
Datu kopas neobjektivitāte AI attēlveidošanā rodas, kad attēli, kas tiek izmantoti modeļa apmācībai, neatspoguļo reālo pasauli. Ja jūsu datu kopā pārsvarā ir vienas demogrāfiskās grupas sejas, ādas toņi no ierobežota diapazona vai objekti, kas fotografēti perfektā studijas apgaismojumā (sveiciens, influencera riņķveida gaismas!), modelis apgūst sagrozītu realitātes versiju.
- Atlases neobjektivitāte: jūs izvēlējāties attēlus, kurus bija visvieglāk iegūt – fotoattēlus no krājumiem, baltu fonu un reizēm aizdomīgi laimīgu salātu ēdāju.
- Apzīmējumu neobjektivitāte: cilvēki apzīmē attēlus. Cilvēki pauž viedokļus. Dažreiz šie viedokļi ir vairāk "radoša rakstīšana" nekā "patiesība".
- Konteksta neobjektivitāte: stetoskops blakus sievietei? Jābūt medmāsai. Tas pats objekts blakus vīrietim? Ārsts. Modelis apguva stereotipu no datu kopas.
- Domēna neobjektivitāte: jūs apmācījāties ar spīdīgiem produktu fotoattēliem, pēc tam izvietojāt vājā rūpnīcu apgaismojumā. Pārsteigums: autoiekrāvējs izskatās pēc Lielkāja.
Ja jūs mācāt AI redzēt pasauli tikai caur vienu apkaimi, nebrīnieties, kad tas apmaldās pilsētas centrā.
Ne tik smieklīgās likmes: kur neobjektivitāte pārstāj būt mēms
Neobjektivitāte AI attēlveidošanā ne tikai rada mēmu cienīgus neveiksmes gadījumus. Tas parādās:
- Medicīniskā attēlveidošana: Nepietiekami pārstāvēti ādas toņi dermatoloģijas datu kopās var izraisīt sliktākus noteikšanas rādītājus tādiem stāvokļiem kā melanoma. Kad pikseļi neatbilst apmācības piemēriem, kļūdu skaits palielinās.
- Drošība un novērošana: Nepareiza identifikācija sejas atpazīšanā ir saistīta ar nelikumīgiem arestiem, īpaši attiecībā uz krāsainiem cilvēkiem. Ne pārāk laba lietotāja pieredze.
- Pieņemšana darbā un identitātes pārbaude: Sejas saskaņošana, kas neveiksmīgi atpazīst nebinārās vai transseksuālās sejas, nav tikai kaitinoša – tā ir izslēdzoša.
- Autonomās sistēmas: Pašbraucoša automašīna, kas apmācīta galvenokārt Kalifornijas saulē, var neatpazīt sniega klātu ceļa zīmi Minesotā. Automašīna nav bezatbildīga. Tā ir pasargāta.
Kad modeļa pasaule ir maza, īsti cilvēki par to maksā.
Kā tas iezogas: četri tēli no Bībeles grāmatas Atklāsmes par attēlu datu kopas neobjektivitāti
1) "Bezmaksas lietu neobjektivitāte"
Attēlu nokasīšana no atklātā tīmekļa būtībā ir pikseļu konteineru niršana. Jūs atradīsiet daudz slavenību sejas attēlu, tehnoloģiju konferenču nozīmīšu un produktu attēlu, kas izskatās tā, it kā tie būtu uzņemti uz Mēness. Ikdienas, nekārtīga realitāte? Mazāk. Tas novirza jūsu modeli uz noteiktām sejām, vietām un noskaņām.
2) "Anotāciju dreifs"
Divi marķētāji ieiet marķēšanas darbā. Viens atzīmē džemperi ar kapuci kā "sporta apģērbu", otrs saka "ikdienas apģērbu", bet trešais to sauc par "ielu apģērbu". Modelis uzzina, ka apģērbs ir haoss. Vēl ļaunāk, marķētāji izvirza kultūras pieņēmumus – piemēram, kas izskatās pēc "priekšnieka" vai kas tiek uzskatīts par "dabisku" frizūru.
3) "Konteksta kruķis"
Modeļiem patīk īsceļi. Ja 90% fotogrāfiju ar pavāriem jūsu datu kopā ir vīrieši, modelis izmantos dzimuma norādes kā īsceļu, lai paredzētu "pavāru". Tā nav inteliģence; tā ir neobjektīva krāpšanās lapa.
4) "Domēna neatbilstība"
Apmāciet uz DSLR glamūra attēliem, izvietojiet uz zemas izšķirtspējas drošības kamerām. Apmāciet uz dienas attēliem, izvietojiet naktī. Apmāciet uz pilsētas ielām, izvietojiet uz lauku ceļiem. Jūsu modelis būtībā ceļo bez lādētāja.
Neobjektivitātes atklāšana bez doktora grāda – vai melu detektora
Lūk, kā jūs zināt, ka jūsu AI attēlveidošanas modelim ir neobjektivitātes problēma, papildus tai grimstošajai sajūtai jūsu demonstrācijā:
- Veiktspējas atšķirības: Sagrieziet savus validācijas rādītājus pēc demogrāfijas, apgaismojuma, ģeogrāfijas vai ierīces veida. Ja precizitāte samazinās kā tālrunis bez maciņa noteiktām grupām, jums ir neobjektivitāte.
- Jūs sajauc matricas: Ja modelis turpina jaukt konkrētas klases – piemēram, hidžābus ar cepurēm –, tas norāda uz datu kopu.
- Funkciju atribūtu auditi: Tādi rīki kā Grad-CAM var atklāt, ka jūsu "kaķa" detektors faktiski ir vērsts uz dīvāna rakstu. Apsveicam, jūs apmācījāt mēbeļu tapsējuma atpazīšanu.
- Reālās pasaules izmēģinājuma dreifs: Veiciet mazus izmēģinājuma projektus reālajā vidē. Ja modelis panikā krīt fluorescējošā apgaismojumā kā augs pagrabā, tam ir nepieciešami daudzveidīgāki dati.
Rīkkopa: kā samazināt datu kopas neobjektivitāti, pirms tā ietekmē jūsu produktu plānu
Iedomājieties neobjektivitātes apkarošanu kā mājas renovāciju. Jūs varat aizlāpīt, pastiprināt vai izraut un pārbūvēt. Jūsu budžets: laiks, dati un pazemība.
1) Atlasiet kā muzejs (nevis blusu tirgus)
- Definējiet pārklājumu: Pierakstiet demogrāfiju, apgaismojuma apstākļus, kameru veidus, ģeogrāfiskās atrašanās vietas un vidi, ar kuru jūsu sistēmai jātiek galā. Ja tas nav uzrakstīts, tā ir vēlmju domāšana.
- Iestatiet kvotas: Jā, kvotas. Ja 30% jūsu lietotāju atrodas vājā apgaismojumā, 30% jūsu datu kopas jābūt vāja apgaismojuma attēliem. Tas pats attiecas uz ādas toņu diapazoniem (izmantojiet tādas skalas kā Fitspatrika kā aizstājēju), vecuma grupām, apģērbu stiliem un kultūras kontekstiem.
- Iegūstiet datus no vairākiem avotiem: Krājumu fotoattēli ir deserts. Jums ir nepieciešamas arī mājas maltītes: lietotāju iesniegtie fotoattēli (ar piekrišanu), publiskas datu kopas ar neobjektivitātes auditiem un mērķtiecīga datu vākšana no nepietiekami pārstāvētām grupām.
2) Apzīmējiet kā jurists (bet draudzīgāk)
- Skaidra taksonomija: Uzrakstiet marķēšanas rokasgrāmatu. Nē, īstu. Iekļaujiet robežgadījumus, piemērus un to, ko nedarīt. Samaziniet marķētāja "noskaņas".
- Daudzveidīgi anotētāji: Ja jūsu anotētāji visi apmeklēja tās pašas trīs kafejnīcas, arī jūsu etiķetes to darīs. Ģeogrāfiskā un kultūras daudzveidība palīdz.
- Vienošanās pārbaudes: Izmēriet starp anotētāju vienošanos un izšķiriet domstarpības ar vadošo marķētāju. Nevienādojiet līdz muļķībām.
- Jutīgi atribūti: Kad tas ir piemēroti un saskaņoti, apkopojiet aizsargātu atribūtu tagus novērtēšanai. Turiet tos ārpus apmācības, ja vien neveicat kontrolētu taisnīguma iejaukšanos.
3) Apmāciet kā zinātnieks (ar uzkodām)
- Līdzsvarota izlase: Izmantojiet stratificētu izlasi un klases pārsvaru, lai modelis nenoslīktu vairākuma klasē.
- Datu paplašināšana, atbildīgi: Mainiet apgaismojumu, leņķus, oklūzijas un fonus. Sintētiskie dati var palīdzēt, bet neļaujiet spēļu dzinējam izgudrot visu jūsu realitāti.
- Neobjektivitātes mazināšanas mērķi: Iekļaujiet godīgumu apzinošus zaudējumus vai ierobežojumus, kas samazina veiktspējas atšķirības starp grupām.
- Domēna pielāgošana: Ja izvietošana ir tumša, trokšņaina vai zemas izšķirtspējas, simulējiet šo pasauli. Labāk: vāciet šajā pasaulē.
4) Pārbaudiet kā cinisks
- Sagrieziet un sadaliet novērtējumu: Ziņojiet par precizitāti, precizitāti/atsaukšanu un kalibrēšanu pēc apakšgrupas. Ja jūs to neredzat, jūs to neizlabosiet.
- Pretfaktu pārbaudes: Apmainiet kontekstu, vienlaikus saglabājot nemainīgu subjektu. Vai sieviete, kas tur portfeli, kļūst par "skolotāju", bet vīrietis ar portfeli ir "izpilddirektors"? Tā ir konteksta neobjektivitāte, kas noķerta 4K formātā.
- Stresa testi: Metiet savam modelim pretēju atspīdumu, kustības izplūdumu, sniegu, miglu, maskas un cepures. Būtībā Helovīns neironu tīkliem.
5) Uzraugiet tā, it kā jūs to domātu nopietni
- Dreifa noteikšana: Sekojiet līdzi izmaiņām ievades sadalījumā pēc palaišanas. Kad jūsu lietotne pēkšņi kļūst liela Brazīlijā, jūs vēlēsities to zināt.
- Cilvēks cilpā: Ļaujiet lietotājiem atzīmēt kļūdas un neobjektivitāti un faktiski izlasiet ziņojumus. Jā, pat tos, kas ir ar lielajiem burtiem.
- Pārkvalificēšanās ritms: Ieplānojiet atsvaidzināšanu. Novecojuši modeļi ir neobjektīvi modeļi ar senioru slimību.
Reālās pasaules scenāriji: kur datu kopas neobjektivitāte sabojā noskaņu
- Dermatoloģijas AI: Ja jūsu apmācības attēliem pārsvarā ir gaišāki ādas toņi, bojājumi uz tumšākas ādas tiek atklāti nepietiekami. Labojums: dažādojiet avotus no klīnikām dažādās populācijās un novērtējiet pēc ādas toņu kategorijām.
- Mazumtirdzniecības zaudējumu novēršana: Modeļi, kas apmācīti uz testa materiāliem no tīriem, spilgtiem veikaliem, neizdodas pārpildītos, tumšos veikalos. Labojums: vāciet datus no reāliem veikaliem dažādos reģionos un gadalaikos. Turklāt, iespējams, nekriminalizējiet džemperus ar kapuci.
- Lauksaimniecības attēlveidošana: Modelis, kas apmācīts uz dienas dronu attēliem, garām kaitēkļiem krēslā. Labojums: iekļaujiet dažādus diennakts laikus un sensoru veidus (RGB + termālais). Arī augiem ir nakts dzīve.
- Dokumentu skenēšana: Pases pašbildes pārbaudes neizdodas ar cirtainiem matiem vai galvassegām. Labojums: paplašiniet apmācību un skaidri novērtējiet matu tekstūras un pārsegumus. Bonuss: uzlabojiet lietotāja saskarnes uzvednes un apgaismojuma vadlīnijas.
Mīti, ko es turpinu dzirdēt (un jā, es atnesu kvītis)
- "Lielākas datu kopas = mazāka neobjektivitāte." Ja jūsu lielā datu kopa ir tikai vairāk no tā paša, jūs esat palielinājis problēmu. Tas ir kā pasūtīt nepareizas kafijas venti.
- "Mēs to salabosim pēc tam ar gudru algoritmu." Algoritmi var mazināt neobjektivitāti, bet jūs nevarat pulēt kartupeli un nosaukt to par dimantu. Sāciet ar labākiem bumbuļiem – iekš, datiem.
- "Godīgums nozīmē vienādu precizitāti visiem." Dažreiz paritāte ir mērķis; dažreiz vienlīdzīgas izredzes vai kalibrēti rādītāji ir svarīgāki. Izvēlieties rādītājus, kas atbilst kaitējumam, kuru vēlaties novērst.
- "Sintētiskie dati atrisina daudzveidību." Tas palīdz aizpildīt nepilnības, bet, ja ģenerators apguva neobjektivitāti no reāliem attēliem, jūs vienkārši klonējāt problēmu 4K formātā.
Praktiska, soli pa solim neobjektivitātes pārbaude, ko jūs patiešām varat veikt šonedēļ
- Inventarizējiet savu datu kopu: Izveidojiet vienkāršu tabulu ar to, kas un kas tajā atrodas – demogrāfija, apgaismojums, ierīces, atrašanās vietas. Iezīmējiet nepilnības sarkanā krāsā. Iztēlojieties, ka jūs vērtējat savu modeli.
- Izveidojiet godīguma novērtējuma kopu: 1000–10 000 attēlu, kas stratificēti pāri grupām, kas jums rūp. Šī ir jūsu ikgadējā fiziskā pārbaude.
- Izvēlieties divus neobjektivitātes rādītājus: Sāciet ar apakšgrupas precizitāti un kalibrēšanas kļūdu. Ja jūsu lietotne ir ar augstu risku (medicīniska, identitātes), pievienojiet vienlīdzīgas izredzes vai nepatiesu negatīvu rādītāju atšķirības.
- Iestatiet sliekšņus: "Neviena apakšgrupa nav zemāka par 95% no kopējās precizitātes" ir sākums. Pierakstiet to. Pielīmējiet to pie sienas.
- Triage un pārkvalificējiet: Aizpildiet nepilnības ar mērķtiecīgu datu vākšanu, pārvērtējiet savu izlases ņemšanas iekārtu un izmēģiniet domēna paplašināšanu, kur izvietojat. Atkārtojiet godīguma novērtējumu. Atkārtojiet, līdz jūsu sienas plakāts pārstāj uz jums bļaut.
Uzmanību: Noteikumi, auditi un kāpēc jūsu juridiskajai komandai pēkšņi patīk pusdienas
Likumi un standarti tuvojas. Sagaidiet prasības attiecībā uz ietekmes novērtējumiem, apmācības datu dokumentāciju un uzraudzību pēc izvietošanas – īpaši veselības aprūpē, pieņemšanā darbā un sabiedriskā sektora izmantošanā. Tulkojums: glabājiet ierakstus. Datu lapas datu kopām, modeļu kartes modeļiem un papīra pierādījumi par katru nozīmīgu izmaiņu. Jūsu nākotnes es – un regulators – jums pateiks paldies.
Rīki, kurus ir vērts izmēģināt, kad jūsu izklājlapas sāk raudāt
- Neobjektivitātes novērtēšanas bibliotēkas: Meklējiet atvērtā koda rīkkopas, kas ziņo par apakšgrupas rādītājiem, kalibrēšanu un godīguma ierobežojumiem. Daudzi integrējas ar parastajām ML sistēmām.
- Paskaidrojamība: Saliency maps, Grad-CAM, SHAP. Izmantojiet tos, lai redzētu, ko modelis patiesībā skatās. Ja tas ir logotips, nevis produkts, jums ir simpātijas problēma.
- Datu pārlūkprogrammas: Sistēmas, kas ļauj filtrēt pēc metadatiem, vizualizēt sadalījuma atšķirības un atzīmēt gandrīz dublikātus. Tiecieties pēc mazāk klonu, lielāka pārklājuma.
Vērts atzīmēt: Ja vēlaties iegūt saprāta pārbaudi, atlasot vai auditējot datu kopas, Sider.AI var palīdzēt jums ātri salīdzināt sadalījumus, iezīmēt nepietiekami pārstāvētus segmentus un parādīt "uh-oh" korelācijas, pirms tās kļūst par ražošanas kļūdām. Padomājiet par to kā par draugu, kurš maigi un ar diagrammām pasaka, ka jums ir spināti starp zobiem. Cilvēciskā puse: komandas novērš neobjektivitāti, nevis rīkjoslas
- Daudzveidīgas komandas pamana dažādus aklos punktus. Ja visi jūsu komandas locekļi atvaļinājumā dodas uz tām pašām trim pilsētām, to darīs arī jūsu modelis.
- Stimuliem ir nozīme. Ja panākumi ir tikai "kopējā precizitāte", cilvēki piegādās neobjektīvo modeli, kas uzvar līderu sarakstā. Iestatiet godīguma mērķus un atalgojiet par to sasniegšanu.
- Runājiet ar lietotājiem, īpaši ar tiem, kuriem ir vissliktākie rezultāti. Viņi jums pateiks to, ko jūsu informācijas panelis neparādīs.
Ātrie ieguvumi pretēji ilgtermiņa ieguvumiem: ko darīt atkarībā no jūsu termiņa
- Piegādāt rīt: Pievienojiet mērķtiecīgu paplašināšanu savai vissliktākās veiktspējas apakšgrupai, pārvērtējiet savus zaudējumus un uzlieciet uzraudzības informācijas paneli ar brīdinājumiem par dreifu.
- Piegādāt nākamajā mēnesī: Vāciet nelielu, bet spēcīgu datu kopu, kas koncentrējas uz nepilnībām, pārkvalificējiet ar godīguma ierobežojumiem un palaidiet pretfaktu testu komplektu.
- Piegādāt nākamajā ceturksnī: Pārveidojiet savu datu cauruļvadu, lai iekļautu uz kvotām balstītu izlasi, nepārtrauktus neobjektivitātes novērtējumus un starpfunkcionālu pārskatīšanu pirms izlaišanas.
Kontrolsaraksts, kuru jūs patiešām izmantosiet
- Vai mēs zinām, kas ir mūsu datos un kas trūkst?
- Vai mēs iestatījām apakšgrupas veiktspējas mērķus?
- Vai mūsu etiķetes ir konsekventas un kultūras ziņā atbilstošas?
- Vai mēs testējām vidēs, kurās dzīvo mūsu lietotāji – ne tikai mūsu laboratorijā?
- Vai mēs varam izskaidrot modeļa lēmumus, kad kaut kas noiet greizi?
- Vai mums ir plāns atjaunināt un uzraudzīt pēc palaišanas?
Izdrukājiet to. Ierāmējiet to. Vai pielīmējiet to pie sava espresso automāta.
Kad neobjektivitāte ir funkcija, nevis kļūda: robežu atzīšana
Daži attēlveidošanas uzdevumi kodē kultūras normas (mode, žesti, simboli), kas nav universālas. Dažreiz pareizā atbilde ir lokalizēt modeļus pēc reģiona, kultūras vai lietošanas gadījuma, nevis dzīties pēc viena izmēra, kas der visiem, godīguma. Mērķis nav izveidot AI, kas zina visu par visiem – tas ir izveidot tādu, kas zina, kad tā nezina.
Galvenā doma: neļaujiet savam AI izaugt burbulī
Datu kopas neobjektivitāte AI attēlveidošanā ir kā mācīt savai kamerai redzēt pasauli caur papīra dvieļu cauruli: jūs iegūstat šauru skatu un galvassāpes. Bet jūs neesat lemts.
- Auditējiet savus datus tā, it kā tiem būtu nozīme – jo tā ir.
- Apzīmējiet ar nodomu, apmāciet ar ierobežojumiem un testējiet ar skepticismu.
- Uzraugiet, klausieties un labojiet, jo reālā pasaule neizbēgami jūs pārsteigs.
Dariet to, un jūsu AI pārstās sajaukt sārī ar halātiem un dzimumzīmes ar produktiem. Tas pat varētu būt pietiekami labs, lai palīdzētu cilvēkiem – droši, godīgi un mežonīgajā, nekārtīgajā realitātē, kurā mēs visi patiesībā dzīvojam.
Tagad dodieties pārbaudīt savu datu kopu. Es pagaidīšu. Un es būšu tas stūrī, kas čukstēs jūsu modelim: "Tā nav tava vaina, tas ir tavs apmācības komplekts."
BUJ
Q1:Kas ir datu kopas neobjektivitāte AI attēlveidošanā, vienkāršā valodā?
Tas ir tad, kad apmācības attēli neatbilst reālajai pasaulei – pārāk maz ādas toņu, apgaismojuma apstākļu vai kontekstu. Modelis apgūst šauru realitāti un izdara neobjektīvus vai nepareizus paredzējumus, kad tas sastopas ar kaut ko ārpus šī burbuļa.
Q2:Kā es varu noteikt datu kopas neobjektivitāti, pirms es to piegādāju?
Sagrieziet savus rādītājus pēc apakšgrupas – demogrāfijas, apgaismojuma, ierīcēm – un meklējiet veiktspējas atšķirības. Pievienojiet pretfaktu pārbaudes un nelielu, atlasītu godīguma novērtējuma kopu, lai savlaicīgi noķertu kontekstu un marķēšanas neobjektivitāti.
Q3:Vai sintētiskie dati var novērst datu kopas neobjektivitāti datorredzē?
Sintētiskie dati var aizpildīt nepilnības, piemēram, retu apgaismojumu vai leņķus, bet tie var arī klonēt jūsu esošo neobjektivitāti. Izmantojiet to, lai papildinātu nepietiekami pārstāvētus scenārijus, nevis aizstātu daudzveidīgus reālās pasaules attēlus.
Q4:Kādi ir ātri veidi, kā samazināt neobjektivitāti, nepārbūvējot visu?
Pārvērtējiet klases, pievienojiet mērķtiecīgu paplašināšanu un savāciet nelielu datu kopu, kas koncentrējas uz jūsu vissliktākās veiktspējas grupām. Pēc tam pārkvalificējiet ar godīgumu apzinošiem zaudējumiem un uzraugiet dreifu pēc palaišanas.
Q5:Kādus rādītājus man vajadzētu izmantot, lai izmērītu attēlveidošanas neobjektivitāti?
Sāciet ar apakšgrupas precizitāti un kalibrēšanas kļūdu, pēc tam apsveriet vienlīdzīgas izredzes vai nepatiesu negatīvu rādītāju atšķirības uzdevumiem ar augstu risku. Izvēlieties rādītājus, kas atbilst kaitējumam, kuru visvairāk vēlaties novērst.
