Kwa hivyo kamera yako ya AI inafikiri kila mwanamke ni nesi na kila mwanaume ni CEO. Poa, poa, poa.
Umewahi kupakia picha kwenye programu "iliyoboreshwa na AI" na kuona ikiweka lebo kwa ujasiri sari ya rafiki yako kama kanga ya kuogelea? Au kuona mfumo wa picha za kimatibabu ukisisitiza kwamba kidonda kwenye mkono wako ni beri buluu? Hiyo ni ubaguzi wa dataseti katika picha za AI, na si jambo la aibu tu—linaweza kuwa hatari. Fikiria kama kumfundisha mtoto alfabeti kwa kutumia vokali pekee. Hakika, ataweza kuimba kitu. Hutamhitaji aandike maagizo ya dawa.
Tuko katika wakati wa ajabu ambapo uwezo wa kompyuta kuona ni mzuri kiasi cha kuwa kila mahali—kwenye simu yako, gari lako, ofisi ya daktari wako—lakini bado ni mbaya kiasi cha kukosa lengo, muktadha, na wakati mwingine makundi yote ya watu. Mshukiwa kwa kawaida si hesabu. Ni data. Hasa, data iliyo fundisha modeli hizi kuona ulimwengu kupitia lenzi nyembamba sana.
Hebu tuangalie jinsi ubaguzi wa dataseti katika picha za AI unavyoingia, unaharibu, na—muhimu zaidi—jinsi unavyoweza kuuzuia kumwita paka wako croissant.
Ubaguzi wa dataseti katika picha za AI ni nini? Toleo fupi ambalo shangazi yako atasoma
Ubaguzi wa dataseti katika picha za AI hutokea wakati picha zinazotumika kufunza modeli haziwakilishi ulimwengu halisi. Ikiwa dataseti yako ina nyuso nyingi kutoka kwa idadi ya watu moja, rangi za ngozi kutoka kwa anuwai ndogo, au vitu vilivyopigwa picha katika taa kamili za studio (hi, taa za mviringo za washawishi!), modeli inajifunza toleo potofu la ukweli.
- Ubaguzi wa uteuzi: Umechagua picha ambazo zilikuwa rahisi kupata—picha za hisa, asili nyeupe, na mlaji wa saladi mwenye furaha ya kutiliwa shaka mara kwa mara.
- Ubaguzi wa lebo: Binadamu huweka lebo kwenye picha. Binadamu huleta maoni. Wakati mwingine maoni hayo ni zaidi ya "uandishi wa ubunifu" kuliko "ukweli msingi."
- Ubaguzi wa muktadha: Stethoscope karibu na mwanamke? Lazima awe nesi. Kitu kile kile karibu na mwanaume? Daktari. Modeli ilijifunza dhana potofu kutoka kwa dataseti.
- Ubaguzi wa kikoa: Umefunza kwenye picha za bidhaa zinazong'aa, kisha ukaweka katika sakafu za kiwanda zenye mwanga hafifu. Mshangao: forklift inaonekana kama Bigfoot.
Ukimfundisha AI kuona ulimwengu kupitia mtaa mmoja tu, usishtuke inapo potea katikati ya mji.
Hatari zisizo za kuchekesha sana: ambapo ubaguzi huacha kuwa meme
Ubaguzi katika picha za AI hautoi tu majanga ya meme-able. Inaonekana katika:
- Picha za kimatibabu: Rangi za ngozi ambazo hazijawakilishwa katika dataseti za ngozi zinaweza kusababisha viwango vibaya zaidi vya kugundua hali kama vile melanoma. Wakati pikseli hazilingani na mifano ya mafunzo, makosa huongezeka.
- Usalama na ufuatiliaji: Utambulisho mbaya katika utambuzi wa sura umehusishwa na kukamatwa isivyo haki, haswa kwa watu wa rangi. Sio uzoefu mzuri wa mtumiaji.
- Uajiri na uthibitishaji wa utambulisho: Ulinganishaji wa nyuso ambao unatatizika na nyuso zisizo za binary au trans sio tu jambo la kuudhi—ni la kibaguzi.
- Mifumo inayojiendesha: Gari linalojiendesha ambalo limefunzwa zaidi katika mwanga wa jua wa California linaweza lisitambue ishara ya kusimama iliyofunikwa na theluji huko Minnesota. Gari hilo halina akili. Limelindwa.
Wakati ulimwengu wa modeli ni mdogo, watu halisi hulipa gharama.
Jinsi inavyoingia: farasi wanne wa ubaguzi wa dataseti ya picha
1) "Ubaguzi wa vitu vya bure"
Kukwangua wavuti iliyo wazi kwa picha kimsingi ni kuzamia kwenye jaa la takataka kwa pikseli. Utapata picha nyingi za vichwa vya watu mashuhuri, beji za mikutano ya teknolojia, na picha za bidhaa ambazo zinaonekana kama zilipigwa mwezini. Ukweli wa kila siku, usio safi? Sio sana. Hiyo inaelekeza modeli yako kuelekea nyuso, mahali, na mitindo fulani.
2) "Mgeuko wa ufafanuzi"
Wafafanuzi wawili wanaingia kwenye kazi ya uwekaji lebo. Mmoja huweka lebo hoodie kama "mavazi ya michezo," mwingine anasema "mavazi ya kawaida," na wa tatu anaiita "mavazi ya mtaani." Modeli inajifunza kuwa nguo ni machafuko. Mbaya zaidi, wafafanuzi huleta mawazo ya kitamaduni—kama vile nani anaonekana kama "bosi" au kile kinachohesabiwa kama mtindo wa nywele "wa asili".
3) "Kitengo cha muktadha"
Moduli hupenda njia za mkato. Ikiwa 90% ya picha za wapishi kwenye dataseti yako zina wanaume, modeli itatumia ishara za kijinsia kama njia ya mkato ya kutabiri "mpishi." Hiyo si akili; hiyo ni karatasi ya kudanganya yenye ubaguzi.
4) "Mvutano wa kikoa"
Funza kwenye picha za kupendeza za DSLR, weka kwenye kamera za usalama za ubora wa chini. Funza kwenye picha za mchana, weka usiku. Funza kwenye mitaa ya mijini, weka kwenye barabara za mashambani. Modeli yako kimsingi inasafiri bila chaja.
Kutambua ubaguzi bila PhD—au kigunduzi cha uongo
Hivi ndivyo unavyojua modeli yako ya picha za AI ina tatizo la ubaguzi, zaidi ya hisia hiyo mbaya kwenye onyesho lako:
- Mapungufu ya utendaji: Gawanya vipimo vyako vya uthibitishaji kulingana na idadi ya watu, mwanga, jiografia, au aina ya kifaa. Ikiwa usahihi unashuka kama simu bila kipochi kwa makundi fulani, una ubaguzi.
- Matrices ya kuchanganya ambayo yanakuchanganya: Ikiwa modeli inaendelea kuchanganya madarasa mahususi—sema, hijabu na kofia—hiyo ni hadithi ya dataseti.
- Ukaguzi wa sifa za kipengele: Zana kama vile Grad-CAM zinaweza kufichua kwamba kigunduzi chako cha "paka" kwa kweli kinafungia muundo wa kitanda. Hongera, ulifunza utambuzi wa upholstery.
- Mgeuko wa majaribio ya ulimwengu halisi: Endesha majaribio madogo porini. Ikiwa modeli inashikwa na hofu chini ya taa ya fluorescent kama mmea kwenye basement, inahitaji data tofauti zaidi.
Seti ya zana: jinsi ya kupunguza ubaguzi wa dataseti kabla haijauma ramani yako ya barabara ya bidhaa
Fikiria kupambana na ubaguzi kama ukarabati wa nyumba. Unaweza kuziba, kuimarisha, au kung'oa na kujenga upya. Bajeti yako: wakati, data, na unyenyekevu.
1) Pangilia kama makumbusho (sio soko la flea)
- Fafanua ushuhuda: Andika idadi ya watu, hali za mwanga, aina za kamera, jiografia, na mazingira ambayo mfumo wako lazima ushughulikie. Ikiwa haijaandikwa, ni matamanio tu.
- Weka viwango: Ndiyo, viwango. Ikiwa 30% ya watumiaji wako wako katika mwanga mdogo, 30% ya dataseti yako inapaswa kuwa picha za mwanga mdogo. Vile vile huenda kwa safu za rangi ya ngozi (tumia mizani kama Fitzpatrick kama wakala), vikundi vya umri, mitindo ya mavazi, na muktadha wa kitamaduni.
- Chanzo data yako kutoka vyanzo vingi: Picha za hisa ni dessert. Pia unahitaji milo iliyopikwa nyumbani: picha zilizochangiwa na watumiaji (kwa idhini), dataseti za umma zilizo na ukaguzi wa ubaguzi, na ukusanyaji wa data unaolengwa kutoka kwa vikundi visivyowakilishwa.
2) Weka lebo kama wakili (lakini mwenye urafiki zaidi)
- Usuluhishi wa wazi: Andika mwongozo wa uwekaji lebo. Hapana, halisi. Jumuisha kesi za makali, mifano, na kile usichopaswa kufanya. Punguza "mitindo" ya uwekaji lebo.
- Wafafanuzi mbalimbali: Ikiwa wafafanuzi wako wote walienda kwenye maduka matatu ya kahawa yale yale, lebo zako pia zitafanya hivyo. Tofauti za kijiografia na kitamaduni husaidia.
- Hundi za makubaliano: Pima makubaliano kati ya wafafanuzi na uamue kutokubaliana na mfafanuzi mkuu. Usifanye wastani hadi upuuzi.
- Sifa nyeti: Inapofaa na kukubaliwa, kukusanya lebo za sifa zilizolindwa kwa ajili ya tathmini. Ziweke nje ya mafunzo isipokuwa unafanya uingiliaji kati wa haki unaodhibitiwa.
3) Funza kama mwanasayansi (na vitafunio)
- Sampuli yenye usawa: Tumia sampuli iliyoandaliwa na uzito wa darasa ili modeli isizame katika darasa kubwa.
- Uongezaji wa data, kwa kuwajibika: Tofautisha mwanga, pembe, vizuizi, na asili. Data sintetiki inaweza kusaidia, lakini usiruhusu injini ya mchezo ivumbue ukweli wako wote.
- Malengo ya kupunguza ubaguzi: Jumuisha hasara au vikwazo vinavyozingatia haki ambavyo vinapunguza mapungufu ya utendaji katika vikundi vyote.
- Marekebisho ya kikoa: Ikiwa kupelekwa ni giza, kelele, au ubora wa chini, iga ulimwengu huo. Bora: kukusanya katika ulimwengu huo.
4) Jaribu kama mdadisi
- Tathmini ya vipande-na-dices: Ripoti usahihi, usahihi/ukumbusho, na urekebishaji kulingana na kikundi kidogo. Ikiwa huwezi kuiona, huwezi kuirekebisha.
- Majaribio ya ukweli mbadala: Badilisha muktadha huku ukiweka somo kuwa la mara kwa mara. Je, mwanamke anayeshikilia mkoba anakuwa "mwalimu" huku mwanaume aliye na mkoba akiwa "CEO"? Huo ni ubaguzi wa muktadha uliokamatwa katika 4K.
- Majaribio ya mkazo: Tupa mwangaza hasidi, ukungu wa mwendo, theluji, ukungu, masks, na kofia kwenye modeli yako. Kimsingi Halloween kwa nyavu za neva.
5) Fuatilia kana kwamba unamaanisha
- Ugunduzi wa mgeuko: Fuatilia mabadiliko katika usambazaji wa ingizo baada ya kuzinduliwa. Wakati programu yako inapata umaarufu ghafla nchini Brazili, utataka kujua.
- Binadamu katika kitanzi: Ruhusu watumiaji kuripoti makosa na ubaguzi, na usome ripoti hizo. Ndiyo, hata zile zilizo na herufi kubwa zote.
- Mdundo wa mafunzo upya: Panga upya. Modeli zilizopitwa na wakati ni modeli zenye ubaguzi na seniaitis.
Matukio ya ulimwengu halisi: ambapo ubaguzi wa dataseti huharibu mazingira
- AI ya ngozi: Ikiwa picha zako za mafunzo ni zaidi za rangi nyepesi za ngozi, vidonda kwenye ngozi nyeusi hugunduliwa kidogo. Rekebisha: tofautisha vyanzo kutoka kwa kliniki katika idadi ya watu na tathmini kulingana na kategoria za rangi ya ngozi.
- Uzuiaji wa hasara ya rejareja: Modeli zilizofunzwa kwenye picha za majaribio kutoka kwa maduka safi na angavu hukosea katika maduka yenye watu wengi na hafifu. Rekebisha: kukusanya kutoka kwa maduka halisi katika mikoa na misimu. Pia, labda usifanye uhalifu hoodies.
- Picha za kilimo: Modeli iliyofunzwa kwenye picha za drone za mchana hukosa wadudu wakati wa jioni. Rekebisha: jumuisha nyakati tofauti za siku na aina za sensor (RGB + thermal). Mimea pia ina maisha ya usiku.
- Uchanganuzi wa hati: Hundi za selfie za pasipoti hushindwa kwenye nywele zilizojipinda au vifuniko vya kichwa. Rekebisha: panua mafunzo na tathmini wazi miundo ya nywele na vifuniko. Bonasi: boresha vidokezo vya UI na mwongozo wa taa.
Hadithi ninazoendelea kusikia (na ndiyo, nimeleta risiti)
- "Dataseti kubwa = ubaguzi mdogo." Ikiwa dataseti yako kubwa ni zaidi ya kitu kile kile, umeongeza tatizo. Ni kama kuagiza venti ya kahawa isiyo sahihi.
- "Tutairekebisha baada ya hapo kwa kutumia algorithm mahiri." Algorithms zinaweza kupunguza ubaguzi, lakini huwezi kung'arisha viazi na kuita almasi. Anza na viazi bora—er, data.
- "Haki inamaanisha usahihi sawa kwa kila mtu." Wakati mwingine usawa ndio lengo; wakati mwingine odds sawa au alama zilizopimwa zinafaa zaidi. Chagua vipimo vinavyolingana na madhara unayotaka kuzuia.
- "Data sintetiki hutatua tofauti." Inasaidia kujaza mapengo, lakini ikiwa jenereta ilijifunza ubaguzi kutoka kwa picha halisi, umeiga tu tatizo katika 4K.
Ukaguzi wa ubaguzi wa vitendo, hatua kwa hatua ambao unaweza kuendesha wiki hii
- Orodhesha dataseti yako: Unda jedwali rahisi la nani na nini kiko ndani yake—idadi ya watu, mwanga, vifaa, maeneo. Angazia mapengo kwa rangi nyekundu. Jifanye unakadiria modeli yako mwenyewe.
- Jenga seti ya tathmini ya haki: Picha 1,000–10,000 zilizowekwa katika makundi unayojali. Hii ndiyo ukaguzi wako wa kila mwaka wa afya.
- Chagua vipimo viwili vya ubaguzi: Anza na usahihi wa kikundi kidogo na hitilafu ya urekebishaji. Ikiwa programu yako ni hatari sana (matibabu, utambulisho), ongeza odds sawa au mapungufu ya kiwango cha uwongo-hasi.
- Weka vizingiti: "Hakuna kikundi kidogo chini ya 95% ya usahihi wa jumla" ni mwanzo. Iandike. Ibandike kwenye ukuta.
- Panga na ufunze upya: Jaza mapengo kwa ukusanyaji wa data unaolengwa, punguza uzito wa sampuli yako, na ujaribu uongezaji wa kikoa ambapo unapeleka. Endesha tena tathmini ya haki. Rudia hadi bango lako la ukutani liache kukukemea.
Jihadharini: Kanuni, ukaguzi, na kwa nini timu yako ya kisheria inapenda chakula cha mchana ghafla
Sheria na viwango vinakamatwa. Tarajia mahitaji ya tathmini za athari, nyaraka za data ya mafunzo, na ufuatiliaji wa baada ya kupelekwa—hasa katika huduma ya afya, uajiri, na matumizi ya sekta ya umma. Tafsiri: weka rekodi. Karatasi za data za dataseti, kadi za modeli za modeli, na rekodi ya karatasi kwa kila mabadiliko makubwa. Wewe wa baadaye—na mdhibiti—atakushukuru.
Zana zinazofaa kujaribu wakati lahajedwali lako linaanza kulia
- Maktaba za tathmini ya ubaguzi: Tafuta seti za zana za chanzo huria ambazo huripoti vipimo vya kikundi kidogo, urekebishaji, na vikwazo vya haki. Nyingi huunganishwa na mifumo ya kawaida ya ML.
- Ufafanuzi: Ramani za umuhimu, Grad-CAM, SHAP. Zitumie kuona kile ambacho modeli inatazama. Ikiwa ni nembo na si bidhaa, una tatizo la kupenda.
- Vivinjari vya data: Mifumo ambayo hukuruhusu kuchuja kulingana na metadata, kuona mapungufu ya usambazaji, na kuweka alama karibu na nakala. Lenga clones chache, ushuhuda zaidi.
Inafaa kuzingatia: Ikiwa unataka hundi ya akili timamu unapochagua au kukagua dataseti, Sider.AI inaweza kukusaidia kulinganisha haraka usambazaji, kuangazia vipande visivyowakilishwa, na kuweka "uh-oh" uhusiano kabla ya kuwa mende wa uzalishaji. Fikiria kama rafiki ambaye anakuambia kuna mchicha kwenye meno yako—kwa upole, na kwa chati. Upande wa binadamu: timu hurekebisha ubaguzi, si zana
- Timu mbalimbali hutambua matangazo tofauti ya vipofu. Ikiwa kila mtu kwenye timu yako anaenda likizo katika miji mitatu ile ile, modeli yako pia itafanya hivyo.
- Motisha ni muhimu. Ikiwa mafanikio ni "usahihi wa jumla" tu, watu watasafirisha modeli yenye ubaguzi ambayo inashinda ubao wa wanaoongoza. Weka malengo ya haki na utuzwe kwa kuyafikia.
- Ongea na watumiaji, hasa wale wanaopata matokeo mabaya zaidi. Watakuambia kile ambacho dashibodi yako haitafanya.
Ushindi wa haraka dhidi ya safari ndefu: nini cha kufanya kulingana na muda wako wa mwisho
- Safa kesho: Ongeza uongezaji unaolengwa kwa kikundi chako kidogo kinachofanya vibaya zaidi, punguza uzito wa hasara yako, na ubandike dashibodi ya ufuatiliaji na arifa za mgeuko.
- Safa mwezi ujao: Kusanya dataseti ndogo lakini yenye nguvu iliyolenga mapengo, funza upya na vikwazo vya haki, na uendeshe seti ya majaribio ya ukweli mbadala.
- Safa robo ijayo: Tengeneza upya bomba lako la data ili kujumuisha sampuli kulingana na viwango, evals za ubaguzi zinazoendelea, na ukaguzi wa vitendaji vingi kabla ya kutolewa.
Orodha ya ukaguzi ambayo utatumia
- Je, tunajua nani yuko kwenye data yetu na nani hayupo?
- Je, tuliweka malengo ya utendaji wa kikundi kidogo?
- Je, lebo zetu zinaendana na zinafahamu kitamaduni?
- Je, tulijaribu katika mazingira ambayo watumiaji wetu wanaishi—si maabara yetu tu?
- Je, tunaweza kueleza maamuzi ya modeli mambo yanapoenda vibaya?
- Je, tuna mpango wa kusasisha na kufuatilia baada ya kuzinduliwa?
Ichapishe. Itunge. Au ubandike kwenye mashine yako ya espresso.
Wakati ubaguzi ni kipengele, si hitilafu: kutambua mipaka
Baadhi ya kazi za picha hupanga kanuni za kitamaduni (mtindo, ishara, alama) ambazo si za ulimwengu wote. Wakati mwingine jibu sahihi ni kugawa modeli kwa eneo, utamaduni, au kesi ya matumizi badala ya kufukuza haki moja inayofaa wote. Lengo si kutengeneza AI ambayo inajua kila kitu kuhusu kila mtu—ni kujenga moja ambayo inajua wakati haijui.
Msingi: usiruhusu AI yako kukua katika Bubble
Ubaguzi wa dataseti katika picha za AI ni kama kumfundisha kamera yako kuona ulimwengu kupitia bomba la karatasi: unapata mtazamo mwembamba na maumivu ya kichwa. Lakini haujaangamia.
- Kagua data yako kana kwamba ni muhimu—kwa sababu ni muhimu.
- Weka lebo kwa nia, funza na vikwazo, na ujaribu kwa mashaka.
- Fuatilia, sikiliza, na urekebishe huku ulimwengu halisi unavyokushangaza.
Fanya hivi, na AI yako itaacha kuchanganya saris na kanga za kuogelea na moles na mazao. Inaweza hata kuwa nzuri vya kutosha kusaidia watu—kwa usalama, kwa haki, na katika ukweli wa pori, usio safi ambapo sote tunaishi.
Sasa nenda uangalie dataseti yako. Nitasubiri. Na nitakuwa yule kwenye kona, nikimnong'onezea modeli yako: "Si wewe, ni seti yako ya mafunzo."
Maswali Yanayoulizwa Mara kwa Mara
Swali la 1: Ubaguzi wa dataseti katika picha za AI ni nini, kwa lugha rahisi?
Ni wakati picha za mafunzo hazilingani na ulimwengu halisi—rangi chache za ngozi, hali za mwanga, au muktadha. Modeli inajifunza ukweli mwembamba na hufanya utabiri wenye ubaguzi au usio sahihi inapotana na kitu chochote nje ya Bubble hiyo.
Swali la 2: Ninawezaje kugundua ubaguzi wa dataseti kabla ya kusafa?
Gawanya vipimo vyako kulingana na kikundi kidogo—idadi ya watu, mwanga, vifaa—na utafute mapungufu ya utendaji. Ongeza majaribio ya ukweli mbadala na seti ndogo, iliyoandaliwa ya tathmini ya haki ili kukamata muktadha na ubaguzi wa uwekaji lebo mapema.
Swali la 3: Je, data sintetiki inaweza kurekebisha ubaguzi wa dataseti katika uono wa kompyuta?
Data sintetiki inaweza kujaza mapengo kama vile mwanga au pembe adimu, lakini pia inaweza kuiga ubaguzi wako uliopo. Itumie kuongeza matukio yasiyowakilishwa, si kuchukua nafasi ya picha mbalimbali za ulimwengu halisi.
Swali la 4: Ni njia gani za haraka za kupunguza ubaguzi bila kujenga upya kila kitu?
Punguza uzito wa madarasa, ongeza uongezaji unaolengwa, na ukusanye dataseti ndogo iliyolenga makundi yako yanayofanya vibaya zaidi. Kisha funza upya na hasara zinazozingatia haki na ufuatilie mgeuko baada ya kuzinduliwa.
Swali la 5: Ninapaswa kutumia vipimo gani kupima ubaguzi wa picha?
Anza na usahihi wa kikundi kidogo na hitilafu ya urekebishaji, kisha uzingatie odds sawa au mapungufu ya kiwango cha uwongo-hasi kwa kazi za hatari kubwa. Chagua vipimo vinavyolingana na madhara unayotaka kuzuia.
