Yani yapay zeka kameranız her kadının hemşire, her erkeğin ise CEO olduğunu düşünüyor. Harika, harika, harika.
Hiç "Yapay Zeka destekli" bir uygulamaya fotoğraf yükleyip arkadaşınızın sarisini bornoz olarak etiketlediğini gördünüz mü? Ya da bir tıbbi görüntüleme sisteminin kolunuzdaki beni yaban mersini olarak tanımladığını? İşte bu, yapay zeka görüntülemesinde veri seti yanlılığıdır ve sadece garip olmakla kalmaz, tehlikeli de olabilir. Bunu, bir çocuğa alfabeyi sadece sesli harflerle öğretmek gibi düşünün. Elbette bir şeyler söyleyecektir. Ama onlardan reçete yazmalarını istemezsiniz.
Bilgisayarla görmenin her yerde (telefonunuzda, arabanızda, doktorunuzun ofisinde) olabilecek kadar iyi, ama yine de konuyu, bağlamı ve bazen de tüm insan gruplarını kaçıracak kadar kötü olduğu tuhaf bir andayız. Genellikle suçlu matematik değildir. Veridir. Özellikle de bu modelleri dünyayı çok dar bir mercekten görmeleri için eğiten veriler.
Yapay zeka görüntülemesinde veri seti yanlılığının nasıl sinsice girdiğini, işleri nasıl karıştırdığını ve en önemlisi kedinizi nasıl kruvasan olarak adlandırmasını engelleyebileceğinizi inceleyelim.
Yapay zeka görüntülemesinde veri seti yanlılığı nedir? Teyzenizin okuyabileceği kısa versiyon
Yapay zeka görüntülemesinde veri seti yanlılığı, bir modeli eğitmek için kullanılan resimler gerçek dünyayı temsil etmediğinde ortaya çıkar. Veri setiniz çoğunlukla tek bir demografiden yüzler, sınırlı bir aralıktan cilt tonları veya mükemmel stüdyo aydınlatmasında fotoğraflanmış nesnelerden (merhaba, influencer halka ışıkları!) oluşuyorsa, model gerçekliğin çarpık bir versiyonunu öğrenir.
- Seçim yanlılığı: Elde etmesi en kolay resimleri seçtiniz - stok fotoğraflar, beyaz arka planlar ve ara sıra şüpheli derecede mutlu salata yiyenler.
- Etiket yanlılığı: Resimleri insanlar etiketler. İnsanlar fikirlerini getirir. Bazen bu fikirler "gerçeklikten" çok "yaratıcı yazarlık"tır.
- Bağlam yanlılığı: Bir kadının yanındaki steteskop mu? Kesin hemşire. Aynı nesne bir erkeğin yanında mı? Doktor. Model, kalıplaşmış yargıyı veri setinden öğrendi.
- Alan yanlılığı: Parlak ürün fotoğraflarıyla eğitim aldınız, ardından loş fabrika zeminlerinde devreye aldınız. Sürpriz: forklift, Koca Ayak gibi görünüyor.
Bir yapay zekaya dünyayı sadece bir mahalle üzerinden görmeyi öğretirseniz, şehir merkezinde kaybolmasına şaşırmayın.
Çok da komik olmayan riskler: yanlılığın bir meme olmaktan çıktığı yer
Yapay zeka görüntülemesindeki yanlılık sadece meme'e dönüşebilecek başarısızlıklar üretmez. Şu alanlarda da görülür:
- Tıbbi görüntüleme: Dermatoloji veri setlerinde yeterince temsil edilmeyen cilt tonları, melanom gibi durumların daha kötü tespit oranlarına yol açabilir. Pikseller eğitim örnekleriyle eşleşmediğinde, hatalar artar.
- Güvenlik ve gözetim: Yüz tanımada yanlış tanımlama, özellikle siyahi insanlar için yanlış tutuklamalarla ilişkilendirilmiştir. Harika bir kullanıcı deneyimi değil.
- İşe alma ve kimlik doğrulama: İkili cinsiyetli olmayan veya trans bireylerin yüzlerini karıştıran yüz eşleştirme sadece can sıkıcı değil, aynı zamanda dışlayıcıdır.
- Otonom sistemler: Çoğunlukla Kaliforniya güneşinde eğitilmiş otonom bir araba, Minnesota'da karla kaplı bir dur işaretini tanımayabilir. Araba pervasız değil. Sadece korunaklı.
Modelin dünyası küçük olduğunda, gerçek insanlar bedelini öder.
Nasıl sinsice giriyor: görüntü veri seti yanlılığının dört atlısı
1) "Bedava şeyler yanlılığı"
Resimler için açık web'i kazımak temelde pikseller için çöplük dalışı gibidir. Bir sürü ünlü vesikalık fotoğrafı, teknoloji konferansı rozeti ve ayda çekilmiş gibi görünen ürün çekimleri bulacaksınız. Günlük, karmaşık gerçeklik mi? Daha az. Bu, modelinizi belirli yüzlere, yerlere ve havaya doğru eğiyor.
2) "Açıklama kayması"
İki etiketleyici bir etiketleme işine giriyor. Biri kapüşonluyu "spor giyim" olarak etiketlerken, diğeri "günlük giyim" diyor ve üçüncüsü "sokak giyimi" diyor. Model, kıyafetlerin kaos olduğunu öğrenir. Daha da kötüsü, etiketleyiciler kültürel varsayımlar getirir; örneğin, kimin "patron" gibi göründüğü veya neyin "doğal" bir saç modeli sayıldığı gibi.
3) "Bağlam desteği"
Modeller kısayolları sever. Veri setinizdeki şeflerin fotoğraflarının %90'ında erkekler varsa, model "şef"i tahmin etmek için cinsiyet ipuçlarını kısayol olarak kullanacaktır. Bu zeka değil; bu, yanlı bir kopya kağıdıdır.
4) "Alan uyuşmazlığı"
DSLR göz alıcı çekimlerle eğitim alın, düşük çözünürlüklü güvenlik kameralarında devreye alın. Gündüz görüntüleriyle eğitim alın, gece devreye alın. Şehir sokaklarında eğitim alın, kırsal yollarda devreye alın. Modeliniz esasen şarjsız seyahat ediyor.
Doktora olmadan - veya yalan makinesi olmadan - yanlılığı tespit etme
Yapay zeka görüntüleme modelinizin bir önyargı sorunu olduğunu, demoda içinizin kararmasının ötesinde nasıl anlayacağınız aşağıda açıklanmıştır:
- Performans boşlukları: Doğrulama metriklerinizi demografik özelliklere, aydınlatmaya, coğrafyaya veya cihaz türüne göre dilimleyin. Belirli gruplar için doğruluk, kasasız bir telefon gibi düşüyorsa, önyargınız var.
- Sizi şaşırtan karmaşa matrisleri: Model, belirli sınıfları (örneğin, başörtülerini şapkalarla) karıştırmaya devam ediyorsa, bu bir veri kümesi işaretidir.
- Öznitelik denetimleri: Grad-CAM gibi araçlar, "kedi" dedektörünüzün aslında bir koltuk desenine girdiğini ortaya çıkarabilir. Tebrikler, döşeme tanıma konusunda eğitim aldınız.
- Gerçek dünya pilot kayması: Vahşi doğada küçük pilot uygulamaları çalıştırın. Model, floresan aydınlatma altında bir bodrum katındaki bitki gibi paniklerse, daha çeşitli verilere ihtiyacı vardır.
Araç takımı: ürün yol haritanızı ısırmadan önce veri kümesi önyargısını nasıl azaltabilirsiniz?
Önyargıyla mücadeleyi ev tadilatı olarak hayal edin. Yama yapabilir, güçlendirebilir veya söküp yeniden inşa edebilirsiniz. Bütçeniz: zaman, veri ve alçakgönüllülük.
1) Bir müzeyi (bit pazarı değil) gibi yönetin
- Kapsamı tanımlayın: Sisteminizi işlemesi gereken demografik özellikleri, aydınlatma koşullarını, kamera türlerini, coğrafyaları ve ortamları yazın. Yazılı değilse, boş bir hayaldir.
- Kotalar belirleyin: Evet, kotalar. Kullanıcılarınızın %30'u düşük ışıkta ise, veri kümenizin %30'u düşük ışıklı görüntüler olmalıdır. Aynısı cilt tonu aralıkları (Fitzpatrick gibi ölçekleri vekil olarak kullanın), yaş grupları, giyim tarzları ve kültürel bağlamlar için de geçerlidir.
- Verilerinizi çok kaynaklı hale getirin: Stok fotoğraflar tatlıdır. Ayrıca ev yemeklerine de ihtiyacınız var: kullanıcı tarafından gönderilen fotoğraflar (onay ile), önyargı denetimleri olan genel veri kümeleri ve yeterince temsil edilmeyen gruplardan hedeflenen veri toplama.
2) Bir avukat gibi etiketleyin (ama daha arkadaşça)
- Net sınıflandırma: Bir etiketleme kılavuzu yazın. Hayır, gerçek bir tane. Uç durumları, örnekleri ve ne yapılmaması gerektiğini ekleyin. Etiketleyici "havasını" azaltın.
- Çeşitli açıklayıcılar: Açıklayıcılarınızın hepsi aynı üç kahve dükkanına gittiyse, etiketleriniz de öyle olacaktır. Coğrafi ve kültürel çeşitlilik yardımcı olur.
- Anlaşma kontrolleri: Açıklayıcılar arası anlaşmayı ölçün ve bir baş etiketleyici ile anlaşmazlıkları çözün. Saçmalığa ulaşmak için ortalama almayın.
- Hassas öznitelikler: Uygun ve onaylanmışsa, değerlendirme için korunan öznitelik etiketleri toplayın. Kontrollü adalet müdahaleleri yapmıyorsanız, bunları eğitimden uzak tutun.
3) Bir bilim insanı gibi eğitim alın (atıştırmalıklarla)
- Dengeli örnekleme: Katmanlı örnekleme ve sınıf yeniden ağırlıklandırması kullanın, böylece model çoğunluk sınıfında boğulmaz.
- Veri artırma, sorumlu bir şekilde: Aydınlatmayı, açıları, tıkanıklıkları ve arka planları değiştirin. Sentetik veriler yardımcı olabilir, ancak bir oyun motorunun tüm gerçekliğinizi icat etmesine izin vermeyin.
- Önyargıyı azaltma hedefleri: Gruplar arasındaki performans boşluklarını en aza indiren adalet farkındalığı kayıpları veya kısıtlamaları ekleyin.
- Alan uyarlama: Dağıtım karanlık, gürültülü veya düşük çözünürlüklü ise, o dünyayı simüle edin. Daha iyisi: o dünyada toplayın.
4) Bir alaycı gibi test edin
- Dilimleme ve doğrama değerlendirmesi: Alt gruba göre doğruluk, kesinlik/geri çağırma ve kalibrasyonu bildirin. Göremiyorsanız, düzeltemezsiniz.
- Karşı olgusal testler: Özneyi sabit tutarken bağlamı değiştirin. Evrak çantası tutan bir kadın "öğretmen" olurken, evrak çantası olan bir erkek "CEO" mu oluyor? Bu, 4K'da yakalanan bağlam yanlılığıdır.
- Stres testleri: Modelinize düşmanca parlamalar, hareket bulanıklığı, kar, sis, maskeler ve şapkalar atın. Temelde sinir ağları için Cadılar Bayramı.
5) Ciddiye alarak izleyin
- Kayma tespiti: Başlattıktan sonra giriş dağılımındaki değişiklikleri izleyin. Uygulamanız aniden Brezilya'da büyüdüğünde, bilmek isteyeceksiniz.
- İnsan-döngüde: Kullanıcıların hataları ve önyargıyı işaretlemesine izin verin ve raporları gerçekten okuyun. Evet, hepsi büyük harfli olanları bile.
- Yeniden eğitme ritmi: Yenilemeleri planlayın. Bayat modeller, yaşlılık hastalığı olan yanlı modellerdir.
Gerçek dünya senaryoları: veri kümesi önyargısının havayı bozduğu yerler
- Dermatoloji Yapay Zekası: Eğitim resimleriniz çoğunlukla daha açık cilt tonlarıysa, daha koyu ciltteki lezyonlar yeterince tespit edilmez. Düzeltme: kaynakları popülasyonlar genelindeki kliniklerden çeşitlendirin ve cilt tonu kategorilerine göre değerlendirin.
- Perakende kayıp önleme: Temiz, parlak mağazalardan alınan test görüntüleriyle eğitilmiş modeller, kalabalık, loş mağazalarda ateşlenir. Düzeltme: bölgeler ve mevsimler genelindeki gerçek mağazalardan toplayın. Ayrıca, belki de kapüşonluları suçlu ilan etmeyin.
- Tarım görüntüleme: Gündüz insansız hava aracı görüntüleriyle eğitilmiş bir model, alacakaranlıkta zararlıları kaçırır. Düzeltme: günün farklı saatlerini ve sensör türlerini (RGB + termal) ekleyin. Bitkilerin de gece hayatı vardır.
- Belge tarama: Pasaport özçekim kontrolleri kıvırcık saçlarda veya baş örtülerinde başarısız olur. Düzeltme: eğitimi genişletin ve saç dokularını ve örtülerini açıkça değerlendirin. Bonus: kullanıcı arayüzü istemlerini ve aydınlatma rehberliğini geliştirin.
Duymaya devam ettiğim efsaneler (ve evet, fiş getirdim)
- "Daha büyük veri kümeleri = daha az önyargı." Büyük veri kümeniz sadece aynı şeyin daha fazlasıysa, sorunu büyüttünüz. Yanlış kahvenin ventisini sipariş etmek gibi.
- "Akıllı bir algoritma ile daha sonra düzelteceğiz." Algoritmalar önyargıyı azaltabilir, ancak bir patatesi parlatıp elmas diyemezsiniz. Daha iyi patateslerle başlayın - yani verilerle.
- "Adalet, herkes için aynı doğruluk anlamına gelir." Bazen parite hedeftir; bazen eşitlenmiş oranlar veya kalibre edilmiş puanlar daha önemlidir. Önlemek istediğiniz zararla eşleşen metrikler seçin.
- "Sentetik veriler çeşitliliği çözer." Boşlukları doldurmaya yardımcı olur, ancak oluşturucu gerçek resimlerden önyargıları öğrendiyse, sorunu 4K'da klonladınız demektir.
Bu hafta gerçekten çalıştırabileceğiniz pratik, adım adım bir önyargı kontrolü
- Veri kümenizin envanterini çıkarın: İçinde kimin ve neyin olduğunu gösteren basit bir tablo oluşturun - demografik özellikler, aydınlatma, cihazlar, konumlar. Kırmızıdaki boşlukları vurgulayın. Kendi modelinizi notlandırıyormuş gibi yapın.
- Bir adalet değerlendirme seti oluşturun: Önemsediğiniz gruplar arasında katmanlanmış 1.000-10.000 resim. Bu, yıllık fiziksel muayenenizdir.
- İki önyargı metriği seçin: Alt grup doğruluğu ve kalibrasyon hatasıyla başlayın. Uygulamanız yüksek riskli ise (tıbbi, kimlik), eşitlenmiş oranlar veya yanlış negatif oran boşlukları ekleyin.
- Eşikler belirleyin: "Hiçbir alt grup genel doğruluğun %95'inin altında olmamalıdır" bir başlangıçtır. Yazın. Duvara yapıştırın.
- Triyaj ve yeniden eğitim: Hedeflenen veri toplama ile boşlukları doldurun, örnekleyicinizi yeniden ağırlıklandırın ve dağıttığınız yerde alan artırmayı deneyin. Adalet değerlendirmesini yeniden çalıştırın. Duvar posteriniz size bağırmayı bırakana kadar tekrarlayın.
Dikkat: Yönetmelikler, denetimler ve hukuk ekibinizin neden aniden öğle yemeklerini sevdiği
Yasalar ve standartlar yetişiyor. Özellikle sağlık hizmetleri, işe alma ve kamu sektörü kullanımlarında etki değerlendirmeleri, eğitim verilerinin belgelenmesi ve dağıtım sonrası izleme için gereksinimler bekleyin. Çeviri: kayıt tutun. Veri kümeleri için veri sayfaları, modeller için model kartları ve her büyük değişiklik için bir evrak yolu. Gelecekteki benliğiniz ve bir düzenleyici size teşekkür edecektir.
Elektronik tablonuz ağlamaya başladığında denemeye değer araçlar
- Önyargı değerlendirme kitaplıkları: Alt grup metriklerini, kalibrasyonu ve adalet kısıtlamalarını rapor eden açık kaynaklı araç takımlarına bakın. Birçoğu ortak ML çerçeveleriyle entegre olur.
- Açıklanabilirlik: Saliency haritaları, Grad-CAM, SHAP. Modelin aslında neye baktığını görmek için bunları kullanın. Logoysa ve ürün değilse, bir ezilme sorununuz var.
- Veri tarayıcıları: Meta verilerine göre filtrelemenize, dağıtım boşluklarını görselleştirmenize ve neredeyse yinelenenleri işaretlemenize olanak tanıyan sistemler. Daha az klon, daha fazla kapsam hedefleyin.
Belirtmeye değer: Veri kümelerini seçerken veya denetlerken bir akıl sağlığı kontrolü istiyorsanız, Sider.AI, dağıtımları hızlı bir şekilde karşılaştırmanıza, yeterince temsil edilmeyen dilimleri vurgulamanıza ve üretim hataları haline gelmeden önce "ah-oh" korelasyonlarını yüzeye çıkarmanıza yardımcı olabilir. Bunu, dişlerinizde ıspanak olduğunu söyleyen arkadaşınız olarak düşünün - nazikçe ve grafiklerle. İnsan tarafı: ekipler önyargıyı düzeltir, araç çubukları değil
- Çeşitli ekipler farklı kör noktaları fark eder. Ekibinizdeki herkes aynı üç şehirde tatil yaparsa, modeliniz de öyle olacaktır.
- Teşvikler önemlidir. Başarı yalnızca "genel doğruluk" ise, insanlar lider tablosunu kazanan yanlı modeli gönderecektir. Adalet hedefleri belirleyin ve onlara ulaşmayı ödüllendirin.
- Kullanıcılarla, özellikle de en kötü sonuçları alanlarla konuşun. Kontrol panelinizin yapmayacaklarını size söyleyeceklerdir.
Hızlı kazanımlar ve uzun mesafeler: son tarihinize göre ne yapmalısınız
- Yarın gönderin: En kötü performans gösteren alt grubunuz için hedeflenen artırma ekleyin, kaybınızı yeniden ağırlıklandırın ve kayma için uyarılarla bir izleme panosu takın.
- Gelecek ay gönderin: Boşluklara odaklanan küçük ama güçlü bir veri kümesi toplayın, adalet kısıtlamalarıyla yeniden eğitim alın ve karşı olgusal bir test paketi çalıştırın.
- Gelecek çeyrekte gönderin: Kota tabanlı örnekleme, sürekli önyargı değerlendirmeleri ve yayınlamadan önce çapraz fonksiyonel bir inceleme içerecek şekilde veri işlem hattınızı yeniden tasarlayın.
Gerçekten kullanacağınız kontrol listesi
- Verilerimizde kimin olduğunu ve kimin eksik olduğunu biliyor muyuz?
- Alt grup performans hedefleri belirledik mi?
- Etiketlerimiz tutarlı ve kültürel olarak farkında mı?
- Kullanıcılarımızın yaşadığı ortamlarda, sadece laboratuvarımızda değil mi test ettik?
- İşler ters gittiğinde model kararlarını açıklayabiliyor muyuz?
- Başlattıktan sonra güncelleme ve izleme planımız var mı?
Yazdırın. Çerçeveleyin. Veya espresso makinenize yapıştırın.
Önyargı bir hata değil, bir özellik olduğunda: sınırları tanıma
Bazı görüntüleme görevleri, evrensel olmayan kültürel normları (moda, jestler, semboller) kodlar. Bazen doğru cevap, tek beden herkese uyan adalet aramaktan ziyade modelleri bölgeye, kültüre veya kullanım durumuna göre yerelleştirmektir. Amaç, herkes hakkında her şeyi bilen bir yapay zeka yapmak değil, neyi bilmediğini bilen bir yapay zeka inşa etmektir.
Sonuç: yapay zekanızın bir baloncukta büyümesine izin vermeyin
Yapay zeka görüntülemesindeki veri kümesi önyargısı, kameranıza dünyayı bir kağıt havlu tüpünden görmeyi öğretmek gibidir: dar bir görüş ve baş ağrısı elde edersiniz. Ancak mahkum değilsiniz.
- Verilerinizi önemsiyormuş gibi denetleyin - çünkü öyle.
- Niyetle etiketleyin, kısıtlamalarla eğitim alın ve şüphecilikle test edin.
- Gerçek dünya sizi kaçınılmaz olarak şaşırtırken izleyin, dinleyin ve düzeltin.
Bunu yapın ve yapay zekanız sarileri bornozlarla ve benleri ürünlerle karıştırmayı bırakacaktır. Hatta insanlara yardım edecek kadar iyi olabilir - güvenli, adil bir şekilde ve hepimizin aslında yaşadığı vahşi, karmaşık gerçeklikte.
Şimdi gidin ve veri kümenizi kontrol edin. Bekleyeceğim. Ve köşede, modelinize fısıldayan ben olacağım: "Sorun sende değil, eğitim setinde."
SSS
S1:Yapay zeka görüntülemesinde veri kümesi önyargısı nedir, sade İngilizceyle?
Eğitim görüntüleri gerçek dünyayla eşleşmediğinde - çok az cilt tonu, aydınlatma koşulu veya bağlam olduğunda. Model, dar bir gerçekliği öğrenir ve bu baloncuk dışındaki herhangi bir şeyle karşılaştığında önyargılı veya yanlış tahminler yapar.
S2:Göndermeden önce veri kümesi önyargısını nasıl tespit ederim?
Metriklerinizi alt gruba (demografik özellikler, aydınlatma, cihazlar) göre dilimleyin ve performans boşluklarını arayın. Bağlamı ve etiketleme önyargısını erken yakalamak için karşı olgusal testler ve küçük, yönetilen bir adalet değerlendirme seti ekleyin.
S3:Sentetik veriler bilgisayarla görmede veri kümesi önyargısını düzeltebilir mi?
Sentetik veriler, nadir aydınlatma veya açılar gibi boşlukları doldurabilir, ancak aynı zamanda mevcut önyargınızı da klonlayabilir. Çeşitli gerçek dünya resimlerinin yerini almak yerine, yeterince temsil edilmeyen senaryoları artırmak için kullanın.
S4:Her şeyi yeniden inşa etmeden önyargıyı azaltmanın hızlı yolları nelerdir?
Sınıfları yeniden ağırlıklandırın, hedeflenen artırmalar ekleyin ve en kötü performans gösteren gruplarınıza odaklanan küçük bir veri kümesi toplayın. Ardından, adalet farkındalığı kayıplarıyla yeniden eğitim alın ve başlatıldıktan sonra kaymayı izleyin.
S5:Görüntüleme önyargısını ölçmek için hangi metrikleri kullanmalıyım?
Alt grup doğruluğu ve kalibrasyon hatasıyla başlayın, ardından yüksek riskli görevler için eşitlenmiş oranları veya yanlış negatif oran boşluklarını göz önünde bulundurun. En çok önlemek istediğiniz zararla uyumlu metrikler seçin.
