إذًا، كاميرا الذكاء الاصطناعي الخاصة بك تعتقد أن كل امرأة هي ممرضة وأن كل رجل هو مدير تنفيذي. رائع، رائع، رائع.
هل قمت يومًا بتحميل صورة إلى تطبيق "معزز بالذكاء الاصطناعي" وشاهدته يصنف بثقة الساري الخاص بصديقتك على أنه رداء حمام؟ أو رأيت نظام تصوير طبي يصر على أن الشامة الموجودة على ذراعك هي توت أزرق؟ هذا هو تحيز مجموعة البيانات في التصوير بالذكاء الاصطناعي، وهو ليس مجرد أمر محرج - بل يمكن أن يكون خطيرًا. فكر في الأمر على أنه تعليم طفل الأبجدية باستخدام حروف العلة فقط. بالتأكيد، سيغنون شيئًا ما. لكنك لن ترغب في أن يكتبوا وصفات طبية.
نحن في لحظة غريبة حيث أصبحت رؤية الكمبيوتر جيدة بما يكفي لتكون في كل مكان - هاتفك، سيارتك، عيادة طبيبك - ولكنها لا تزال سيئة بما يكفي لتفويت الهدف والسياق، وأحيانًا مجموعات كاملة من الناس. الجاني ليس عادةً الرياضيات. بل البيانات. على وجه التحديد، البيانات التي دربت هذه النماذج على رؤية العالم من خلال عدسة ضيقة جدًا.
دعنا نفكك كيف يتسلل تحيز مجموعة البيانات في التصوير بالذكاء الاصطناعي، ويعيث فسادًا - والأهم من ذلك - كيف يمكنك منعه من تسمية قطتك كرواسون.
ما هو تحيز مجموعة البيانات في التصوير بالذكاء الاصطناعي؟ النسخة القصيرة التي ستقرأها عمتك بالفعل
يحدث تحيز مجموعة البيانات في التصوير بالذكاء الاصطناعي عندما لا تمثل الصور المستخدمة لتدريب النموذج العالم الحقيقي. إذا كانت مجموعة البيانات الخاصة بك تتكون في الغالب من وجوه من فئة ديموغرافية واحدة، أو درجات لون البشرة من نطاق محدود، أو كائنات مصورة في إضاءة استوديو مثالية (مرحبًا، مصابيح الإضاءة الدائرية الخاصة بالمؤثرين!)، فسيتعلم النموذج نسخة مشوهة من الواقع.
- تحيز الاختيار: لقد اخترت الصور التي كان من الأسهل الحصول عليها - صور مخزنة، وخلفيات بيضاء، وآكل سلطة سعيد بشكل مريب من حين لآخر.
- تحيز التصنيف: يصنف البشر الصور. البشر يجلبون الآراء. في بعض الأحيان تكون هذه الآراء أقرب إلى "كتابة إبداعية" منها إلى "حقيقة واقعة".
- تحيز السياق: سماعة طبيب بجانب امرأة؟ لا بد أنها ممرضة. نفس الشيء بجانب رجل؟ طبيب. تعلم النموذج الصورة النمطية من مجموعة البيانات.
- تحيز المجال: لقد تدربت على صور منتجات لامعة، ثم نشرت في أرضيات المصانع المعتمة. مفاجأة: تبدو الرافعة الشوكية وكأنها بيغ فوت.
إذا قمت بتعليم الذكاء الاصطناعي رؤية العالم من خلال حي واحد فقط، فلا تنصدم عندما يضيع في وسط المدينة.
المخاطر غير المضحكة: عندما يتوقف التحيز عن كونه مجرد ميم
لا ينتج التحيز في التصوير بالذكاء الاصطناعي إخفاقات قابلة للمشاركة فحسب. بل يظهر في:
- التصوير الطبي: يمكن أن تؤدي درجات لون البشرة غير الممثلة تمثيلاً كافيًا في مجموعات بيانات الأمراض الجلدية إلى معدلات اكتشاف أسوأ لحالات مثل سرطان الجلد. عندما لا تتطابق وحدات البكسل مع أمثلة التدريب، ترتفع الأخطاء.
- السلامة والمراقبة: تم ربط سوء التعريف في التعرف على الوجوه بالاعتقالات الخاطئة، لا سيما للأشخاص الملونين. ليست تجربة مستخدم رائعة.
- التوظيف والتحقق من الهوية: مطابقة الوجوه التي تتعثر في الوجوه غير الثنائية أو المتحولة جنسيًا ليست مجرد مزعجة - بل هي إقصائية.
- الأنظمة المستقلة: قد لا تتعرف سيارة ذاتية القيادة تم تدريبها في الغالب في أشعة الشمس في كاليفورنيا على علامة توقف مغطاة بالثلوج في مينيسوتا. السيارة ليست متهورة. بل هي مدللة.
عندما يكون عالم النموذج صغيرًا، يدفع الناس الحقيقيون الثمن.
كيف يتسلل: الفرسان الأربعة لتحيز مجموعة بيانات الصور
1) "تحيز الأشياء المجانية"
إن كشط الويب المفتوح بحثًا عن الصور يشبه إلى حد كبير الغوص في حاوية القمامة بحثًا عن وحدات البكسل. ستجد الكثير من الصور الشخصية للمشاهير، وشارات مؤتمرات التكنولوجيا، وصور المنتجات التي تبدو وكأنها التقطت على سطح القمر. الواقع اليومي الفوضوي؟ أقل من ذلك. هذا يميل نموذجك نحو وجوه وأماكن وأجواء معينة.
2) "انحراف التعليقات التوضيحية"
يدخل مصنفان إلى وظيفة تصنيف. يصنف أحدهم سترة بغطاء للرأس على أنها "ملابس رياضية"، والآخر يقول "ملابس غير رسمية"، ويصفها ثالث بأنها "ملابس الشارع". يتعلم النموذج أن الملابس فوضى. والأسوأ من ذلك، أن المصنفين يجلبون افتراضات ثقافية - مثل من يبدو وكأنه "رئيس" أو ما الذي يعتبر "تسريحة شعر طبيعية".
3) "عكاز السياق"
تحب النماذج الاختصارات. إذا كانت 90٪ من صور الطهاة في مجموعة البيانات الخاصة بك تظهر رجالًا، فسيستخدم النموذج إشارات النوع الاجتماعي كاختصار للتنبؤ بـ "طاهٍ". هذا ليس ذكاءً؛ بل هو ورقة غش متحيزة.
4) "عدم تطابق المجال"
تدرب على صور ساحرة بـ DSLR، وانشر على كاميرات أمنية منخفضة الدقة. تدرب على صور نهارية، وانشر في الليل. تدرب على شوارع حضرية، وانشر على طرق ريفية. نموذجك يسافر بشكل أساسي بدون شاحن.
اكتشاف التحيز بدون شهادة دكتوراه - أو كاشف كذب
إليك كيف تعرف أن نموذج التصوير بالذكاء الاصطناعي الخاص بك لديه مشكلة تحيز، بخلاف هذا الشعور بالإحباط في العرض التوضيحي الخاص بك:
- فجوات الأداء: قسّم مقاييس التحقق الخاصة بك حسب التركيبة السكانية أو الإضاءة أو الجغرافيا أو نوع الجهاز. إذا انخفضت الدقة مثل الهاتف بدون غطاء لمجموعات معينة، فلديك تحيز.
- مصفوفات الارتباك التي تربكك: إذا استمر النموذج في الخلط بين فئات معينة - على سبيل المثال، الحجاب والقبعات - فهذه علامة على مجموعة البيانات.
- عمليات تدقيق إسناد الميزات: يمكن أن تكشف الأدوات مثل Grad-CAM أن جهاز كشف "القطط" الخاص بك يقوم بالفعل بإدخال نمط الأريكة. تهانينا، لقد دربت على التعرف على المفروشات.
- انحراف تجريبي في العالم الحقيقي: قم بتشغيل تجارب تجريبية صغيرة في البرية. إذا أصيب النموذج بالذعر تحت الإضاءة الفلورية مثل نبات في الطابق السفلي، فإنه يحتاج إلى بيانات أكثر تنوعًا.
مجموعة الأدوات: كيفية تقليل تحيز مجموعة البيانات قبل أن يعض خارطة طريق المنتج الخاصة بك
تخيل مكافحة التحيز على أنها تجديد المنزل. يمكنك ترقيع أو تعزيز أو تمزيق وإعادة البناء. ميزانيتك: الوقت والبيانات والتواضع.
1) قم بالإشراف مثل المتحف (وليس سوق السلع المستعملة)
- حدد التغطية: اكتب التركيبة السكانية وظروف الإضاءة وأنواع الكاميرات والجغرافيا والبيئات التي يجب أن يتعامل معها نظامك. إذا لم يكن مكتوبًا، فهو مجرد أمنية.
- حدد الحصص: نعم، الحصص. إذا كان 30٪ من المستخدمين لديك في الإضاءة المنخفضة، فيجب أن تكون 30٪ من مجموعة البيانات الخاصة بك صورًا ذات إضاءة منخفضة. وينطبق الشيء نفسه على نطاقات لون البشرة (استخدم مقاييس مثل Fitzpatrick كبديل) والفئات العمرية وأنماط الملابس والسياقات الثقافية.
- مصادر متعددة لبياناتك: الصور المخزنة هي حلوى. أنت أيضًا بحاجة إلى وجبات مطبوخة في المنزل: صور مساهمة المستخدم (بموافقة)، ومجموعات بيانات عامة مع عمليات تدقيق التحيز، وجمع البيانات المستهدفة من المجموعات الممثلة تمثيلًا ناقصًا.
2) صنّف مثل المحامي (ولكن بشكل أكثر ودية)
- تصنيف واضح: اكتب دليل تصنيف. لا، دليل حقيقي. قم بتضمين الحالات الحافة والأمثلة وما لا يجب فعله. قلل من "اهتزازات" المصنف.
- مصنفون متنوعون: إذا كان جميع المصنفين لديك يذهبون إلى نفس المقاهي الثلاثة، فستفعل تصنيفاتك أيضًا. يساعد التنوع الجغرافي والثقافي.
- فحوصات الاتفاق: قم بقياس اتفاق المصنفين المتداخلين والبت في الخلافات مع مصنف رئيسي. لا تقم بالمتوسط إلى هراء.
- السمات الحساسة: عند الاقتضاء وبموافقة، اجمع علامات السمة المحمية للتقييم. احتفظ بها خارج التدريب ما لم تكن تقوم بتدخلات عادلة خاضعة للرقابة.
3) تدرب كعالم (مع وجبات خفيفة)
- أخذ العينات المتوازنة: استخدم أخذ العينات الطبقية وإعادة ترجيح الفئة حتى لا يغرق النموذج في الفئة الأغلبية.
- زيادة البيانات، بمسؤولية: قم بتغيير الإضاءة والزوايا والانسدادات والخلفيات. يمكن أن تساعد البيانات الاصطناعية، ولكن لا تدع محرك الألعاب يخترع واقعك بالكامل.
- أهداف إزالة التحيز: قم بتضمين الخسائر أو القيود المدركة للعدالة التي تقلل من فجوات الأداء بين المجموعات.
- تكييف المجال: إذا كان النشر مظلمًا أو صاخبًا أو منخفض الدقة، فقم بمحاكاة هذا العالم. الأفضل: اجمع في هذا العالم.
4) اختبر كشخص ساخر
- تقييم الشريحة والنرد: قم بالإبلاغ عن الدقة والاسترجاع الدقيق/الكامل والمعايرة حسب المجموعة الفرعية. إذا كنت لا تستطيع رؤيته، فلن تصلحه.
- اختبارات الواقع البديل: قم بتبديل السياق مع الحفاظ على الموضوع ثابتًا. هل تصبح المرأة التي تحمل حقيبة "معلمة" بينما الرجل الذي يحمل حقيبة هو "مدير تنفيذي"؟ هذا هو التحيز السياقي الذي تم ضبطه بدقة 4K.
- اختبارات الإجهاد: قم بإلقاء الوهج المعاكس والتمويه الحركي والثلوج والضباب والأقنعة والقبعات على نموذجك. في الأساس عيد الهالوين للشبكات العصبية.
5) راقب كما لو كنت تعني ذلك
- الكشف عن الانحراف: تتبع التغييرات في توزيع الإدخال بعد الإطلاق. عندما يصبح تطبيقك فجأة كبيرًا في البرازيل، سترغب في معرفة ذلك.
- الإنسان في الحلقة: اسمح للمستخدمين بالإبلاغ عن الأخطاء والتحيز، واقرأ التقارير بالفعل. نعم، حتى تلك التي بأحرف كبيرة.
- إيقاع إعادة التدريب: جدولة التحديثات. النماذج القديمة هي نماذج متحيزة مع كبار السن.
سيناريوهات العالم الحقيقي: عندما يدمر تحيز مجموعة البيانات الأجواء
- الذكاء الاصطناعي للأمراض الجلدية: إذا كانت صور التدريب الخاصة بك في الغالب ذات ألوان بشرة أفتح، فسيتم الكشف عن الآفات الموجودة على الجلد الداكن بشكل ناقص. الحل: تنويع المصادر من العيادات عبر السكان وتقييمها حسب فئات لون البشرة.
- منع الخسائر في البيع بالتجزئة: النماذج المدربة على لقطات اختبارية من المتاجر النظيفة والمشرقة تتعطل في المتاجر المزدحمة والمظلمة. الحل: اجمع من المتاجر الحقيقية عبر المناطق والفصول. أيضًا، ربما لا تجرم السترات ذات القلنسوة.
- التصوير الزراعي: يفوت النموذج المدرب على صور الطائرات بدون طيار النهارية الآفات عند الغسق. الحل: قم بتضمين أوقات مختلفة من اليوم وأنواع المستشعرات (RGB + حراري). النباتات لديها حياة ليلية أيضًا.
- مسح المستندات ضوئيًا: تفشل فحوصات صور السيلفي لجواز السفر على الشعر المجعد أو أغطية الرأس. الحل: قم بتوسيع التدريب وتقييم قوام الشعر والأغطية بشكل صريح. مكافأة: تحسين مطالبات واجهة المستخدم وإرشادات الإضاءة.
الخرافات التي أستمر في سماعها (ونعم، لقد أحضرت إيصالات)
- "مجموعات البيانات الأكبر = تحيز أقل." إذا كانت مجموعة البيانات الكبيرة الخاصة بك هي مجرد المزيد من الشيء نفسه، فقد قمت بتضخيم المشكلة. الأمر يشبه طلب قهوة خاطئة كبيرة جدًا.
- "سنصلحها لاحقًا بخوارزمية ذكية." يمكن للخوارزميات تخفيف التحيز، ولكن لا يمكنك تلميع البطاطا وتسميتها ماسة. ابدأ ببطاطس أفضل - أي بيانات.
- "العدالة تعني نفس الدقة للجميع." في بعض الأحيان تكون المساواة هي الهدف؛ في بعض الأحيان تكون الاحتمالات المتساوية أو الدرجات المعايرة أكثر أهمية. اختر المقاييس التي تتطابق مع الضرر الذي تريد منعه.
- "البيانات الاصطناعية تحل مشكلة التنوع." إنها تساعد في سد الثغرات، ولكن إذا تعلم المولد تحيزات من صور حقيقية، فقد قمت للتو باستنساخ المشكلة بدقة 4K.
فحص عملي للتحيز خطوة بخطوة يمكنك تشغيله فعليًا هذا الأسبوع
- جرد مجموعة البيانات الخاصة بك: أنشئ جدولًا بسيطًا لمن وماذا يوجد فيه - التركيبة السكانية والإضاءة والأجهزة والمواقع. قم بتمييز الفجوات باللون الأحمر. تظاهر بأنك تقوم بتقييم النموذج الخاص بك.
- أنشئ مجموعة تقييم للعدالة: 1000-10000 صورة مقسمة عبر المجموعات التي تهتم بها. هذا هو الفحص البدني السنوي الخاص بك.
- اختر مقياسين للتحيز: ابدأ بدقة المجموعة الفرعية وخطأ المعايرة. إذا كان تطبيقك عالي المخاطر (طبي، هوية)، فأضف احتمالات متساوية أو فجوات معدل السلبيات الكاذبة.
- ضع الحدود: "لا توجد مجموعة فرعية تقل عن 95٪ من الدقة الإجمالية" هي بداية. اكتبها. الصقها على الحائط.
- الفرز وإعادة التدريب: املأ الفجوات بجمع البيانات المستهدفة، وأعد ترجيح أخذ العينات الخاص بك، وجرب زيادة المجال حيث تقوم بالنشر. أعد تشغيل تقييم العدالة. كرر حتى تتوقف الملصقة الموجودة على الحائط عن الصراخ في وجهك.
تنبيه: اللوائح وعمليات التدقيق ولماذا يحب فريقك القانوني فجأة الغداء
القوانين والمعايير تلحق بالركب. توقع متطلبات لتقييمات الأثر، وتوثيق بيانات التدريب، والمراقبة بعد النشر - خاصة في الرعاية الصحية والتوظيف واستخدامات القطاع العام. الترجمة: احتفظ بالسجلات. أوراق بيانات لمجموعات البيانات، وبطاقات نماذج للنماذج، ومسار ورقي لكل تغيير كبير. سيشكرك مستقبلك - والمنظم -.
أدوات تستحق التجربة عندما تبدأ جدولتك في البكاء
- مكتبات تقييم التحيز: ابحث عن مجموعات أدوات مفتوحة المصدر تقوم بالإبلاغ عن مقاييس المجموعة الفرعية والمعايرة وقيود العدالة. يتكامل العديد منها مع أطر عمل ML الشائعة.
- إمكانية الشرح: خرائط البراعة، Grad-CAM، SHAP. استخدمها لترى ما الذي يبحث عنه النموذج بالفعل. إذا كان الشعار وليس المنتج، فلديك مشكلة إعجاب.
- متصفحات البيانات: الأنظمة التي تتيح لك التصفية حسب البيانات الوصفية وتصور فجوات التوزيع والإبلاغ عن النسخ القريبة. استهدف عددًا أقل من النسخ، وتغطية أكبر.
جدير بالذكر: إذا كنت تريد فحصًا للسلامة العقلية أثناء تحديد مجموعات البيانات أو تدقيقها، فيمكن لـ Sider.AI مساعدتك في مقارنة التوزيعات بسرعة، وتسليط الضوء على الشرائح الممثلة تمثيلًا ناقصًا، وتوضيح الارتباطات "أوه-أوه" قبل أن تصبح أخطاء في الإنتاج. فكر في الأمر على أنه الصديق الذي يخبرك أن هناك سبانخ في أسنانك - بلطف، وبالرسوم البيانية. الجانب الإنساني: الفرق تصلح التحيز، وليس أشرطة الأدوات
- تلاحظ الفرق المتنوعة نقاط عمياء مختلفة. إذا كان الجميع في فريقك يقضون إجازاتهم في نفس المدن الثلاث، فسيقوم نموذجك بذلك أيضًا.
- الحوافز مهمة. إذا كان النجاح هو فقط "الدقة الإجمالية"، فسوف يشحن الأشخاص النموذج المتحيز الذي يفوز بلوحة المتصدرين. حدد أهداف العدالة وكافئ على تحقيقها.
- تحدث إلى المستخدمين، وخاصة أولئك الذين يحصلون على أسوأ النتائج. سيخبرونك بما لن تخبرك به لوحة التحكم الخاصة بك.
المكاسب السريعة مقابل عمليات النقل الطويلة: ماذا تفعل بناءً على الموعد النهائي الخاص بك
- الشحن غدًا: أضف زيادة مستهدفة للمجموعة الفرعية الأسوأ أداءً لديك، وأعد ترجيح خسارتك، والصفع على لوحة معلومات المراقبة مع تنبيهات للانحراف.
- الشحن الشهر المقبل: اجمع مجموعة بيانات صغيرة ولكنها قوية تركز على الفجوات، وأعد التدريب مع قيود العدالة، وقم بتشغيل مجموعة اختبارات الواقع البديل.
- الشحن في الربع التالي: أعد تصميم مسار البيانات الخاص بك ليشمل أخذ العينات القائمة على الحصص، وعمليات تقييم التحيز المستمرة، ومراجعة متعددة الوظائف قبل الإصدار.
قائمة التحقق التي ستستخدمها فعليًا
- هل نعرف من هو موجود في بياناتنا ومن هو مفقود؟
- هل حددنا أهداف أداء المجموعة الفرعية؟
- هل تصنيفاتنا متسقة وواعية ثقافيًا؟
- هل اختبرنا في البيئات التي يعيش فيها المستخدمون - وليس فقط مختبرنا؟
- هل يمكننا شرح قرارات النموذج عندما تسوء الأمور؟
- هل لدينا خطة للتحديث والمراقبة بعد الإطلاق؟
اطبعها. ضعها في إطار. أو الصقها بآلة الإسبريسو الخاصة بك.
عندما يكون التحيز هو الميزة، وليس الخطأ: إدراك الحدود
تقوم بعض مهام التصوير بترميز المعايير الثقافية (الموضة والإيماءات والرموز) التي ليست عالمية. في بعض الأحيان يكون الجواب الصحيح هو توطين النماذج حسب المنطقة أو الثقافة أو حالة الاستخدام بدلاً من مطاردة العدالة ذات المقاس الواحد الذي يناسب الجميع. الهدف ليس إنشاء ذكاء اصطناعي يعرف كل شيء عن الجميع - بل بناء ذكاء اصطناعي يعرف متى لا يعرف.
الخلاصة: لا تدع الذكاء الاصطناعي الخاص بك يكبر في فقاعة
يشبه تحيز مجموعة البيانات في التصوير بالذكاء الاصطناعي تعليم الكاميرا الخاصة بك رؤية العالم من خلال أنبوب منشفة ورقية: تحصل على رؤية ضيقة وصداع. لكنك لست محكومًا عليك.
- راجع بياناتك كما لو كانت مهمة - لأنها كذلك.
- صنف بنية، وتدرب بقيود، واختبر بتشكك.
- راقب واستمع وقم بالإصلاح حيث يفاجئك العالم الحقيقي حتمًا.
افعل هذا، وسيتوقف الذكاء الاصطناعي الخاص بك عن الخلط بين الساري وأرواب الحمام والشامات والمنتجات. قد يكون جيدًا بما يكفي لمساعدة الناس - بأمان ونزاهة وفي الواقع البري الفوضوي حيث نعيش جميعًا بالفعل.
اذهب الآن وتحقق من مجموعة البيانات الخاصة بك. سأنتظر. وسأكون الشخص الموجود في الزاوية، وأهمس لنموذجك: "الأمر ليس أنت، بل مجموعة التدريب الخاصة بك."
أسئلة وأجوبة
س 1: ما هو تحيز مجموعة البيانات في التصوير بالذكاء الاصطناعي، باللغة الإنجليزية البسيطة؟
إنه عندما لا تتطابق صور التدريب مع العالم الحقيقي - عدد قليل جدًا من ألوان البشرة أو ظروف الإضاءة أو السياقات. يتعلم النموذج واقعًا ضيقًا ويقوم بتنبؤات متحيزة أو خاطئة عندما يلتقي بأي شيء خارج تلك الفقاعة.
س 2: كيف يمكنني اكتشاف تحيز مجموعة البيانات قبل الشحن؟
قسّم مقاييسك حسب المجموعة الفرعية - التركيبة السكانية والإضاءة والأجهزة - وابحث عن فجوات الأداء. أضف اختبارات الواقع البديل ومجموعة تقييم للعدالة صغيرة ومنظمة لالتقاط السياق وتحيز التصنيف في وقت مبكر.
س 3: هل يمكن للبيانات الاصطناعية إصلاح تحيز مجموعة البيانات في رؤية الكمبيوتر؟
يمكن للبيانات الاصطناعية سد الثغرات مثل الإضاءة أو الزوايا النادرة، ولكن يمكنها أيضًا استنساخ التحيز الحالي لديك. استخدمه لزيادة السيناريوهات الممثلة تمثيلًا ناقصًا، وليس لاستبدال الصور المتنوعة في العالم الحقيقي.
س 4: ما هي الطرق السريعة لتقليل التحيز دون إعادة بناء كل شيء؟
أعد ترجيح الفئات، وأضف زيادات مستهدفة، واجمع مجموعة بيانات صغيرة تركز على مجموعاتك الأسوأ أداءً. ثم أعد التدريب مع الخسائر المدركة للعدالة وراقب الانحراف بعد الإطلاق.
س 5: ما هي المقاييس التي يجب أن أستخدمها لقياس تحيز التصوير؟
ابدأ بدقة المجموعة الفرعية وخطأ المعايرة، ثم ضع في اعتبارك الاحتمالات المتساوية أو فجوات معدل السلبيات الكاذبة للمهام عالية المخاطر. اختر المقاييس التي تتماشى مع الضرر الذي تريد منعه أكثر من غيره.
