അപ്പോൾ നിങ്ങളുടെ AI കാമറ എല്ലാ സ്ത്രീകളെയും നഴ്സുമാരായും എല്ലാ പുരുഷന്മാരെയും CEOമാരായും കണക്കാക്കുന്നു. കൊള്ളാം, കൊള്ളാം, കൊള്ളാം.
"{AI-enhanced}" ആപ്ലിക്കേഷനിലേക്ക് ഒരു ഫോട്ടോ അപ്ലോഡ് ചെയ്ത ശേഷം നിങ്ങളുടെ സുഹൃത്തിൻ്റെ സാരിയെ ഒരു കുളിമുറിയായി ലേബൽ ചെയ്യുന്നത് നിങ്ങൾ കണ്ടിട്ടുണ്ടോ? അല്ലെങ്കിൽ നിങ്ങളുടെ കയ്യിലെ മറുകിനെ ഒരു ബ്ലൂബെറിയായി ഒരു മെഡിക്കൽ ഇമേജിംഗ് സിസ്റ്റം നിർബന്ധം പിടിക്കുന്നത് കണ്ടിട്ടുണ്ടോ? AI ഇമേജിംഗിലെ ഡാറ്റാസെറ്റ് ബയസ് ആണിത്, ഇത് വിചിത്രം മാത്രമല്ല അപകടകരവുമാണ്. സ്വരാക്ഷരങ്ങൾ മാത്രം ഉപയോഗിച്ച് ഒരു കുട്ടിയെ അക്ഷരമാല പഠിപ്പിക്കുന്നതിനെക്കുറിച്ച് ചിന്തിക്കുക. തീർച്ചയായും, അവർ എന്തെങ്കിലും പാടും. എന്നാൽ അവർ മരുന്ന് കുറിപ്പുകൾ എഴുതുന്നത് നിങ്ങൾ ആഗ്രഹിക്കുന്നില്ല.
ഒരു കമ്പ്യൂട്ടർ വിഷൻ എല്ലായിടത്തും ഉണ്ടാകാൻ മാത്രം മികച്ചതായിട്ടുള്ള ഒരു વિચിത്രമായ അവസ്ഥയിലാണ് നമ്മൾ ഇപ്പോൾ ഉള്ളത് - നിങ്ങളുടെ ഫോൺ, നിങ്ങളുടെ കാർ, നിങ്ങളുടെ ഡോക്ടറുടെ ഓഫീസ് - പക്ഷേ ഇപ്പോഴും പോയിൻ്റ്, കോൺടെക്സ്റ്റ്, ചില സമയങ്ങളിൽ ആളുകളുടെ മുഴുവൻ ഗ്രൂപ്പുകളെയും കാണാതെ പോകാൻ മാത്രം മോശമാണ്. ഇതിന് സാധാരണയായി ഗണിതമല്ല കുറ്റവാളി. ഡാറ്റയാണ് പ്രശ്നം. പ്രത്യേകിച്ചും, ഈ മോഡലുകളെ ഒരു குறுகிய லென்ஸ் மூலம் ലോകത്തെ കാണാൻ പരിശീലിപ്പിച്ച ഡാറ്റ.
AI ഇമേജിംഗിലെ ഡാറ്റാസെറ്റ് ബയസ് എങ്ങനെ ഒളിഞ്ഞുവരുന്നു, കുഴപ്പങ്ങൾ ഉണ്ടാക്കുന്നു, ഏറ്റവും പ്രധാനമായി നിങ്ങളുടെ പൂച്ചയെ ഒരു ക്രൊയ്സന്റ് എന്ന് വിളിക്കുന്നതിൽ നിന്ന് എങ്ങനെ തടയാം എന്ന് നമുക്ക് അൺപാക്ക് ചെയ്യാം.
AI ഇമേജിംഗിലെ ഡാറ്റാസെറ്റ് ബയസ് എന്നാൽ എന്ത്? നിങ്ങളുടെ ആന്റിക്ക് വായിക്കാൻ സാധിക്കുന്ന ചെറിയ രൂപം
ഒരു മോഡലിനെ പരിശീലിപ്പിക്കാൻ ഉപയോഗിക്കുന്ന ചിത്രങ്ങൾ वास्तविक ലോകത്തെ பிரதிநிதித்துவീകരിക്കாத போது AI ഇമേജിംഗിൽ ഡാറ്റാസെറ്റ് ബയസ് സംഭവിക്കുന്നു. നിങ്ങളുടെ ഡാറ്റാസെറ്റിൽ കൂടുതലും ഒരു ഡെമോഗ്രാഫിക്സിൽ നിന്നുള്ള മുഖങ്ങൾ, പരിമിതമായ ശ്രേണിയിലുള്ള ചർമ്മത്തിന്റെ നിറങ്ങൾ അല്ലെങ്കിൽ മികച്ച സ്റ്റുഡിയോ ലൈറ്റിംഗിൽ ഫോട്ടോയെടുത്ത വസ്തുക്കൾ (ഹായ്, ഇൻഫ്ലുവൻസർ റിംഗ് ലൈറ്റുകൾ!), എന്നിവയാണെങ്കിൽ മോഡൽ യാഥാർത്ഥ്യത്തിൻ്റെ ഒരു തെറ്റായ പതിപ്പാണ് പഠിക്കുന്നത്.
- സെലക്ഷൻ ബയസ്: നിങ്ങൾക്ക് എളുപ്പത്തിൽ ലഭിക്കുന്ന ചിത്രങ്ങൾ നിങ്ങൾ തിരഞ്ഞെടുത്തു - സ്റ്റോക്ക് ഫോട്ടോകൾ, വെളുത്ത പശ്ചാത്തലങ്ങൾ, കൂടാതെ സംശയാസ്പദമായി സന്തോഷമുളള സാലഡ് കഴിക്കുന്നവരെയും തിരഞ്ഞെടുത്തു.
- ലേബൽ ബയസ്: മനുഷ്യർ ചിത്രങ്ങൾക്ക് ലേബൽ നൽകുന്നു. മനുഷ്യർക്ക് അഭിപ്രായങ്ങളുണ്ട്. ചില സമയങ്ങളിൽ ആ അഭിപ്രായങ്ങൾ "ഗ്രൗണ്ട് ട്രൂത്തി"നേക്കാൾ കൂടുതൽ "ക്രിയേറ്റീവ് റൈറ്റിംഗ്"ആയിരിക്കും.
- കോൺടെക്സ്റ്റ് ബയസ്: ഒരു സ്ത്രീയുടെ അടുത്ത് ഒരു സ്റ്റെതസ്കോപ്പ് ഉണ്ടെങ്കിൽ? തീർച്ചയായും ഒരു നഴ്സായിരിക്കും. അതേ വസ്തു പുരുഷന്റെ അടുത്താണെങ്കിൽ? ഡോക്ടർ. ഡാറ്റാസെറ്റിൽ നിന്ന് മോഡൽ стереотип പഠിച്ചു.
- ഡൊമെയ്ൻ ബയസ്: തിളങ്ങുന്ന ഉൽപ്പന്ന ഫോട്ടോകളിൽ നിങ്ങൾ പരിശീലിപ്പിച്ചു, തുടർന്ന് മങ്ങിയ ഫാക്ടറി നിലകളിൽ വിന്യസിച്ചു. സർപ്രൈസ്: ഫോർക്ക്ലിഫ്റ്റിനെ ബിഗ്ഫൂട്ട് പോലെ തോന്നുന്നു.
നിങ്ങൾ ഒരു AI-യെ ഒരു சுற்றுப்புறத்தை மட்டுமே வைத்து உலகத்தை காண പഠിപ്പിച്ചാൽ അത് நகரത്തിൽ വഴി തെറ്റിയാൽ ஆச்சரியப்படத் தேவையில்லை.
അത്ര തമാശയില്ലാത്ത കാര്യങ്ങൾ: ബയസ് ഒരു மீம் என்பதை நிறுத்தும் இடம்
AI ഇമേജിംഗിലെ ബയസ് മെമെ ഉണ്ടാക്കാൻ സാധിക്കുന്ന പരാജയങ്ങൾ മാത്രമല്ല ഉണ്ടാക്കുന്നത്. ഇത് താഴെ പറയുന്നവയിലും കാണിക്കുന്നു:
- മെഡിക്കൽ ഇമേജിംഗ്: ഡെർമറ്റോളജി ഡാറ്റാസെറ്റുകളിലെ വേണ്ടത്ര പ്രാതിനിധ്യമില്ലാത്ത ചർമ്മത്തിന്റെ നിറങ്ങൾ മെലനോമ പോലുള്ള അവസ്ഥകളെ കണ്ടെത്താനുള്ള നിരക്ക് കുറയാൻ ഇടയാക്കും. പരിശീലന ഉദാഹരണങ്ങളുമായി പിക്സലുകൾ பொருந்தாதபோது பிழைகள் அதிகரிக்கும்.
- സുരക്ഷയും നിരീക്ഷണവും: മുഖം തിരിച്ചറിയുന്നതിലെ തെറ്റായ அடையாளம் குறிப்பாக வண்ண மக்களை தவறான അറസ്റ്റിലേക്ക് கொண்டுപോകാറുണ്ട്. ഇത് മികച്ച ഉപയോക്തൃ അനുಭವമല്ല.
- ജോലി നിയമനവും ഐഡൻ്റിറ്റി പരിശോധനയും: മുഖം തിരിച്ചറിയുന്നതിലെ പിഴവുകൾ നോൺ-ബൈനറി അല്ലെങ്കിൽ ട്രാൻസ് മുഖങ്ങളെ തിരിച്ചറിയാൻ കഴിയാതെ വരുമ്പോൾ അത് வெறுப்பூட்டும் விஷயம் മാത്രമല്ല, புறக்கணிப்பு കൂടിയാണ്.
- സ്വയംഭരണ സംവിധാനങ്ങൾ: കാലിഫോർണിയയിലെ വെയിൽ ఎక్కువగా ലഭിക്കുന്ന സ്ഥലങ്ങളിൽ பயிற்சி பெற்ற ஒரு தானியங்கி கார், മിനസോട്ടയിലെ മంచు മൂടിയ സ്റ്റോപ്പ് സൈൻ തിരിച്ചറിയാൻ ಸಾಧ್ಯണമെന്നില്ല. കാറിന് വിവരമില്ലാത്തതുകൊണ്ടല്ല, അതിന് சரியான பயிற்சி ലഭിക്കാത്തതുകൊണ്ടാണ്.
മോഡലിൻ്റെ ലോകം ചെറുതാകുമ്പോൾ உண்மையான மக்கள் അതിൻ്റെ விலை கொடுக்கிறார்கள்.
അതെങ്ങനെ ഒളിഞ്ഞുകടക്കുന്നു: ഇമേജ് ഡാറ്റാസെറ്റ് ബയസിൻ്റെ நான்கு குதிரைவீரர்கள்
1) "സൗജന്യ സാധനങ്ങളുടെ ബയസ്"
ചിത്രങ്ങൾക്കായി ஓபன் വെബ് ஸ்கிராப் செய்வது என்பது அடிப்படையில் குப்பைத் தொட்டியைத் தோண்டிப் பார்ப்பது போலയാണ്. உங்களுக்கு பிரபலங்களின் தலைப் படங்கள், தொழில்நுட்ப மாநாட்டுக் குறிப்புகள், மற்றும் நிலவில் இருந்து எடுக்கப்பட்டது போல் இருக்கும் தயாரிப்பு படங்கள் போன்ற நிறைய விஷயங்கள் கிடைக்கும். தினசரி, சாதாரணமான உண்மைகள் குறைவாகவே இருக்கும். ഇത് உங்கள் மாதிரியை சில முகங்கள், இடங்கள் மற்றும் அதிர்வுகளின் பக்கம் சாய்க்கிறது.
2) "അനോട്ടേഷൻ ഡ്രിഫ്റ്റ്"
രണ്ട് ലേബലർമാർ ഒരു லேபிளிங் ജോലിக்கு வருகிறார்கள். ஒருவர் ஒரு ஹூடியை "விளையாட்டு ஆடை" என்றும் மற்றவர் "சாதாரண உடை" என்றும் மற்றும் மூன்றாமவர் அதை "தெரு உடை" என்றும் குறிக்கிறார்கள். ஆடைகள் குழப்பமானவை என்று மாதிரி கற்றுக்கொள்கிறது. மோசமாக, லேபிளர்கள் கலாச்சார அனுமானங்களை கொண்டுவருகிறார்கள் - யார் ஒரு "தலைவரைப்" போல இருக்கிறார்கள் அல்லது எது ஒரு "இயற்கையான" சிகை அலங்காரம் என்பதைப் போன்றது.
3) "സന്ദർഭ சூழலின் ஊன்றுகோல்"
மாதிரிகளுக்கு குறுக்குவழிகள் மிகவும் பிடிக்கும். உங்கள் தரவுத் தொகுப்பில் உள்ள சமையல்காரர்களின் படங்களில் 90% ஆண்களாக இருந்தால், மாதிரி "சமையல்காரர்" என்று கணிக்க பாலின குறிப்புகளை குறுக்குவழியாகப் பயன்படுத்தும். அது நுண்ணறிவு இல்லை, அது ஒரு சார்பு சீட்டு.
4) "டொமைன் பொருத்தமின்மை"
DSLR ഗ్లాം ஷாட்களில் പരിശീലியுங்கள், குறைந்த ரெசல்யூஷன் கொண்ட பாதுகாப்பு கேமராக்களில் பயன்படுத்தவும். பகல் நேரப் படங்களில் பயிற்சி அளியுங்கள், இரவில் பயன்படுத்தவும். நகர்ப்புற தெருக்களில் പരിശീലியுங்கள், கிராமப்புற சாலைகளில் பயன்படுத்தவும். നിങ്ങളുടെ മോഡൽ അടിസ്ഥാനപരമായി சார்ജർ ഇല്ലാതെ യാത്രചെയ്യുകയാണ്.
பிஎச்டி இல்லாமல் சார்புகளைக் கண்டறிதல் - அல்லது ஒரு பொய் கண்டுபிடிப்பான் இல்லாமல்
உங்கள் டெமோவில் உள்ள உள் உணர்வைத் தாண்டி, உங்கள் AI இமேஜிங் மாதிரியில் சார்பு பிரச்சனை உள்ளது என்பதை நீங்கள் எப்படி அறிவீர்கள் என்பது இங்கே:
- செயல்திறன் இடைவெளிகள்: மக்கள்தொகை, வெளிச்சம், புவியியல் அல்லது சாதன வகை மூலம் உங்கள் சரிபார்ப்பு அளவீடுகளை வெட்டுங்கள். ஒரு குறிப்பிட்ட குழுவிற்கு பாதுகாப்பு இல்லாத ஒரு போனைப் போல் துல்லியம் குறைந்தால், உங்களுக்கு சார்பு உள்ளது.
- உங்களை குழப்பும் குழப்பம் உள்ள அணிகள்: மாதிரி தொடர்ந்து குறிப்பிட்ட வகுப்புகளை கலந்தால் - சொல்லப்போனால், தொப்பிகளுடன் ஹிஜாப்களைக் கலந்தால் - அது ஒரு தரவுத்தொகுப்பு சொல்லும்.
- அம்ச பண்புக்கூறு தணிக்கைகள்: Grad-CAM போன்ற கருவிகள் உங்கள் "பூனை" கண்டுபிடிப்பான் உண்மையில் ஒரு சோபா வடிவத்தை உள்ளிட்டுள்ளது என்பதை வெளிப்படுத்த முடியும். வாழ்த்துகள், நீங்கள் மெத்தை அங்கீகாரத்திற்கு பயிற்சி அளித்துள்ளீர்கள்.
- உண்மையான உலக பைலட் சறுக்கல்: காடுகளில் சிறிய பைலட்களை இயக்கவும். பாதாள அறையில் ஒரு செடியைப் போல ஒளிரும் விளக்குகளின் கீழ் மாதிரி பீதி அடைந்தால், அதற்கு அதிக வேறுபட்ட தரவு தேவை.
கருவித்தொகுதி: உங்கள் தயாரிப்புக்கான வழிகாட்டி வரைபடத்தைக் கடிப்பதற்கு முன் தரவுத்தொகுப்பு சார்புகளை எவ்வாறு குறைப்பது
வீட்டைப் புதுப்பிப்பது போல் ஒரு சார்பு-சண்டையை கற்பனை செய்து பாருங்கள். நீங்கள் ஒட்டலாம், பலப்படுத்தலாம் அல்லது கிழித்து மீண்டும் கட்டலாம். உங்கள் பட்ஜெட்: நேரம், தரவு மற்றும் பணிவு.
1) ஒரு அருங்காட்சியகத்தைப் போல நிர்வகிக்கவும் (ஒரு பிளை சந்தை அல்ல)
- பாதுகாப்பை வரையறுக்கவும்: உங்கள் அமைப்பு கையாள வேண்டிய மக்கள்தொகை, விளக்கு நிலைமைகள், கேமரா வகைகள், புவியியல்கள் மற்றும் சூழல்களை எழுதவும். அது எழுதப்படவில்லை என்றால், அது விருப்பமான எண்ணம்.
- ஒதுக்கீடுகளை அமைக்கவும்: ஆமாம், ஒதுக்கீடுகள். உங்கள் பயனர்களில் 30% பேர் குறைந்த வெளிச்சத்தில் இருந்தால், உங்கள் தரவுத்தொகுப்பில் 30% குறைந்த வெளிச்சப் படங்களாக இருக்க வேண்டும். அதே போல் தோல் தொனியின் வரம்புகள் (Fitzpatrick போன்ற அளவுகோல்களை ஒரு பதிலியாகப் பயன்படுத்தவும்), வயது குழுக்கள், ஆடை பாணிகள் மற்றும் கலாச்சார சூழல்களுக்கும் பொருந்தும்.
- உங்கள் தரவை பன்முக மூலமாக்கவும்: பங்கு படங்கள் இனிப்பு. உங்களுக்கு வீட்டில் சமைத்த உணவுகளும் தேவை: பயனர் பங்களித்த படங்கள் (சம்மதத்துடன்), சார்பு தணிக்கைகளுடன் கூடிய பொது தரவுத்தொகுப்புகள் மற்றும் பிரதிநிதித்துவம் செய்யப்படாத குழுக்களிடமிருந்து இலக்கு தரவு சேகரிப்பு.
2) ஒரு வழக்கறிஞரைப் போல லேபிளிடுங்கள் (ஆனால் நட்புடன்)
- தெளிவான வகைபிரித்தல்: லேபிளிங் வழிகாட்டியை எழுதவும். இல்லை, உண்மையான ஒன்றை. எட்ஜ் வழக்குகள், எடுத்துக்காட்டுகள் மற்றும் என்ன செய்யக்கூடாது என்பதை சேர்க்கவும். லேபிளர் "அதிர்வுகளை" குறைக்கவும்.
- மாறுபட்ட குறிப்பாளர்கள்: உங்கள் குறிப்பாளர்கள் அனைவரும் ஒரே மூன்று காபி கடைகளுக்குச் சென்றால், உங்கள் லேபிள்களும் அவ்வாறே இருக்கும். புவியியல் மற்றும் கலாச்சார பன்முகத்தன்மை உதவுகிறது.
- ஒப்பந்த சோதனைகள்: குறிப்பாளர் ஒப்பந்தத்தை அளவிடவும், ஒரு முன்னணி லேபிளருடன் கருத்து வேறுபாடுகளைத் தீர்க்கவும். முட்டாள்தனத்திற்கு சராசரி எடுக்க வேண்டாம்.
- உணர்திறன் பண்புகள்: பொருத்தமான மற்றும் ஒப்புதல் அளித்திருக்கும்போது, மதிப்பீட்டிற்கான பாதுகாக்கப்பட்ட-பண்புக்கூறு குறிச்சொற்களை சேகரிக்கவும். நீங்கள் கட்டுப்படுத்தப்பட்ட நியாயத்தன்மை தலையீடுகளைச் செய்யாவிட்டால், பயிற்சியிலிருந்து விலக்கி வைக்கவும்.
3) ஒரு விஞ்ஞானியைப் போல பயிற்சி அளியுங்கள் (சிற்றுண்டிகளுடன்)
- சமநிலையான மாதிரி: அடுக்கு மாதிரியைப் பயன்படுத்தவும் மற்றும் வகுப்பு மறு எடையை உறுதி செய்யவும், இதன் மூலம் மாதிரி பெரும்பான்மை வகுப்பில் மூழ்கிவிடாது.
- தரவு அதிகரிப்பு, பொறுப்புடன்: விளக்கு, கோணங்கள், மறைப்புகள் மற்றும் பின்னணிகளை மாற்றவும். செயற்கை தரவு உதவக்கூடும், ஆனால் உங்கள் முழு யதார்த்தத்தையும் ஒரு விளையாட்டு எஞ்சின் கண்டுபிடிக்க அனுமதிக்காதீர்கள்.
- சார்பு அகற்றும் குறிக்கோள்கள்: குழுக்களிடையே செயல்திறன் இடைவெளிகளைக் குறைக்கும் நியாயத்தன்மை குறித்த விழிப்புணர்வு இழப்புகள் அல்லது கட்டுப்பாடுகளைச் சேர்க்கவும்.
- டொமைன் தழுவல்: பயன்படுத்தப்படுவது இருட்டாக, சத்தமாக அல்லது குறைந்த ரெஸ்லூஷனில் இருந்தால், அந்த உலகத்தை உருவகப்படுத்துங்கள். சிறந்தது: அந்த உலகில் சேகரிக்கவும்.
4) ஒரு கசப்பானவரைப் போல சோதிக்கவும்
- துண்டு-மற்றும்-வெட்டு மதிப்பீடு: துணைக்குழு மூலம் துல்லியம், துல்லியம்/நினைவுகூர்தல் மற்றும் அளவீடு ஆகியவற்றை தெரிவிக்கவும். நீங்கள் அதைப் பார்க்க முடியாவிட்டால், அதை நீங்கள் சரிசெய்ய மாட்டீர்கள்.
- எதிர்மறை சோதனைகள்: பாடத்தை மாறாமல் வைத்திருக்கும்போது சூழலை மாற்றவும். ஒரு கைப்பெட்டியை வைத்திருக்கும் ஒரு பெண் ஒரு "ஆசிரியராக" மாறுகிறாரா, அதே நேரத்தில் ஒரு கைப்பெட்டியுடன் இருக்கும் ஒரு ஆண் ஒரு "CEO" ஆகிறாரா? அது 4K இல் பிடிக்கப்பட்ட சூழல் சார்பு.
- அழுத்த சோதனைகள்: மோசமான பிரதிபலிப்பு, இயக்க மங்கல், பனி, மூடுபனி, முகமூடிகள் மற்றும் தொப்பிகளை உங்கள் மாதிரியில் எறியுங்கள். அடிப்படையில் நரம்பியல் நெட்வொர்க்குகளுக்கான ஹாலோவீன்.
5) நீங்கள் அதை நம்புகிறீர்கள் என்பது போல கண்காணிக்கவும்
- சறுக்கல் கண்டறிதல்: துவங்கிய பிறகு உள்ளீட்டு விநியோகத்தில் ஏற்படும் மாற்றங்களைக் கண்காணிக்கவும். உங்கள் பயன்பாடு திடீரென பிரேசிலில் பிரபலமாகும்போது, நீங்கள் தெரிந்து கொள்ள விரும்புவீர்கள்.
- மனிதன்-சுழற்சியில்: பயனர்கள் பிழைகள் மற்றும் சார்புகளைக் கொடியிட அனுமதிக்கவும், மேலும் அறிக்கைகளை உண்மையில் படிக்கவும். ஆம், அனைத்தும் பெரிய எழுத்துக்களில் இருந்தாலும் கூட.
- புதுப்பித்தல் தாளம்: புதுப்பித்தல்களை திட்டமிடவும். பழைய மாதிரிகள் மூப்படைவதால் ஏற்படும் சார்பு மாதிரிகள்.
உண்மையான உலக சூழ்நிலைகள்: தரவுத்தொகுப்பு சார்பு அதிர்வை எங்கு அழிக்கிறது
- தோல் மருத்துவம் AI: உங்கள் பயிற்சிப் படங்கள் பெரும்பாலும் இலகுவான தோல் நிறங்களாக இருந்தால், கரும்மையான தோலில் உள்ள புண்கள் குறைவாகவே கண்டறியப்படுகின்றன. தீர்வு: பல்வேறு மக்கள்தொகைகளைச் சேர்ந்த மருத்துவமனைகளிலிருந்து ஆதாரங்களை வேறுபடுத்துங்கள் மற்றும் தோல் நிற வகைகளால் மதிப்பிடவும்.
- சில்லறை இழப்பு தடுப்பு: சுத்தமான, பிரகாசமான கடைகளில் சோதனை காட்சிகளில் பயிற்சி பெற்ற மாதிரிகள் நெரிசலான, மங்கலான கடைகளில் தவறாக செயல்படுகின்றன. தீர்வு: வெவ்வேறு பகுதிகள் மற்றும் பருவங்களில் உண்மையான கடைகளில் இருந்து சேகரிக்கவும். மேலும், ஒருவேளை ஹூடிகளை குற்றமாக்க வேண்டாம்.
- விவசாய படமாக்கல்: பகல்நேர டிரோன் படங்களில் பயிற்சி பெற்ற ஒரு மாதிரி அந்தி நேரத்தில் பூச்சிகளை தவறவிடுகிறது. தீர்வு: நாளின் வெவ்வேறு நேரங்களையும் சென்சார் வகைகளையும் (RGB + வெப்பம்) சேர்க்கவும். தாவரங்களுக்கும் இரவு வாழ்க்கை உள்ளது.
- ஆவண ஸ்கேனிங்: பாஸ்போர்ட் செல்ஃபி சரிபார்ப்புகள் சுருள் முடி அல்லது தலை மூடல்களில் தோல்வியடைகின்றன. தீர்வு: பயிற்சியை விரிவாக்குங்கள் மற்றும் முடி அமைப்புகளையும் மூடல்களையும் வெளிப்படையாக மதிப்பிடவும். போனஸ்: UI தூண்டுதல்களை மேம்படுத்தவும் மற்றும் விளக்கு வழிகாட்டலை வழங்கவும்.
நான் தொடர்ந்து கேட்கும் கட்டுக்கதைகள் (மற்றும் ஆமாம், நான் ரசீதுகளைக் கொண்டு வந்தேன்)
- "பெரிய தரவுத்தொகுப்புகள் = குறைந்த சார்பு." உங்கள் பெரிய தரவுத்தொகுப்பு அதிகமாக இருந்தால், நீங்கள் பிரச்சனையை பெரிதாக்கிவிட்டீர்கள். அது தவறான காபியை வென்டி ஆர்டர் செய்வது போன்றது.
- "நாங்கள் ஒரு புத்திசாலித்தனமான வழிமுறையின் மூலம் அதை சரிசெய்வோம்." வழிமுறைகள் சார்புகளை குறைக்க முடியும், ஆனால் நீங்கள் ஒரு உருளையை மெருகூட்டி வைர என்று அழைக்க முடியாது. சிறந்த ஸ்பட்ஸுடன் தொடங்கவும் - அதாவது, தரவு.
- "நியாயத்தன்மை என்றால் அனைவருக்கும் ஒரே மாதிரியான துல்லியம்." சில நேரங்களில் சமநிலை இலக்கு; சில நேரங்களில் சமமாக்கப்பட்ட முரண்பாடுகள் அல்லது அளவீடு செய்யப்பட்ட மதிப்பெண்கள் மிகவும் முக்கியம். நீங்கள் தடுக்க விரும்பும் தீங்குடன் பொருந்தக்கூடிய அளவீடுகளைத் தேர்வு செய்யவும்.
- "செயற்கை தரவு பன்முகத்தன்மையை தீர்க்கிறது." இது இடைவெளிகளை நிரப்ப உதவுகிறது, ஆனால் ஜெனரேட்டர் உண்மையான படங்களிலிருந்து சார்புகளைக் கற்றால், நீங்கள் 4K இல் சிக்கலை குளோன் செய்தீர்கள்.
நீங்கள் இந்த வாரம் உண்மையில் இயக்கக்கூடிய ஒரு நடைமுறை, படிப்படியான சார்பு சோதனை
- உங்கள் தரவுத்தொகுப்பை சரக்கு செய்யவும்: அதில் யார் மற்றும் என்ன இருக்கிறது என்பதன் எளிய அட்டவணையை உருவாக்கவும் - மக்கள்தொகை, விளக்கு, சாதனங்கள், இடங்கள். சிவப்பு நிறத்தில் உள்ள இடைவெளிகளை முன்னிலைப்படுத்தவும். நீங்கள் உங்கள் சொந்த மாதிரியை தரப்படுத்துவது போல் பாசாங்கு செய்யுங்கள்.
- நியாயத்தன்மை மதிப்பீட்டு தொகுப்பை உருவாக்கவும்: நீங்கள் கவலைப்படும் குழுக்களிடையே அடுக்கப்பட்ட 1,000-10,000 படங்கள். இது உங்கள் வருடாந்திர உடல்நல சோதனை.
- இரண்டு சார்பு அளவீடுகளைத் தேர்வு செய்யவும்: துணைக்குழு துல்லியம் மற்றும் அளவீட்டு பிழையுடன் தொடங்கவும். உங்கள் பயன்பாடு உயர் ஆபத்து என்றால் (மருத்துவம், அடையாளம்), சமமான முரண்பாடுகள் அல்லது தவறான-எதிர்மறை விகித இடைவெளிகளைச் சேர்க்கவும்.
- வரம்புகளை அமைக்கவும்: "மொத்த துல்லியத்தில் 95% க்கு கீழ் எந்த துணைக்குழுவும் இல்லை" என்பது ஒரு தொடக்கமாகும். அதை எழுதி, ஒரு சுவரில் ஒட்டவும்.
- வகைப்படுத்தி மீண்டும் பயிற்சி அளியுங்கள்: இலக்கு தரவு சேகரிப்பு மூலம் இடைவெளிகளை நிரப்பவும், உங்கள் மாதிரியை மறு எடையிடவும், நீங்கள் பயன்படுத்தும் இடத்தில் டொமைன் விரிவாக்கத்தை முயற்சிக்கவும். நியாயத்தன்மை மதிப்பீட்டை மீண்டும் இயக்கவும். உங்கள் சுவர் சுவரொட்டி உங்களை கத்தாமல் இருக்கும் வரை மீண்டும் செய்யவும்.
தலைப்பு: விதிமுறைகள், தணிக்கைகள் மற்றும் உங்கள் சட்டக் குழு திடீரென மதிய உணவை ஏன் நேசிக்கிறது
சட்டங்களும் தரநிலைகளும் ஈடுகொடுத்து வருகின்றன. தாக்கம் மதிப்பீடுகள், பயிற்சி தரவுகளின் ஆவணமாக்கல் மற்றும் பயன்படுத்திய பின் கண்காணிப்புக்கான தேவைகளை எதிர்பார்க்கலாம் - குறிப்பாக மருத்துவம், பணியமர்த்தல் மற்றும் பொதுத்துறை பயன்பாடுகளில். மொழிபெயர்ப்பு: பதிவுகளை வைத்திருங்கள். தரவுத்தொகுப்புகளுக்கான தரவுத்தாள்கள், மாதிரிகளுக்கான மாதிரி அட்டைகள் மற்றும் ஒவ்வொரு முக்கிய மாற்றத்திற்கும் காகித தடயம். உங்கள் எதிர்கால சுய - மற்றும் ஒரு ஒழுங்குபடுத்தி - உங்களுக்கு நன்றி தெரிவிப்பார்கள்.
உங்கள் விரிதாள் அழத் தொடங்கும் போது முயற்சி செய்யத் தகுதியான கருவிகள்
- சார்பு மதிப்பீட்டு நூலகங்கள்: துணைக்குழு அளவீடுகள், அளவீடு மற்றும் நியாயத்தன்மை கட்டுப்பாடுகளைப் புகாரளிக்கும் திறந்த-மூல கருவித்தொகுப்புகளைத் தேடுங்கள். பல பொதுவான ML கட்டமைப்புகளுடன் ஒருங்கிணைக்கின்றன.
- விளக்கக்கூடிய தன்மை: சிறப்பம்சம் வரைபடங்கள், Grad-CAM, SHAP. மாதிரி உண்மையில் என்ன பார்க்கிறது என்பதைப் பார்க்க அவற்றைப் பயன்படுத்தவும். அது தயாரிப்புக்கு பதிலாக லோகோவை பார்த்தால், உங்களுக்கு ஒரு க்ரஷ் பிரச்சனை உள்ளது.
- தரவு உலாவிகள்: மெட்டாடேட்டா மூலம் வடிகட்டவும், விநியோக இடைவெளிகளை காட்சிப்படுத்தவும், கிட்டத்தட்ட நகல்களை கொடியிடவும் உங்களை அனுமதிக்கும் அமைப்புகள். குறைந்த குளோன்களை இலக்காகக் கொள்ளுங்கள், அதிகமான பாதுகாப்பு.
குறிப்பிடத்தக்கது: தரவுத்தொகுப்புகளைத் தேர்ந்தெடுக்கும்போது அல்லது தணிக்கை செய்யும்போது உங்களுக்கு ஒரு மனநல சோதனை தேவைப்பட்டால், விநியோகங்களை விரைவாக ஒப்பிடவும், பிரதிநிதித்துவம் செய்யப்படாத துண்டுகளை முன்னிலைப்படுத்தவும் மற்றும் "ஓஹோ" தொடர்புகளை மேற்பரப்பில் கொண்டு வரவும் Sider.AIஉங்களுக்கு உதவ முடியும். அவை தயாரிப்பு பிழைகளாக மாறுவதற்கு முன்பு. உங்கள் பற்களில் கீரை உள்ளது என்று உங்களுக்குச் சொல்லும் நண்பரைப் போல இதைப் பற்றி யோசியுங்கள் - மெதுவாக, மற்றும் விளக்கப்படங்களுடன். மனித பக்கம்: அணிகள் சார்புகளை சரிசெய்கின்றன, கருவிப்பட்டிகள் அல்ல
- பல்வேறு அணிகள் வெவ்வேறு குருட்டுப் புள்ளிகளைக் கவனிக்கின்றன. உங்கள் அணியில் உள்ள அனைவரும் ஒரே மூன்று நகரங்களில் விடுமுறை எடுத்துக் கொண்டால், உங்கள் மாதிரியும் அவ்வாறே செய்யும்.
- ஊக்கத்தொகைகள் முக்கியம். வெற்றி என்பது "ஒட்டுமொத்த துல்லியம்" மட்டுமே என்றால், மக்கள் லீடர்போர்டில் வெற்றி பெறும் சார்பு மாதிரியை அனுப்புவார்கள். நியாயத்தன்மை இலக்குகளை அமைத்து அவற்றை அடிப்பதற்கு வெகுமதி அளியுங்கள்.
- பயனர்களுடன் பேசுங்கள், குறிப்பாக மோசமான முடிவுகளைப் பெறுபவர்களுடன். உங்கள் டாஷ்போர்டு என்ன சொல்லாது என்பதை அவர்கள் உங்களுக்குச் சொல்வார்கள்.
விரைவான வெற்றிகள் எதிராக நீண்ட தூரம்: உங்கள் காலக்கெடுவின் அடிப்படையில் என்ன செய்வது
- நாளை அனுப்பவும்: உங்கள் மோசமாக செயல்படும் துணைக்குழுவுக்கு இலக்கு விரிவாக்கத்தை சேர்க்கவும், உங்கள் இழப்பை மறு எடையிடவும், சறுக்கலுக்கான விழிப்பூட்டல்களுடன் கண்காணிப்பு டாஷ்போர்டில் அறையவும்.
- அடுத்த மாதம் அனுப்பவும்: இடைவெளிகளில் கவனம் செலுத்திய சிறிய ஆனால் சக்திவாய்ந்த தரவுத்தொகுப்பை சேகரிக்கவும், நியாயத்தன்மை கட்டுப்பாடுகளுடன் மீண்டும் பயிற்சி அளிக்கவும் மற்றும் ஒரு எதிர்மறை சோதனை தொகுப்பை இயக்கவும்.
- அடுத்த காலாண்டில் அனுப்பவும்: ஒதுக்கீடு அடிப்படையிலான மாதிரி, தொடர்ச்சியான சார்பு மதிப்பீடுகள் மற்றும் வெளியீட்டிற்கு முன் குறுக்கு செயல்பாட்டு மதிப்பாய்வு ஆகியவற்றை உள்ளடக்குவதற்கு உங்கள் தரவு குழாயை மறுவடிவமைக்கவும்.
நீங்கள் உண்மையில் பயன்படுத்தும் சரிபார்ப்பு பட்டியல்
- எங்கள் தரவில் யார் இருக்கிறார்கள் மற்றும் யார் காணவில்லை என்பது எங்களுக்குத் தெரியுமா?
- துணைக்குழு செயல்திறன் இலக்குகளை நாங்கள் அமைத்துள்ளோமா?
- எங்கள் லேபிள்கள் நிலையானதாகவும் கலாச்சார விழிப்புணர்வுடனும் இருக்கிறதா?
- எங்கள் பயனர்கள் வசிக்கும் சூழல்களில் நாங்கள் சோதித்தீர்களா - எங்கள் ஆய்வகத்தில் மட்டுமல்லவா?
- விஷயங்கள் தவறாக நடக்கும்போது மாதிரி முடிவுகளை விளக்க முடியுமா?
- துவங்கிய பிறகு புதுப்பிக்கவும் கண்காணிக்கவும் எங்களிடம் திட்டம் உள்ளதா?
அதை அச்சிடுங்கள். சட்டமிடவும். அல்லது உங்கள் எஸ்பிரெசோ இயந்திரத்தில் ஒட்டவும்.
சார்பு என்பது ஒரு பிழை அல்ல, அம்சம்: வரம்புகளை அங்கீகரித்தல்
சில படமாக்கல் பணிகள் உலகளாவியவை அல்லாத கலாச்சார விதிமுறைகளை (நாகரிகம், சைகைகள், சின்னங்கள்) குறியாக்கம் செய்கின்றன. சில நேரங்களில் சரியான பதில் என்னவென்றால், ஒரு அளவு-அனைவருக்கும் பொருந்தக்கூடிய நியாயத்தை விரட்டுவதை விட, பிராந்தியம், கலாச்சாரம் அல்லது பயன்பாட்டு நிகழ்வு மூலம் மாதிரிகளை உள்ளூர்மயமாக்குவது. எல்லோரையும் பற்றி எல்லாவற்றையும் அறிந்த ஒரு AI ஐ உருவாக்குவது குறிக்கோள் அல்ல - அது தனக்குத் தெரியாதபோது தெரிந்த ஒன்றை உருவாக்குவது.
சுருக்கமாக: உங்கள் AI ஒரு குமிழியில் வளர விடாதீர்கள்
AI இமேஜிங்கில் தரவுத்தொகுப்பு சார்பு என்பது உங்கள் கேமராவிற்கு ஒரு காகித துண்டு குழாய் மூலம் உலகைப் பார்க்க கற்றுக்கொடுப்பது போன்றது: உங்களுக்கு ஒரு குறுகிய பார்வையும் தலைவலியும் கிடைக்கும். ஆனால் நீங்கள் தண்டிக்கப்படவில்லை.
- உங்கள் தரவு முக்கியமானது போல் தணிக்கை செய்யுங்கள் - ஏனெனில் அது அவ்வாறு செய்கிறது.
- நோக்கத்துடன் லேபிளிடுங்கள், கட்டுப்பாடுகளுடன் பயிற்சி அளியுங்கள் மற்றும் சந்தேகத்துடன் சோதிக்கவும்.
- உண்மையான உலகம் உங்களை தவிர்க்க முடியாமல் ஆச்சரியப்படுத்தும் போது கண்காணிக்கவும், கேட்கவும் மற்றும் சரிசெய்யவும்.
இதைச் செய்யுங்கள், உங்கள் AI புடவைகளை குளியல் ஆடைகளுக்காகவும், மச்சங்களை உற்பத்தி செய்யவும் குழப்புவதை நிறுத்தும். இது மக்களுக்கு உதவ போதுமானதாக இருக்கும் - பாதுகாப்பாக, நியாயமாக, மற்றும் நாம் அனைவரும் உண்மையில் வாழும் காட்டு, ஒழுங்கற்ற யதார்த்தத்தில்.
இப்போது உங்கள் தரவுத்தொகுப்பை சரிபார்க்கவும். நான் காத்திருப்பேன். மேலும் நான் மூலையில் இருப்பேன், உங்கள் மாதிரியுடன் கிசுகிசுப்பேன்: "இது நீங்கள் அல்ல, இது உங்கள் பயிற்சி தொகுப்பு."
FAQ
Q1:AI இமேஜிங்கில் தரவுத்தொகுப்பு சார்பு என்றால் என்ன, சாதாரண ஆங்கிலத்தில்?
பயிற்சிப் படங்கள் உண்மையான உலகத்துடன் பொருந்தாதபோது - மிகக் குறைவான தோல் நிறங்கள், விளக்கு நிலைமைகள் அல்லது சூழல்கள் இருக்கும்போது நிகழும். மாதிரி ஒரு குறுகிய யதார்த்தத்தைக் கற்றுக்கொள்கிறது மற்றும் அந்த குமிழிக்கு வெளியே எதையும் சந்திக்கும்போது சார்பு அல்லது தவறான கணிப்புகளைச் செய்கிறது.
Q2:நான் அனுப்பும் முன் தரவுத்தொகுப்பு சார்பை நான் எப்படி கண்டுபிடிப்பது?
துணைக்குழு - மக்கள்தொகை, விளக்கு, சாதனங்கள் - மூலம் உங்கள் அளவீடுகளை துண்டாக்கி, செயல்திறன் இடைவெளிகளைப் பாருங்கள். சூழல் மற்றும் லேபிளிங் சார்பை ஆரம்பத்தில் பிடிக்க எதிர்மறை சோதனைகள் மற்றும் ஒரு சிறிய, நிர்வகிக்கப்பட்ட நியாயத்தன்மை மதிப்பீட்டு தொகுப்பை சேர்க்கவும்.
Q3:கணினி பார்வையில் செயற்கை தரவு தரவுத்தொகுப்பு சார்பை சரிசெய்ய முடியுமா?
செயற்கை தரவு அரிதான விளக்கு அல்லது கோணங்கள் போன்ற இடைவெளிகளை நிரப்ப முடியும், ஆனால் இது உங்கள் தற்போதைய சார்பையும் குளோன் செய்ய முடியும். பிரதிநிதித்துவம் செய்யப்படாத சூழ்நிலைகளை அதிகரிக்க அதைப் பயன்படுத்தவும், பல்வேறு உண்மையான உலக படங்களை மாற்ற வேண்டாம்.
Q4:எல்லாவற்றையும் மீண்டும் கட்டியெழுப்பாமல் சார்புகளைக் குறைக்க விரைவான வழிகள் என்ன?
வகுப்புகளை மறு எடையிடவும், இலக்கு விரிவாக்கங்களைச் சேர்க்கவும், மேலும் உங்கள் மோசமாக செயல்படும் குழுக்களில் கவனம் செலுத்திய ஒரு சிறிய தரவுத்தொகுப்பை சேகரிக்கவும். பின்னர் நியாயத்தன்மை விழிப்புணர்வு இழப்புகளுடன் மீண்டும் பயிற்சி அளியுங்கள் மற்றும் துவங்கிய பிறகு சறுக்கலைக் கண்காணிக்கவும்.
Q5:படமாக்கல் சார்பை அளவிட நான் என்ன அளவீடுகளைப் பயன்படுத்த வேண்டும்?
துணைக்குழு துல்லியம் மற்றும் அளவீட்டு பிழையுடன் தொடங்கவும், பின்னர் அதிக ஆபத்து பணிகளுக்கான சமமான முரண்பாடுகள் அல்லது தவறான-எதிர்மறை விகித இடைவெளிகளைக் கவனியுங்கள். நீங்கள் தடுக்க மிகவும் விரும்பும் தீங்குடன் பொருந்தக்கூடிய அளவீடுகளைத் தேர்வு செய்யவும்.
