여러분의 AI 카메라가 모든 여성을 간호사로, 모든 남성을 CEO로 인식한다고 칩시다. 멋지네요.
"AI 강화" 앱에 사진을 업로드했는데 친구의 사리를 자신 있게 목욕 가운이라고 부르는 것을 보신 적이 있나요? 아니면 의료 영상 시스템이 팔에 있는 점을 블루베리라고 주장하는 것을 보신 적이 있나요? 이것이 AI 이미징의 데이터 세트 편향이며, 단순히 어색한 것 이상으로 위험할 수 있습니다. 모음만으로 아이에게 알파벳을 가르치는 것과 같다고 생각해보세요. 물론 무언가를 노래하겠지만, 처방전을 쓰게 하고 싶지는 않을 겁니다.
우리는 컴퓨터 비전이 어디에나 있을 만큼 충분히 좋지만(휴대폰, 자동차, 병원 등), 요점을 놓치고 맥락을 파악하지 못하며 때로는 특정 그룹의 사람들을 완전히 놓치는 이상한 시점에 와 있습니다. 범인은 대개 수학이 아닙니다. 바로 데이터입니다. 특히, 이 모델이 매우 좁은 렌즈를 통해 세상을 보도록 훈련시킨 데이터입니다.
AI 이미징의 데이터 세트 편향이 어떻게 몰래 들어와 망치는지, 그리고 가장 중요한 것은 고양이를 크루아상이라고 부르지 않도록 어떻게 막을 수 있는지 알아봅시다.
AI 이미징의 데이터 세트 편향이란 무엇일까요? 아주머니도 읽을 수 있는 짧은 버전
AI 이미징의 데이터 세트 편향은 모델을 훈련하는 데 사용된 이미지가 실제 세계를 제대로 나타내지 못할 때 발생합니다. 데이터 세트가 주로 특정 인구 통계의 얼굴, 제한된 범위의 피부톤, 완벽한 스튜디오 조명에서 촬영된 피사체(인플루언서 링 라이트!)로 구성되어 있다면, 모델은 왜곡된 현실을 학습하게 됩니다.
- 선택 편향: 구하기 가장 쉬운 이미지(스톡 사진, 흰색 배경, 가끔 의심스러울 정도로 행복하게 샐러드를 먹는 사람)를 선택했습니다.
- 레이블 편향: 인간이 이미지를 레이블합니다. 인간은 의견을 가져옵니다. 때로는 그러한 의견이 "사실"보다는 "창작"에 가깝습니다.
- 맥락 편향: 여성 옆에 청진기가 있나요? 간호사일 겁니다. 남성 옆에 같은 물건이 있나요? 의사입니다. 모델은 데이터 세트에서 고정관념을 학습했습니다.
- 영역 편향: 반짝이는 제품 사진으로 훈련한 다음 어두운 공장 바닥에 배포했습니다. 놀랍게도 지게차가 빅풋처럼 보입니다.
AI에게 한 동네를 통해서만 세상을 보도록 가르친다면 시내에서 길을 잃어도 놀라지 마세요.
그렇게 웃기지만은 않은 위험 요소: 편향이 밈이 아닌 경우
AI 이미징의 편향은 밈으로 만들 만한 실패만 일으키는 것이 아닙니다. 다음과 같은 경우에도 나타납니다.
- 의료 영상: 피부과 데이터 세트에서 과소 대표되는 피부톤은 흑색종과 같은 질환의 탐지율 저하로 이어질 수 있습니다. 픽셀이 훈련 예제와 일치하지 않으면 오류가 급증합니다.
- 안전 및 감시: 안면 인식의 오인식은 특히 유색인종의 부당한 체포와 관련이 있습니다. 좋은 사용자 경험이 아닙니다.
- 채용 및 신원 확인: 논바이너리 또는 트랜스젠더 얼굴을 제대로 인식하지 못하는 안면 매칭은 짜증나는 것 이상으로 배타적입니다.
- 자율 시스템: 주로 캘리포니아 햇빛 아래에서 훈련된 자율 주행 자동차는 미네소타에서 눈 덮인 정지 표지판을 인식하지 못할 수 있습니다. 자동차가 무모한 것이 아닙니다. 보호받고 자란 것이죠.
모델의 세계가 좁으면 실제 사람들이 대가를 치릅니다.
침투 경로: 이미지 데이터 세트 편향의 네 기수
1) "무료 자료 편향"
이미지를 위해 개방형 웹을 긁어모으는 것은 기본적으로 픽셀을 위한 쓰레기통 뒤지기입니다. 유명인 얼굴 사진, 기술 컨퍼런스 배지, 달에서 촬영한 것처럼 보이는 제품 사진을 많이 찾을 수 있습니다. 일상적이고 지저분한 현실은요? 덜하죠. 이는 모델을 특정 얼굴, 장소, 분위기로 기울게 합니다.
2) "어노테이션 드리프트"
두 명의 레이블러가 레이블링 작업에 참여합니다. 한 명은 후드티를 "스포츠웨어"로 태그하고, 다른 한 명은 "캐주얼웨어"라고 하고, 세 번째 사람은 "스트리트웨어"라고 부릅니다. 모델은 옷이 혼돈이라는 것을 배웁니다. 더 나쁜 것은, 레이블러가 누가 "보스"처럼 보이는지, 무엇이 "자연스러운" 헤어스타일로 간주되는지와 같은 문화적 가정을 가져온다는 것입니다.
3) "맥락 의존"
모델은 지름길을 좋아합니다. 데이터 세트에서 요리사 사진의 90%가 남성이라면 모델은 성별 단서를 지름길로 사용하여 "요리사"를 예측합니다. 이는 지능이 아니라 편향된 속임수입니다.
4) "영역 불일치"
DSLR 화려한 사진으로 훈련하고 저해상도 보안 카메라에 배포합니다. 주간 이미지로 훈련하고 야간에 배포합니다. 도시 거리에서 훈련하고 시골 도로에 배포합니다. 모델은 기본적으로 충전기 없이 여행하는 것입니다.
박사 학위나 거짓말 탐지기 없이 편향을 식별하는 방법
데모에서 느껴지는 불쾌한 감정 외에도 AI 이미징 모델에 편향 문제가 있는지 확인하는 방법은 다음과 같습니다.
- 성능 격차: 인구 통계, 조명, 지리 또는 장치 유형별로 유효성 검사 메트릭을 분할합니다. 특정 그룹의 정확도가 케이스 없는 휴대폰처럼 떨어진다면 편향이 있는 것입니다.
- 혼란스러운 혼동 행렬: 모델이 특정 클래스(예: 히잡과 모자)를 계속 혼동하면 데이터 세트 문제가 있는 것입니다.
- 특성 기여도 감사: Grad-CAM과 같은 도구를 사용하면 "고양이" 감지기가 실제로 소파 패턴을 중요하게 생각한다는 것을 알 수 있습니다. 축하합니다, 가구 인식 훈련을 하셨군요.
- 실제 파일럿 드리프트: 야외에서 소규모 파일럿을 실행합니다. 모델이 지하실의 식물처럼 형광등 아래에서 당황하면 더 다양한 데이터가 필요합니다.
툴킷: 제품 로드맵을 망치기 전에 데이터 세트 편향을 줄이는 방법
편향 방지 작업을 집 개조로 상상해 보세요. 패치를 하거나, 보강하거나, 뜯어내고 다시 지을 수 있습니다. 예산은 시간, 데이터, 겸손입니다.
1) 벼룩시장이 아닌 박물관처럼 큐레이팅하세요.
- 커버리지 정의: 시스템이 처리해야 하는 인구 통계, 조명 조건, 카메라 유형, 지리 및 환경을 기록합니다. 기록되지 않으면 희망 사항일 뿐입니다.
- 할당량 설정: 그렇습니다, 할당량입니다. 사용자의 30%가 저조도 환경에 있다면 데이터 세트의 30%가 저조도 이미지여야 합니다. 피부톤 범위(Fitzpatrick과 같은 척도 사용), 연령대, 의류 스타일 및 문화적 맥락도 마찬가지입니다.
- 데이터를 다중 소스에서 가져오세요. 스톡 사진은 디저트입니다. 사용자 제공 사진(동의 포함), 편향 감사 기능이 있는 공개 데이터 세트, 과소 대표되는 그룹의 대상 데이터 수집과 같은 집에서 만든 식사도 필요합니다.
2) 변호사처럼 레이블링하세요(더 친절하게).
- 명확한 분류 체계: 레이블링 가이드를 작성하세요. 네, 진짜로요. 에지 케이스, 예제, 하지 말아야 할 것을 포함하세요. 레이블러의 "분위기"를 줄이세요.
- 다양한 주석자: 주석자가 모두 같은 세 개의 커피숍에 다녔다면 레이블도 그럴 것입니다. 지리적 및 문화적 다양성이 도움이 됩니다.
- 합의 확인: 주석자 간 합의를 측정하고 수석 레이블러와 함께 이견을 조정합니다. 무의미한 평균을 내지 마세요.
- 민감한 속성: 적절하고 동의가 있는 경우 평가를 위해 보호된 속성 태그를 수집합니다. 통제된 공정성 개입을 하지 않는 한 훈련에서 제외하세요.
3) 과학자처럼 훈련하세요(간식 포함).
- 균형 잡힌 샘플링: 계층화된 샘플링 및 클래스 재가중치를 사용하여 모델이 대다수 클래스에 압도되지 않도록 합니다.
- 데이터 증강, 책임감 있게: 조명, 각도, 폐색 및 배경을 변경합니다. 합성 데이터가 도움이 될 수 있지만 게임 엔진이 전체 현실을 발명하도록 하지 마세요.
- 편향 제거 목표: 그룹 간의 성능 격차를 최소화하는 공정성 인식 손실 또는 제약 조건을 포함합니다.
- 영역 적응: 배포가 어둡고 시끄럽거나 저해상도인 경우 해당 세계를 시뮬레이션합니다. 더 나은 방법은 해당 세계에서 수집하는 것입니다.
4) 냉소자처럼 테스트하세요.
- 세분화 평가: 하위 그룹별로 정확도, 정밀도/재현율 및 보정을 보고합니다. 볼 수 없으면 수정할 수 없습니다.
- 반사실 테스트: 피사체를 일정하게 유지하면서 컨텍스트를 바꿉니다. 서류 가방을 들고 있는 여성이 "교사"가 되고 서류 가방을 든 남성이 "CEO"가 되나요? 이는 4K로 포착된 컨텍스트 편향입니다.
- 스트레스 테스트: 적대적인 섬광, 모션 블러, 눈, 안개, 마스크 및 모자를 모델에 던집니다. 기본적으로 신경망을 위한 할로윈입니다.
5) 진심으로 모니터링하세요.
- 드리프트 감지: 출시 후 입력 분포의 변화를 추적합니다. 앱이 갑자기 브라질에서 인기를 얻으면 알고 싶을 것입니다.
- 사람-인-더-루프: 사용자가 오류와 편향을 표시하도록 하고 보고서를 실제로 읽으세요. 네, 모두 대문자로 된 것까지요.
- 재훈련 리듬: 새로 고침을 예약합니다. 오래된 모델은 노인성 치매가 있는 편향된 모델입니다.
실제 시나리오: 데이터 세트 편향이 분위기를 망치는 경우
- 피부과 AI: 훈련 이미지가 대부분 밝은 피부톤인 경우 어두운 피부의 병변은 과소 탐지됩니다. 해결 방법: 다양한 인구의 클리닉에서 소스를 다양화하고 피부톤 범주별로 평가합니다.
- 소매 손실 방지: 깨끗하고 밝은 매장의 테스트 영상으로 훈련된 모델은 붐비고 어두운 매장에서 오작동합니다. 해결 방법: 지역 및 계절별로 실제 매장에서 수집합니다. 또한 후드티를 입은 사람을 범죄자로 만들지 마세요.
- 농업 이미징: 낮 시간 드론 이미지로 훈련된 모델은 황혼에 해충을 놓칩니다. 해결 방법: 다른 시간대와 센서 유형(RGB + 열)을 포함합니다. 식물도 밤문화를 즐깁니다.
- 문서 스캔: 여권 셀카 확인이 곱슬머리 또는 머리 덮개에서 실패합니다. 해결 방법: 훈련을 확대하고 머리 질감과 덮개를 명시적으로 평가합니다. 보너스: UI 프롬프트 및 조명 지침을 개선합니다.
계속 듣게 되는 미신(영수증도 가져왔습니다)
- "더 큰 데이터 세트 = 편향 감소." 큰 데이터 세트가 동일한 데이터의 더 많은 양일 뿐이라면 문제를 확대하는 것입니다. 잘못된 커피를 벤티 사이즈로 주문하는 것과 같습니다.
- "영리한 알고리즘으로 사후에 수정할 것입니다." 알고리즘은 편향을 완화할 수 있지만 감자를 갈아서 다이아몬드라고 부를 수는 없습니다. 더 나은 감자, 즉 데이터부터 시작하세요.
- "공정성은 모든 사람에게 동일한 정확도를 의미합니다." 때로는 동등성이 목표이고, 때로는 동등한 확률 또는 보정된 점수가 더 중요합니다. 예방하려는 피해에 맞는 메트릭을 선택하세요.
- "합성 데이터는 다양성을 해결합니다." 격차를 메우는 데 도움이 되지만 생성기가 실제 이미지에서 편향을 학습했다면 문제를 4K로 복제한 것뿐입니다.
이번 주에 실제로 실행할 수 있는 실용적인 단계별 편향 점검
- 데이터 세트 인벤토리: 인구 통계, 조명, 장치, 위치 등 누가, 무엇이 있는지 간단한 표를 만드세요. 격차를 빨간색으로 강조 표시합니다. 자신의 모델에 점수를 매기는 척하세요.
- 공정성 평가 세트 구축: 관심 있는 그룹 전체에 걸쳐 계층화된 1,000~10,000개의 이미지. 이것은 연례 건강 검진입니다.
- 두 가지 편향 메트릭 선택: 하위 그룹 정확도 및 보정 오류부터 시작합니다. 앱이 매우 중요한 경우(의료, 신원 확인) 동등한 확률 또는 거짓 음성률 격차를 추가합니다.
- 임계값 설정: "전체 정확도의 95% 미만인 하위 그룹 없음"이 시작입니다. 적어 두세요. 벽에 붙여 놓으세요.
- 분류 및 재훈련: 대상 데이터 수집으로 격차를 채우고, 샘플러의 가중치를 다시 조정하고, 배포할 때 영역 증강을 시도합니다. 공정성 평가를 다시 실행합니다. 벽 포스터가 소리치는 것을 멈출 때까지 반복합니다.
알림: 규정, 감사 및 법률 팀이 갑자기 점심을 좋아하는 이유
법률 및 표준이 따라잡고 있습니다. 특히 의료, 채용 및 공공 부문 사용에서 영향 평가, 훈련 데이터 문서화 및 배포 후 모니터링에 대한 요구 사항이 예상됩니다. 번역: 기록을 보관하세요. 데이터 세트에 대한 데이터 시트, 모델에 대한 모델 카드, 모든 주요 변경 사항에 대한 서류 증거. 미래의 자신과 규제 기관이 감사할 것입니다.
스프레드시트가 울기 시작할 때 시도해 볼 가치가 있는 도구
- 편향 평가 라이브러리: 하위 그룹 메트릭, 보정 및 공정성 제약 조건을 보고하는 오픈 소스 툴킷을 찾으세요. 많은 도구가 일반적인 ML 프레임워크와 통합됩니다.
- 설명 가능성: 현저성 맵, Grad-CAM, SHAP. 이를 사용하여 모델이 실제로 무엇을 보고 있는지 확인하세요. 제품이 아닌 로고를 보고 있다면 문제가 있는 것입니다.
- 데이터 브라우저: 메타데이터별로 필터링하고, 분포 격차를 시각화하고, 거의 중복을 표시할 수 있는 시스템. 더 적은 복제본, 더 많은 커버리지를 목표로 합니다.
참고: 데이터 세트를 선택하거나 감사하는 동안 건전성 검사를 원하면 Sider.AI를 사용하여 분포를 빠르게 비교하고, 과소 대표되는 슬라이스를 강조 표시하고, 프로덕션 버그가 되기 전에 "어이쿠" 상관 관계를 표시할 수 있습니다. 칫솔에 시금치가 낀 것을 부드럽게, 차트와 함께 알려주는 친구라고 생각하세요. 인간적인 측면: 도구 모음이 아닌 팀이 편향을 수정합니다.
- 다양한 팀은 다양한 맹점을 알아차립니다. 팀의 모든 사람이 동일한 세 도시에서 휴가를 보내면 모델도 그럴 것입니다.
- 인센티브가 중요합니다. 성공이 "전반적인 정확도"뿐이라면 사람들은 리더보드에서 승리하는 편향된 모델을 출시할 것입니다. 공정성 목표를 설정하고 달성한 사람에게 보상하세요.
- 사용자, 특히 최악의 결과를 얻는 사람과 이야기하세요. 그들은 대시보드가 알려주지 않는 것을 알려줄 것입니다.
빠른 승리 대 장거리 운전: 마감일에 따라 수행할 작업
- 내일 출시: 최악의 성능을 보이는 하위 그룹에 대한 대상 증강을 추가하고, 손실 가중치를 다시 조정하고, 드리프트에 대한 경고가 있는 모니터링 대시보드를 붙입니다.
- 다음 달 출시: 격차에 초점을 맞춘 작지만 강력한 데이터 세트를 수집하고, 공정성 제약 조건으로 재훈련하고, 반사실 테스트 스위트를 실행합니다.
- 다음 분기 출시: 할당량 기반 샘플링, 지속적인 편향 평가 및 릴리스 전 교차 기능 검토를 포함하도록 데이터 파이프라인을 재설계합니다.
실제로 사용할 체크리스트
- 데이터에 누가 있고 누가 없는지 알고 있습니까?
- 사용자가 생활하는 환경에서 테스트했습니까? 실험실에서만이 아닙니다.
- 문제가 발생했을 때 모델 결정을 설명할 수 있습니까?
- 출시 후 업데이트하고 모니터링할 계획이 있습니까?
인쇄하세요. 액자에 넣으세요. 아니면 에스프레소 머신에 붙이세요.
편향이 버그가 아닌 기능인 경우: 한계 인식
일부 이미징 작업은 보편적이지 않은 문화적 규범(패션, 제스처, 기호)을 인코딩합니다. 때로는 정답이 만능 공정성을 추구하는 대신 지역, 문화 또는 사용 사례별로 모델을 현지화하는 것입니다. 목표는 모든 사람에 대해 모든 것을 아는 AI를 만드는 것이 아니라 모르는 것을 아는 AI를 구축하는 것입니다.
결론: AI가 거품 속에서 자라도록 하지 마세요.
AI 이미징의 데이터 세트 편향은 카메라가 세상을 페이퍼 타월 튜브를 통해 보도록 가르치는 것과 같습니다. 시야가 좁아지고 두통이 생깁니다. 하지만 운이 다한 것은 아닙니다.
- 데이터가 중요한 것처럼 감사하세요. 실제로 중요하기 때문입니다.
- 의도를 가지고 레이블링하고, 제약 조건으로 훈련하고, 회의적인 태도로 테스트하세요.
- 현실 세계가 불가피하게 놀라게 할 때 모니터링하고, 듣고, 수정하세요.
이렇게 하면 AI가 사리를 목욕 가운으로, 점을 농산물로 혼동하는 것을 멈출 것입니다. 안전하고 공정하게, 그리고 우리 모두가 실제로 살고 있는 야생하고 지저분한 현실에서 사람들을 돕기에 충분히 좋을 수도 있습니다.
이제 데이터 세트를 확인하세요. 기다리겠습니다. 그리고 당신의 모델에게 속삭이는 것은 바로 저일 것입니다. "네 잘못이 아니야, 훈련 세트가 문제야."
FAQ
Q1:AI 이미징의 데이터 세트 편향이란 무엇입니까? 쉬운 영어로 설명해주세요.
훈련 이미지가 실제 세계와 일치하지 않는 경우입니다. 피부톤, 조명 조건 또는 맥락이 너무 적습니다. 모델은 좁은 현실을 학습하고 해당 거품 외부의 모든 것을 만나면 편향되거나 잘못된 예측을 합니다.
Q2:출시하기 전에 데이터 세트 편향을 어떻게 감지합니까?
하위 그룹(인구 통계, 조명, 장치)별로 메트릭을 분할하고 성능 격차를 찾습니다. 반사실 테스트와 작고 큐레이팅된 공정성 평가 세트를 추가하여 맥락과 레이블링 편향을 조기에 포착합니다.
Q3:합성 데이터는 컴퓨터 비전에서 데이터 세트 편향을 수정할 수 있습니까?
합성 데이터는 희귀한 조명이나 각도와 같은 격차를 채울 수 있지만 기존 편향을 복제할 수도 있습니다. 다양한 실제 이미지를 대체하는 것이 아니라 과소 대표되는 시나리오를 보강하는 데 사용하세요.
Q4:모든 것을 재구축하지 않고 편향을 줄이는 빠른 방법은 무엇입니까?
클래스 가중치를 다시 조정하고, 대상 증강을 추가하고, 최악의 성능을 보이는 그룹에 초점을 맞춘 작은 데이터 세트를 수집합니다. 그런 다음 공정성 인식 손실로 재훈련하고 출시 후 드리프트를 모니터링합니다.
Q5:이미징 편향을 측정하는 데 어떤 메트릭을 사용해야 합니까?
하위 그룹 정확도 및 보정 오류부터 시작한 다음 중요한 작업에 대해 동등한 확률 또는 거짓 음성률 격차를 고려합니다. 가장 예방하고 싶은 피해에 맞는 메트릭을 선택하세요.
