所以，你的 AI 摄像头认为所有女性都是护士，所有男性都是 CEO。真棒，真棒，真棒。
你是否曾经上传照片到某个“AI 增强”应用，然后眼睁睁地看着它自信地将你朋友的纱丽标记为浴袍？或者看到医疗影像系统坚持认为你手臂上的痣是蓝莓？这就是 AI 图像中的数据集偏差，它不仅仅是尴尬——它可能是危险的。把它想象成只用元音教孩子字母表。当然，他们会唱出一些东西。但你肯定不希望他们开处方。
我们正处于一个奇怪的时刻，计算机视觉已经足够好，可以无处不在——你的手机、你的汽车、你医生的办公室——但仍然不够好，以至于会错过重点、背景，有时甚至是整个人群。罪魁祸首通常不是数学，而是数据。具体来说，是训练这些模型以非常狭隘的视角看待世界的数据。
让我们来剖析一下 AI 图像中的数据集偏差是如何偷偷潜入、搞砸一切的，以及——最重要的是——你如何防止它把你的猫叫做牛角面包。
什么是 AI 图像中的数据集偏差？你的姑妈也能读懂的简短版本
当用于训练模型的数据集不能代表真实世界时，就会发生 AI 图像中的数据集偏差。如果你的数据集主要来自某个特定人群的面孔、有限范围的肤色，或者在完美的演播室灯光下拍摄的物体（嗨，网红环形灯！），那么模型就会学到一种扭曲的现实。
- 选择偏差：你选择了最容易获得的图像——库存照片、白色背景，以及偶尔出现的、可疑的快乐沙拉食用者。
- 标签偏差：人类给图像贴标签。人类带有观点。有时这些观点与其说是“事实真相”，不如说是“创意写作”。
- 语境偏差：女人旁边放着听诊器？一定是护士。同样的物体放在男人旁边？医生。模型从数据集中学到了刻板印象。
- 领域偏差：你用光鲜的产品照片进行训练，然后在昏暗的工厂车间进行部署。惊喜：叉车看起来像大脚怪。
如果你教一个 AI 只通过一个社区来看世界，那么当它在市中心迷路时，不要感到震惊。
不太有趣的风险：偏差不再是 的地方
AI 图像中的偏差不仅仅会产生可以做成 的失败。它还会出现在：
- 医学影像：皮肤病学数据集中代表性不足的肤色可能导致黑素瘤等疾病的检测率更低。当像素与训练示例不匹配时，错误就会激增。
- 安全和监控：面部识别中的错误识别与错误逮捕有关，尤其是有色人种。这不是一个好的用户体验。
- 招聘和身份验证：面部匹配在识别非二元性别或跨性别者面孔时出错，这不仅仅是烦人——它具有排斥性。
- 自主系统：一辆主要在加州阳光下训练的自动驾驶汽车可能无法识别明尼苏达州被雪覆盖的停车标志。这辆车不是鲁莽，而是太安逸了。
当模型的世界很小时，真实的人们就要付出代价。
它是如何偷偷潜入的：图像数据集偏差的四大骑士
1) “免费素材偏差”
在开放网络上抓取图像基本上就像在垃圾箱里翻找像素。你会发现很多名人头像、科技会议胸牌和看起来像在月球上拍摄的产品照片。日常、混乱的现实？就比较少了。这会让你的模型倾向于某些面孔、地点和氛围。
2) “标注漂移”
两个标注员走进一个标注工作。一个人将连帽衫标记为“运动服”，另一个人说是“休闲装”，第三个人称其为“街头服饰”。模型了解到服装是混乱的。更糟糕的是，标注员带来了文化假设——比如谁看起来像个“老板”，或者什么算是“自然”的发型。
3) “语境拐杖”
模型喜欢捷径。如果你的数据集中 90% 的厨师照片都是男性，那么模型将使用性别提示作为预测“厨师”的捷径。这不是智能；这是一份有偏见的作弊单。
4) “领域不匹配”
在单反相机拍摄的精美照片上训练，然后在低分辨率的安全摄像头上部署；在白天图像上训练，在夜间部署；在城市街道上训练，在乡村道路上部署。你的模型本质上是在没有充电器的情况下旅行。
无需博士学位——或测谎仪——就能发现偏差
以下是你如何知道你的 AI 图像模型存在偏差问题的方法，除了演示中那种令人沮丧的感觉之外：
- 性能差距：按人口统计、光照、地理位置或设备类型对你的验证指标进行切片。如果某些群体的准确率像没有保护壳的手机一样下降，那么你就存在偏差。
- 让你困惑的混淆矩阵：如果模型不断混淆特定的类别——比如，头巾和帽子——那就是数据集的信号。
- 特征归因审计：像 Grad-CAM 这样的工具可以显示你的“猫”检测器实际上是在关注沙发图案。恭喜你，你训练出了室内装潢识别。
- 真实世界的试点漂移：在野外进行小规模试点。如果模型在荧光灯下像地下室里的植物一样恐慌，那么它需要更多样化的数据。
工具包：如何在数据集偏差咬你的产品路线图之前减少它
将消除偏差想象成房屋翻新。你可以修补、加固，或者拆除重建。你的预算：时间、数据和谦逊。
1) 像博物馆一样策划（而不是跳蚤市场）
- 定义覆盖范围：写下你的系统必须处理的人口统计、光照条件、相机类型、地理位置和环境。如果没有写下来，那就是一厢情愿。
- 设置配额：是的，配额。如果你的用户中有 30% 处于弱光环境中，那么你的数据集中就应该有 30% 是弱光图像。肤色范围（使用像 这样的量表作为参考）、年龄组、服装风格和文化背景也是如此。
- 多来源你的数据：库存照片是甜点。你还需要家常菜：用户贡献的照片（经过同意）、带有偏差审计的公共数据集，以及来自代表性不足群体的有针对性的数据收集。
2) 像律师一样贴标签（但更友好）
- 明确的分类法：编写标签指南。不，要写一个真正的指南。包括边缘情况、示例和不该做什么。减少标注员的“感觉”。
- 多样化的标注员：如果你的标注员都去过相同的三个咖啡馆，那么你的标签也会如此。地理和文化多样性有所帮助。
- 一致性检查：衡量标注员之间的一致性，并与首席标注员一起裁决分歧。不要为了胡说八道而取平均值。
- 敏感属性：在适当且经过同意的情况下，收集受保护属性标签以进行评估。除非你正在进行受控的公平干预，否则不要将它们用于训练。
3) 像科学家一样训练（带着零食）
- 平衡抽样：使用分层抽样和类别重新加权，这样模型就不会淹没在多数类别中。
- 负责任的数据增强：改变光照、角度、遮挡和背景。合成数据可以有所帮助，但不要让游戏引擎发明你的整个现实。
- 消除偏差的目标：包括公平感知损失或约束，以最大限度地减少各群体之间的性能差距。
- 领域适应：如果部署环境是黑暗、嘈杂或低分辨率的，则模拟该世界。更好的是：在该世界中收集数据。
4) 像愤世嫉俗者一样测试
- 切片式评估：报告按子组划分的准确率、精确率/召回率和校准。如果你看不到它，你就无法修复它。
- 反事实测试：在保持主题不变的情况下交换上下文。一个拿着公文包的女人会变成“老师”，而一个拿着公文包的男人会变成“CEO”吗？这是以 4K 捕捉到的语境偏差。
- 压力测试：向你的模型扔去对抗性眩光、运动模糊、雪、雾、口罩和帽子。基本上是神经网络的万圣节。
5) 像你认真对待它一样监控
- 漂移检测：跟踪启动后输入分布的变化。当你的应用程序突然在巴西变得流行时，你会想知道。
- 人工参与：让用户标记错误和偏差，并实际阅读报告。是的，即使是那些全部大写的报告。
- 重新训练节奏：安排刷新。过时的模型是有老年痴呆症的偏差模型。
真实世界的场景：数据集偏差破坏氛围的地方
- 皮肤病学 AI：如果你的训练图像大多是较浅的肤色，那么较深肤色上的病变就会被低估。修复：使来自不同人群诊所的来源多样化，并按肤色类别进行评估。
- 零售损失预防：在干净、明亮的商店的测试镜头上训练的模型在拥挤、昏暗的商店中会出错。修复：从各地区和季节的真实商店收集数据。此外，也许不要将连帽衫定为犯罪行为。
- 农业影像：在白天无人机图像上训练的模型会错过黄昏时的害虫。修复：包括一天中不同的时间和传感器类型（ 热成像）。植物也有夜生活。
- 文档扫描：护照自拍检查在识别卷发或头部遮盖物时会失败。修复：扩大训练范围，并明确评估头发纹理和遮盖物。奖励：改进 提示和照明指导。
我一直听到的神话（是的，我带来了证据）
- “更大的数据集 = 更少的偏差。”如果你的大数据集只是更多相同的东西，那么你就放大了问题。这就像点了一大杯错误的咖啡。
- “我们将在后期用一个巧妙的算法来修复它。”算法可以减轻偏差，但你不能把土豆抛光后就称之为钻石。从更好的土豆——呃，数据——开始。
- “公平意味着对每个人都具有相同的准确性。”有时平价是目标；有时均等赔率或校准分数更重要。选择与你要防止的危害相匹配的指标。
- “合成数据解决了多样性问题。”它有助于填补空白，但如果生成器从真实图像中学到了偏差，那么你只是以 4K 分辨率克隆了该问题。
你可以本周实际运行的实用、逐步的偏差检查
- 清点你的数据集：创建一个简单的表格，列出其中的人和物——人口统计、光照、设备、位置。用红色突出显示空白。假装你正在给自己的模型评分。
- 构建一个公平性评估集：在你在意的群体中分层抽取 1,000-10,000 张图像。这是你的年度体检。
- 选择两个偏差指标：从子组准确率和校准误差开始。如果你的应用程序风险很高（医疗、身份），则添加均等赔率或假阴性率差距。
- 设置阈值：“任何子组都不得低于总体准确率的 95%”是一个好的开始。写下来。把它贴在墙上。
- 分类和重新训练：通过有针对性的数据收集来填补空白，重新加权你的采样器，并在你部署的地方尝试领域增强。重新运行公平性评估。重复此操作，直到你的墙报不再对你大喊大叫。
注意：法规、审计，以及为什么你的法律团队突然喜欢午餐
法律和标准正在赶上。预计会有影响评估、训练数据记录和部署后监控的要求——尤其是在医疗保健、招聘和公共部门用途中。翻译：保留记录。数据集的数据表、模型的模型卡，以及每次重大更改的跟踪记录。你未来的自己——以及监管机构——会感谢你。
当你的电子表格开始哭泣时，值得尝试的工具
- 偏差评估库：寻找报告子组指标、校准和公平性约束的开源工具包。许多工具包与常见的 框架集成。
- 可解释性：显着性图、、。使用它们来查看模型实际在看什么。如果是徽标而不是产品，那么你就遇到了迷恋问题。
- 数据浏览器：允许你按元数据进行过滤、可视化分布差距并标记近似重复项的系统。目标是减少克隆，增加覆盖范围。
值得注意的是：如果你在选择或审计数据集时想要进行健全性检查，Sider.AI 可以帮助你快速比较分布、突出显示代表性不足的切片，并在“哎呀”相关性成为生产错误之前将其呈现出来。把它想象成告诉你牙齿里有菠菜的朋友——温柔地，并附有图表。 人性化的一面：团队修复偏差，而不是工具栏
- 不同的团队会注意到不同的盲点。如果你的团队中的每个人都在相同的三个城市度假，那么你的模型也会如此。
- 激励措施很重要。如果成功仅仅是“总体准确率”，那么人们就会发布赢得排行榜的有偏见模型。设置公平性目标并奖励实现这些目标的人。
- 与用户交谈，尤其是那些结果最差的用户。他们会告诉你你的仪表板不会告诉你的内容。
快速获胜与长期奋斗：根据你的截止日期该怎么做
- 明天发布：为表现最差的子组添加有针对性的增强，重新加权你的损失，并贴上一个带有漂移警报的监控仪表板。
- 下个月发布：收集一个小的但功能强大的数据集，专注于空白，使用公平性约束进行重新训练，并运行一个反事实测试套件。
- 下个季度发布：重新设计你的数据管道，使其包括基于配额的采样、持续的偏差评估以及发布前的跨职能审查。
你实际会使用的清单
- 我们是否在用户的实际环境中进行了测试——而不仅仅是我们的实验室？
打印出来。装裱起来。或者把它贴在你的浓缩咖啡机上。
当偏差是特征而不是错误时：认识到局限性
一些图像任务编码了非普遍的文化规范（时尚、手势、符号）。有时，正确的答案是按地区、文化或用例本地化模型，而不是追求一刀切的公平性。目标不是制造一个了解每个人的所有信息的 ——而是构建一个知道自己何时不知道的 。
底线：不要让你的 AI 在泡沫中长大
AI 图像中的数据集偏差就像教你的相机通过纸巾管看世界：你会得到狭隘的视野和头痛。但你并非注定要失败。
- 像对待重要的事情一样审计你的数据——因为它确实重要。
- 有目的地贴标签，有约束地训练，并持怀疑态度地测试。
- 在现实世界不可避免地让你感到惊讶时，进行监控、倾听和修复。
这样做，你的 AI 将不再把纱丽误认为浴袍，把痣误认为农产品。它甚至可能足够好，可以安全、公平地在我们在现实世界中实际居住的狂野、混乱的现实中帮助人们。
现在去检查你的数据集吧。我会等着。我会是角落里那个对着你的模型耳语的人：“不是你的错，是你的训练集的错。”
常见问题
Q1：用简单的英语来说，什么是 AI 图像中的数据集偏差？
它是指训练图像与现实世界不匹配——肤色、光照条件或背景太少。当模型遇到该泡沫之外的任何东西时，它会学到一种狭隘的现实并做出有偏见或错误的预测。
Q2：如何在发布前检测数据集偏差？
按子组（人口统计、光照、设备）对你的指标进行切片，并寻找性能差距。添加反事实测试和一个小的、经过策划的公平性评估集，以尽早发现背景和标签偏差。
Q3：合成数据可以修复计算机视觉中的数据集偏差吗？
合成数据可以填补稀有光照或角度等空白，但它也可以克隆你现有的偏差。使用它来增强代表性不足的场景，而不是替换多样化的真实世界图像。
Q4：在不重建一切的情况下，减少偏差的快速方法有哪些？
重新加权类别，添加有针对性的增强，并收集一个小的、专注于表现最差群体的数据集。然后使用公平感知损失重新训练，并在启动后监控漂移。
Q5：我应该使用哪些指标来衡量图像偏差？
从子组准确率和校准误差开始，然后考虑高风险任务的均等赔率或假阴性率差距。选择与你最想防止的危害相一致的指标。
