Vậy là camera AI của bạn nghĩ mọi phụ nữ đều là y tá và mọi đàn ông đều là CEO. Tuyệt, tuyệt, tuyệt.
Bạn đã bao giờ tải ảnh lên một ứng dụng "tăng cường bằng AI" và thấy nó tự tin gán nhãn chiếc sari của bạn là áo choàng tắm chưa? Hoặc thấy một hệ thống chụp ảnh y tế khẳng định rằng nốt ruồi trên cánh tay bạn là quả việt quất? Đó là trong , và nó không chỉ khó xử mà còn có thể nguy hiểm. Hãy nghĩ về nó như việc dạy một đứa trẻ bảng chữ cái chỉ với nguyên âm. Chắc chắn, chúng sẽ hát được một cái gì đó. Nhưng bạn sẽ không muốn chúng kê đơn thuốc.
Chúng ta đang ở một thời điểm kỳ lạ khi thị giác máy tính đủ tốt để có mặt ở khắp mọi nơi—điện thoại, xe hơi, văn phòng bác sĩ—nhưng vẫn đủ tệ để bỏ lỡ vấn đề chính, bối cảnh và đôi khi là toàn bộ nhóm người. Thủ phạm thường không phải là toán học. Mà là dữ liệu. Cụ thể, dữ liệu đã huấn luyện các mô hình này để nhìn thế giới qua một lăng kính rất hẹp.
Hãy cùng tìm hiểu xem trong lẻn vào, gây rối và—quan trọng nhất—làm thế nào bạn có thể ngăn nó gọi con mèo của bạn là bánh sừng bò.
trong là gì? Phiên bản ngắn gọn mà dì của bạn sẽ thực sự đọc
trong xảy ra khi các hình ảnh được sử dụng để huấn luyện một mô hình không đại diện cho thế giới thực. Nếu của bạn chủ yếu là khuôn mặt từ một nhóm nhân khẩu học, tông màu da từ một phạm vi hạn chế hoặc các đối tượng được chụp ảnh trong điều kiện ánh sáng hoàn hảo (xin chào, đèn của những người có ảnh hưởng!), mô hình sẽ học được một phiên bản lệch lạc của thực tế.
- : Bạn chọn những hình ảnh dễ lấy nhất—ảnh có sẵn, nền trắng và thỉnh thoảng là một người ăn salad có vẻ hạnh phúc một cách đáng ngờ.
- : Con người dán nhãn hình ảnh. Con người mang theo ý kiến. Đôi khi những ý kiến đó mang tính "sáng tác" hơn là "sự thật hiển nhiên".
- : Một ống nghe bên cạnh một người phụ nữ? Chắc là y tá. Cùng một vật thể bên cạnh một người đàn ông? Bác sĩ. Mô hình đã học được khuôn mẫu từ .
- : Bạn đã huấn luyện trên những bức ảnh sản phẩm bóng bẩy, sau đó triển khai trong các nhà máy thiếu ánh sáng. Bất ngờ: chiếc xe nâng trông giống như .
Nếu bạn dạy một AI nhìn thế giới chỉ qua một khu phố, đừng ngạc nhiên khi nó bị lạc ở trung tâm thành phố.
Những hệ lụy không hề buồn cười: khi không còn là một
trong không chỉ tạo ra những thất bại đáng chế nhạo. Nó xuất hiện trong:
- : Các tông màu da không được đại diện đầy đủ trong các da liễu có thể dẫn đến tỷ lệ phát hiện các bệnh như u ác tính kém hơn. Khi các pixel không khớp với các ví dụ huấn luyện, lỗi sẽ tăng đột biến.
- : Việc xác định sai trong nhận dạng khuôn mặt có liên quan đến việc bắt giữ oan, đặc biệt là đối với những người da màu. Không phải là một trải nghiệm người dùng tuyệt vời.
- : Việc đối sánh khuôn mặt gặp khó khăn với khuôn mặt của người chuyển giới hoặc phi nhị nguyên giới không chỉ gây khó chịu mà còn mang tính loại trừ.
- : Một chiếc xe tự lái được huấn luyện chủ yếu dưới ánh nắng mặt trời ở California có thể không nhận ra biển báo dừng phủ đầy tuyết ở Minnesota. Chiếc xe không hề liều lĩnh. Nó chỉ được che chở quá kỹ.
Khi thế giới của mô hình nhỏ bé, người thật phải trả giá.
Cách nó lẻn vào: bốn kỵ sĩ của
1) ""
Cào dữ liệu trên web mở để lấy hình ảnh về cơ bản là lặn thùng rác để lấy pixel. Bạn sẽ tìm thấy rất nhiều ảnh chân dung người nổi tiếng, huy hiệu hội nghị công nghệ và ảnh sản phẩm trông như thể chúng được chụp trên mặt trăng. Thực tế lộn xộn hàng ngày? Ít hơn. Điều đó nghiêng mô hình của bạn về một số khuôn mặt, địa điểm và rung cảm nhất định.
2) ""
Hai người dán nhãn tham gia một công việc dán nhãn. Một người gắn thẻ áo hoodie là "đồ thể thao", người kia nói "đồ thường ngày" và người thứ ba gọi nó là "thời trang đường phố". Mô hình học được rằng quần áo là một mớ hỗn độn. Tệ hơn nữa, người dán nhãn mang theo những giả định văn hóa—như ai trông giống "sếp" hoặc cái gì được coi là kiểu tóc "tự nhiên".
3) ""
Các mô hình thích các lối tắt. Nếu 90% ảnh đầu bếp trong của bạn là đàn ông, mô hình sẽ sử dụng tín hiệu giới tính như một lối tắt để dự đoán "đầu bếp". Đó không phải là trí thông minh; đó là một tờ gian lận thiên vị.
4) ""
Huấn luyện trên những bức ảnh quyến rũ của máy ảnh DSLR, triển khai trên camera an ninh độ phân giải thấp. Huấn luyện trên hình ảnh ban ngày, triển khai vào ban đêm. Huấn luyện trên đường phố thành thị, triển khai trên đường nông thôn. Mô hình của bạn về cơ bản đang đi du lịch mà không có bộ sạc.
Phát hiện mà không cần bằng tiến sĩ—hoặc máy phát hiện nói dối
Đây là cách bạn biết mô hình của bạn có vấn đề về , vượt ra ngoài cảm giác tồi tệ trong bản của bạn:
- : Chia nhỏ các số liệu xác thực của bạn theo nhân khẩu học, ánh sáng, địa lý hoặc loại thiết bị. Nếu độ chính xác giảm như điện thoại không có ốp lưng đối với một số nhóm nhất định, bạn đã gặp phải .
- : Nếu mô hình liên tục trộn lẫn các lớp cụ thể—ví dụ: khăn trùm đầu với mũ—đó là dấu hiệu của .
- : Các công cụ như có thể tiết lộ rằng trình phát hiện "mèo" của bạn thực sự đang chú trọng đến hoa văn ghế sofa. Xin chúc mừng, bạn đã huấn luyện nhận dạng bọc.
- : Chạy thử nghiệm nhỏ trong thực tế. Nếu mô hình hoảng loạn dưới ánh sáng huỳnh quang như một cái cây trong tầng hầm, nó cần nhiều dữ liệu đa dạng hơn.
Bộ công cụ: cách giảm trước khi nó cản trở lộ trình sản phẩm của bạn
Hãy tưởng tượng việc chống lại như cải tạo nhà cửa. Bạn có thể vá, gia cố hoặc xé bỏ và xây dựng lại. Ngân sách của bạn: thời gian, dữ liệu và sự khiêm tốn.
1) Sắp xếp như một viện bảo tàng (không phải chợ trời)
- : Viết ra các nhóm nhân khẩu học, điều kiện ánh sáng, loại máy ảnh, địa lý và môi trường mà hệ thống của bạn phải xử lý. Nếu nó không được viết ra, đó chỉ là ước mơ.
- : Đúng vậy, hạn ngạch. Nếu 30% người dùng của bạn ở trong điều kiện ánh sáng yếu, thì 30% của bạn phải là hình ảnh ánh sáng yếu. Điều tương tự cũng xảy ra đối với phạm vi tông màu da (sử dụng các thang đo như làm đại diện), nhóm tuổi, kiểu quần áo và bối cảnh văn hóa.
- : Ảnh có sẵn là món tráng miệng. Bạn cũng cần những bữa ăn tự nấu: ảnh do người dùng đóng góp (có sự đồng ý), công khai có kiểm tra và thu thập dữ liệu có mục tiêu từ các nhóm chưa được đại diện.
2) Dán nhãn như một luật sư (nhưng thân thiện hơn)
- : Viết hướng dẫn dán nhãn. Không, một hướng dẫn thực sự. Bao gồm các trường hợp đặc biệt, ví dụ và những việc không nên làm. Giảm "rung cảm" của người dán nhãn.
- : Nếu tất cả những người chú thích của bạn đều đến cùng ba quán cà phê, thì nhãn của bạn cũng vậy. Sự đa dạng về địa lý và văn hóa sẽ giúp ích.
- : Đo lường sự nhất quán giữa những người chú thích và phân xử những bất đồng với người dán nhãn chính. Đừng tính trung bình để tạo ra điều vô nghĩa.
- : Khi thích hợp và được sự đồng ý, hãy thu thập các thẻ thuộc tính được bảo vệ để đánh giá. Không đưa chúng vào quá trình huấn luyện trừ khi bạn đang thực hiện các can thiệp công bằng có kiểm soát.
3) Huấn luyện như một nhà khoa học (với đồ ăn nhẹ)
- : Sử dụng lấy mẫu phân tầng và cân bằng lại lớp để mô hình không bị nhấn chìm trong lớp đa số.
- : Thay đổi ánh sáng, góc độ, độ che khuất và nền. Dữ liệu tổng hợp có thể giúp ích, nhưng đừng để một công cụ trò chơi phát minh ra toàn bộ thực tế của bạn.
- : Bao gồm các tổn thất hoặc ràng buộc nhận biết sự công bằng để giảm thiểu sự khác biệt về hiệu suất giữa các nhóm.
- : Nếu việc triển khai tối, ồn ào hoặc độ phân giải thấp, hãy mô phỏng thế giới đó. Tốt hơn: thu thập trong thế giới đó.
4) Kiểm tra như một người hoài nghi
- : Báo cáo độ chính xác, độ chính xác/độ thu hồi và hiệu chuẩn theo nhóm con. Nếu bạn không thể nhìn thấy nó, bạn sẽ không sửa được nó.
- : Hoán đổi bối cảnh trong khi giữ chủ thể không đổi. Một người phụ nữ cầm cặp táp có trở thành "giáo viên" trong khi một người đàn ông cầm cặp táp là "CEO" không? Đó là bị bắt gặp ở độ phân giải 4K.
- : Ném ánh sáng chói, mờ chuyển động, tuyết, sương mù, mặt nạ và mũ vào mô hình của bạn. Về cơ bản là cho mạng nơ-ron.
5) Giám sát như bạn thực sự có ý đó
- : Theo dõi những thay đổi trong phân phối đầu vào sau khi ra mắt. Khi ứng dụng của bạn đột nhiên trở nên lớn mạnh ở Brazil, bạn sẽ muốn biết.
- : Cho phép người dùng gắn cờ lỗi và , và thực sự đọc các báo cáo. Vâng, ngay cả những báo cáo viết hoa toàn bộ.
- : Lên lịch làm mới. Các mô hình cũ là các mô hình thiên vị với bệnh lười biếng của người cao niên.
Các kịch bản thực tế: nơi phá hỏng sự rung cảm
- : Nếu hình ảnh huấn luyện của bạn chủ yếu là tông màu da sáng hơn, các tổn thương trên da sẫm màu hơn sẽ không được phát hiện. Khắc phục: đa dạng hóa các nguồn từ các phòng khám trên khắp các quần thể và đánh giá theo các loại tông màu da.
- : Các mô hình được huấn luyện trên cảnh quay thử nghiệm từ các cửa hàng sạch sẽ, sáng sủa bị lỗi trong các cửa hàng đông đúc, tối tăm. Khắc phục: thu thập từ các cửa hàng thực trên khắp các khu vực và mùa. Ngoài ra, có lẽ đừng hình sự hóa áo hoodie.
- : Một mô hình được huấn luyện trên hình ảnh máy bay không người lái ban ngày bỏ lỡ sâu bệnh vào lúc hoàng hôn. Khắc phục: bao gồm các thời điểm khác nhau trong ngày và các loại cảm biến (RGB + nhiệt). Thực vật cũng có cuộc sống về đêm.
- : Kiểm tra ảnh tự chụp hộ chiếu không thành công trên tóc xoăn hoặc khăn trùm đầu. Khắc phục: mở rộng quá trình huấn luyện và đánh giá rõ ràng kết cấu tóc và khăn trùm đầu. Phần thưởng: cải thiện lời nhắc UI và hướng dẫn ánh sáng.
Những lầm tưởng tôi liên tục nghe thấy (và vâng, tôi đã mang theo biên lai)
- "." Nếu lớn của bạn chỉ là nhiều hơn những thứ tương tự, bạn đã phóng đại vấn đề. Nó giống như gọi một ly cà phê sai loại cỡ .
- "Chúng tôi sẽ sửa nó sau với một thuật toán thông minh." Các thuật toán có thể giảm thiểu , nhưng bạn không thể đánh bóng một củ khoai tây và gọi nó là kim cương. Bắt đầu với những củ khoai tây tốt hơn—à, dữ liệu.
- " có nghĩa là độ chính xác giống nhau cho mọi người." Đôi khi sự ngang bằng là mục tiêu; đôi khi tỷ lệ cược được cân bằng hoặc điểm số được hiệu chỉnh quan trọng hơn. Chọn các số liệu phù hợp với tác hại bạn muốn ngăn chặn.
- "Dữ liệu tổng hợp giải quyết sự đa dạng." Nó giúp lấp đầy các khoảng trống, nhưng nếu trình tạo học được từ hình ảnh thực, bạn chỉ cần nhân bản vấn đề ở độ phân giải 4K.
Một bản kiểm tra từng bước, thiết thực mà bạn thực sự có thể chạy trong tuần này
- : Tạo một bảng đơn giản về ai và cái gì trong đó—nhân khẩu học, ánh sáng, thiết bị, địa điểm. Tô đỏ những khoảng trống. Giả vờ bạn đang chấm điểm mô hình của riêng mình.
- : 1.000–10.000 hình ảnh được phân tầng trên các nhóm bạn quan tâm. Đây là khám sức khỏe hàng năm của bạn.
- : Bắt đầu với độ chính xác của nhóm con và lỗi hiệu chuẩn. Nếu ứng dụng của bạn có tính rủi ro cao (y tế, nhận dạng), hãy thêm tỷ lệ cược được cân bằng hoặc khoảng cách tỷ lệ âm tính giả.
- : "Không có nhóm con nào dưới 95% độ chính xác tổng thể" là một khởi đầu. Viết nó ra. Dán nó lên tường.
- : Lấp đầy các khoảng trống bằng cách thu thập dữ liệu có mục tiêu, cân bằng lại bộ lấy mẫu của bạn và thử tăng cường miền nơi bạn triển khai. Chạy lại bản đánh giá công bằng. Lặp lại cho đến khi áp phích trên tường của bạn ngừng la mắng bạn.
Thông báo: Các quy định, kiểm toán và lý do tại sao nhóm pháp lý của bạn đột nhiên thích ăn trưa
Luật pháp và tiêu chuẩn đang bắt kịp. Hãy mong đợi các yêu cầu về đánh giá tác động, tài liệu về dữ liệu huấn luyện và giám sát sau triển khai—đặc biệt là trong lĩnh vực chăm sóc sức khỏe, tuyển dụng và sử dụng khu vực công. Dịch: giữ hồ sơ. Bảng dữ liệu cho , thẻ mô hình cho mô hình và dấu vết bằng giấy cho mọi thay đổi lớn. Bản thân tương lai của bạn—và một nhà quản lý—sẽ cảm ơn bạn.
Các công cụ đáng thử khi bảng tính của bạn bắt đầu khóc
- : Tìm kiếm các bộ công cụ nguồn mở báo cáo số liệu nhóm con, hiệu chuẩn và các ràng buộc công bằng. Nhiều công cụ tích hợp với các khuôn khổ ML phổ biến.
- : Bản đồ nổi bật, . Sử dụng chúng để xem mô hình thực sự đang xem xét điều gì. Nếu đó là logo chứ không phải sản phẩm, bạn đã gặp phải vấn đề thích thú.
- : Các hệ thống cho phép bạn lọc theo siêu dữ liệu, trực quan hóa các khoảng trống phân phối và gắn cờ các bản sao gần giống. Nhắm đến ít bản sao hơn, phạm vi phủ sóng rộng hơn.
Đáng chú ý: Nếu bạn muốn kiểm tra tính tỉnh táo trong khi chọn hoặc kiểm toán , Sider.AI có thể giúp bạn nhanh chóng so sánh các phân phối, làm nổi bật các phần chưa được đại diện và làm nổi bật các tương quan "uh-oh" trước khi chúng trở thành lỗi sản xuất. Hãy nghĩ về nó như người bạn cho bạn biết có rau bina trong răng bạn—một cách nhẹ nhàng và bằng biểu đồ. Khía cạnh con người: các nhóm sửa chữa , không phải thanh công cụ
- Các nhóm đa dạng nhận thấy những điểm mù khác nhau. Nếu mọi người trong nhóm của bạn đi nghỉ ở cùng ba thành phố, mô hình của bạn cũng vậy.
- Các ưu đãi rất quan trọng. Nếu thành công chỉ là "độ chính xác tổng thể", mọi người sẽ xuất xưởng mô hình thiên vị giành chiến thắng trên bảng xếp hạng. Đặt mục tiêu công bằng và khen thưởng việc đạt được chúng.
- Nói chuyện với người dùng, đặc biệt là những người có kết quả tồi tệ nhất. Họ sẽ cho bạn biết những gì bảng điều khiển của bạn không thể.
Thắng nhanh so với đường dài: những việc cần làm dựa trên thời hạn của bạn
- : Thêm tăng cường có mục tiêu cho nhóm con hoạt động kém nhất của bạn, cân bằng lại tổn thất của bạn và gắn bảng điều khiển giám sát với cảnh báo cho .
- : Thu thập một nhỏ nhưng mạnh mẽ tập trung vào các khoảng trống, đào tạo lại với các ràng buộc công bằng và chạy một bộ kiểm tra phản thực tế.
- : Thiết kế lại quy trình dữ liệu của bạn để bao gồm lấy mẫu dựa trên hạn ngạch, đánh giá liên tục và đánh giá đa chức năng trước khi phát hành.
Danh sách kiểm tra bạn sẽ thực sự sử dụng
- Chúng ta có biết ai trong dữ liệu của mình và ai bị thiếu không?
- Chúng ta có đặt mục tiêu hiệu suất nhóm con không?
- Nhãn của chúng ta có nhất quán và nhận biết về văn hóa không?
- Chúng ta đã kiểm tra trong môi trường người dùng của chúng ta sinh sống—không chỉ trong phòng thí nghiệm của chúng ta?
- Chúng ta có thể giải thích các quyết định của mô hình khi có sự cố xảy ra không?
- Chúng ta có kế hoạch cập nhật và giám sát sau khi ra mắt không?
In nó ra. Đóng khung nó. Hoặc dán nó vào máy pha cà phê espresso của bạn.
Khi là tính năng, không phải lỗi: nhận biết các giới hạn
Một số tác vụ mã hóa các chuẩn mực văn hóa (thời trang, cử chỉ, biểu tượng) không phải là phổ quát. Đôi khi câu trả lời đúng là bản địa hóa các mô hình theo khu vực, văn hóa hoặc trường hợp sử dụng thay vì theo đuổi sự công bằng phù hợp với tất cả. Mục tiêu không phải là tạo ra một AI biết mọi thứ về mọi người—mà là xây dựng một AI biết khi nào nó không biết.
Điểm mấu chốt: đừng để AI của bạn lớn lên trong một bong bóng
trong giống như việc dạy máy ảnh của bạn nhìn thế giới qua một ống giấy: bạn có được một cái nhìn hẹp và một cơn đau đầu. Nhưng bạn không обречены.
- Kiểm tra dữ liệu của bạn như thể nó quan trọng—vì nó quan trọng.
- Dán nhãn có chủ ý, huấn luyện có ràng buộc và kiểm tra với sự hoài nghi.
- Giám sát, lắng nghe và sửa chữa khi thế giới thực không thể tránh khỏi việc làm bạn ngạc nhiên.
Hãy làm điều này, và AI của bạn sẽ ngừng nhầm lẫn sari với áo choàng tắm và nốt ruồi với sản phẩm. Nó thậm chí có thể đủ tốt để giúp đỡ mọi người—một cách an toàn, công bằng và trong thực tế lộn xộn, hoang dã nơi tất cả chúng ta thực sự sống.
Bây giờ hãy đi kiểm tra của bạn. Tôi sẽ đợi. Và tôi sẽ là người ở góc kia, thì thầm với mô hình của bạn: "Không phải tại bạn, mà tại bộ huấn luyện của bạn."
Câu hỏi thường gặp
Q1: trong là gì, bằng tiếng Anh đơn giản?
Đó là khi hình ảnh huấn luyện không khớp với thế giới thực—quá ít tông màu da, điều kiện ánh sáng hoặc bối cảnh. Mô hình học được một thực tế hẹp và đưa ra các dự đoán sai lệch hoặc sai khi nó gặp bất cứ điều gì bên ngoài bong bóng đó.
Q2:Làm cách nào để phát hiện trước khi tôi xuất xưởng?
Chia nhỏ các số liệu của bạn theo nhóm con—nhân khẩu học, ánh sáng, thiết bị—và tìm kiếm khoảng cách hiệu suất. Thêm các thử nghiệm phản thực tế và một bộ đánh giá công bằng nhỏ, được tuyển chọn để bắt và sớm.
Q3:Dữ liệu tổng hợp có thể khắc phục trong thị giác máy tính không?
Dữ liệu tổng hợp có thể lấp đầy các khoảng trống như ánh sáng hoặc góc hiếm, nhưng nó cũng có thể nhân bản hiện có của bạn. Sử dụng nó để tăng cường các kịch bản chưa được đại diện, không thay thế hình ảnh thực đa dạng.
Q4:Những cách nhanh chóng để giảm mà không cần xây dựng lại mọi thứ là gì?
Cân bằng lại các lớp, thêm các cải tiến có mục tiêu và thu thập một nhỏ tập trung vào các nhóm hoạt động kém nhất của bạn. Sau đó, đào tạo lại với các tổn thất nhận biết sự công bằng và giám sát sau khi ra mắt.
Q5:Tôi nên sử dụng số liệu nào để đo lường ?
Bắt đầu với độ chính xác của nhóm con và lỗi hiệu chuẩn, sau đó xem xét tỷ lệ cược được cân bằng hoặc khoảng cách tỷ lệ âm tính giả cho các tác vụ có tính rủi ro cao. Chọn các số liệu phù hợp với tác hại bạn muốn ngăn chặn nhất.
