نکته دربارهٔ «ارزیابیهای هوش مصنوعی» این است که همه طوری وانمود میکنند که منظور از آن را میفهمند تا اینکه یکی از آنها مقالهای کاملاً خوب را به عنوان «۹۹٪ تولیدشده توسط هوش مصنوعی» برچسب میزند، یا از یک مصاحبهٔ ویدیویی ۳۰ ثانیهای تصمیم میگیرد که شما «همکاریجو» نیستید. در آن زمان، ابهام از بین میرود و چیزی بسیار آشناتر باقی میماند: یک جعبهٔ سیاه که با اطمینان به شما میگوید اشتباه میکنید.
بیایید هیاهو را به محاکمه بکشیم. نه خود فناوری را – بعضی از آن کار میکند، بعضی از آن درخشان است – بلکه این ایده را که ارزیابیهای هوش مصنوعی به طور کلی دقیق هستند. هشدار اسپویل: دقت کاملاً به این بستگی دارد که چه چیزی را اندازهگیری میکنید، چگونه آن را اندازهگیری میکنید و آیا کسی زحمت بررسی پاسخها در برابر واقعیت را داده است یا خیر.
ارزیابیها جادو نیستند. آنها اندازهگیری هستند. و اندازهگیری، چه توسط ماشین انجام شود یا شخصی با تختهشاسی، با اعتبار زنده میماند یا میمیرد: آیا این آزمون چیزی را که ادعا میکند اندازهگیری میکند؟ اگر این خستهکننده به نظر میرسد، به این دلیل است که اعتبار، کمربند ایمنی حقیقت است. شما فقط زمانی متوجه آن میشوید که وجود نداشته باشد.
معنای تغییرشکلدهندهٔ «ارزیابی هوش مصنوعی»
«ارزیابی هوش مصنوعی» یک اصطلاح چمدانی است. آن را باز کنید و حداقل پنج جانور مختلف را خواهید یافت:
- نمرهدهی یا بازخورد خودکار – نمرهدهی مقالات، کد یا پاسخهای کوتاه.
- ارزیابیهای استخدامی یا منابع انسانی – رتبهبندی نامزدها بر اساس رزومه، پاسخهای آزمون یا مصاحبههای ویدیویی.
- ابزارهای تشخیص محتوای هوش مصنوعی – حدس زدن اینکه آیا چیزی توسط یک انسان یا یک مدل نوشته شده است.
- تشخیصهای پزشکی و امتیازدهی ریسک – طبقهبندی تصاویر، پیشبینی نتایج.
- تعیین سطح و مراقبت آموزشی – علامتگذاری رفتارهای مشکوک در آزمون و اندازهگیری «تسلط».
دقت زمینهای است. یک مدل رادیولوژی که میکروکلسیفیکاسیونها را تشخیص میدهد ممکن است عالی باشد – بهتر از هر پزشکی در یک روز خسته. یک نمرهدهندهٔ مقاله که به ساختار فرمولی پاداش میدهد و ویژگیهای منحصربهفرد را مجازات میکند ممکن است «سازگار» باشد اما در جایی که مهم است اشتباه کند، مانند قاضیای که عاشق دستخط مرتب است. و آشکارسازهای هوش مصنوعی؟ اغلب فالگیرهای کوچک با اعتمادبهنفس که لباس ممیزها را پوشیدهاند.
اگر یک قانون میخواهید، این است: ارزیابیهای هوش مصنوعی فقط به اندازهٔ دادههایی که روی آنها آموزش داده شدهاند، اعتبار کار و صداقت ارزیابی دقیق هستند. بقیهٔ آن بازاریابی است.
مونتی سه کارتی دقت: اعتبار، سوگیری و رانش
ما «دقت» را مانند یک آمار بیسبال به اطراف پرتاب میکنیم. اما برای ارزیابیها، دقت خانوادهای از مفاهیم است:
- اعتبار: آیا ما چیزی را که ادعا میکنیم اندازهگیری میکنیم؟ نمرهدهی «کیفیت نوشتن» با شمارش مترادفها مانند قضاوت در مورد استعداد موسیقی بر اساس تعداد نتهای نواختهشده است.
- قابلیت اطمینان: آیا برای یک عملکرد یکسان، نمرهٔ یکسانی دریافت میکنیم؟ ماشینها در قابلیت اطمینان خوب هستند. قوانین بد هم همینطور.
- سوگیری: آیا سیستم به طور ناعادلانه از گروهها یا سبکها طرفداری یا با آنها مخالفت میکند؟ آشغال وارد شود، آشغال خارج میشود، نسخهٔ دوستانه است؛ تبعیض وارد شود، تبعیض خارج میشود، نسخهٔ واقعی است.
- کالیبراسیون: آیا اطمینان مدل با واقعیت مطابقت دارد؟ اگر میگوید «۹۹٪ مطمئن»، آیا واقعاً نزدیک به ۹۹٪ درست است؟
- رانش: آیا با تغییر کاربران و زمینهها، عملکرد در طول زمان کاهش مییابد؟ جهان سریعتر از بیشتر چرخههای آموزش مجدد بهروز میشود.
انسانها با همهٔ اینها دست و پنجه نرم میکنند. هوش مصنوعی هم همینطور – فقط سریعتر و با نمودارها.
نمرهدهی مقاله: تلهٔ مرتببودن
نمرهدهی خودکار مقاله، نماد قابلیت اطمینان بدون روح است. این سیستمها به طول، ساختار و یک نوع بیحوصلگی خاص که مانند یک تکلیف به یاد مانده خوانده میشود، نه یک ایدهٔ کشفشده، پاداش میدهند. آنها خطر بلاغی را مجازات میکنند – طعنه، یک استعارهٔ تازه، آن وقفهٔ عجیب و غریب که نباید کار کند اما کار میکند. خلاصه، آنها به ایمنی پاداش میدهند. بسیاری از معلمان هم این کار را انجام میدهند، اما این دفاعی نیست.
دقت در اینجا به معیارها بستگی دارد. اگر معیارها شایستگی فرمولی را بر تفکر ارتقا دهند، مدل در یافتن شایستگی فرمولی «دقیق» خواهد بود. در مورد آنچه نوشتن را خوب میکند، بهطور مداوم اشتباه خواهد کرد.
نقطهٔ بررسی عملی: اگر نمرهدهندهٔ هوش مصنوعی شما نتواند توضیح دهد که چرا یک قطعه را به شکلی که انجام داده است نمرهدهی کرده است – بدون وراجی – به آن به اندازهای اعتماد کنید که به یک دستیار آموزشی تنبل در هفتهٔ چهاردهم اعتماد میکنید.
ارزیابیهای استخدامی: بازی اعتمادبهنفس
منابع انسانی عاشق یک داشبورد است که وانمود میکند عینی است. نامزدها را بر اساس «تناسب» رتبهبندی کنید، ویژگیهای نرم را به اعداد واضح ترجمه کنید و آن را علم بنامید. گاهی اوقات، اینطور است. اغلب، این احساسات با ریاضیات است.
مدلهای آموزشدیده بر اساس نتایج استخدامی تاریخی، سوگیریهای تاریخی را بازتولید میکنند – زیرا نتایج استخدامی تاریخی پر از آنها هستند. آنها به کسانی که شبیه استخدامهای گذشته هستند «سرسختی» نسبت میدهند و آن را در کسانی که اینطور نیستند از دست میدهند. امتیازدهی مصاحبهٔ ویدیویی یک دور جایزه اضافه میکند: «ارتباط» را بر اساس حالات چهره و آهنگ صدا رتبهبندی کنید. اکنون «دقت» شما در حال کارائوکه با شبهعلم است.
آزمون دقت در استخدام این است که آیا ارزیابی، عملکرد – عملکرد واقعی – را بدون تبعیض غیرقانونی یا ناعادلانه پیشبینی میکند یا خیر. این نیاز به مطالعات اعتبارسنجی، تجزیه و تحلیل اثرات نامطلوب و تمایل به کشیدن دوشاخه دارد زمانی که اعداد به سمت جانبی میروند. این کار است. این یک لغزنده در یک پنل تنظیمات نیست.
ابزارهای تشخیص هوش مصنوعی: محاکمههای جادوگران برای فایلهای پیدیاف
ابزارهای تشخیص محتوای هوش مصنوعی قول میدهند متن «نوشتهشده توسط هوش مصنوعی» را تشخیص دهند، که مانند قول دادن به تشخیص «کفش» در یک خیابان شلوغ است – تا زمانی که سعی کنید کفشها را تعریف کنید. مدلهای آموزشدیده بر اساس الگوهای آماری زبان اغلب میتوانند حدس بزنند، اما حدس زدن ارزیابی نویسندگی نیست. مردم میتوانند مانند ماشینها صدا کنند. ماشینها میتوانند مانند مردم صدا کنند. تداخل، تمام نکته است.
این ابزارهای تشخیص به دلیل مثبت کاذب بودن در مورد انگلیسی غیربومی، نثر بسیار ساختاریافته یا نوشتن با «گیجی» که احساسات مدل را آزرده میکند، بدنام هستند. آنها «هوش مصنوعیبودن» را میگیرند، که بیشتر یک زیباییشناسی است تا یک مدرک قطعی. یک سرنخ مفید در زمینه؟ مطمئناً. یک حکم؟ خیر.
اگر از یک ابزار تشخیص هوش مصنوعی استفاده میکنید، با آن مانند یک فلزیاب در ساحل رفتار کنید: برای جستجوی سیگنالهای مشکوک مفید است، نه اثبات گنج.
پزشکی: جایی که دقت یک گلولهٔ بازاریابی نیست
در محیطهای بالینی، دقت تا آخرین حد ممیزی میشود: حساسیت، ویژگی، سطح زیر منحنی، نمودارهای کالیبراسیون، اعتبارسنجی خارجی در سراسر بیمارستانها. وقتی کار میکند، به این دلیل است که دادهها با دقت برچسبگذاری شدهاند و ارزیابی بیامان است. وقتی شکست میخورد، مردم متوجه میشوند زیرا خطرات بالاست و تنظیمکنندهها اهمیت میدهند.
این به شما چیزی میگوید. اگر مورد استفادهٔ شما خطرات بالایی دارد اما دقت اعتبارسنجی پایینی دارد، اینطور نیست که ارزیابیهای هوش مصنوعی ذاتاً نادرست هستند – بلکه فرآیند شما جدی نیست.
مراقبت و «امتیازهای подозрение»
ابزارهای مراقبت از راه دور دوست دارند بر اساس حرکت، نگاه یا ضربه زدن به کلیدها، «امتیازهای подозрение» تعیین کنند. دقت در اینجا یک داستان مودبانه است. مدل تقلب را اندازهگیری نمیکند؛ انحراف از یک هنجار رفتاری باریک را اندازهگیری میکند که سکون را با صداقت برابر میداند. هر کسی که تیک عصبی، وبکم افتضاح یا گربه داشته باشد، علامتگذاری میشود.
اگر تقلب را به طور مشخص تعریف کنید و بر این اساس شواهدی جمعآوری کنید، میتوانید یک آشکارساز تقلب دقیق بسازید. اما اسکن کردن برای احساسات، تقلید داده است.
مشکل کالیبراسیون: ماشینها وقتی حدس میزنند مطمئن به نظر میرسند
یکی از ترفندهای مهمانی عالی هوش مصنوعی، نثر مطمئن است. این یک دارایی در ابزارهای مکالمه و یک مسئولیت در ارزیابیها است. اگر سیستم شما یک نمره را با تزئینات روایی تولید میکند، میتواند در حالی که از نظر آماری متوسط است، معتبر به نظر برسد.
راه حل خستهکننده و ضروری است: کالیبراسیون. نمرات باید با محدودههای عدم قطعیت یا احتمالات همراه باشند. محصول نباید بیشتر از آنچه ارزیابی نشان میدهد ادعا کند. اگر ارزیابی شما طوری به نظر میرسد که یک فک شیشهای دارد – یک مثال خصمانه و متلاشی میشود – کالیبراسیون شما خاموش است.
دقت به یک بزرگسال در اتاق نیاز دارد
اگر به دقت اهمیت میدهید، به موارد زیر نیاز دارید:
- تعاریف واضح از آنچه اندازهگیری میشود.
- دادههای برچسبگذاریشده با کیفیت بالا که به طور واضح با ساختار مطابقت دارند.
- اعتبارسنجی خارجی بر روی مجموعه دادههای جدید و متنوع.
- ممیزیهای سوگیری و تجزیه و تحلیل اثرات نامطلوب.
- نظارت انسانی که بتواند بگوید «نه».
این ضد هوش مصنوعی نیست. طرفدار واقعیت است. ماشینها به صرف ماشین بودن، ارزیابیها را عادلانه یا دقیق نمیکنند. آنها آنها را سریع و مقیاسپذیر میکنند. این عالی است اگر منطق زیربنایی درست باشد.
چرا برخی از ارزیابیهای هوش مصنوعی دقیق به نظر میرسند (و برخی نه)
وقتی هوش مصنوعی کار میکند، تمایل دارد در حوزههایی باشد که دارای:
- حقیقت اساسی مشخص (آیا تومور وجود داشت؟ آیا کد کامپایل شد؟).
- حلقههای بازخورد محکم (شما میتوانید به سرعت ببینید که آیا پیشبینیها با نتایج مطابقت دارند یا خیر).
- ابهام محدود (پاسخهای قابل قبول کم، خطاهای قابل تشخیص زیاد).
وقتی هوش مصنوعی لغزنده به نظر میرسد، دامنه معمولاً دارای:
- ساختارهای ذهنی (خلاقیت، تناسب فرهنگی، پتانسیل رهبری).
- برچسبهای پر سر و صدا (عملکرد گذشته با سیاست قضاوت میشود، نه نتایج).
- مشوقهایی برای بازی کردن در آزمون (معیارها را یاد بگیرید، ماشین را شکست دهید).
این ظریف نیست، اما احتمالاً به این دلیل که نمرات «عینی» بهتر از «ما کار را انجام دادیم» به فروش میرسند، به طرز عجیبی بحثبرانگیز باقی میماند.
دریچه فرار انسانی: توضیحپذیری که تئاتر نیست
«هوش مصنوعی توضیحپذیر» اغلب به تئاتر تبدیل میشود – توجیههای پس از وقوع که منطقی به نظر میرسند و نیستند. ترفند این نیست که در جایی که از نظر ریاضی ضعیف است، خواستار توضیحپذیری باشید، بلکه در جایی که مهم است، پاسخگویی را بخواهید. چه کسی در مورد ویژگیها تصمیم گرفت؟ چه مصالحههایی انجام شد؟ چه اثرات نامطلوبی مشاهده شد و در پاسخ چه کاری انجام شد؟
اگر پاسخها مبهم هستند، ادعای دقت نیز همینطور است.
کتاب بازی عملی: استفاده از ارزیابیهای هوش مصنوعی بدون سوختن
- فراتر از مجموعهٔ فروشنده، خواستار اعتبارسنجی باشید. مجموعه دادههای خارجی، تستهای کور، تجزیه و تحلیل خطا.
- با فروتنی آستانهها را تعیین کنید. یک نمره یک سیگنال است، نه یک حکم.
- در جایی که خطر یا ابهام زیاد است، یک انسان را در حلقه نگه دارید. انسانها کامل نیستند؛ آنها زمینه هستند.
- با ابزارهای تشخیص به عنوان ابزارهای غربالگری رفتار کنید. تحقیق کنید، تعقیب نکنید.
- مراقب رانش باشید. مدلها مانند شیر پیر میشوند، نه شراب.
- سوگیری را ممیزی کنید. اگر گروهها به طور مداوم علامتگذاری یا تنزل داده میشوند، دلیل آن را بفهمید و آن را برطرف کنید.
- تصمیمات را مستند کنید. وقتی دقت زیر سوال میرود، به یک مسیر کاغذی نیاز خواهید داشت.
مشکل فرهنگی: ما اعدادی را دوست داریم که مانند حقیقت احساس میشوند
صحبت از دقت اغلب یک ترجیح زیباییشناختی را پنهان میکند: اعداد مرتب بر قضاوت آشفته پیروز میشوند. اما اعداد مرتب میتوانند با اطمینان زیاد اشتباه باشند. جذابیت ارزیابیهای هوش مصنوعی تا حدی فرار از اشتباهپذیری انسان است. خطر این است که فراموش کنیم ماشینها نقاط کور ما را به ارث میبرند – و چند مورد از خودشان را اضافه میکنند.
از سیستمهایی حمایت کنید که به انسانها کمک میکنند کار درست را انجام دهند، نه اینکه از مسئولیت اجتناب کنند. یک ارزیابی که بار شناختی را کاهش میدهد و سیگنالهای واقعی را برجسته میکند، یک نعمت است. کسی که از طریق نمرات غیرقابل فهم سلطه ادعا میکند، یک قلدر است.
جایی که Sider.AI واقعاً کمک میکند
یک نکتهٔ کوتاه برای ابزاری که میزبان این گفتگو است. Sider.AI در چیزی خوب است که صنعت تمایل به کماهمیت جلوه دادن آن دارد: به مردم کمک میکند با همکاری با مدل، نه واگذاری به آن، بهتر فکر کنند و بنویسند. این ابزار به عنوان یک شریک پیشنویس، یک کمککنندهٔ بازسازی یا یک جفت چشم دوم، واقعاً مفید است – به خصوص وقتی که اعلانها را کنترل میکنید و خودتان کار را بررسی میکنید. به عبارت دیگر، در جایی که «ارزیابی» یک اعلامیه نیست، بلکه یک مکالمه است، بهترین کار را انجام میدهد. اگر از Sider.AI (یا هر ابزار مشابه دیگری) برای نقد یک پیشنویس یا تمرین پاسخ مصاحبه استفاده میکنید، بازخوردی دریافت خواهید کرد که کار را بهبود میبخشد تا اینکه آن را با یک نمره مهر کند. این مسیری است که هوش مصنوعی در آن میدرخشد: افزایش، نه اقتدار. موردهای مرزی که ما را فریب میدهند
- نوشتن بسیار ساختاریافته: ابزارهای تشخیص دوست دارند آن را «هوش مصنوعی» بنامند. گاهی اوقات اینطور است. گاهی اوقات فقط کسی است که عاشق جملات موضوعی است.
- نویسندگان غیر بومی: جملات سادهتر بیشتر علامتگذاری میشوند؛ این دقت نیست، سوگیری با یک درخشش است.
- مصاحبهٔ نمایشی: نامزدهایی که معیارها را مطالعه کردهاند، امتیاز احساس را به خوبی دریافت میکنند در حالی که در شغل واقعی متوسط هستند.
- تشخیصهای بیش از حد: در آزمایشگاه درخشان، در کلینیک ناخوشایند. اعتبارسنجی خارجی جدیها را از نمایش جدا میکند.
اگر شیرینترین نقطهٔ یک سیستم با مشوقهایی برای بازی کردن در آن همپوشانی داشته باشد، دقت کاهش مییابد. این یک قانون است، نه یک پیشنهاد.
بخش دیالکتیکی: دقت یک هدف متحرک است
حتی با مجموعه دادههای خوب و ارزیابی دقیق، دقت یک گزارش هواشناسی است. جمعیت را تغییر دهید، مشوقها را تغییر دهید، مدل را بهروز کنید و اعداد حرکت میکنند. این شکست نیست – این واقعیت است. تنها موضع غیرقابل قبول این است که وانمود کنیم هوا، آب و هوا است.
کار را انجام دهید، معیارها را منتشر کنید، در صورت اشتباه بودن تنظیم کنید. بقیه تئاتر است.
خط اصلی
آیا ارزیابیهای هوش مصنوعی دقیق هستند؟ گاهی اوقات، به طور چشمگیری. اغلب، به طور تقریبی با اطمینان. خیلی اوقات، طوری فروخته میشوند که گویی ضد گلوله هستند، در حالی که از پارچهٔ ذهنی دوخته شدهاند.
موضع درست خستهکننده و بنابراین درست است: با ارزیابیهای هوش مصنوعی به عنوان ابزارهایی با تلرانس رفتار کنید، نه توپهای کریستالی. از آنها در جایی استفاده کنید که حقیقت اساسی مشخص است و خطرات اجازه میدهد. در جایی که ابهام حاکم است، افراد را درگیر نگه دارید. ممیزی کنید، اعتبارسنجی کنید و بپذیرید که قطعیت گران و نادر است.
ماشینها میتوانند به ما کمک کنند ببینیم. آنها نمیتوانند ما را از نگاه کردن تبرئه کنند.
سوالات متداول
س۱: آیا ارزیابیهای استخدامی هوش مصنوعی به اندازه کافی دقیق هستند که بتوان به آنها برای تصمیمات پرمخاطره اعتماد کرد؟
گاهی اوقات، اما فقط با اعتبارسنجی دقیق بر روی نتایج عملکرد واقعی و ممیزیهای سوگیری مداوم. از نمرات به عنوان سیگنال استفاده کنید – نه حکم – و در مواقعی که خطر یا ابهام زیاد است، انسانها را در حلقه نگه دارید.
س۲: آیا نمرهدهندههای مقالهٔ هوش مصنوعی کیفیت نوشتن را اندازهگیری میکنند یا فقط ساختار را؟
بیشتر آنها به فرمول و طول بیشتر از صدا و بینش پاداش میدهند، که آنها را سازگار اما کمعمق میکند. اگر معیارها برای مرتببودن ارزش بیشتری قائل باشند تا ایدهها، «دقت» نیز همینطور خواهد بود.
س۳: آیا ابزارهای تشخیص هوش مصنوعی میتوانند به طور قابل اعتماد متن تولیدشده توسط هوش مصنوعی را تشخیص دهند؟
آنها میتوانند الگوهای هوش مصنوعی را علامتگذاری کنند، اما مثبت کاذب در مورد نوشتن ساختاریافته یا غیربومی رایج است. با آنها مانند فلزیاب رفتار کنید – برای جارو کردن مفید هستند، برای محکومیت وحشتناک هستند.
س۴: چگونه میتوانم دقت ارزیابیهای هوش مصنوعی را در سازمانم بهبود بخشم؟
ساختار را به وضوح تعریف کنید، از خارج اعتبارسنجی کنید، اطمینان را کالیبره کنید و رانش را نظارت کنید. اثرات نامطلوب را ممیزی کنید و تصمیمات را مستند کنید تا بتوانید به جای بحث با داشبوردهای زیبا، مشکلات را برطرف کنید.
س۵: چه زمانی ارزیابی هوش مصنوعی در واقع ایدهٔ خوبی است؟
وقتی کار دارای حقیقت اساسی مشخص، حلقههای بازخورد محکم و ابهام محدود باشد – صحت کد، تصویربرداری تشخیصی، امتیازهای ریسک خاص. در حوزههای ذهنی، هوش مصنوعی را در نقش مشاور نگه دارید.