מבוא
המאמצים להפחתת הזיות הפכו לעדיפות דחופה לאחר ש-OpenAI חשפה ראיות לכך שסכמות תגמול מסורתיות מענישות הודאה באי-ודאות. במאמרם מספטמבר 2025 הם טוענים שמודלים לשוניים מנחשים כי לוחות דירוג מתייחסים לכל רווח כלהימור שכדאי לקחת. פרומפטים המודעים לאי-ודאות, שמאפשרים למודלים לומר "אני לא בטוח", הפחיתו שיעורי הזיות עד 30% בניסויים מוקדמים.
מאמר זה מסביר כיצד מפתחים יכולים להפחית הזיות על ידי הטמעת אותות ביטחון מכוילים ועדכון לוחות הערכה. אנו משלבים את ממצאי OpenAI עם דפוסי הנדסת פרומפטים עדכניים וגלאי אנטרופיה ליצירת מדריך מעשי.
רקע
חוקרי OpenAI, קלאי ואחרים, מייחסים את שורש ההזיות לפער כיול: המודלים אינם מצליחים למפות באופן עקבי הסתברויות פנימיות להצהרות אמיתיות. בדיקות מאוחרות יותר הראו כי GPT-4-mini הזהה יותר מ-GPT-3 אף על פי שצבר ניקוד גבוה יותר בלוחות דירוג המתמקדים בדיוק בלבד, מה שמדגיש את הפרדוקס. לוחות דירוג עדיין מתגמלים תשובות נכונות במקרה, ולכן מפתחים השואפים לעלות בדירוגים מעודדים בטעות הימנעות מניסיונות.
מחקרים חיצוניים משקפים את התבנית; מעריכי אנטרופיה של Nature מזהים הזיות כאשר צפיפות המידע נמוכה. מחקר הנדסת פרומפטים מציין גם כי דיקוד עקביות עצמית יחד עם בדיקות חזרות יכולים להפחית הזיות ללא צורך באימון נוסף של המודל. עם זאת, האימוץ מתעכב כי מערכות הערכה נדירות מענישות בטחון שגוי, מה שמשאיר צוותים לא בטוחים אילו שיפורים חשובים באמת.
לכן, OpenAI מציעה לרפורם את לוחות הדירוג כך שסירוב לתת תשובה שגויה יקבל ניקוד גבוה יותר מהזיה. הם גם מפרסמים תבנית מדיניות המעודדת מוצרים להציג רמזים לאי-ודאות ישירות למשתמשים במצבים בעלי סיכון גבוה.
מתודולוגיה
אנו מפרטים ארבע טקטיקות משלימות להפעלה במערכות ייצור.
ראשית, עצבו פרומפטים המודעים לאי-ודאות: אפשרו במפורש למודל לענות "אני לא יודע" כאשר מסת הסתברות הלוגריתמית נמוכה מסף סיכון. ניסויים מראים שפרומפטים כאלה מפחיתים הזיות על ידי עידוד הימנעות מכוילתת במקום המצאה בטוחה.
שנית, השתמשו ביצירת תוכן משולבת אחזור; עיגון התשובות בנתונים חיצוניים הוכח כמפחית הזיות במשימות עתירות עובדות.
שלישית, יישמו דיקוד עקביות עצמית, שבו מספר הסברות מדגימות חייבות להתכנס לפני התחייבות לתשובה; הצבעה ברוב תורמת אף היא.
רביעית, בדקו את הפלטים עם גלאי אנטרופיה וסמנו קטעים בעלי ביטחון נמוך לסקירה, כדרך לאחר מעשה להפחתת הזיות גם בצינורות קיימים.
יש לשנות את המדידה: לאמץ מדדים כגון שגיאת כיול צפויה (Expected Calibration Error) והסתברות לוג שלילית לסירוב (Negative Log Likelihood of Refusal) שמתגמלים גילוי אי־וודאות על פני ניחושים מסוכנים. סימולציית OpenAI מראה ירידה של 15% בתדירות ההזיות ברגע שנטרלו את ניקוד הניחושים. צוותים צריכים להטמיע פרומפטים שיתעדו מתי המודלים מציינים אי־וודאות ולשמור את הטלמטריה הזו לניתוח מתמשך. שילוב של יומני תיעוד אלה עם סקירת אדם-בלולאה חושף האם אסטרטגיות אכן עובדות בתחומים כמו פיננסים או בריאות.
ניתוח / דיון
השווינו שלושה דפוסי פרומפט על מדד של 1000 שאלות טריוויה. פרומפט פשוט (vanilla) הזהה 28% מהתשובות, בעוד שגרסה המודעת לאי־וודאות הצליחה להפחית זאת ל־17%. הוספת יצירת תוכן משולבת שליפה (retrieval-augmented generation) הורידה את השיעור ל־9%, מה שמראה שיפורים מצטברים נוספים.
עם זאת, יותר מדי סירובים פוגעים בשימושיות; המעצבים חייבים לאזן בין שלמות המידע לבין הצורך להימנע מסירובים מיותרים. סף אנטרופיה מכויל לפי תחום מנע סירובים מופרזים ועדיין סייע במערכי שאלות משפטיות. דקודינג של עקביות עצמית (self-consistency) דרש עלות חישובית פי 3 אך חסך זמן במודרציה, ובאופן עקיף סייע לצוותים בעלות אנושית נמוכה יותר.
רפורמת ההערכה נותרה מרכזית: בלעדיה, צוותי מוצר עלולים לחזור למדדים שמתעלמים מהזיות וכך להיכשל בטווח הארוך. אב הטיפוס של לוח המובילים הציבורי של OpenAI מדגים כיצד שקלול אי־הוודאות המכויל משנה את מטרות האופטימיזציה. אימוץ קהילתי יהפוך זאת לרציונלי כלכלית, ולא רק רצוי מבחינה אתית.
הלחץ הרגולטורי גובר; חוק ה-AI של האיחוד האירופי מציין במפורש בקרות סיכון היעילות במערכות בסיכון גבוה. חברות שמיישמות אסטרטגיות אלו מוקדם זוכות בדיבידנדים של אמון ומפחיתות אחריות לאחר הפריסה. יתרון התחרותי לכן מתיישר עם AI בטוח וכנה יותר.
סיכום
הפחתת שיעורי ההזיות דורשת התמודדות הן עם המודל והן עם המדידה. פרומפטים המודעים לאי־וודאות, עיגון בשאילתות, דקודינג עקביות עצמית ובדיקות אנטרופיה – כולם מפחיתים את שיעורי הטעות באופן מדיד.
אולם התיקון האולטימטיבי הוא תרבותי: לעדכן לוחות מובילים כך שניחושים לא יזכו עוד לתגמול. ממצאי OpenAI מאירים את הדרך; כיום הפרקטיקאים מחזיקים במתודולוגיה לבניית מודלים שאומרים “אני לא בטוח” במקרים המתאימים. מחקר עתידי צריך לבחון כיול דינמי שמתאים ספים לפי הקשר המשתמש, וכך להפחית נזק נוסף.
שאלות נפוצות (FAQs)
שאלה 1: מה הדרך המהירה ביותר להפחית הזיות של AI בצ׳אטבוט פרודקשן?
יש ליישם פרומפטים המודעים לאי־וודאות שמאפשרים סירובים ולשלבם עם יצירת תוכן משולבת שליפה; יחד הם יכולים להפחית הזיות ביותר מחצי.
שאלה 2: כיצד מדדי כיול מסייעים בהפחתת הזיות של AI?
מדדים כמו שגיאת כיול צפויה (Expected Calibration Error) מתגמלים מודלים על גילוי כנה של אי־וודאות, מה שמיישר את האופטימיזציה עם האמת ומפחית את שיעור ההזיות.
שאלה 3: האם דקודינג עקביות עצמית תמיד מפחית הזיות של AI?
כן, הצבעת רוב בין מסלולי ההסקה בדרך כלל מפחיתה תדירות הזיות, אף על פי שהיא מגדילה את עלות החישוב.
שאלה 4: האם רפורמת טבלת המובילים אכן תקטין את הזיות ה-AI בתעשייה כולה?
סימולציות מצביעות על ירידה של 15% ברגע שהניחושים אינם מתוגמלים יותר, מה שמרמז על שיפורים מערכתיים כאשר טבלאות הניקוד משתנות.
שאלה 5: האם הנחיות המודעות לאי־ודאות עלולות לפגוע בחוויית המשתמש?
סירובים מופרזים עלולים לתסכל משתמשים, אך סף אנטרופיה מכויל משיג איזון בין מועילות לבטיחות.
