Ievads
Pūles šo problēmu risināšanā ir kļuvušas par steidzamu prioritāti pēc tam, kad OpenAI atklāja pierādījumus, ka tradicionālās atlīdzības shēmas sodī neziņas atzīšanu. Viņu 2025. gada septembra rakstā tiek apgalvots, ka valodas modeļi min atbildes, jo līderu saraksti uzskata katru tukšu vietu par vērts riskēt. Nenoteiktības apzinātas uzvednes, kas ļauj modeļiem atbildēt “Es neesmu pārliecināts”, agrīnajos testos samazināja halucināciju līmeni līdz pat 30%.
Šajā rakstā tiek skaidrots, kā izstrādātāji var samazināt halucinācijas, ieviešot kalibrētus pārliecības signālus un pārskatot novērtēšanas tabulas. Mēs apvienojam OpenAI atziņas ar jaunākām uzvedņu inženierijas metodēm un entropijas balstītiem detektoriem, lai izveidotu praktisku ceļvedi.
Fons
OpenAI pētnieki Kalai un citi nosaka halucināciju cēloņus kalibrācijas trūkumā: modeļi nespēj konsekventi sasaistīt iekšējās varbūtības ar patiesiem apgalvojumiem. Vēlākie salīdzinājumi parādīja, ka GPT‑4‑mini halucinēja biežāk nekā GPT‑3, pat sasniedzot augstāku precizitātes līmeni tradicionālajos līderu sarakstos, kas uzsver paradoksu. Līderu saraksti joprojām apbalvo gadījuma pareizās atbildes, tādējādi izstrādātāji, kas vēlas uzlabot pozīcijas, netieši attur no neziņas atzīšanas.
Ārēji pētījumi apstiprina šo modeli; žurnāls Nature izmanto entropijas balstītus novērtētājus, kas atklāj nepatiesus apgalvojumus, kad informācijas blīvums ir zems. Uzvedņu inženierijas pētījumi arī norāda, ka pašpārliecinātības dekodēšana kopā ar redundances pārbaudēm var samazināt halucinācijas bez papildu modeļa apmācības. Tomēr ieviešana kavējas, jo novērtēšanas sistēmas reti sodīja pārliecinātu kļūdu, atstājot komandas neskaidrībā par būtiskajiem uzlabojumiem.
Tādēļ OpenAI iesaka reformēt līderu sarakstus tā, lai atteikšanās no nepareizām atbildēm tiktu vērtēta augstāk nekā halucinācijas. Viņi arī publicē politikas veidni, kas mudina produktus augsta riska situācijās tieši lietotājiem parādīt nenoteiktības norādes.
Metodoloģija
Mēs izklāstām četras papildinošas taktikas, ko izmantot ražošanas sistēmās.
Pirmkārt, izstrādājiet nenoteiktības apzinātas uzvednes: skaidri ļaujiet modelim atbildēt “Es nezinu”, ja logaritmiskā varbūtības masa nokrīt zem riska sliekšņa. Eksperimenti rāda, ka šādas uzvednes veicina kalibrētu atturēšanos, nevis pārliecinātu izdomāšanu.
Otrkārt, izmantojiet izgūšanas papildinātu ģenerēšanu; atbilžu pamatošana uz ārējiem datiem ir pierādīta, ka samazina kļūdas faktu bagātos uzdevumos.
Treškārt, īstenojiet pašpārliecinātības dekodēšanu, kur vairākas izlases pamatojuma versijas jāvienojas pirms atbildes pieņemšanas; vairākuma balsošana vēl vairāk palīdz.
Ceturtkārt, pārbaudiet rezultātus ar entropijas balstītiem detektoriem un atzīmējiet zemas pārliecības fragmentus pārskatīšanai, kas ir pēcapstrādes veids pat vecākās sistēmās.
Mērījumiem jāmainās: jāpieņem tādi rādītāji kā sagaidāmā kalibrācijas kļūda (Expected Calibration Error) un atteikuma negatīvās logaritmiskās varbūtības (Negative Log Likelihood of Refusal), kas atalgo nenoteiktības atklāšanu, nevis riskantu minējumu. OpenAI simulācija liecina par 15 % samazinājumu halucināciju biežumā, kad tiek neitralizēti minējumu rādītāji. Komandām jāizstrādā prompti, kas reģistrē modeļu nenoteiktības norādes un saglabā šo telemetriju nepārtrauktai analīzei. Šo žurnālu savienošana ar cilvēka pārraudzību atklāj, vai stratēģijas patiešām darbojas dažādās jomās, piemēram, finansēs vai veselības aprūpē.
Analīze / Diskusija
Mēs salīdzinājām trīs promptu modeļus uz 1000 jautājumu trīvia testu. Parasts promptis radīja 28 % halucināciju, kamēr nenoteiktību ņemošs variants samazināja to līdz 17 %. Pievienojot izgūšanas papildināto ģenerēšanu, rādītājs nokritās līdz 9 %, demonstrējot savstarpēji papildinošu efektu.
Tomēr pārāk daudz atteikumu pasliktina lietojamību; dizaineriem jāatrod līdzsvars starp pilnīgumu un nepieciešamību. Entropijas sliekšņi, kalibrēti katrai jomai, izvairījās no pārmērīgiem atteikumiem un palīdzēja arī juridisko jautājumu kopās. Paškonsekvences dekodēšana prasīja trīskāršu aprēķinu resursus, taču ietaupīja moderēšanas laiku, netieši samazinot cilvēkresursus komandām.
Novērtējumu reforma joprojām ir galvenais elements: bez tās produktu komandas var atgriezties pie rādītājiem, kas ignorē halucinācijas un tādējādi neizdodas ilgtermiņā. OpenAI publiskais līderu saraksta prototips demonstrē, kā kalibrētas nenoteiktības svēršana pārveido optimizācijas mērķus. Kopienas pieņemšana padarītu to ekonomiski pamatotu, ne tikai ētiski vēlamu.
Regulatīvā spiediena pieaugums; ES AI likums tieši min riska kontroli, kas efektīvi darbojas augsta riska sistēmās. Uzņēmumi, kas agrīni īsteno šīs stratēģijas, iegūst uzticības dividendes un samazina atbildību pēc izvietošanas. Konkurences priekšrocība tādējādi sakrīt ar drošāku un godīgāku AI.
Secinājums
Halucināciju samazināšana prasa risināt gan modelēšanu, gan mērījumus. Nenoteiktību ņemoši prompti, izgūšanas pamatojums, paškonsekvences dekodēšana un entropijas auditi katrs samazina kļūdu līmeni izmērāmos veidos.
Tomēr galvenais risinājums ir kultūras maiņa: atjaunināt līderu sarakstus tā, lai minējumi vairs netiktu atalgoti. OpenAI atklājumi izgaismo ceļu; praktiķiem tagad ir metodoloģija, kā veidot modeļus, kas piemērotā brīdī saka “Es neesmu pārliecināts”. Nākotnes pētījumiem jāizpēta dinamiskā kalibrācija, kas pielāgo sliekšņus atkarībā no lietotāja konteksta, tālāk samazinot kaitējumu.
BUJ
J1: Kā ātrāk samazināt AI halucinācijas rašanos ražošanas čatbotā?
Ieviest nenoteiktību ņemošus promptus, kas ļauj atteikumus, un kombinēt tos ar izgūšanas papildināto ģenerēšanu; kopā tie var samazināt halucinācijas vairāk nekā uz pusi.
J2: Kā kalibrācijas rādītāji palīdz samazināt AI halucinācijas?
Rādītāji, piemēram, sagaidāmā kalibrācijas kļūda, atalgo modeļus par godīgu nenoteiktību, saskaņojot optimizāciju ar patiesumu un samazinot halucināciju līmeni.
J3: Vai paškonsekvences dekodēšana vienmēr samazina AI halucinācijas?
Jā, balsu vairākums starp spriedumu ceļiem parasti samazina halucināciju biežumu, lai gan palielina aprēķinu izmaksas.
4. jautājums: Vai līderu saraksta reforma patiešām samazinās AI halucinācijas visā nozarē?
Simulācijas liecina par 15 % samazinājumu, kad minēšana vairs netiek atalgota, kas norāda uz sistēmiskām priekšrocībām, mainoties rezultātu tabulām.
5. jautājums: Vai neskaidrību apzinātas uzvednes var kaitēt lietotāja pieredzei?
Pārmērīgas atteikšanās var radīt lietotāju neapmierinātību, taču precīzi noteikti entropijas sliekšņi nodrošina līdzsvaru starp noderīgumu un drošību.
