Ar kada bandėte pastebėti robotą minioje?
Prieš kelis mėnesius mokytoja, mano draugė, vėlai vakare atsiuntė man žinutę: „Manau, kad pusę mano rašinių parašė robotai.“ Ji įkėlė savo mokinių darbus į vieną iš tų GPT detektorių – paslaugų, kurios teigia galinčios atskirti, ar tekstą parašė žmogus, ar dirbtinis intelektas, pavyzdžiui, ChatGPT, – ir rezultatas nušvito kaip kalėdinė eglutė. Visur raudonos vėliavos. Panika. Apkaltinimai. Viskas, kas priklauso.
Tačiau štai kas įdomu: du iš pažymėtų rašinių parašė vaikai, kurie rašo taip, tarsi dalyvautų „The New Yorker“ atrankoje. Tikri stebuklai. Jei jau girdite „Law & Order“ dun-dun savo galvoje, nesate vieni.
Taigi, aš padariau tai, ką padarytų bet kuris smalsus keistuolis, turintis silpnybę teisingumui: praleidau savaitę testuodamas GPT detektorius. Ar jie tikrai gali atskirti žmogaus rašymą nuo DI rašymo? Kaip jie veikia? Ar mokytojai, redaktoriai ar personalo vadovai turėtų jais pasitikėti? Ir kas nutinka, kai jie klysta?
Spoileris: jie nėra melo detektoriai. Jie yra... nuojautos detektoriai. O nuojauta yra slidus dalykas.
Ką turime omenyje sakydami „GPT detektorių tikslumo testavimas“
Nustatome sceną. Kai žmonės kalba apie GPT detektorių tikslumo testavimą, jie paprastai nori atsakymų į labai žmogiškus klausimus:
- Ar galiu pagauti DI sugeneruotus rašinius savo klasėje ar komandoje?
- Ar galiu saugiai įkelti tekstą per detektorių ir imtis veiksmų remdamasis rezultatu?
- Ar yra žingsnių, kaip padaryti, kad mano rašymas „praeitų“ kaip žmogaus, net jei jis ir yra žmogaus?
Čia vartotojo ketinimas yra iš dalies skepticizmas, iš dalies išgyvenimo vadovas. Jūs norite būdo patikrinti, ar jūsų detektorius yra geras – geriausia prieš tai, kai jis pakenks kieno nors pažymiui, prašymui dėl darbo ar reputacijai.
Šis straipsnis yra jūsų praktinis gidas. Mes:
- Demistifikuosime, kaip mąsto detektoriai.
- Atliksime paprastą „pasidaryk pats“ testavimo planą, kurį galėsite pakartoti.
- Ištirsime gedimų režimus (jie yra tikrai blogi).
- Pasiūlysime protingesnes, sąžiningesnes alternatyvas, kai statymai yra dideli.
Aš kalbėsiu paprasta kalba ir praktiškai – ir taip, šiek tiek įžūliai – nes ir taip viskas pakankamai painu be daktaro laipsnio statistikos srityje.
Kaip GPT detektoriai „spėja“: greitas, žmogui suprantamas paaiškinimas
Dauguma detektorių iš tikrųjų nežino, iš kur atsirado tekstas. Jie atpažįsta šablonus – ieško statistinių požymių, kurie dažniau pasitaiko DI tekstuose nei žmogaus tekstuose. Pagalvokite apie tai kaip apie Šerloką Holmsą žodžių tvarkai.
Du dideli požymiai, kurių ieško detektoriai:
- Nuspėjamumas: DI linkęs generuoti sklandžias, labai tikėtinas žodžių sekas. Įsivaizduokite kelią be duobių. Žmonės, kita vertus, užkliūva, nukrypsta, įmeta keistų metaforų ir kartais rašo taip, tarsi rašytų žinutes amerikietiškais kalneliais.
- Sprogiškumas: Žmonės rašo sprogimais – trumpi sakiniai, po kurių eina ilgi, staigūs ritmo pokyčiai. DI dažnai skamba nuosekliai, tarsi būtų baigęs etiketo mokyklą.
Ką daryti? Gerai rašantys žmonės gali būti sklandūs ir nuspėjami. O DI galima liepti „Rašyk kaip žmogus, kuris išgėrė kavos ir jaučia jausmus“. Ribos susilieja.
Taip pat: Skirtingi detektoriai žiūri į skirtingus signalus. Kai kurie tikrina sintaksės įvairovę, kiti analizuoja žodžių retumą arba sakinių entropiją. Nė vienas iš jų negali atsekti autorystės taip, kaip galėtų vandens ženklas. Jie yra teismo meteorologai, o ne DNR laboratorijos.
Geras, blogas ir juokingai klaidingas: ką detektoriai supranta teisingai (ir klaidingai)
- Kur jie blizga: Greitas triažas. Jei peržiūrite krūvas turinio, detektorius gali paryškinti tekstą, kuris yra įtartinai bendras, pasikartojantis arba itin sklandus – verta atidžiau pažvelgti.
- Kur jie klysta: Aukšto lygio sprendimai. Detektoriai gali melagingai apkaltinti stiprius rašytojus (aiškus, nuoseklus, gerai suformuluotas tekstas) ir praleisti DI, jei pajudinsite rankenėles (įdėkite rašybos klaidų, permaišykite sakinius arba perfrazuokite su tesauru).
- „Klaidingo teigiamo“ problema: Tikri žmonės pažymimi kaip DI. Tai dažnai nutinka ESL rašytojams, formulių stiliaus rašytojams ir visiems, kurie redagavo savo kūrinį į švarias, subalansuotas pastraipas. Įsivaizduokite, kad jums pasakyta, jog jūsų originalus darbas yra netikras, nes jis... per geras.
Esminė mintis: detektorius nėra nuosprendis; tai užuomina. Kaip jūsų dūmų detektorius, kai prideginate skrebučius. Taip, yra dūmų. Ne, namas nebūtinai dega.
„Pasidaryk pats“, pakartojamas būdas patikrinti GPT detektoriaus tikslumą
Jums nereikia laboratorinio chalato. Jums tiesiog reikia plano. Štai paprastas, namuose atliekamas protokolas, kurį galite naudoti norėdami patikrinti GPT detektorių tikslumą savo klasėje, redakcijoje ar įmonėje.
- Sukurkite keturis teksto kaupus (apie 300–500 žodžių kiekviename):
- Grynas žmogus: Kažkas, ką parašėte nuo nulio. Pasilikite juodraščius, kad tai įrodytumėte.
- Grynas DI: Paprašykite GPT modelio rašyti ta pačia tema, be redagavimo.
- Žmogaus redaguotas: Pradėkite nuo DI juodraščio, tada peržiūrėkite kaip žmogus – pridėkite anekdotų, permaišykite pastraipas, įterpkite asmeninę detalę.
- DI užmaskuotas: Paimkite DI juodraštį ir paleiskite jį per perfrazuotojus, sinonimų maišytojus ir sakinių skirstytuvus. Padidinkite chaosą.
- Pasirinkite 3–5 detektorius, kuriuos norite išbandyti. Skirtingi įrankiai, skirtingos nuotaikos.
- Paslėpkite etiketes. Paprašykite kolegos pervadinti failus A, B, C, D, kad nešališkai vertintumėte.
- Paleiskite kiekvieną pavyzdį per kiekvieną detektorių. Įrašykite žalius balus ir kategorinę etiketę (pvz., „Tikėtina DI“, „Mišrus“, „Žmogus“).
- Apskaičiuokite pagrindus:
- Teisingai teigiami: DI teisingai pažymėtas kaip DI.
- Teisingai neigiami: Žmogus teisingai pažymėtas kaip žmogus.
- Klaidingai teigiami: Žmogus pažymėtas kaip DI.
- Klaidingai neigiami: DI pažymėtas kaip žmogus.
- Apskaičiuokite tikslumą, preciziškumą, atšaukimą:
- Tikslumas = (TP + TN) / Iš viso.
- Preciziškumas (DI atveju) = TP / (TP + FP). Tai jums pasako: kai jis sako „DI“, kaip dažnai jis yra teisus?
- Atšaukimas (DI atveju) = TP / (TP + FN). Tai jums pasako: kiek DI teksto jis iš tikrųjų pagavo?
- Atlikite streso testą su stiliaus įvairove:
- Pridėkite ESL rašymo, labai techninio rašymo ir kūrybinio rašymo.
- Įtraukite išvalytą žmogaus tekstą: patikrintą gramatiką ir tvarkingai suformatuotą.
- Išbandykite trumpus fragmentus (mažiau nei 150 žodžių). Daugelis detektorių užstringa dėl trumpumo.
- Dokumentuokite kraštutinius atvejus. Ekrano nuotraukos, pavyzdinis tekstas ir jūsų juodraščių istorija padeda suprasti kodėl – ne tik rezultatą.
Jei detektoriaus preciziškumas yra mažas, tai reiškia, kad jis įmeta daug nekaltų žmonių po autobusu. Jei atšaukimas yra mažas, DI praslysta. Jei abu yra meh... na, tas detektorius gali būti labiau magiškas 8 kamuolys nei mikroskopas.
Praktinis pavyzdys: kas nutinka, kai baksnojate mešką
Tarkime, klausiame DI: „Parašykite 400 žodžių apie tai, ar elektriniai paspirtukai padaro miestus geresnius.“ Rezultatas: gerai suformuluotas, vidutiniškas rašinys be jokio asmeninio intereso. Dabar paleidžiame jį per tris detektorius. Du sako „Tikėtina DI“. Vienas sako „Neaišku“.
Dabar pridedame žmogaus pirštų atspaudų:
- Įterpiame konkretų anekdotą: „Aš išvirtau ant paspirtuko prie kepyklos, ir vaikinas su banano kostiumu paklausė, ar man viskas gerai.“
- Keičiame sakinių ilgį. Įmetame klausimų, įterpinių ir energingą vieną eilutę.
- Įtraukiame vietos detalių, tokių kaip sankryža ir automobilių stovėjimo bilietų kaina.
Paleidžiame jį dar kartą. Staiga detektoriai pasidalija: vienas vis dar sako „Tikėtina DI“, vienas persijungia į „Žmogus“, o vienas sako „Mišrus“.
Galiausiai, mes visiškai užmaskuojame originalų DI tekstą – perfrazuotojas, sinonimų suktukas ir sauja rašybos klaidų – ir detektoriai daugiausia gūžčioja pečiais: „Atrodo kaip žmogus“.
Moralas: jei jūsų įrankį galima apgauti bananų kostiumais ir rašybos klaidomis, jis gali būti nepasiruošęs būti teisėju, prisiekusiuoju ir GPA vykdytoju.
Kodėl geri žmonės pažymimi kaip robotai
- Švarus tekstas kelia įtarimą. Jei rašote griežtus, gramatikos patikrintus sakinius su nuoseklia struktūra, galite įjungti „per sklandaus“ aliarmą.
- ESL rašytojai baudžiami. Kai kurie detektoriai ne gimtojo krašto šablonus klaidingai palaiko DI artefaktais. Tai bjaurus šališkumas – nesąžiningas ir atgrasus.
- Formulės žanrai supainioja modelį. Naujienlaiškiai, įmonių atnaujinimai arba penkių pastraipų rašiniai turi nuspėjamus ritmus. Detektoriai galvoja: nuspėjamumas = DI.
- Trumpi atsakymai yra chaotiški. Su mažais pavyzdžiais matematika tampa triukšminga, o pasitikėjimas smunka. Detektoriai dažnai sako „DI“, nes negali būti tikri.
Jei detektorius vadina kieno nors darbą DI, vertinkite tai kaip orų prognozę. Pasiimkite skėtį, bet neatšaukite vestuvių.
Protingesni, sąžiningesni darbo eigos, kai statymai yra dideli
Galite laikyti detektorius įrankių dirže – tiesiog nedarykite jų plaktuku kiekvienai viniai.
- Paprašykite proceso įrodymų. Juodraščiai, laiko žymos, pastabos ir peržiūros istorija pralenkia nuotaikas. „Google Docs“ ir „Microsoft Word“ seka versijų istoriją; taip pat daugelis pastabų rašymo programų ir rašymo platformų.
- Naudokite tikslines užklausas. Jei įtariate bendrąjį DI, užduokite tolesnius klausimus: „Kokį šaltinį naudojote šiam teiginiui?“ arba „Apibūdinkite savo asmeninę patirtį, susijusią su antrąja pastraipa.“ DI sunku improvizuoti tikrą gyvenimą.
- Vertinkite turinį, o ne tik stilių. Konkretika, šaltiniai ir originali analizė yra svarbesni už sakinių ritmą.
- Apsvarstykite žodinius patikrinimus. Dviejų minučių pokalbis – „Papasakokite man savo argumentą“ – gali atskleisti, ar idėjos yra išgyventos, ar nukopijuotos ir įklijuotos iš eterio.
- Būkite skaidrūs. Jei naudojate detektorių klasėje ar samdydami, paskelbkite savo politiką, savo slenksčius, savo apeliacijos procesą ir klaidingų teigiamų rezultatų riziką. Skaidrumas yra geriausias dezinfekantas.
Jei privalote naudoti detektorių, sureguliuokite jį kaip dūmų signalizaciją
- Nustatykite konservatyvius slenksčius. Traktuokite „Tikėtina DI“ kaip vėliavą peržiūrai, o ne apkaltinamąjį nuosprendį.
- Reikalaukite patvirtinimo. Du detektoriai sutinka, plius neatitikimai juodraščiuose, plius trūkstami šaltiniai? Dabar turite bylą.
- Kalibruokite savo korpuse. Įveskite į detektorių tikrus žmogaus pavyzdžius iš savo komandos ar klasės, kad pamatytumėte, kaip dažnai jis klaidingai pažymi jūsų žmones.
- Venkite mažų pavyzdžių. Kai tekstas yra mažesnis nei 150–200 žodžių, rezultatai tampa svyruojantys. Paprašykite ilgesnių ištraukų arba papildomų pastabų.
- Informuokite žmones. Žmogus, peržiūrintis įspėjimą, turėtų suprasti įrankio apribojimus ir šališkumus.
Ar DI vandens ženklinimas gali padėti? Galbūt – jei jis iš tikrųjų bus pristatytas
Yra lygiagrečios pastangos, vadinamos vandens ženklinimu: DI sistemos įterpia paslėptus statistinius šablonus į savo išvestis, kad juos būtų galima vėliau identifikuoti. Teoriškai tai yra patikimiau nei spėlioti po fakto. Praktiškai jums reikės bendradarbiavimo tarp DI modelių, o ženklai gali būti prarasti redaguojant, verčiant ar net darant ekrano nuotraukas.
Tai perspektyvi kryptis platformoms, kurios kontroliuoja abu vamzdžio galus. Mums visiems kitiems to dar nėra nuosekliu, visuotiniu būdu. Nesulaikykite kvapo vertindami baigiamuosius darbus.
Žodis apie sąžiningumą, baimę ir ateitį
GPT detektorių iškilimas pavertė rašymą oro uosto saugumu: visi nusiauna batus, net ir mažyliai. Tai nėra tvaru. Mums reikia įrankių, kurie palaikytų mokymąsi ir sąžiningumą, nepaverčiant klasių ir darbo vietų įtarimų fabrikais.
Tai reiškia perėjimą nuo „Ar naudojote DI?“ prie „Kaip naudojote DI?“ Išmokite skaidriai integruoti DI – minčių lietų, planavimą, juodraščių rašymą, peržiūrą – su aiškiomis taisyklėmis dėl citavimo ir originalumo. Tai kalkuliatoriaus debatai iš naujo, bet su sakiniais, o ne sinusinėmis bangomis.
Kur Sider.AI tinka (ir kur netinka)
Štai staigmena: Sider.AI iš tikrųjų gali padėti jums atlikti tokį sąžiningą testą, kokį aš aprašiau aukščiau. Įklijuokite savo pavyzdžius, stebėkite savo juodraščių versijas ir palyginkite peržiūras vieną šalia kitos. Tai nėra teismo salė; tai yra dirbtuvės. Jei bandysite naudoti bet kurį DI įrankį kaip pakariantį teisėją, na, sėkmės. Naudokite jį kaip proceso ir įrodymų palydovą, ir jūs būsite tvirtesni. Jūsų greito paleidimo rinkinys: šablonai, kuriuos galite nukopijuoti šiandien
- Aptikimo žurnalo šablonas:
- Šaltinio etiketė (paslėpta iki vertinimo):
- Detektoriaus 1 rezultatas/etiketė:
- Detektoriaus 2 rezultatas/etiketė:
- Detektoriaus 3 rezultatas/etiketė:
- Pastabos apie funkcijas (konkretika, šaltiniai, asmeninės detalės):
- Verdiktas: Peržiūrėti / Priimti / Ištirti
- Politikos fragmentas, skirtas mokymo programoms arba darbo skelbimams:
- „Mes galime naudoti DI detektorius kaip vieną iš kelių indėlių. Vien tik balai niekada nebus naudojami baudoms skirti. Jei pažymėta, jūsų gali būti paprašyta pasidalinti juodraščiais, šaltiniais arba aptarti savo procesą. Mes vertiname mokymąsi ir originalumą labiau nei tobulą blizgesį.“
- Pokalbio raginimai, kai nesate tikri:
- „Papasakokite man, kaip sugalvojote trečiąją pastraipą.“
- „Parodykite man ankstesnį juodraštį arba savo planą – kas pasikeitė?“
- „Ką pridėtumėte, jei turėtumėte dar 10 minučių?“
Trikčių šalinimo kampelis: dažni detektoriaus galvos skausmai
- Įrankis sako, kad viskas yra DI. Ką daryti dabar?
- Kalibruokite su žinomu žmogaus pavyzdžiu, kurį parašėte prieš daugelį metų. Jei jis vis dar rėkia „DI“, slenkstis yra per agresyvus – arba įrankis turi blogą dieną.
- Mano originalus darbas buvo pažymėtas. Kaip man jį apginti?
- Pateikite juodraščių, laiko žymų, tyrimų pastabų ir šaltinių. Nurodykite konkrečias asmenines detales. Pasiūlykite aptarti savo procesą. Išlaikykite ramų ir faktinį toną.
- DI tekstas ir toliau praeina kaip žmogus po perfrazavimo.
- Detektoriai nėra sukurti taip, kad atlaikytų stiprų užmaskavimą. Pakeiskite savo požiūrį: ieškokite trūkstamų šaltinių, paviršutiniškos analizės arba nenuoseklių faktų.
- Organizacija nori griežto slenksčio, pavyzdžiui, „80 % DI = nulis kredito“.
- Atsisakykite. Pasidalykite klaidingų teigiamų rezultatų dažnumu iš savo bandymų. Pasiūlykite „peržiūros eilę“ vietoj automatinių baudų.
Greita moksliška dalis (be laboratorinių akinių)
Dauguma detektorių remiasi tokiais matavimais kaip painumas (kaip „nustebęs“ kalbos modelis yra dėl kito žodžio) ir sprogiškumas (sakinių ilgių ir struktūrų variacijos). DI dažnai sukuria mažo painumo, mažo sprogiškumo tekstą – pastovų ir sklandų. Žmogaus rašymas yra dygliuotesnis.
Tačiau tobulėjant DI ir žmonėms pradedant naudoti DI draugiškus įrankius (sveiki, gramatikos tikrintuvai), pasiskirstymai persidengia. Štai kodėl šiandieniniai detektoriai negali pažadėti tikrumo, tik tikimybę. Kas yra gerai – nebent bandote naudoti tikimybę kaip įrodymą.
Taigi... ar GPT detektoriai yra tikslūs?
Tikslūs kuo? Ar suteikti jums postūmį atidžiau pažvelgti? Dažnai, taip. Ar priimti personalo ar akademinius sprendimus patiems? Nepatikimai. Kontroliuojamuose bandymuose rasite:
- Jie gana gerai pagauna akivaizdų, neredaguotą DI.
- Jie kovoja su trumpu tekstu, gerai redaguotu DI ir nušlifuotu žmogaus tekstu.
- Jie gali būti šališki ESL rašytojų ir formulių žanrų atžvilgiu.
Traktuokite juos kaip rašybos tikrinimą įtarimams. Naudinga, bet ne šventa.
Galutinis žodis: jūsų sąžiningo žaidimo vadovas
- Naudokite detektorius kaip ankstyvojo perspėjimo sistemą, o ne plaktuką.
- Patvirtinkite juodraščiais, šaltiniais ir greitu pokalbiu.
- Kalibruokite savo duomenimis; dokumentuokite klaidingus teigiamus ir neigiamus rezultatus.
- Venkite sprendimų dėl trumpų fragmentų ir vienkartinių balų.
- Mokykite atsakingai naudoti DI. Klauskite „kaip“, o ne tik „ar“.
Paskutinis dalykas: Technologijos nepanaikina pasitikėjimo; jos jį perfrazuoja. Geriausias būdas išlaikyti žmogaus rašymą žmogaus yra apdovanoti dalis, kurias gali atlikti tik žmonės – smalsumą, specifiškumą, balsą – ir kurti sistemas, kurios atpažintų netvarkingus, nuostabius tikros minties pirštų atspaudus.
Jei jūsų detektorius negali atskirti nuoširdaus rašinio nuo anekdoto apie banano kostiumą, galbūt atėjo laikas grąžinti žmones į grandinę.
DUK
Q1:Ar GPT detektoriai yra pakankamai tikslūs, kad patikimai pagautų DI rašymą?
Jie gana gerai pažymi neredaguotą DI tekstą, tačiau jie klysta su trumpomis ištraukomis, perfrazuotu DI ir nušlifuotu žmogaus rašymu. Naudokite juos kaip postūmį peržiūrėti, o ne galutinį nuosprendį.
Q2:Kaip aš galiu pats patikrinti GPT detektoriaus tikslumą?
Atlikite nedidelį tyrimą su keturiais kaupais: grynas žmogus, grynas DI, žmogaus redaguotas DI ir užmaskuotas DI. Išmatuokite preciziškumą ir atšaukimą ir atkreipkite dėmesį į klaidingus teigiamus rezultatus savo tikruose pavyzdžiuose.
Q3:Kodėl mano originalus rašinys buvo pažymėtas kaip DI?
Švarus, nuoseklus tekstas gali atrodyti „per sklandus“, o ESL šablonai kartais klaidingai skaitomi kaip DI artefaktai. Apginkite savo darbą juodraščiais, laiko žymomis, šaltiniais ir greitu pokalbiu apie savo procesą.
Q4:Ar galiu priversti DI tekstą praeiti kaip žmogus su keliais patobulinimais?
Dažnai, taip. Perfrazavimas, asmeninių detalių pridėjimas ir sakinių ritmo keitimas gali apgauti detektorius. Štai kodėl vien tik balai neturėtų būti naudojami darbui bausti ar atmesti.
Q5:Kokia yra sąžininga politika naudoti GPT detektorius klasėje ar samdant?
Paskelbkite, kad detektoriai yra vienas iš kelių duomenų taškų, niekada vienintelis baudų pagrindas. Reikalaukite patvirtinimo, leiskite apeliacijas su juodraščių įrodymais ir teikite pirmenybę turiniui, o ne stiliui.
