Ar kada bandėte sutvarkyti žodyną, kuris dauginasi kaip Grimlinais?
Kartą atidariau kliento „galutinį“ terminų sąrašą ir radau 14 įvairių „onboarding“ versijų – on-boarding, on boarding, OnBoarding ir kažkieno keistą pusbrolį „User Ignition“. Jei kada nors valėte virtuvės stalčių su visokiomis smulkmenomis, žinote tą jausmą. Būtent toks yra nuoseklios terminijos bazės kūrimas – kol patikite tą betvarkę dirbtinio intelekto (DI) valdomam terminų ištraukimui su geru, pažangiu „Sider“ naudotojo raginimu.
Tai nėra dar vienas pamokslas „DI pakeis viską“. Tai yra „DI, prašau ištraukti terminus, kurie iš tikrųjų svarbūs mano produktui, nehalucinuok ir padėk man išsiųsti švarų žodyną iki pietų“. Padarykime DI valdomą terminų ištraukimą ne tik protingu, bet ir pakartojamu, audituojamu ir šiek tiek mažiau „grimlinisku“.
Ką mes čia darome (ir kodėl tai svarbu)
Turite krūvas turinio: produktų dokumentus, teisinius dokumentus, UX eilutes, laidų aprašymus ir atsitiktinį pavadinimų generavimą, kurį kažkas atliko 1 val. nakties. DI valdomas terminų ištraukimas gali nuskaityti visą šieno kupetą ir ištraukti adatas: pagrindinius daiktavardžius, konkrečios srities veiksmažodžius, akronimus, produktų pavadinimus ir tas klastingas frazes („single sign-on“, „rate limiting“, „zero-shot prompting“), apie kurias jūsų vertėjai ir rašytojai tikrai klaus vėliau.
Esminis dalykas yra raginimas. Ne poetinis raginimas. Struktūruotas, specialiai nuobodus, pažangus „Sider“ naudotojo raginimas, kuris kiekvieną kartą užtikrina nuoseklų, patikimą terminų ištraukimą.
nekantriems
- Jums reikia struktūruoto, audituojamo raginimo, kuris pasakytų DI, ką ištraukti ir ką ignoruoti.
- Pirmiausia paprašykite mašinoms suprantamos išvesties (JSON arba TSV), o tada – žmonėms suprantamų pastabų.
- Priverskite laikytis taisyklių: kalbos dalis, srities filtrai, dažnumo slenksčiai ir konteksto langai.
- Visada pašalinkite dublikatus, normalizuokite ir aiškiai nustatykite stiliaus sprendimus (didžiąsias raides, brūkšnius).
- Vykdykite ištraukimus pagal šaltinio sritį, tada suderinkite. Nemaišykite finansų terminų su kūrėjų dokumentais.
Pradinis rinkinys: kaip DI valdomas terminų ištraukimas iš tikrųjų veikia
Pagalvokite apie DI valdomą terminų ištraukimą kaip apie greitus pasimatymus žodžiams. Modelis susitinka su kiekvienu žetonu, užduoda kelis klausimus (Ar esate srities terminas? Ar žmonėms rūpite? Ar keičiate reikšmę skirtinguose kontekstuose?) ir duoda rožę tik tiems, kuriuos verta parsivesti namo į žodyną.
Dideli kalbos modeliai gerai atlieka šiuos veiksmus:
- Daugiažodžių terminų ir variantų atpažinimas: „two-factor authentication“ (dviejų veiksnių autentifikavimas), „2FA“, „two step verification“ (dviejų žingsnių patvirtinimas).
- Konkrečios srities reikšmių parinkimas: „agent“ (agentas) DI srityje ir „agent“ (agentas) nekilnojamojo turto srityje.
- Svarbos vertinimas pagal dažnumą + teminį aktualumą.
Jie prasčiau atlieka šiuos veiksmus:
- Žinoti jūsų komandos pageidavimus dėl „log in“ (veiksmažodis) ir „login“ (daiktavardis).
- Darbas su vidiniais kodo pavadinimais, kuriuos sugalvojote antradienį.
- Neperkrauti kiekvieno didžiąja raide parašyto daiktavardžio kaip VIP naktiniame klube.
Taigi mes tai ištaisome raginimu. Labai konkrečiu.
Išplėstinis „Sider“ naudotojo raginimas DI valdomam terminų ištraukimui
Nukopijuokite tai. Redaguokite tai. Priklijuokite tai prie savo PM klaviatūros. Tikslas: nuosekli, švari terminų išvestis, kurią galite perduoti lokalizacijai, dokumentams, UX ir rinkodarai nesukurdami žodyno pilietinio karo.
H2: Išplėstinis raginimas: DI valdomas terminų ištraukimas produktams ir dokumentams
Sistema/Vaidmuo
„Jūs esate kruopštus terminijos analitikas. Jūs nustatote konkrečios srities terminus ir jų variantus, glaustai juos apibrėžiate ir pateikiate naudojimo pastabas. Jūs pateikiate patvirtintus, mašinoms suprantamus duomenis su aiškiais argumentais ir nulinėmis haliucinacijomis.“
Užduotis
„Ištraukite sričiai svarbius terminus iš pateikto turinio. Pirmenybę teikite produktų pavadinimams, funkcijų pavadinimams, techniniams daiktavardžiams, akronimams ir stabilioms daugiažodėms išraiškoms. Pašalinkite bendrinę kalbą, neaiškias rinkodaros frazes ir nesritinius būdvardžius.“
Apribojimai
- JSON masyvas, pavadintas „terms“ (terminai) su laukais:
- term (eilutė, kanoninė forma, mažosiomis raidėmis, nebent tai tikrinis daiktavardis)
- variants (eilučių masyvas)
- pos (eilutė: daiktavardis, veiksmažodis, būdvardis)
- domain (eilutė: pvz., saugumas, atsiskaitymas, analizė)
- definition (<= 25 žodžių, konkreti, be rinkodaros pagražinimų)
- usage_example (10–20 žodžių, paprastas sakinys)
- context_snippets (1–3 trumpų citatų iš šaltinio masyvas)
- notes: trumpas normalizavimo taisyklių, kurias pritaikėte (brūkšniavimas, didžiosios raidės, santrumpų išplėtimai), sąrašas su ženkleliais
- Įtraukite tik tuos terminus, kurie pasirodo bent du kartus ARBA yra kritiniai tikriniai daiktavardžiai.
- Sugrupuokite daugiažodžius terminus (pvz., „role-based access control“ (rolėmis pagrįstas prieigos valdymas)).
- Nuosekliai normalizuokite brūkšniavimą ir didžiąsias raides.
- Susiekite variantus: vienaskaita / daugiskaita, brūkšniavimas, camelCase, akronimų išplėtimai.
Filtrai
- Pašalinkite: bendrinius būdvardžius, nuorodas į laiką, įmonės standartines formuluotes, šūkius, žmonių vardus, nebent jie yra kritiniai produktui, dviprasmius vienaskiemius žodžius be srities konteksto.
- Pašalinkite dublikatus iš visų dokumentų.
Formatavimas
- Grąžinkite galiojantį JSON formatą „terms“ (terminai) blokui. Jokių komentarų prieš ar po JSON.
- Toliau pateikite paprasto teksto skyrių „Notes“ (Pastabos).
Vertinimas
- Vertinkite pasitikėjimą pagal įrodymų tankį: dažnumą, artumą prie apibrėžimų, antraštes, į žodyną panašų naudojimą.
Įvestis
- Turinį gausite segmentais. Kiekvienam segmentui ištraukite terminus ir sujungkite į esamą rinkinį.
Patvirtinimas
- Jei termino negalima apibrėžti iš konteksto, pažymėkite jį su pasitikėjimu < 0,5 ir pridėkite užklausą skyriuje „Notes“ (Pastabos), kad pateiktumėte daugiau pavyzdžių.
Išvesties pavyzdys (sutrumpintas)
terms: [
{
"term": "two-factor authentication",
"variants": ["2fa", "two-step verification"],
"pos": "noun",
"domain": "security",
"definition": "A login process requiring two independent proofs of identity.",
"usage_example": "Enable two-factor authentication for admin accounts in settings.",
"context_snippets": ["Enable 2FA in the Security tab", "two-step verification emails"],
"confidence": 0.92
}
]
Pastabos:
- Normalizuotas brūkšniavimas „role-based access control“ (rolėmis pagrįstas prieigos valdymas).
- Kanonizuoti akronimų išplėtimai.
- Didžiosiomis raidėmis parašyti tikriniai daiktavardžiai: „PostgreSQL“, „OAuth 2.0“.
Štai. Tai jūsų daugkartinio naudojimo variklis. Padarykite jį nuobodų. Padarykite jį nuoseklų. Padarykite jį tuo dalyku, už kurį ateityje padėkosite sau 23:59 lokalizacijos termino dieną.
Realus darbo srautas: nustokite maišyti sriubą
Nemaišytumėte pomidorų sriubos su kava su ledais. (Jei maišytumėte, turime pasikalbėti.) Tas pats čia: laikykite šaltinius atskirai, tada suderinkite.
- 1 etapas: Vykdykite DI valdomą terminų ištraukimą tik su produktų dokumentais. Eksportuokite JSON.
- 2 etapas: Vykdykite su kūrėjų dokumentais. Eksportuokite JSON.
- 3 etapas: Vykdykite su teisine / politikos medžiaga. Eksportuokite JSON, bet tikrai filtruokite rinkodaros kalbą.
- Suderinimas: Sujunkite JSON masyvus. Pašalinkite dublikatus pagal kanoninę formą. Išsaugokite variantus pagal sritį. Jei „token“ (ženklas) reiškia skirtingus dalykus saugumo ir atsiskaitymo srityse, laikykite abu, aiškiai apibrėžtus.
Profesionalus patarimas: pridėkite lauką „source“ (šaltinis) ištraukimo metu, kad visada žinotumėte, iš kur kilo terminas, kai kas nors sušunka „Kas pridėjo ‘magic sauce’ (stebuklingą padažą) į API?“
Vertinimas ir pasitikėjimas: nes ne viskas nusipelno žodyno pilietybės
Jei terminas pasirodo du kartus išnašose ir niekada antraštėse, jis nėra VIP. Naudokite trijų signalų balą:
- Dažnumas: neapdorotas skaičius visuose šaltiniuose.
- Artumas: terminai šalia antraščių, apibrėžimų, parametrų lentelių gauna didesnį svorį.
- Nuoseklumas: kuo mažiau konkuruojančių reikšmių jūsų rinkinyje, tuo didesnis pasitikėjimas.
Jei terminas įvertinamas žemai, bet suinteresuotoji šalis primygtinai reikalauja jį išsaugoti (sveiki, „platform“ (platforma)), pridėkite jį su naudojimo pastaba: „Venkite bendrinio rinkodaros naudojimo; teikite pirmenybę konkretiems funkcijų pavadinimams.“
Normalizavimo taisyklės: dalis, dėl kurios visi ginčijasi
DI valdomas terminų ištraukimas atlieka sunkųjį darbą, tačiau normalizavimas palaiko ramybę:
- Didžiosios raidės: Tikriniai daiktavardžiai rašomi didžiosiomis raidėmis (OAuth 2.0), funkcijos – mažosiomis, nebent yra prekės ženklas.
- Brūkšniavimas: Pasirinkite kryptį. role-based access control (RBAC) (rolėmis pagrįstas prieigos valdymas), o ne „role based“.
- Daiktavardis ir veiksmažodis: login (daiktavardis), log in (veiksmažodis). Taip, tai svarbu. Taip, jūsų programėlė juos maišo.
- Akronimai: Pirmą kartą paminėkite kaip visą terminą (role-based access control (rolėmis pagrįstas prieigos valdymas)), tada – akronimą (RBAC).
- Daugiskaita: Kanoninė forma paprastai yra vienaskaita, nebent terminas iš prigimties yra daugiskaitinis (credentials (įgaliojimai)).
Įtraukite tai į savo raginimo skyrių „Notes“ (Pastabos), kad modelis juos sustiprintų.
Daugiakalbis? Neverkite terminų. Valdykite juos.
Lokalizacijos komandoms žodynas yra įstatymas. Pirmiausia ištraukite šaltinio kalba, tada sukurkite terminų įrašus tikslinėms lokalėms su laukais:
- source_term, locale_term, part_of_speech, gender/grammar notes, do-not-translate flag, forbidden forms (šaltinio_terminas, lokalės_terminas, kalbos_dalis, lyties / gramatikos pastabos, ne_versti_žymė, draudžiamos_formos).
- Pridėkite kultūrinių įspėjimų. „Agent“ (agentas) DI srityje ir „agente“ ispanų kalba klientų aptarnavimo srityje – skirtingi dalykai.
DI gali padėti kurti tikslinės kalbos pasiūlymus, bet palikite „do not translate“ (neversti) ant produktų pavadinimų, sistemos kintamųjų ir kodo elementų. Jūsų būsima QA komanda jums padėkos.
Didžiausios klaidos, kurias matau (ir kaip jų išvengti)
- Per didelis didžiosiomis raidėmis parašytų žodžių ištraukimas: Ištaisykite filtrais: „Tikriniai daiktavardžiai tik tuo atveju, jei tai produktas / paslauga ar standartai (pvz., OAuth, Kubernetes).“
- Neaiškūs apibrėžimai: Priverskite ne daugiau kaip 25 žodžius su patikrinamu elgesiu („Apriboja užklausas per minutę vienam vartotojui“).
- Nėra pavyzdžių: Visada įtraukite usage_example (naudojimo_pavyzdys). Žmonės mokosi matydami.
- Sričių maišymas: Pažymėkite sritį pagal terminą. Galite suderinti vėliau, bet neapsimeskite, kad „key“ (raktas) reiškia tą patį visur.
- Nėra versijų kūrimo: Žodynai keičiasi. Išsaugokite versijos žymą. Pridėkite lauką „deprecated“ (pasenęs) seniems pavadinimams.
Greitas bandomasis važiavimas su pavyzdine pastraipa
Tarkime, jūsų dokumente rašoma: „Enable two-factor authentication for admin users. Our role-based access control (RBAC) lets you assign custom roles. API keys must be rotated every 90 days.“ („Įgalinkite dviejų veiksnių autentifikavimą administratoriaus vartotojams. Mūsų rolėmis pagrįstas prieigos valdymas (RBAC) leidžia priskirti pasirinktinius vaidmenis. API raktai turi būti keičiami kas 90 dienų.“)
Geras ištraukimas grąžina:
- two-factor authentication (variants: 2FA, two-step verification) (dviejų veiksnių autentifikavimas (variantai: 2FA, dviejų žingsnių patvirtinimas)) – domain: security (sritis: saugumas)
- role-based access control (RBAC) (rolėmis pagrįstas prieigos valdymas (RBAC)) – domain: security (sritis: saugumas)
- admin user (variants: administrator) (administratoriaus vartotojas (variantai: administratorius)) – domain: identity (sritis: tapatybė)
- API key (API raktas) – domain: security/devops (sritis: saugumas / devops)
- key rotation (raktų keitimas) – domain: security (sritis: saugumas)
Blogas ištraukimas grąžina:
- enable; users; days; custom; rotation (prašau, ne) (įgalinti; vartotojai; dienos; pasirinktinis; keitimas (prašau, ne))
Kas turėtų tai valdyti? Užuomina: ne „visi“.
- Dokumentai / turinys: valdo apibrėžimus ir pavyzdžius.
- Produktas / UX: patvirtina funkcijų pavadinimus ir didžiąsias raides.
- Inžinerija / DevRel: tikrina techninį tikslumą ir parametrų pavadinimus.
- Lokalizacija: prideda lokalės taisykles ir draudžiamas formas.
- Teisė / prekės ženklas: patvirtina prekės ženklais pažymėtus pavadinimus ir stilių.
DI yra stažuotojas, kuris niekada nemiega. Žmonės vis dar nustato taisykles.
Verta paminėti: Sider.AI gali būti jūsų ištraukimo autopilotas
Jei norėtumėte popietę praleisti gurkšnodami kavą, o ne grumdamiesi su CSV, Sider.AI gali paleisti šį išplėstinį raginimą keliuose dokumentuose, sujungti JSON ir leisti jums greičiau patikrinti rezultatus, nei ištartumėte „Kas išrado camelCase?“ Mano testuose šalia esantis UI rodinys variantams ir pasitikėjimo balams neleidžia jums patvirtinti „log-out“ viename puslapyje ir „logout“ kitame. Tai nėra magija – tiesiog geros apsaugos priemonės. Įspėjimas: vis tiek turite parašyti raginimą kaip bosas ir nustatyti normalizavimo taisykles. Įrankiai neištaiso neryžtingumo. Jie tiesiog padaro tai akivaizdu.
Kaip įdiegti tai į savo turinio srautą be dramos
- Pridėkite ištraukimą prie savo PR / sujungimo kontrolinio sąrašo. Nauja funkcija? Nauji terminai.
- Vykdykite kasnakt pakeistuose dokumentuose. Palyginkite JSON. Sutelkite apžvalgą į naujus / mažo pasitikėjimo įrašus.
- Apsaugokite vertimus nuo žodyno užbaigtumo. Jokių terminų, jokių bilietų.
- Stebėkite sprendimų žurnalą: kai „Spaces“ tapo „Projects“, pažymėkite tai. Jūsų būsimas aš negali skaityti minčių.
Tendencijos: kas toliau DI valdomam terminų ištraukimui
- Konteksto valdymas: modeliai, kurie automatiškai aptinka prieštaringas reikšmes ir siūlo srities padalijimus.
- Tiesioginis UI susiejimas: žodyno įrašai, kurie sinchronizuojami tiesiai į jūsų dizaino sistemą ir komponentų bibliotekas.
- Atkūrimo papildytas patvirtinimas: modelis cituoja, kur jis matė terminą ir kodėl jis svarbus.
- Kokybės vertinimas: nuspėjamos žymės, kai terminas yra per bendrinis, kad būtų naudingas.
Taip, kai kurie iš jų egzistuoja fragmentais. Smagiausia dalis yra padaryti tai nuobodų ir patikimą.
Paprastas kontrolinis sąrašas (laminuokite tai)
- Vykdykite išplėstinį „Sider“ raginimą su griežta JSON išvestimi.
- Žymėkite pagal sritį ir įvertinkite pasitikėjimą.
- Normalizuokite: didžiąsias raides, brūkšniavimą, akronimus, daiktavardį / veiksmažodį.
- Pridėkite apibrėžimus ≤ 25 žodžių + naudojimo pavyzdį.
- Sujunkite išvestis pagal šaltinį; pašalinkite dublikatus su kanoninėmis formomis.
- Kurkite žodyno versijas. Pažymėkite pasenusius terminus.
- Užrakinkite „do not translate“ (neversti) elementus lokalizacijai.
- Peržiūrėkite mažo pasitikėjimo elementus su SME.
Apibendrinimas: mažiau grimlinų, daugiau aiškumo
DI valdomas terminų ištraukimas nepadarys jūsų produkto paprastesnio. Bet tai padarys jūsų kalbą nuoseklią – o nuoseklumas yra būdas nustoti ginčytis dėl „log in“ (prisijungti), kol kuriate funkcijas. Pradėkite nuo išplėstinio raginimo. Laikykite jį nuobodų. Ir kai kas nors į specifikaciją įtrauks „User Ignition“ (Vartotojo uždegimas), jūsų sistema mandagiai paklaus: „Apibrėžkite tai, prašau.“
Dabar eikite išvalyti tą žodyno stalčių. Gumytės gali likti. Pasibaigęs sojų padažas? Ne terminas. Tikrai pasibaigęs.
DUK
1 klausimas:Kas yra DI valdomas terminų ištraukimas paprasta kalba?
Tai yra DI naudojimas jūsų turiniui nuskaityti ir svarbiems srities terminams – tokiems kaip funkcijų pavadinimai, akronimai ir daugiažodės frazės – ištraukti, tada juos apibrėžti ir normalizuoti. Pagalvokite apie tai kaip apie automatinį švaraus, tinkamo naudoti žodyno kuravimą.
2 klausimas:Kaip parašyti išplėstinį „Sider“ naudotojo raginimą geresniam terminų ištraukimui?
Būkite konkretūs ir nuobodūs: reikalaukite JSON išvesties, apibrėžkite įtraukimo / pašalinimo taisykles, reikalaukite apibrėžimų ir pavyzdžių bei pažymėkite sritis. Pridėkite normalizavimo pastabas, kad modelis taikytų nuoseklų raidžių dydį, brūkšniavimą ir akronimų tvarkymą.
3 klausimas:Kaip išvengti, kad DI per daug neištrauktų atsitiktinių didžiosiomis raidėmis parašytų žodžių?
Naudokite filtrus, kurie leidžia tik produktų pavadinimus, standartus ir aiškius daugiažodžius terminus su kontekstu. Reikalaukite dažnumo slenksčių ir pasitikėjimo balų, kad bendriniai ar vienkartiniai žodžiai būtų filtruojami.
4 klausimas:Ar turėčiau ištraukti terminus iš visų dokumentų vienu metu?
Vykdykite ištraukimus pagal sritį – produktų dokumentus, kūrėjų dokumentus, teisinius dokumentus – tada sujungkite ir pašalinkite dublikatus. Tai išsaugo kontekstą ir apsaugo nuo susidūrimų, kai „token“ (ženklas) reiškia penkis skirtingus dalykus skirtingose komandose.
5 klausimas:Kur Sider.AI padeda šiame darbo sraute?
Sider.AI leidžia jums paleisti išplėstinį raginimą keliuose failuose, sujungti išvestis ir greitai peržiūrėti pasitikėjimą ir variantus. Tai nenuspręs stiliaus už jus, bet palengvins jūsų taisyklių vykdymą. 
