Kodėl įmonių AI agentai žlunga – ir kaip juos paruošti darbui su {Glean} ir {AWS}
Štai drąsus teiginys: dauguma valdybos posėdžių salėse demonstruojamų „AI agentų“ nėra iš tikrųjų paruošti naudoti įmonėse. Jie haliucinuoja esant spaudimui, sugenda su realiais duomenimis ir negali praeiti {SOC} 2 audito. Jei norite, kad dirbtinis intelektas iš tikrųjų būtų patvirtintas jūsų teisinių, saugumo ir IT komandų ir iš tikrųjų naudojamas jūsų darbuotojų, jums reikia sukurti sistemą, kuri sujungtų įmonės lygio paiešką ({Glean}), patikimus debesijos primityvus ({AWS}) ir disciplinuotą architektūrą, kuri atlaikytų mastelį.
Šis vadovas žingsnis po žingsnio parodo, kaip sukurti įmonėms paruoštus AI agentus naudojant {Glean} ir {AWS} – nuo tapatybe pagrįstos paieškos iki saugaus įrankių naudojimo, nuo latentinio laiko biudžetų iki stebėjimo ir nuo bandomojo projekto iki gamybos.
Naudosime klausimais pagrįstą struktūrą, kad galėtumėte pereiti prie svarbiausių dalykų: prieigos prie duomenų, saugumo, architektūros ir diegimo.
Ką turime omenyje sakydami įmonėms paruošti AI agentai?
Įmonėms paruoštas AI agentas nėra tik pokalbių sąsaja. Tai saugi, audituojama sistema, kuri gali:
- Atsakyti į klausimus naudojant įmonės žinias griežtai laikantis leidimų ribų
- Atlikti veiksmus naudojant patvirtintus įrankius (pvz., {ServiceNow} bilietus, {Jira} užduotis, {Slack} pranešimus)
- Nurodyti šaltinius ir paaiškinti argumentus
- Veikti pagal įmonės {SSO}, {SCIM} ir {DLP} valdiklius
- Laikytis duomenų saugojimo vietos, registravimo ir saugojimo reikalavimų
- Mastelis iki tūkstančių vartotojų su nuspėjamu latentiniu laiku ir kaina
Štai kur AI agentų kūrimas su {Glean} ir {AWS} yra puikus: {Glean} teikia tapatybe pagrįstą įmonės paiešką ir paiešką tarp programų, o {AWS} suteikia skaičiavimo, orkestravimo, tinklų ir valdymo pagrindą, kurio jums reikės gamyboje.
Architektūra iš pirmo žvilgsnio: {Glean} + {AWS}
Pagalvokite apie sistemą kaip apie keturis sluoksnius:
- Tapatybės ir prieigos sluoksnis ({SSO}, {SCIM}, leidimai)
- {SSO} per {Okta}/{Azure} {AD}; {SCIM} apdorojimui; vaidmenų susiejimas
- {Glean} užtikrina dokumentų lygio leidimus užklausos metu
- {AWS} {Cognito} arba tiesioginis {SAML}/{OIDC} tarpininkauti prieigos raktams į paslaugas
- Įmonės paieškos sluoksnis ({Glean})
- Vieningas indeksas visuose {Google} {Drive}, {Slack}, {Confluence}, {Jira}, {GitHub}, {Box}, {Notion} ir kt.
- Paieška ir reitingavimas, atsižvelgiant į leidimus
- Užklausos perrašymas, hibridinė paieška, semantinis perreitingavimas
- Argumentavimo ir orkestravimo sluoksnis ({AWS} + modeliai)
- {AWS} {Lambda} arba {ECS} be būsenos agento veiksmams
- {Amazon} {Bedrock} valdomai prieigai prie pažangiausių modelių
- Žingsnių funkcijos kelių įrankių darbo eigoms ir bandymams iš naujo
- Paslapčių valdytojas / Parametrų saugykla raktams ir įrankių kredencialams
- Veiksmo ir įrankių sluoksnis (įmonės integracijos)
- Skaitymo ir rašymo operacijos įrašų sistemose ({ServiceNow}, {Salesforce}, {Jira}, {Slack})
- Apsaugos priemonės, patvirtinimai ir stebėjimas kiekvienam įrankio skambučiui
- Audito žurnalai {CloudWatch}/{OpenSearch} paaiškinamumui
Pagrindinis kūrimas: Kaip sukurti įmonėms paruoštus AI agentus naudojant {Glean} ir {AWS}
Žemiau pateikiamas praktinis, visapusiškas kelias. Pritaikykite savo rinkiniui, bet laikykitės principų.
1) Pirmiausia nustatykite tapatybę ir valdymą
- Įdiekite {SSO} per {Okta}/{Azure} {AD}. Susiekite grupes / vaidmenis su programų leidimais.
- Naudokite {SCIM} automatizuotam vartotojo gyvavimo ciklui (prisijungimas / perkėlimas / išėjimas). Atsisakymas turi būti automatiškai perkeltas agentui.
- Konfigūruokite {AWS} paskyras su mažiausiais privilegijų {IAM} vaidmenimis. Atskirkite kūrimo, parengimo, gamybos etapus. Prireikus įdiekite {VPC} galinius taškus, skirtus {Bedrock}, ir duomenų išvesties valdiklius.
- Apibrėžkite duomenų saugojimą: kiek laiko saugoti raginimus, atsakymus ir vektorinius įdėklus. Naudokite {KMS} užšifruotus {S3} kaupus žurnalams ir artefaktams.
Patarimas: tapatybę laikykite vykdymo signalu. Agentas turi perduoti galutinio vartotojo tapatybę per {Glean} ir įrankius, kad leidimų patikrinimai liktų nepakitę.
2) Prijunkite šaltinius prie {Glean} ir įgalinkite paiešką, atsižvelgiant į leidimus
- Prijunkite {Slack}, {Drive}, {Confluence}, {Notion}, {GitHub}, {Jira}, {Box} ir el. paštą pagal savo pėdsaką.
- Leiskite {Glean} nuskaityti ir indeksuoti mažiausiomis privilegijomis; patvirtinkite sritis su saugumu.
- Patvirtinkite leidimų sklaidą: vartotojas turėtų gauti tik tai, ką gali peržiūrėti šaltinio programoje.
- Sureguliuokite {Glean} užklausos konfigūraciją: įgalinkite užklausos perrašymą, hibridinį paiešką ir semantinį perreitingavimą, kad būtų pasiektas geresnis tikslumas.
Kodėl tai svarbu: daugumoje įmonių 70–90 % „haliucinacijų“ problemos iš tikrųjų yra paieškos problema. Su {Glean} AI agentas gauna tinkamus dokumentus, atsižvelgiant į vartotojo leidimus, žymiai sumažindamas riziką ir nereikšmingus atsakymus.
3) Pasirinkite modelius per {Amazon} {Bedrock} ir nustatykite apsaugos priemones
- Pradėkite nuo bendrojo modelio (pvz., {Claude}, {Llama} arba {Mistral} per {Bedrock}) ir A/B bandymo su domeno raginimais.
- Naudokite {Bedrock} apsaugos priemones saugos filtrams, raginimo įterpimo patikrinimams ir turinio politikoms.
- Apribokite atsakymus: reikalaukite citatų pagal dokumento ID / URL, įdiekite {JSON} schemas įrankių išvestims ir nustatykite maksimalų žetonų skaičių vienam veiksmui.
- Laikykitės latentinio laiko biudžeto: nustatykite tikslą, kad P95 nuo galo iki galo būtų < 2,5 s, skirtas klausimams ir atsakymams, ir < 6 s, skirtas įrankių naudojimo srautams.
4) Orkestruokite agentą {AWS}
Šablonas: {ReAct} stiliaus planavimas + įrankių naudojimas + pagrįstas atsakymas.
- Naudokite žingsnių funkcijas veiksmams koordinuoti: gauti → planuoti → įrankis → patvirtinti → atsakyti.
- Argumentavimo skambučiai vykdomi {Lambda} arba {ECS}; pasirinkite {Lambda} staigiam srautui, {ECS} nuolatiniam pralaidumui.
- Įrankių adapteriai ({Jira}, {Slack}, {ServiceNow}) yra be būsenos {Lambda} su {IAM} apibrėžtomis paslaptimis {AWS} paslapčių valdytoje.
- Saugokite trumpalaikę pokalbio būseną {DynamoDB} su {TTL}; ilgalaikę analizę {S3}/{Glue}/{Athena}.
5) Įdiekite paieškos papildytą generavimą ({RAG}) su {Glean}
- Užklausa {Glean} su vartotojo tapatybės prieigos raktu ir vartotojo klausimu.
- Gaukite geriausius k rezultatus (pvz., hibridiniai: k = 10 semantinių + 10 raktinių žodžių), gerbiant leidimus.
- Perreitinguokite naudodami {Glean} atitiktį; perduokite tik geriausius, pašalintus dublikatus modelio dalims.
- Reikalaukite, kad agentas nurodytų šaltinius ir įtrauktų pasitikėjimo balą.
Raginimo skeletas:
- Sistema: „Jūs esate pagrįstas įmonės asistentas. Naudokite tik pateiktą kontekstą. Jei jis nereikšmingas, užduokite papildomą klausimą. Visada nurodykite šaltinius pagal pavadinimą ir nuorodą.“
- Įrankiai: „Galite skambinti {Jira_CreateIssue}, {Slack_PostMessage}, {ServiceNow_CreateIncident}. Veikite tik pasikonsultavę su vartotoju, nebent veiksmų knyga leidžia automatizuoti.“
6) Pridėkite saugų įrankių naudojimą ir patvirtinimus
- Apvyniokite kiekvieną įrankį parametro patvirtinimu ir greičio apribojimu.
- Reikalaukite žmogaus patvirtinimo arba vadovo patvirtinimo svarbiems veiksmams (pvz., prieigos apdorojimas, P1 uždarymas).
- Registruokite kiekvieną įrankio skambutį (kas, ką, kada, įvesties schema, išvestis) į {CloudWatch} ir {S3} auditams.
- Norėdami skelbti {Slack}/{Teams}, palaikykite „juodraščio režimą“, kad galėtumėte peržiūrėti prieš siųsdami.
7) Stebėjimas, vertinimas ir dreifo valdymas
- Užfiksuokite raginimus, konteksto fragmentus, citatas ir atsakymus su redagavimu, kur reikia.
- Naudokite {OpenSearch} informacijos suvestines, kad stebėtumėte tikslumą@k, pagrįstumą ir nukreipimo dažnį.
- Vykdykite neprisijungusius vertinimus: kuruokite 100–300 organizacijai būdingų klausimų aukso rinkinį su numatomais atsakymais ir reikalingais šaltiniais.
- Suplanuokite kanarėles, kad aptiktumėte jungties arba leidimų dreifą (pvz., pakeistus {Slack} kanalus, disko migracijas).
8) Našumo ir kainos derinimas
- Talpinkite {Glean} užklausas kiekvienam vartotojui karštoms temoms (pvz., Žmogiškųjų išteklių politika) su trumpais {TTL}.
- Naudokite mažesnius modelius maršrutams, didesnius modelius tik sudėtingoms užklausoms arba kelių įrankių planams.
- Kai įmanoma, paketinį perreitingavimą; suspauskite kontekstą; naudokite fragmentų dubliavimą.
- Stebėkite išspręstos užduoties kainą; nustatykite kvotas vienai organizacijai ir vienai vartotojų grupei.
Pavyzdys: įmonės IT asistentas, sukurtas naudojant {Glean} ir {AWS}
Pažvelkime į konkretų scenarijų, kuris parodo, kaip sukurti įmonėms paruoštus AI agentus naudojant {Glean} ir {AWS}.
Naudojimo atvejis: IT palaikymo triažas ir sprendimas.
- Vartotojas klausia: „{VPN} neveikia {macOS} 14 po atnaujinimo – ar yra koks nors pataisymas?“
- Agentas nukreipia į IT veiksmų knygos takelį.
- Gavimas: užklausia {Glean} su vartotojo tapatybe ir paima {VPN} veiksmų knygą ({Confluence}), {Slack} giją iš #{it} - palaikymas ir {Jamf} politikos dokumentas. Atsižvelgiama tik į išteklius, prie kurių gali prisijungti vartotojas.
- Planavimas: agentas siūlo veiksmus: pasidalinti pataisymu, patikrinti įrenginio atitiktį per {Jamf} ir, jei neišspręsta, atidaryti {ServiceNow} incidentą.
- Įrankių skambučiai: nuskaito {Jamf} būseną (tik skaitymui), parengia pataisymo pranešimą ir paprašo vartotojo patvirtinti eskalavimą. Gavus patvirtinimą, sukuria incidentą su tinkamu šablonu.
- Atsakymas: pateikia glaustą pataisymo santrauką su citatomis į veiksmų knygą ir {Slack} giją, visa tai vartotojo leidimų ribose.
Kodėl tai veikia: agentas yra pagrįstas leidimais pagrįsta paieška iš {Glean}, o {AWS} tvarko vykdymą, patvirtinimus ir registravimą.
Saugumo ir atitikties kontrolinis sąrašas (nepraleiskite šio)
- Laikykite gavimo kontekstą serverio pusėje; neatskleiskite neapdoroto dokumento turinio klientui.
- Užšifruokite ramybės būsenoje naudodami {KMS}; įdiekite {TLS} 1.2+ tranzitu.
- Perduokite vartotojo tapatybę {Glean} ir įrankiams; niekada nenaudokite bendros roboto tapatybės paieškai.
- Susiekite {RBAC} iš {IdP} grupių su įrankių sritimis.
- Įgalinkite {Bedrock} apsaugos priemones; neleiskite slaptų žodžių raginimuose.
- Redaguokite {PII}, kur reikia, ir dokumentų saugojimo laikotarpius.
- Nekeičiami žurnalai į {S3} su objekto užraktu; eksportuokite į savo {SIEM}.
- Laikykite incidentų reagavimo ir modelio atšaukimo veiksmų knygą.
Įdiegimo planas: 10 žingsnių iki gamybos
- Apibrėžkite 3 geriausius agentų naudojimo atvejus (IT, žmogiškieji ištekliai, pardavimo operacijos) ir sėkmės metrikas (nukreipimo dažnis, {CSAT}, sprendimo laikas).
- Įdiekite {AWS} paskyras, {VPC}, {IAM} pagrindus ir {Bedrock} prieigą.
- Integruokite {SSO}/{SCIM}; susiekite vaidmenis ir patvirtinimo srautus.
- Prijunkite pagrindinius šaltinius {Glean} ir patvirtinkite paiešką, atsižvelgiant į leidimus.
- Sukurkite minimalią orkestravimo paslaugą ({Lambda} + {API} šliuzas) su žingsnių funkcijomis.
- Įdiekite {RAG} raginimo sutartį, citatas ir šaltinių filtravimą.
- Pridėkite du įrankius nuo galo iki galo (pirmiausia tik skaitymui, tada rašymui su patvirtinimu).
- Įdiekite registravimą, vertinimus ir informacijos suvestines; sukurkite 150 klausimų aukso rinkinį.
- Vykdykite uždarą beta versiją su 50–100 vartotojų; ištaisykite geriausias problemas; nustatykite {SLO}.
- Plačiai diekite; nustatykite savaitinę pakeitimų peržiūrą ir mėnesinį modelio vertinimą.
Dažnai užduodami klausimai kuriant AI agentus su {Glean} ir {AWS}
Kaip sumažinti haliucinacijas įmonių agentuose?
Pagrįskite modelį paieška iš {Glean} ir įdiekite griežtą raginimą: naudokite tik pateiktą kontekstą ir visada nurodykite šaltinius. Atmesti atsakymus su mažu pasitikėjimu ir užduokite patikslinančius klausimus. Dauguma haliucinacijų išnyksta, kai pasikliaujate leidimais pagrįsta paieška.
Ar agentas gali gerbti dokumentų lygio leidimus visose programose?
Taip. Kai kuriate AI agentus su {Glean} ir {AWS}, {Glean} įdiegia leidimus iš prijungtų programų užklausos metu, todėl agentas mato tik tai, prie ko gali prisijungti vartotojas. Visada perduokite vartotojo tapatybės prieigos raktą, kad išlaikytumėte priežiūros grandinę.
Nuo kokių modelių turėčiau pradėti {AWS}?
Naudokite {Amazon} {Bedrock} prieigai prie kelių modelių. Pradėkite nuo stipraus bendrojo modelio, skirto argumentavimui, ir mažesnio, greitesnio modelio, skirto maršrutams. Įvertinkite latentinį laiką, kainą ir tikslumą pagal savo kuruojamą aukso rinkinį.
Kaip saugiai leisti agentams atlikti veiksmus tokiose sistemose kaip {Jira} ar {ServiceNow}?
Apvyniokite kiekvieną įrankį griežtomis schemomis, įvesties patvirtinimu ir patvirtinimo darbo eiga. Registruokite kiekvieną įrankio skambutį ir saugokite išvestis auditui. Norėdami atlikti svarbius veiksmus, atlikite žmogaus patvirtinimo veiksmą.
Kokios metrikos įrodo, kad agentas yra paruoštas gamybai?
Stebėkite pagrįstumą (citatų dažnį), atsakymo tikslumą, P95 latentinį laiką, sprendimo / nukreipimo dažnį ir išspręstos užduoties kainą. Kurkite informacijos suvestines ir atlikite savaitinius regresijos patikrinimus savo aukso rinkinyje.
Beje: spartinant kūrimo ciklą
Verta paminėti: jei jūsų komanda dažnai kuria prototipus, pilotas, skirtas tyrimams ir rengimui, gali pagreitinti projektavimo dokumentus, veiksmų knygas ir raginimų kartojimus. Tokie įrankiai kaip Sider.AI padeda komandoms apibendrinti ilgas temas, parengti vertinimo raginimus ir palyginti modelių išvestis greta – tai naudinga, kai derinate, kaip sukurti įmonėms paruoštus AI agentus su {Glean} ir {AWS}. Pagrindiniai dalykai ir tolesni veiksmai
- AI agentų kūrimas su {Glean} ir {AWS} suteikia jums tapatybe pagrįstą paiešką ir įmonės lygio orkestravimą.
- Prieš kurdami sudėtingą planavimo logiką, pradėkite nuo tapatybės, valdymo ir leidimais pagrįstos paieškos.
- Naudokite {Bedrock} apsaugos priemones, griežtas įrankių schemas ir žmogaus patvirtinimus.
- Instrumentuokite viską: vertinimus, auditus ir sąnaudų kontrolę.
Tolesni veiksmai šią savaitę:
- Parengkite tris geriausius naudojimo atvejus ir sėkmės metrikas.
- Prijunkite du pagrindinius šaltinius {Glean}; paleiskite 150 klausimų įvertinimą.
- Įdiekite minimalų {Lambda} + žingsnių funkcijų orkestratorių su vienu tik skaitymui skirtu įrankiu.
- Nustatykite latentinio laiko ir kainos biudžetus prieš plečiantis pilotui.
DUK
Q1: Ką reiškia įmonėms paruoštas AI agentams {AWS}? Tai reiškia saugius, audituojamus agentus, kurie gerbia {SSO} ir dokumentų leidimus, pateikia citatas ir veikia suderinamoje infrastruktūroje. Kai kuriate AI agentus su {Glean} ir {AWS}, gaunate leidimais pagrįstą paiešką ir debesies lygio stebėjimą.
Q2: Kaip {Glean} apsaugo nuo duomenų nutekėjimo AI atsakymuose? {Glean} įdiegia dokumentų lygio leidimus iš kiekvienos prijungtos programos užklausos metu. Agentas gauna tik turinį, prie kurio gali prisijungti vartotojas, o tai labai svarbu kuriant įmonėms paruoštus AI agentus su {Glean} ir {AWS}.
Q3: Kurias {AWS} paslaugas turėčiau naudoti orkestravimui? Naudokite {Lambda} arba {ECS} vykdymui, žingsnių funkcijas kelių žingsnių darbo eigoms, {Bedrock} modeliams ir apsaugos priemonėms bei paslapčių valdytoją kredencialams. Šis rinkinys yra įrodytas pagrindas kuriant AI agentus su {Glean} ir {AWS}.
Q4: Kaip įvertinti tikslumą ir sumažinti haliucinacijas? Sukurkite klausimų aukso rinkinį, reikalaukite citatų ir naudokite paieškos papildytą generavimą. Su {Glean} ir {AWS} leidimais pagrįsta paieška ir apsaugos priemonės žymiai sumažina haliucinacijas.
Q5: Ar AI agentai gali saugiai atlikti veiksmus, pvz., kurti bilietus arba skelbti {Slack}? Taip – su schemomis patvirtintais įrankiais, patvirtinimais svarbiems veiksmams ir visišku audito registravimu. Tai yra pagrindinis šablonas kuriant įmonėms paruoštus AI agentus su {Glean} ir {AWS}.
