Zakaj podjetniški AI agenti ne uspejo – in kako jih s pomočjo Glean in AWS pripraviti za uporabo v produkciji
Sledi drzna trditev: večina "AI agentov", ki so bili predstavljeni v sejnih sobah, v resnici niso pripravljeni za uporabo v podjetjih. Pod pritiskom halucinirajo, se pokvarijo na resničnih podatkih in ne morejo prestati revizije SOC 2. Če želite AI, ki jo bodo vaše pravne, varnostne in IT ekipe dejansko odobrile – in jo bodo vaši zaposleni dejansko uporabljali – potrebujete gradnjo, ki združuje pridobivanje podatkov na ravni podjetja (Glean), robustne gradnike v oblaku (AWS) in disciplinirano arhitekturo, ki bo preživela obremenitev.
Ta vodnik vas korak za korakom vodi skozi gradnjo AI agentov, pripravljenih za uporabo v podjetjih, s pomočjo Glean in AWS – od pridobivanja podatkov, ki upošteva identiteto, do varne uporabe orodij, od proračunov za zakasnitev do opaznosti in od pilotnega projekta do produkcije.
Uporabili bomo strukturo, ki jo vodijo vprašanja, da lahko preskočite na tisto, kar je najpomembnejše: dostop do podatkov, varnost, arhitekturo in uvedbo.
Kaj mislimo z AI agenti, pripravljenimi za uporabo v podjetjih?
AI agent, pripravljen za uporabo v podjetjih, ni le vmesnik za klepet. Je varen sistem z možnostjo revizije, ki lahko:
- Odgovarja na vprašanja z uporabo znanja podjetja s strogimi mejami dovoljenj
- Izvaja dejanja prek odobrenih orodij (npr. prijave ServiceNow, težave Jira, objave Slack)
- Navaja vire in pojasnjuje razloge
- Deluje pod nadzorom SSO, SCIM in DLP podjetja
- Je skladen z zahtevami glede prebivanja podatkov, beleženja in hrambe
- Se prilagaja na tisoče uporabnikov s predvidljivo zakasnitvijo in stroški
Tu se gradnja AI agentov z Glean in AWS izkaže: Glean zagotavlja iskanje in pridobivanje podatkov v podjetju, ki upošteva identiteto, med različnimi aplikacijami, medtem ko AWS prinaša računalniško moč, orkestracijo, mreženje in temelje upravljanja, ki jih boste potrebovali v produkciji.
Arhitektura na kratko: Glean + AWS
Sistem si predstavljajte kot štiri plasti:
- Plast identitete in dostopa (SSO, SCIM, dovoljenja)
- SSO prek Okta/Azure AD; SCIM za omogočanje; preslikave vlog
- Glean uveljavlja dovoljenja na ravni dokumenta ob času poizvedbe
- AWS Cognito ali neposredni SAML/OIDC za posredovanje žetonov v storitve
- Plast pridobivanja podatkov za podjetja (Glean)
- Enotni indeks v Google Drive, Slack, Confluence, Jira, GitHub, Box, Notion in drugih
- Pridobivanje in razvrščanje, ki upošteva dovoljenja
- Prepisovanje poizvedb, hibridno iskanje, semantično prerazvrščanje
- Plast sklepanja in orkestracije (AWS + modeli)
- AWS Lambda ali ECS za korake agenta brez stanja
- Amazon Bedrock za upravljan dostop do vrhunskih modelov
- Step Functions za poteke dela z več orodji in ponovne poskuse
- Secrets Manager/Parameter Store za ključe in poverilnice orodij
- Plast dejanj in orodij (integracije za podjetja)
- Operacije branja in pisanja v sisteme evidence (ServiceNow, Salesforce, Jira, Slack)
- Zaščitne ograje, odobritve in opazovanje za vsak klic orodja
- Dnevniki revizij v CloudWatch/OpenSearch za razložljivost
Osrednja gradnja: Kako z Glean & AWS zgraditi AI agente, pripravljene za uporabo v podjetjih
Spodaj je praktična pot od začetka do konca. Prilagodite jo svojemu skladu, vendar ohranite načela.
1) Najprej nastavite identiteto in upravljanje
- Vzpostavite SSO prek Okta/Azure AD. Preslikajte skupine/vloge v dovoljenja za aplikacije.
- Uporabite SCIM za avtomatiziran življenjski cikel uporabnika (pridružitev/premestitev/odhod). Razveljavitev omogočanja mora prehajati na agenta.
- Konfigurirajte AWS račune z vlogami IAM z najmanjšimi privilegiji. Ločite razvoj, preizkušanje in produkcijo. Uveljavite končne točke VPC za Bedrock in nadzor izhodnih podatkov, kjer je to potrebno.
- Določite hrambo podatkov: kako dolgo shranjevati pozive, odzive in vektorske vstavitve. Uporabite S3 vedra, šifrirana s KMS, za dnevnike in artefakte.
Nasvet: Obravnavajte identiteto kot signal v času izvajanja. Agent mora posredovati identiteto končnega uporabnika prek Glean in orodij, da ostanejo preverjanja dovoljenj nedotaknjena.
2) Povežite vire v Glean in omogočite pridobivanje podatkov, ki upošteva dovoljenja
- Povežite Slack, Drive, Confluence, Notion, GitHub, Jira, Box in e-pošto glede na vaše potrebe.
- Dovolite Gleanu, da brska in indeksira z najmanjšimi privilegiji; potrdite obsege z varnostjo.
- Preverite širjenje dovoljenj: uporabnik bi moral pridobiti samo tisto, kar si lahko ogleda v izvorni aplikaciji.
- Prilagodite konfiguracijo poizvedb Glean: omogočite prepisovanje poizvedb, hibridno pridobivanje in semantično prerazvrščanje za boljšo natančnost.
Zakaj je to pomembno: V večini podjetij je 70–90 % problema "halucinacij" dejansko problem pridobivanja podatkov. Z Gleanom AI agent pridobi prave dokumente, odvisno od uporabnikovih dovoljenj, kar močno zmanjša tveganje in nepomembne odgovore.
3) Izberite modele prek Amazon Bedrock in nastavite zaščitne ograje
- Začnite s splošnim modelom (npr. Claude, Llama ali Mistral prek Bedrock) in A/B testirajte glede na domenske pozive.
- Uporabite Bedrock Guardrails za varnostne filtre, preverjanja vbrizgavanja pozivov in pravilnike o vsebini.
- Omejite odzive: zahtevajte navedbe po ID-ju/URL-ju dokumenta, uveljavite sheme JSON za izhode orodij in nastavite največje število žetonov na korak.
- Ohranite proračun za zakasnitev: ciljajte na P95 od konca do konca < 2,5 s za vprašanja in odgovore in < 6 s za poteke uporabe orodij.
4) Orkestrirajte agenta na AWS
Vzorec: Načrtovanje v slogu ReAct + uporaba orodja + utemeljeni odgovori.
- Uporabite Step Functions za usklajevanje korakov: pridobivanje → načrtovanje → orodje → potrditev → odgovor.
- Klici sklepanja se izvajajo v Lambda ali ECS; izberite Lambda za promet z izbruhi, ECS za trajno prepustnost.
- Adapterji za orodja (Jira, Slack, ServiceNow) so Lambda brez stanja s skrivnostmi z obsegom IAM v AWS Secrets Manager.
- Shranite kratkotrajno stanje pogovora v DynamoDB s TTL; dolgoročno analitiko v S3/Glue/Athena.
5) Izvedite generiranje, dopolnjeno s pridobivanjem (RAG) z Glean
- Poizvedujte Glean z žetonom identitete uporabnika in uporabnikovim vprašanjem.
- Pridobite najboljše rezultate k (npr. hibridno: k=10 semantično + 10 ključnih besed), pri čemer upoštevajte dovoljenja.
- Prerazvrstite z Gleanovo relevantnostjo; posredujte samo najboljše, deduplicirane dele modelu.
- Zahtevajte, da agent navede vire in vključi oceno zaupanja.
Okvir poziva:
- Sistem: "Ste utemeljen podjetniški pomočnik. Uporabljajte samo priloženo besedilo. Če je nepomembno, postavite dodatno vprašanje. Vedno navedite vire po naslovu in povezavi."
- Orodja: "Lahko pokličete Jira_CreateIssue, Slack_PostMessage, ServiceNow_CreateIncident. Ukrepajte šele po potrditvi z uporabnikom, razen če priročnik dovoljuje avtomatizacijo."
6) Dodajte varno uporabo orodij in odobritve
- Zavijte vsako orodje s preverjanjem parametrov in omejevanjem hitrosti.
- Zahtevajte človeško potrditev ali odobritev vodje za pomembna dejanja (npr. omogočanje dostopa, zapiranje P1).
- Zabeležite vsak klic orodja (kdo, kaj, kdaj, vhodna shema, izhod) v CloudWatch in S3 za revizije.
- Za objave v Slack/Teams podpirajte "način osnutka" za predogled pred pošiljanjem.
7) Opazovanje, ocenjevanje in nadzor odstopanja
- Zajemite pozive, izrezke besedila, navedbe in odzive z redakcijo, kjer je to potrebno.
- Uporabite nadzorne plošče OpenSearch za spremljanje natančnosti@k, utemeljenosti in stopnje odklona.
- Izvajajte ocene brez povezave: pripravite zlati nabor 100–300 vprašanj, specifičnih za organizacijo, s pričakovanimi odgovori in zahtevanimi viri.
- Načrtujte kanarčke za odkrivanje odstopanja povezovalnika ali dovoljenj (npr. spremenjeni kanali Slack, migracije pogonov).
8) Prilagajanje učinkovitosti in stroškov
- Predpomnite poizvedbe Glean na uporabnika za vroče teme (npr. pravilnik HR) s kratkimi TTL.
- Uporabite manjše modele za usmerjanje, večje modele samo za težke poizvedbe ali načrte z več orodji.
- Serijsko prerazvrščanje, kadar je to mogoče; stisnite besedilo; uporabite deduplikacijo delov.
- Spremljajte stroške na rešeno nalogo; nastavite kvote na organizacijo in na uporabniško skupino.
Primer: Podjetniški IT pomočnik, zgrajen z Glean in AWS
Oglejmo si konkreten scenarij, ki prikazuje, kako zgraditi AI agente, pripravljene za uporabo v podjetjih, z Glean in AWS.
Primer uporabe: Razvrščanje in reševanje IT podpore.
- Uporabnik vpraša: "VPN ne deluje na macOS 14 po posodobitvi – kakšna rešitev?"
- Agent usmeri na skladbo priročnika IT.
- Pridobivanje podatkov: Poizveduje Glean z identiteto uporabnika in pridobi priročnik VPN (Confluence), nit Slack iz #it-support in dokument pravilnika Jamf. Upoštevajo se samo viri, do katerih ima uporabnik dostop.
- Načrtovanje: Agent predlaga korake: delite popravek, preverite skladnost naprave prek Jamf in, če težave ne rešite, odprite prijavo ServiceNow.
- Klici orodja: Bere stanje Jamf (samo za branje), pripravi sporočilo s popravkom in prosi uporabnika, da potrdi stopnjevanje. S potrditvijo ustvari incident s pravo predlogo.
- Odgovor: Zagotavlja kratek povzetek popravka z navedbami na priročnik in nit Slack, vse v obsegu dovoljenj uporabnika.
Zakaj deluje: Agent temelji na pridobivanju podatkov, ki upošteva dovoljenja, iz Glean, AWS pa obravnava izvajanje, odobritve in beleženje.
Varnostni kontrolni seznam in kontrolni seznam skladnosti (tega ne preskočite)
- Ohranite kontekst pridobivanja podatkov na strani strežnika; ne izpostavljajte surove vsebine dokumenta odjemalcu.
- Šifrirajte med mirovanjem s KMS; uveljavite TLS 1.2+ med prenosom.
- Posredujte identiteto uporabnika Glean in orodjem; nikoli ne uporabljajte identitete skupnega bota za pridobivanje podatkov.
- Preslikajte RBAC iz skupin IdP v obsege orodij.
- Omogočite Bedrock Guardrails; ne dovolite skrivnosti v pozivih.
- Redigirajte PII, kjer je to potrebno, in dokumentirajte okna hrambe.
- Nespremenljivi dnevniki v S3 z zaklepanjem predmetov; izvoz v vaš SIEM.
- Hranite priročnik za odzivanje na incidente in povrat modela.
Načrt izvedbe: 10 korakov do proizvodnje
- Določite top 3 primere uporabe agenta (IT, HR, prodajne operacije) in merila uspešnosti (stopnja odklona, CSAT, čas do rešitve).
- Vzpostavite AWS račune, VPC, osnovne linije IAM in dostop do Bedrock.
- Integrirajte SSO/SCIM; preslikajte vloge in poteke odobritev.
- Povežite osrednje vire v Glean in preverite pridobivanje podatkov, ki upošteva dovoljenja.
- Zgradite minimalno storitev orkestracije (Lambda + API Gateway) s Step Functions.
- Izvedite pogodbo poziva RAG, navedbe in filtriranje virov.
- Dodajte dve orodji od konca do konca (najprej samo za branje, nato pisanje z odobritvijo).
- Instrumentirajte beleženje, ocenjevanje in nadzorne plošče; ustvarite zlati nabor s 150 vprašanji.
- Izvedite zaprto beta različico s 50–100 uporabniki; popravite glavne težave; nastavite SLO.
- Široko uvedite; vzpostavite tedenski pregled sprememb in mesečno ocenjevanje modela.
Pogosto zastavljena vprašanja pri gradnji AI agentov z Glean in AWS
Kako zmanjšam halucinacije pri podjetniških agentih?
Utemeljite model s pridobivanjem podatkov iz Glean in uveljavite strog poziv: uporabljajte samo priloženo besedilo in vedno navedite vire. Zavrnite odgovore z nizkim zaupanjem in postavite pojasnjevalna vprašanja. Večina halucinacij izgine, ko se zanesete na pridobivanje podatkov, ki upošteva dovoljenja.
Ali lahko agent upošteva dovoljenja na ravni dokumenta v vseh aplikacijah?
Da. Ko gradite AI agente z Glean in AWS, Glean uveljavlja dovoljenja iz povezanih aplikacij ob času poizvedbe, tako da agent vidi samo tisto, do česar ima uporabnik dostop. Vedno posredujte žeton identitete uporabnika, da ohranite verigo skrbništva.
S katerimi modeli naj začnem na AWS?
Uporabite Amazon Bedrock za dostop do več modelov. Začnite z močnim splošnim modelom za sklepanje in manjšim, hitrejšim modelom za usmerjanje. Ocenite zakasnitev, stroške in natančnost glede na vaš kuriran zlati nabor.
Kako lahko agenti varno izvajajo dejanja v sistemih, kot sta Jira ali ServiceNow?
Zavijte vsako orodje s strogimi shemami, preverjanjem vnosa in poteki dela za odobritev. Zabeležite vsak klic orodja in shranite izhode za revizijo. Za pomembna dejanja zahtevajte korak človeške potrditve.
Katera merila dokazujejo, da je agent pripravljen za proizvodnjo?
Spremljajte utemeljenost (stopnja navajanja), natančnost odgovora, zakasnitev P95, stopnjo reševanja/odklona in stroške na rešeno nalogo. Zgradite nadzorne plošče in izvajajte tedenska preverjanja regresije na vašem zlatem naboru.
Mimogrede: pospeševanje gradbenega cikla
Omeniti velja: če vaša ekipa pogosto izdeluje prototipe, lahko kopilot za raziskovanje in pripravo pospeši dokumente o zasnovi, priročnike in ponavljanja pozivov. Orodja, kot je Sider.AI, pomagajo ekipam povzemati dolge niti, pripravljati pozive za ocenjevanje in primerjati izhode modelov drug ob drugem – uporabno, ko prilagajate, kako zgraditi AI agente, pripravljene za uporabo v podjetjih, z Glean in AWS. Ključni poudarki in naslednji koraki
- Gradnja AI agentov z Glean in AWS vam omogoča pridobivanje podatkov, ki upošteva identiteto, in orkestracijo na ravni podjetja.
- Začnite z identiteto, upravljanjem in pridobivanjem podatkov, ki upošteva dovoljenja, preden se lotite domiselne logike načrtovanja.
- Uporabite zaščitne ograje Bedrock, stroge sheme orodij in odobritve s človekom v zanki.
- Instrumentirajte vse: ocenjevanja, revizije in nadzor stroškov.
Naslednji koraki ta teden:
- Pripravite svoje tri glavne primere uporabe in merila uspešnosti.
- Povežite dva osrednja vira v Glean; izvedite ocenjevanje s 150 vprašanji.
- Vzpostavite minimalni orkestrator Lambda + Step Functions z enim orodjem samo za branje.
- Nastavite svoje proračune za zakasnitev in stroške, preden se pilotno testiranje razširi.
FAQ
V1: Kaj pomeni pripravljenost za uporabo v podjetju za AI agente na AWS?
Pomeni varne agente z možnostjo revizije, ki spoštujejo SSO in dovoljenja za dokumente, zagotavljajo navedbe in se izvajajo na skladni infrastrukturi. Ko gradite AI agente z Glean in AWS, dobite pridobivanje podatkov, ki upošteva dovoljenja, in opaznost na ravni oblaka.
V2: Kako Glean preprečuje uhajanje podatkov v odgovorih AI?
Glean uveljavlja dovoljenja na ravni dokumenta iz vsake povezane aplikacije ob času poizvedbe. Agent pridobi samo vsebino, do katere ima uporabnik dostop, kar je ključnega pomena pri gradnji AI agentov, pripravljenih za uporabo v podjetjih, z Glean in AWS.
V3: Katere storitve AWS naj uporabim za orkestracijo?
Uporabite Lambda ali ECS za izvajanje, Step Functions za poteke dela z več koraki, Bedrock za modele in zaščitne ograje ter Secrets Manager za poverilnice. Ta sklad je preverjena osnova za gradnjo AI agentov z Glean in AWS.
V4: Kako ocenim natančnost in zmanjšam halucinacije?
Ustvarite zlati nabor vprašanj, zahtevajte navedbe in uporabite generiranje, dopolnjeno s pridobivanjem. Z Glean in AWS pridobivanje podatkov, ki upošteva dovoljenja, plus zaščitne ograje znatno zmanjša halucinacije.
V5: Ali lahko AI agenti varno izvajajo dejanja, kot je ustvarjanje prijav ali objavljanje v Slack?
Da – z orodji, potrjenimi s shemo, odobritvami za dejanja z velikim vplivom in popolnim beleženjem revizij. To je osnovni vzorec, ko gradite AI agente, pripravljene za uporabo v podjetjih, z Glean in AWS.
