Kāpēc uzņēmumu AI aģenti cieš neveiksmi — un kā padarīt tos ražošanai gatavus ar Glean un AWS
Šeit ir drosmīgs apgalvojums: lielākā daļa valdes sēžu zālēs demonstrēto "AI aģentu" nav patiesi gatavi uzņēmumu vajadzībām. Tie hallucinē spiediena ietekmē, sabojājas ar reāliem datiem un nevar izturēt SOC 2 auditu. Ja vēlaties AI, ko jūsu juridiskās, drošības un IT komandas patiešām apstiprinās—un ko jūsu darbinieki patiešām izmantos—jums ir nepieciešama būve, kas apvieno uzņēmuma līmeņa izguvi (Glean), spēcīgus mākoņa primitīvus (AWS) un disciplinētu arhitektūru, kas iztur mērogu.
Šī rokasgrāmata soli pa solim palīdzēs jums izveidot uzņēmumiem gatavus AI aģentus ar Glean un AWS—sākot ar identitāti apzinošu izguvi un beidzot ar drošu rīku izmantošanu, sākot ar latentuma budžetiem un beidzot ar novērojamību, un sākot ar izmēģinājuma projektu un beidzot ar ražošanu.
Mēs izmantosim uz jautājumiem balstītu struktūru, lai jūs varētu pāriet tieši pie svarīgākā: datu piekļuves, drošības, arhitektūras un ieviešanas.
Ko mēs saprotam ar uzņēmumiem gataviem AI aģentiem?
Uzņēmumiem gatavs AI aģents nav tikai tērzēšanas saskarne. Tā ir droša, auditējama sistēma, kas var:
- Atbildēt uz jautājumiem, izmantojot uzņēmuma zināšanas ar stingrām atļauju robežām
- Veikt darbības, izmantojot apstiprinātus rīkus (piemēram, ServiceNow pieteikumus, Jira problēmas, Slack ziņas)
- Norādīt avotus un izskaidrot pamatojumu
- Darboties saskaņā ar uzņēmuma SSO, SCIM un DLP kontrolēm
- Atbilst datu rezidences, reģistrēšanas un saglabāšanas prasībām
- Mērogojiet līdz tūkstošiem lietotāju ar paredzamu latentumu un izmaksām
Šeit AI aģentu veidošana ar Glean un AWS spīd: Glean nodrošina uz identitāti orientētu uzņēmuma meklēšanu un izguvi dažādās lietotnēs, savukārt AWS nodrošina skaitļošanas, orķestrēšanas, tīklošanas un pārvaldības pamatu, kas jums būs nepieciešams ražošanā.
Arhitektūra īsumā: Glean + AWS
Domājiet par sistēmu kā par četriem slāņiem:
- Identitātes un piekļuves slānis (SSO, SCIM, atļaujas)
- SSO, izmantojot Okta/Azure AD; SCIM aprikojumam; lomu kartēšana
- Glean pieprasa dokumenta līmeņa atļaujas vaicājuma laikā
- AWS Cognito vai tiešs SAML/OIDC, lai nodotu marķierus pakalpojumiem
- Uzņēmuma izguves slānis (Glean)
- Vienots indekss visā Google Drive, Slack, Confluence, Jira, GitHub, Box, Notion un citās vietnēs
- Atļaujas apzinoša izguve un ranžēšana
- Vaicājumu pārrakstīšana, hibrīda meklēšana, semantiskā pārranžēšana
- Argumentācijas un orķestrēšanas slānis (AWS + modeļi)
- AWS Lambda vai ECS bezstāvokļa aģenta darbībām
- Amazon Bedrock pārvaldītai piekļuvei modernākajiem modeļiem
- Step Functions vairāku rīku darbplūsmām un atkārtotiem mēģinājumiem
- Secrets Manager/Parameter Store atslēgām un rīku akreditācijas datiem
- Darbību un rīku slānis (uzņēmuma integrācijas)
- Lasīšanas un rakstīšanas darbības ar reģistrācijas sistēmām (ServiceNow, Salesforce, Jira, Slack)
- Drošības pasākumi, apstiprinājumi un novērošana katram rīka zvanam
- Audita žurnāli CloudWatch/OpenSearch, lai nodrošinātu izskaidrojamību
Pamata būve: Kā izveidot uzņēmumiem gatavus AI aģentus ar Glean un AWS
Zemāk ir praktisks, pilnīgs ceļš. Pielāgojiet savam steka veidam, bet ievērojiet principus.
1) Vispirms iestatiet identitāti un pārvaldību
- Izveidojiet SSO, izmantojot Okta/Azure AD. Kartējiet grupas/lomas lietotņu atļaujām.
- Izmantojiet SCIM automatizētam lietotāju dzīves ciklam (pievienošanās/pārvietošanās/atstāšana). Atcelšana jāpārnes uz aģentu.
- Konfigurējiet AWS kontus ar vismazāk privilēģiju IAM lomām. Atdaliet izstrādes, sagatavošanas, ražošanas vidi. Pieprasiet VPC galapunktus Bedrock un datu izejas kontroles, ja nepieciešams.
- Definējiet datu saglabāšanu: cik ilgi glabāt uzvednes, atbildes un vektoru iegulšanas. Izmantojiet KMS šifrētus S3 segmentus žurnāliem un artefaktiem.
Padoms: uztveriet identitāti kā izpildlaika signālu. Aģentam ir jānodod galalietotāja identitāte caur Glean un rīkiem, lai atļauju pārbaudes paliktu neskartas.
2) Savienojiet avotus Glean un iespējojiet atļauju apzinošu izguvi
- Savienojiet Slack, Drive, Confluence, Notion, GitHub, Jira, Box un e-pastu atbilstoši savam darbības rādiusam.
- Ļaujiet Glean pārmeklēt un indeksēt ar vismazāk privilēģiju; apstipriniet darbības jomas ar drošību.
- Validējiet atļauju izplatīšanu: lietotājam jāvar izgūt tikai to, ko viņi var skatīt avota lietotnē.
- Precizējiet Glean vaicājumu konfigurāciju: iespējojiet vaicājumu pārrakstīšanu, hibrīda izguvi un semantisko pārranžēšanu, lai iegūtu labāku precizitāti.
Kāpēc tas ir svarīgi: lielākajā daļā uzņēmumu 70–90% no "halucināciju" problēmas patiesībā ir izguves problēma. Izmantojot Glean, AI aģents izgūst pareizos dokumentus, pamatojoties uz lietotāja atļaujām, ievērojami samazinot risku un neatbilstošas atbildes.
3) Izvēlieties modeļus, izmantojot Amazon Bedrock, un iestatiet drošības pasākumus
- Sāciet ar vispārēju modeli (piemēram, Claude, Llama vai Mistral, izmantojot Bedrock) un A/B pret domēna uzvednēm.
- Izmantojiet Bedrock Guardrails drošības filtriem, uzvedņu ievades pārbaudēm un satura politikām.
- Ierobežojiet atbildes: pieprasiet citātus pēc dokumenta ID/URL, pieprasiet JSON shēmas rīku izvadei un iestatiet maksimālos marķierus katram solim.
- Ievērojiet latentuma budžetu: mērķējiet uz P95 no gala līdz galam < 2,5 s Q&A un < 6 s rīku izmantošanas plūsmām.
4) Organizējiet aģentu AWS
Paraugs: ReAct stila plānošana + rīku izmantošana + pamatota atbildēšana.
- Izmantojiet Step Functions, lai koordinētu darbības: izgūt → plānot → rīks → validēt → atbildēt.
- Argumentācijas zvani tiek veikti Lambda vai ECS; izvēlieties Lambda ārkārtas datplūsmai, ECS ilgstošai caurlaidspējai.
- Rīku adapteri (Jira, Slack, ServiceNow) ir bezstāvokļa Lambdas ar IAM darbības jomas noslēpumiem AWS Secrets Manager.
- Glabājiet īslaicīgu sarunu stāvokli DynamoDB ar TTL; ilgtermiņa analīzi S3/Glue/Athena.
5) Ieviesiet ar izguvi papildinātu ģenerēšanu (RAG) ar Glean
- Vaicājiet Glean ar lietotāja identitātes marķieri un lietotāja jautājumu.
- Izgūstiet top-k rezultātus (piemēram, hibrīds: k=10 semantiskais + 10 atslēgvārdi), ievērojot atļaujas.
- Pārranžējiet ar Glean atbilstību; nododiet modelim tikai augšējos, dublētos fragmentus.
- Pieprasiet, lai aģents norāda avotus un iekļauj pārliecības rādītāju.
Uzvednes skelets:
- Sistēma: “Jūs esat pamatots uzņēmuma palīgs. Izmantojiet tikai norādīto kontekstu. Ja tas nav atbilstošs, uzdodiet papildu jautājumu. Vienmēr norādiet avotus pēc nosaukuma un saites.”
- Rīki: “Jūs varat zvanīt Jira_CreateIssue, Slack_PostMessage, ServiceNow_CreateIncident. Rīkojieties tikai pēc apstiprināšanas ar lietotāju, ja vien rokasgrāmata neļauj automatizāciju.”
6) Pievienojiet drošu rīku izmantošanu un apstiprinājumus
- Aptiniet katru rīku ar parametru validāciju un ātruma ierobežošanu.
- Pieprasiet cilvēka apstiprinājumu vai vadītāja apstiprinājumu svarīgām darbībām (piemēram, piekļuves nodrošināšana, P1 slēgšana).
- Reģistrējiet katru rīka zvanu (kurš, ko, kad, ievades shēma, izvade) CloudWatch un S3 auditiem.
- Slack/Teams ziņām atbalstiet “melnu rakstu režīmu” priekšskatījumam pirms nosūtīšanas.
7) Novērojamība, izvērtēšana un noviržu kontrole
- Uztveriet uzvednes, konteksta fragmentus, citātus un atbildes ar rediģēšanu, kur nepieciešams.
- Izmantojiet OpenSearch informācijas paneļus, lai uzraudzītu precizitāti@k, pamatotību un novirzīšanas ātrumu.
- Veiciet bezsaistes izvērtējumus: atlasiet zelta komplektu ar 100–300 organizācijai specifiskiem jautājumiem ar paredzamām atbildēm un nepieciešamajiem avotiem.
- Ieplānojiet kanārijputniņus, lai noteiktu savienotāju vai atļauju novirzes (piemēram, mainīti Slack kanāli, disku migrācijas).
8) Veiktspējas un izmaksu precizēšana
- Kešatmiņas Glean vaicājumus katram lietotājam karstām tēmām (piemēram, HR politika) ar īsiem TTL.
- Izmantojiet mazākus modeļus maršrutēšanai, lielākus modeļus tikai sarežģītiem vaicājumiem vai vairāku rīku plāniem.
- Pēc iespējas veiciet pakešu pārranžēšanu; saspiest kontekstu; izmantojiet fragmentu dublēšanu.
- Izsekojiet izmaksas par atrisinātu uzdevumu; iestatiet kvotas katrai organizācijai un katrai lietotāju grupai.
Piemērs: Uzņēmuma IT palīgs, kas izveidots ar Glean un AWS
Apskatīsim konkrētu scenāriju, kas parāda, kā izveidot uzņēmumiem gatavus AI aģentus ar Glean un AWS.
Izmantošanas gadījums: IT atbalsta triāža un risināšana.
- Lietotājs jautā: “VPN nedarbojas macOS 14 pēc atjaunināšanas—vai ir kāds labojums?”
- Aģents maršrutē uz IT rokasgrāmatas trasi.
- Izguve: Vaicā Glean ar lietotāja identitāti un izgūst VPN rokasgrāmatu (Confluence), Slack pavedienu no #it-support un Jamf politikas dokumentu. Tiek ņemti vērā tikai resursi, kuriem lietotājam ir piekļuve.
- Plānošana: Aģents piedāvā darbības: kopīgojiet labojumu, pārbaudiet ierīces atbilstību, izmantojot Jamf, un, ja problēma nav atrisināta, atveriet ServiceNow incidentu.
- Rīku zvani: Nolasa Jamf statusu (tikai lasāms), izstrādā labojuma ziņojumu un lūdz lietotājam apstiprināt eskalāciju. Ar apstiprinājumu izveido incidentu ar pareizo veidni.
- Atbilde: Nodrošina kodolīgu labojuma kopsavilkumu ar atsauksmēm uz rokasgrāmatu un Slack pavedienu, viss lietotāja atļauju tvērumā.
Kāpēc tas darbojas: Aģents ir balstīts uz atļauju apzinošu izguvi no Glean, un AWS apstrādā izpildi, apstiprinājumus un reģistrēšanu.
Drošības un atbilstības kontrolsaraksts (nepalaidiet to garām)
- Glabājiet izguves kontekstu servera pusē; nepakļaujiet klienta redzeslokā neapstrādātu dokumenta saturu.
- Šifrējiet miera stāvoklī ar KMS; pieprasiet TLS 1.2+ pārsūtīšanas laikā.
- Nododiet lietotāja identitāti Glean un rīkiem; nekad neizmantojiet koplietojamu bota identitāti izguvei.
- Kartējiet RBAC no IdP grupām uz rīku darbības jomām.
- Iespējojiet Bedrock Guardrails; neļaujiet noslēpumus uzvednēs.
- Rediģējiet PII, kur nepieciešams, un dokumentējiet saglabāšanas periodus.
- Nemaināmi žurnāli S3 ar Object Lock; eksportējiet uz savu SIEM.
- Glabājiet rokasgrāmatu incidentu reaģēšanai un modeļa atcelšanai.
Ieviešanas plāns: 10 soļi līdz ražošanai
- Definējiet 3 galvenos aģenta izmantošanas gadījumus (IT, HR, Pārdošanas operācijas) un veiksmes rādītājus (novirzīšanas ātrums, CSAT, laiks līdz atrisināšanai).
- Izveidojiet AWS kontus, VPC, IAM sākuma punktus un Bedrock piekļuvi.
- Integrējiet SSO/SCIM; kartējiet lomas un apstiprināšanas plūsmas.
- Savienojiet galvenos avotus Glean un validējiet atļauju apzinošu izguvi.
- Izveidojiet minimālu orķestrēšanas pakalpojumu (Lambda + API Gateway) ar Step Functions.
- Ieviesiet RAG uzvedņu līgumu, citātus un avotu filtrēšanu.
- Pievienojiet divus rīkus no gala līdz galam (vispirms tikai lasāmu, pēc tam rakstiet ar apstiprinājumu).
- Instrumentējiet reģistrēšanu, izvērtējumus un informācijas paneļus; izveidojiet 150 jautājumu zelta komplektu.
- Veiciet slēgtu beta versiju ar 50–100 lietotājiem; novērsiet galvenās problēmas; iestatiet SLO.
- Ieviesiet plaši; izveidojiet iknedēļas izmaiņu pārskatīšanu un ikmēneša modeļa izvērtēšanu.
Bieži uzdotie jautājumi, veidojot AI aģentus ar Glean un AWS
Kā samazināt halucinācijas uzņēmumu aģentos?
Pamatot modeli ar izguvi no Glean un pieprasiet stingru uzvedni: izmantojiet tikai norādīto kontekstu un vienmēr norādiet avotus. Noraidiet atbildes ar zemu pārliecību un uzdodiet precizējošus jautājumus. Lielākā daļa halucināciju pazūd, kad paļaujaties uz atļauju apzinošu izguvi.
Vai aģents var ievērot dokumenta līmeņa atļaujas dažādās lietotnēs?
Jā. Kad veidojat AI aģentus ar Glean un AWS, Glean pieprasa atļaujas no savienotajām lietotnēm vaicājuma laikā, tāpēc aģents redz tikai to, kam lietotājam ir piekļuve. Vienmēr nododiet lietotāja identitātes marķieri, lai uzturētu atbildības ķēdi.
Ar kādiem modeļiem man vajadzētu sākt AWS?
Izmantojiet Amazon Bedrock, lai piekļūtu vairākiem modeļiem. Sāciet ar spēcīgu vispārēju modeli argumentācijai un mazāku, ātrāku modeli maršrutēšanai. Novērtējiet latentumu, izmaksas un precizitāti attiecībā pret savu atlasīto zelta komplektu.
Kā es varu droši ļaut aģentiem veikt darbības tādās sistēmās kā Jira vai ServiceNow?
Aptiniet katru rīku ar stingrām shēmām, ievades validāciju un apstiprināšanas darbplūsmām. Reģistrējiet katru rīka zvanu un glabājiet izvades auditam. Svarīgām darbībām pieprasiet cilvēka apstiprināšanas soli.
Kādi rādītāji pierāda, ka aģents ir gatavs ražošanai?
Izsekojiet pamatotību (citātu ātrums), atbildes precizitāti, P95 latentumu, atrisināšanas/novirzīšanas ātrumu un izmaksas par atrisinātu uzdevumu. Izveidojiet informācijas paneļus un veiciet iknedēļas regresijas pārbaudes savam zelta komplektam.
Starp citu: būvniecības cikla paātrināšana
Ir vērts atzīmēt: ja jūsu komanda bieži izstrādā prototipus, kopilots pētniecībai un izstrādei var paātrināt dizaina dokumentus, rokasgrāmatas un ātru atkārtošanu. Rīki, piemēram, Sider.AI, palīdz komandām apkopot garus pavedienus, izstrādāt izvērtēšanas uzvednes un salīdzināt modeļa izvades blakus—noderīgi, ja precizējat, kā izveidot uzņēmumiem gatavus AI aģentus ar Glean un AWS. Galvenie secinājumi un nākamie soļi
- AI aģentu veidošana ar Glean un AWS nodrošina identitāti apzinošu izguvi un uzņēmuma līmeņa orķestrēšanu.
- Sāciet ar identitāti, pārvaldību un atļauju apzinošu izguvi pirms sarežģītas plānošanas loģikas.
- Izmantojiet Bedrock drošības pasākumus, stingras rīku shēmas un cilvēka-cilvēka apstiprinājumus.
- Instrumentējiet visu: izvērtējumus, auditus un izmaksu kontroles.
Nākamie soļi šonedēļ:
- Izstrādājiet trīs galvenos izmantošanas gadījumus un veiksmes rādītājus.
- Savienojiet divus galvenos avotus Glean; veiciet 150 jautājumu izvērtēšanu.
- Izveidojiet minimālu Lambda + Step Functions orķestrētāju ar vienu tikai lasāmu rīku.
- Iestatiet latentuma un izmaksu budžetus pirms izmēģinājuma projekta paplašināšanas.
FAQ
Q1: Ko uzņēmumiem gatavs nozīmē AI aģentiem AWS?
Tas nozīmē drošus, auditējamus aģentus, kas ievēro SSO un dokumentu atļaujas, nodrošina citātus un darbojas uz atbilstošas infrastruktūras. Kad veidojat AI aģentus ar Glean un AWS, jūs saņemat atļauju apzinošu izguvi un mākoņa līmeņa novērojamību.
Q2: Kā Glean novērš datu noplūdi AI atbildēs?
Glean pieprasa dokumenta līmeņa atļaujas no katras savienotās lietotnes vaicājuma laikā. Aģents izgūst tikai saturu, kuram lietotājam ir piekļuve, kas ir kritiski svarīgi, veidojot uzņēmumiem gatavus AI aģentus ar Glean un AWS.
Q3: Kuri AWS pakalpojumi man jāizmanto orķestrēšanai?
Izmantojiet Lambda vai ECS izpildei, Step Functions daudzpakāpju darbplūsmām, Bedrock modeļiem un drošības pasākumiem un Secrets Manager akreditācijas datiem. Šis steks ir pārbaudīts pamats AI aģentu veidošanai ar Glean un AWS.
Q4: Kā es varu novērtēt precizitāti un samazināt halucinācijas?
Izveidojiet jautājumu zelta komplektu, pieprasiet citātus un izmantojiet ar izguvi papildinātu ģenerēšanu. Izmantojot Glean un AWS, atļauju apzinoša izguve un drošības pasākumi ievērojami samazina halucinācijas.
Q5: Vai AI aģenti var droši veikt darbības, piemēram, izveidot pieteikumus vai publicēt ziņas Slack?
Jā—ar shēmā validētiem rīkiem, apstiprinājumiem darbībām ar lielu ietekmi un pilnu audita reģistrēšanu. Šis ir galvenais paraugs, veidojot uzņēmumiem gatavus AI aģentus ar Glean un AWS.
