Miért buknak meg a vállalati AI-ügynökök – és hogyan tehetők termelésre kész állapotba a Glean és az AWS segítségével
Íme egy merész állítás: a legtöbb, tárgyalótermekben bemutatott „AI-ügynök” valójában nem vállalati szintű. Nyomás alatt hallucinálnak, valós adatokon összeomlanak, és nem mennek át egy SOC 2 auditon. Ha olyan AI-t szeretne, amelyet jogi, biztonsági és informatikai csapata ténylegesen jóváhagy – és amelyet alkalmazottai ténylegesen használnak –, akkor olyan buildre van szüksége, amely ötvözi a vállalati szintű adatlekérést (Glean), a robusztus felhőprimitíveket (AWS) és a felskálázást túlélő, fegyelmezett architektúrát.
Ez az útmutató lépésről lépésre végigvezeti Önt azon, hogyan építhet vállalati szintű AI-ügynököket a Glean és az AWS segítségével – az identitásérzékeny adatlekéréstől a biztonságos eszközhasználatig, a késleltetési költségvetésektől a megfigyelhetőségig, valamint a kísérleti projekttől a termelésig.
Kérdésvezérelt struktúrát fogunk használni, így ugorhat arra, ami a legfontosabb: adathozzáférés, biztonság, architektúra és bevezetés.
Mit értünk vállalati szintű AI-ügynökök alatt?
Egy vállalati szintű AI-ügynök nem csupán egy csevegőfelület. Ez egy biztonságos, auditálható rendszer, amely képes:
- Válaszolni a vállalati tudást felhasználva, szigorú engedélyhatárokkal
- Műveleteket végrehajtani jóváhagyott eszközökön keresztül (pl. ServiceNow jegyek, Jira feladatok, Slack bejegyzések)
- Feltüntetni a forrásokat és megmagyarázni az indoklást
- Vállalati SSO, SCIM és DLP vezérlők alatt működni
- Megfelelni az adatok tárolására, naplózására és megőrzésére vonatkozó követelményeknek
- Ezrekre skálázódni kiszámítható késleltetéssel és költséggel
Itt ragyog az AI-ügynökök Glean és AWS segítségével történő építése: a Glean identitásérzékeny vállalati keresést és adatlekérést biztosít az alkalmazások között, míg az AWS biztosítja a számítási, vezénylési, hálózati és irányítási alapot, amelyre a termelésben szüksége lesz.
Architektúra vázlatosan: Glean + AWS
Tekintse a rendszert négy rétegnek:
- Identitás- és hozzáférési réteg (SSO, SCIM, engedélyek)
- SSO Okta/Azure AD-n keresztül; SCIM a kiépítéshez; szerepkör-hozzárendelések
- A Glean lekérdezéskor érvényesíti a dokumentumszintű engedélyeket
- AWS Cognito vagy közvetlen SAML/OIDC a tokenek szolgáltatásokba közvetítéséhez
- Vállalati adatlekérési réteg (Glean)
- Egységes index a Google Drive, Slack, Confluence, Jira, GitHub, Box, Notion és más szolgáltatásokban
- Engedélyérzékeny adatlekérés és rangsorolás
- Lekérdezés-átírás, hibrid keresés, szemantikus újrarendezés
- Következtetési és vezénylési réteg (AWS + modellek)
- AWS Lambda vagy ECS állapotmentes ügynöklépésekhez
- Amazon Bedrock a legmodernebb modellekhez való menedzselt hozzáféréshez
- Step Functions a többfunkciós munkafolyamatokhoz és az újrapróbálkozásokhoz
- Secrets Manager/Parameter Store kulcsokhoz és eszközhitelesítő adatokhoz
- Művelet- és eszközréteg (vállalati integrációk)
- Olvasási és írási műveletek a nyilvántartási rendszerekben (ServiceNow, Salesforce, Jira, Slack)
- Korlátok, jóváhagyások és megfigyelés minden eszközhívásnál
- Auditnaplók a CloudWatch/OpenSearch szolgáltatásban a magyarázhatóság érdekében
Alapvető build: Hogyan építsünk vállalati szintű AI-ügynököket a Glean és az AWS segítségével
Az alábbiakban egy praktikus, végponttól végpontig terjedő útvonal található. Alkalmazza a saját rendszerére, de tartsa be az elveket.
1) Először állítsa be az identitást és az irányítást
- Hozzon létre SSO-t az Okta/Azure AD-n keresztül. Rendeljen csoportokat/szerepköröket az alkalmazásengedélyekhez.
- Használjon SCIM-et az automatizált felhasználói életciklushoz (csatlakozás/mozgás/kilépés). A megszüntetésnek át kell gyűrűznie az ügynökre.
- Konfiguráljon AWS-fiókokat a legkisebb jogosultságú IAM-szerepkörökkel. Különítsen el fejlesztői, teszt- és éles környezetet. Kényszerítsen ki VPC-végpontokat a Bedrock számára, és az adatok kimenő forgalmának ellenőrzését, ahol szükséges.
- Határozza meg az adatok megőrzési idejét: mennyi ideig tárolja a promptokat, válaszokat és vektorembeddingeket. Használjon KMS-sel titkosított S3-bucketeket a naplókhoz és artefaktumokhoz.
Tipp: Kezelje az identitást futásidejű jelként. Az ügynöknek át kell adnia a végfelhasználó identitását a Glean és az eszközök felé, hogy az engedélyellenőrzések érvényben maradjanak.
2) Csatlakoztasson forrásokat a Gleanben, és engedélyezze az engedélyérzékeny adatlekérést
- Csatlakoztassa a Slack, Drive, Confluence, Notion, GitHub, Jira, Box és e-mail szolgáltatásokat a saját lábnyomának megfelelően.
- Hagyja, hogy a Glean a legkisebb jogosultsággal feltérképezze és indexelje; erősítse meg a hatóköröket a biztonsággal.
- Ellenőrizze az engedélyek terjedését: a felhasználó csak azt kérdezheti le, amit a forrásalkalmazásban láthat.
- Hangolja a Glean lekérdezési konfigurációját: engedélyezze a lekérdezés-átírást, a hibrid adatlekérést és a szemantikus újrarendezést a jobb pontosság érdekében.
Miért fontos ez: A legtöbb vállalatnál a „hallucinációs” probléma 70–90%-a valójában adatlekérési probléma. A Glean segítségével az AI-ügynök a felhasználó engedélyeitől függően lekéri a megfelelő dokumentumokat, ami nagymértékben csökkenti a kockázatot és a lényegtelen válaszokat.
3) Válasszon modelleket az Amazon Bedrockon keresztül, és állítson be korlátokat
- Kezdje egy általános modellel (pl. Claude, Llama vagy Mistral a Bedrockon keresztül), és végezzen A/B tesztet a domainpromptokkal szemben.
- Használja a Bedrock Guardrails szolgáltatást a biztonsági szűrőkhöz, a promptinjektálás-ellenőrzésekhez és a tartalmi irányelvekhez.
- Korlátozza a válaszokat: kérjen hivatkozásokat doc ID/URL alapján, kényszerítsen ki JSON-sémákat az eszközök kimeneteihez, és állítson be maximális tokent lépésenként.
- Tartsa be a késleltetési költségvetést: a cél a P95 végponttól végpontig < 2,5 mp a K&V-hez és < 6 mp az eszközhasználati folyamatokhoz.
4) Vezényelje az ügynököt az AWS-en
Minta: ReAct-stílusú tervezés + eszközhasználat + megalapozott válaszadás.
- Használjon Step Functions-t a lépések koordinálásához: lekérés → tervezés → eszköz → érvényesítés → válasz.
- A következtetési hívások Lambda vagy ECS-ben futnak; válassza a Lambda-t a bursty forgalomhoz, az ECS-t a tartós átviteli sebességhez.
- Az eszközadapterek (Jira, Slack, ServiceNow) állapotmentes Lambda-k IAM-hatókörű titkokkal az AWS Secrets Managerben.
- Tárolja a rövid élettartamú beszélgetési állapotot a DynamoDB-ben TTL-lel; a hosszú távú analitikát az S3/Glue/Athena szolgáltatásban.
5) Valósítson meg lekérdezéskiegészített generálást (RAG) a Glean segítségével
- Kérdezze le a Gleant a felhasználó identitástokenjével és a felhasználó kérdésével.
- Kérje le a top-k eredményeket (pl. hibrid: k=10 szemantikus + 10 kulcsszó) az engedélyek betartásával.
- Rendezze újra a Glean relevanciájával; csak a legfelső, deduplikált chunkokat adja át a modellnek.
- Követelje meg az ügynöktől, hogy hivatkozza a forrásokat, és adjon meg egy megbízhatósági pontszámot.
Promptváz:
- Rendszer: „Ön egy megalapozott vállalati asszisztens. Csak a megadott környezetet használja. Ha irreleváns, tegyen fel egy nyomon követő kérdést. Mindig hivatkozzon a forrásokra cím és hivatkozás szerint.”
- Eszközök: „Hívhatja a Jira_CreateIssue, Slack_PostMessage, ServiceNow_CreateIncident funkciókat. Csak a felhasználóval való megerősítés után cselekedjen, hacsak egy runbook nem engedélyezi az automatizálást.”
6) Adjon hozzá biztonságos eszközhasználatot és jóváhagyásokat
- Csomagoljon be minden eszközt paraméter-ellenőrzéssel és sebességkorlátozással.
- Kérjen emberi megerősítést vagy vezetői jóváhagyást a jelentős műveletekhez (pl. hozzáférés kiépítése, P1-ek lezárása).
- Naplózzon minden eszközhívást (ki, mit, mikor, bemeneti séma, kimenet) a CloudWatch-ba és az S3-ba az auditokhoz.
- A Slack/Teams bejegyzésekhez támogassa a „vázlat módot” a küldés előtti előnézethez.
7) Megfigyelhetőség, értékelés és driftkontroll
- Rögzítsen promptokat, kontextusrészleteket, hivatkozásokat és válaszokat a szükséges helyeken való redakcióval.
- Használjon OpenSearch irányítópultokat a precision@k, a megalapozottság és az eltérítési arány figyelésére.
- Futtasson offline értékeléseket: állítson össze egy 100–300 szervezetspecifikus kérdésből álló aranyszettet a várt válaszokkal és a szükséges forrásokkal.
- Ütemezzen kanárikat az összekötő vagy az engedélyek eltolódásának észlelésére (pl. megváltozott Slack-csatornák, meghajtóáttelepítések).
8) Teljesítmény- és költséghangolás
- Gyorsítótárazza a Glean lekérdezéseket felhasználónként a népszerű témákhoz (pl. HR-szabályzat) rövid TTL-ekkel.
- Használjon kisebb modelleket az útválasztáshoz, nagyobb modelleket csak nehéz lekérdezésekhez vagy többfunkciós tervekhez.
- Kötegelt újrarendezés, amikor lehetséges; tömörítse a környezetet; használjon chunk deduplikációt.
- Kövesse nyomon a megoldott feladatonkénti költséget; állítson be kvótákat szervezetenként és felhasználói csoportonként.
Példa: Egy vállalati informatikai asszisztens, amelyet a Glean és az AWS segítségével építettek
Vegyünk egy konkrét forgatókönyvet, amely bemutatja, hogyan építhet vállalati szintű AI-ügynököket a Glean és az AWS segítségével.
Használati eset: Informatikai támogatás triázs és megoldás.
- A felhasználó kérdezi: „A VPN nem működik macOS 14-en a frissítés után – van valamilyen javítás?”
- Az ügynök az informatikai runbook sávra irányítja.
- Lekérés: Lekérdezi a Gleant a felhasználó identitásával, és lekéri a VPN runbookot (Confluence), egy Slack-szálat a #it-support csatornából és egy Jamf-szabályzatdokumentumot. Csak a felhasználó által elérhető erőforrások kerülnek figyelembe vételre.
- Tervezés: Az ügynök lépéseket javasol: ossza meg a javítást, ellenőrizze az eszköz megfelelőségét a Jamf segítségével, és ha nem oldódik meg, nyisson egy ServiceNow incidenst.
- Eszközhívások: Beolvassa a Jamf állapotát (csak olvasható), vázlatot készít egy javító üzenetről, és kéri a felhasználót, hogy erősítse meg az eszkalációt. A megerősítéssel létrehoz egy incidenst a megfelelő sablonnal.
- Válasz: Tömör javítási összefoglalót ad a runbookra és a Slack-szálra való hivatkozásokkal, mindezt a felhasználó engedélyezési körén belül.
Miért működik: Az ügynök a Glean engedélyérzékeny adatlekérésében gyökerezik, és az AWS kezeli a végrehajtást, a jóváhagyásokat és a naplózást.
Biztonsági és megfelelőségi ellenőrzőlista (ne hagyja ki)
- Tartsa a lekérési környezetet a szerveroldalon; ne tegye ki a nyers dokumentumtartalmat az ügyfélnek.
- Titkosítsa nyugalmi állapotban KMS-sel; kényszerítse ki a TLS 1.2+ szabványt átvitel közben.
- Adja át a felhasználó identitását a Glean és az eszközök felé; soha ne használjon megosztott botidentitást az adatlekéréshez.
- Rendelje hozzá az RBAC-t az IdP-csoportokból az eszközhatókörökhöz.
- Engedélyezze a Bedrock Guardrails szolgáltatást; ne engedélyezze a titkokat a promptokban.
- Redakciózza a PII-t, ahol szükséges, és dokumentálja a megőrzési időszakokat.
- Változtathatatlan naplók az S3-ba Object Lockkal; exportálja a SIEM-be.
- Tartson egy runbookot az incidensreagáláshoz és a modell visszaállításához.
Megvalósítási terv: 10 lépés a termelésig
- Határozza meg a 3 legfontosabb ügynökhasználati esetet (IT, HR, Értékesítési műveletek) és a sikerességi mérőszámokat (eltérítési arány, CSAT, megoldási idő).
- Állítson fel AWS-fiókokat, VPC-t, IAM-kiindulópontokat és Bedrock-hozzáférést.
- Integrálja az SSO/SCIM szolgáltatást; rendelje hozzá a szerepköröket és a jóváhagyási folyamatokat.
- Csatlakoztassa a fő forrásokat a Gleanben, és ellenőrizze az engedélyérzékeny adatlekérést.
- Építsen egy minimális vezénylési szolgáltatást (Lambda + API Gateway) a Step Functions segítségével.
- Valósítsa meg a RAG prompt szerződést, a hivatkozásokat és a forrásszűrést.
- Adjon hozzá két eszközt végponttól végpontig (először csak olvasható, majd írási a jóváhagyással).
- Mérje meg a naplózást, az értékeléseket és az irányítópultokat; hozzon létre egy 150 kérdéses aranyszettet.
- Futtasson egy zárt bétaverziót 50–100 felhasználóval; javítsa ki a legfontosabb problémákat; állítson be SLO-kat.
- Vezesse be széles körben; hozzon létre egy heti változásellenőrzést és egy havi modellértékelést.
Gyakran ismételt kérdések AI-ügynökök építésekor a Glean és az AWS segítségével
Hogyan csökkenthetem a hallucinációkat a vállalati ügynökökben?
Alapozza meg a modellt a Gleanből származó adatlekéréssel, és kényszerítsen ki egy szigorú promptot: csak a megadott környezetet használja, és mindig hivatkozzon a forrásokra. Utasítsa el az alacsony megbízhatóságú válaszokat, és tegyen fel tisztázó kérdéseket. A legtöbb hallucináció megszűnik, ha az engedélyérzékeny adatlekérésre támaszkodik.
Az ügynök tiszteletben tudja tartani a dokumentumszintű engedélyeket az alkalmazások között?
Igen. Amikor AI-ügynököket épít a Glean és az AWS segítségével, a Glean lekérdezéskor érvényesíti a csatlakoztatott alkalmazásokból származó engedélyeket, így az ügynök csak azt látja, amihez a felhasználó hozzáférhet. Mindig adja át a felhasználó identitástokenjét a felügyeleti lánc fenntartásához.
Milyen modellekkel kezdjem az AWS-en?
Használja az Amazon Bedrockot a több modellhez való hozzáféréshez. Kezdje egy erős általános modellel a következtetéshez és egy kisebb, gyorsabb modellel az útválasztáshoz. Értékelje a késleltetést, a költségeket és a pontosságot a kurált aranyszettjéhez viszonyítva.
Hogyan engedhetem meg biztonságosan az ügynököknek, hogy műveleteket végezzenek olyan rendszerekben, mint a Jira vagy a ServiceNow?
Csomagoljon be minden eszközt szigorú sémákkal, bemeneti érvényesítéssel és jóváhagyási munkafolyamatokkal. Naplózzon minden eszközhívást, és tárolja a kimeneteket az audithoz. A jelentős műveletekhez kérjen emberi megerősítési lépést.
Milyen mérőszámok bizonyítják, hogy egy ügynök termelésre kész?
Kövesse nyomon a megalapozottságot (hivatkozási arány), a válasz pontosságát, a P95 késleltetést, a megoldási/eltérítési arányt és a megoldott feladatonkénti költséget. Építsen irányítópultokat, és futtasson heti regressziós ellenőrzéseket az aranyszettjén.
Mellesleg: a build ciklus felgyorsítása
Érdemes megjegyezni: ha csapata gyakran készít prototípusokat, a kutatásra és tervezésre szolgáló copilot felgyorsíthatja a tervezési dokumentumokat, a runbookokat és a prompt iterációkat. Az olyan eszközök, mint a Sider.AI segítenek a csapatoknak összefoglalni a hosszú szálakat, tervezni az értékelési promptokat és összehasonlítani a modellkimeneteket egymás mellett – ez hasznos, ha azt hangolja, hogyan építsen vállalati szintű AI-ügynököket a Glean és az AWS segítségével. Főbb tanulságok és következő lépések
- Az AI-ügynökök Glean és AWS segítségével történő építése identitásérzékeny adatlekérést és vállalati szintű vezénylést biztosít.
- Kezdje az identitással, az irányítással és az engedélyérzékeny adatlekéréssel, mielőtt a bonyolult tervezési logikával foglalkozna.
- Használjon Bedrock korlátokat, szigorú eszközsémákat és emberi jóváhagyásokat.
- Mérjen meg mindent: értékeléseket, auditokat és költségellenőrzéseket.
Következő lépések ezen a héten:
- Vázolja fel a három legfontosabb használati esetet és sikerességi mérőszámot.
- Csatlakoztasson két fő forrást a Gleanben; futtasson egy 150 kérdéses értékelést.
- Állítson fel egy minimális Lambda + Step Functions vezénylőt egy csak olvasható eszközzel.
- Állítsa be a késleltetési és költségvetéseit a kísérleti projekt bővítése előtt.
GYIK
Q1: Mit jelent a vállalati szintű az AWS-en futó AI-ügynökök számára?
Ez biztonságos, auditálható ügynököket jelent, amelyek tiszteletben tartják az SSO-t és a dokumentumengedélyeket, hivatkozásokat biztosítanak és megfelelő infrastruktúrán futnak. Amikor AI-ügynököket épít a Glean és az AWS segítségével, engedélyérzékeny adatlekérést és felhőszintű megfigyelhetőséget kap.
Q2: Hogyan akadályozza meg a Glean az adatszivárgást az AI-válaszokban?
A Glean lekérdezéskor érvényesíti az egyes csatlakoztatott alkalmazásokból származó dokumentumszintű engedélyeket. Az ügynök csak azt a tartalmat kéri le, amelyhez a felhasználó hozzáférhet, ami kritikus fontosságú, ha vállalati szintű AI-ügynököket épít a Glean és az AWS segítségével.
Q3: Mely AWS szolgáltatásokat használjam a vezényléshez?
Használja a Lambda vagy ECS szolgáltatást a végrehajtáshoz, a Step Functions szolgáltatást a többlépéses munkafolyamatokhoz, a Bedrock szolgáltatást a modellekhez és a korlátokhoz, valamint a Secrets Manager szolgáltatást a hitelesítő adatokhoz. Ez a verem bevált alap az AI-ügynökök Glean és AWS segítségével történő építéséhez.
Q4: Hogyan értékelhetem a pontosságot és csökkenthetem a hallucinációkat?
Hozzon létre egy kérdésekből álló aranyszettet, kérjen hivatkozásokat és használjon lekérdezéskiegészített generálást. A Glean és az AWS segítségével az engedélyérzékeny adatlekérés és a korlátok jelentősen csökkentik a hallucinációkat.
Q5: Az AI-ügynökök biztonságosan végezhetnek olyan műveleteket, mint például jegyek létrehozása vagy bejegyzések közzététele a Slackben?
Igen – sémával érvényesített eszközökkel, jóváhagyásokkal a nagy hatású műveletekhez és teljes auditalapú naplózással. Ez egy alapvető minta, ha vállalati szintű AI-ügynököket épít a Glean és az AWS segítségével.
