Varför AI-agenter i företag misslyckas – och hur du gör dem produktionsklara med Glean och AWS
Här är ett djärvt påstående: de flesta "AI-agenter" som demonstreras i styrelserum är inte riktigt redo för företag. De hallucinerar under press, går sönder med verklig data och kan inte klara en SOC 2-revision. Om du vill ha AI som dina juridiska, säkerhets- och IT-team faktiskt kommer att godkänna – och som dina anställda faktiskt kommer att använda – behöver du en konstruktion som blandar hämtning i företagsklass (Glean), robusta molnprimitiver (AWS) och en disciplinerad arkitektur som överlever skalning.
Den här guiden går steg för steg igenom hur du bygger AI-agenter som är redo för företag med Glean och AWS – från identitetsmedveten hämtning till säker verktygsanvändning, från latensbudgetar till observerbarhet och från pilot till produktion.
Vi använder en frågestyrd struktur så att du kan hoppa till det som är viktigast: dataåtkomst, säkerhet, arkitektur och utrullning.
Vad menar vi med AI-agenter som är redo för företag?
En AI-agent som är redo för företag är inte bara ett chattgränssnitt. Det är ett säkert, revisionsbart system som kan:
- Besvara frågor med hjälp av företagets kunskap med strikta behörighetsgränser
- Vidta åtgärder genom godkända verktyg (t.ex. ServiceNow-ärenden, Jira-frågor, Slack-inlägg)
- Attribuera källor och förklara resonemang
- Fungera under företags SSO-, SCIM- och DLP-kontroller
- Följa krav på datalagring, loggning och lagringstid
- Skala till tusentals användare med förutsägbar latens och kostnad
Det är här byggandet av AI-agenter med Glean och AWS glänser: Glean tillhandahåller identitetsmedveten företagssökning och hämtning över appar, medan AWS ger den beräknings-, orkestrerings-, nätverks- och styrningsgrund som du behöver i produktion.
Arkitektur i korthet: Glean + AWS
Tänk på systemet som fyra lager:
- Identitets- och åtkomstlager (SSO, SCIM, behörigheter)
- SSO via Okta/Azure AD; SCIM för provisionering; rollmappningar
- Glean tillämpar behörigheter på dokumentnivå vid frågetidpunkten
- AWS Cognito eller direkt SAML/OIDC för att förmedla tokens till tjänster
- Företagshämtningslager (Glean)
- Enhetligt index över Google Drive, Slack, Confluence, Jira, GitHub, Box, Notion och mer
- Behörighetsmedveten hämtning och ranking
- Omskrivning av frågor, hybrid sökning, semantisk omrankning
- Resonemangs- och orkestreringslager (AWS + modeller)
- AWS Lambda eller ECS för tillståndslösa agentsteg
- Amazon Bedrock för hanterad åtkomst till frontlinjemodeller
- Step Functions för arbetsflöden med flera verktyg och omförsök
- Secrets Manager/Parameter Store för nycklar och verktygsreferenser
- Åtgärds- och verktygslager (företagsintegrationer)
- Läs- och skrivoperationer till system med register (ServiceNow, Salesforce, Jira, Slack)
- Skyddsräcken, godkännanden och observation för varje verktygsanrop
- Revisionsloggar i CloudWatch/OpenSearch för förklarbarhet
Grundläggande konstruktion: Hur man bygger AI-agenter som är redo för företag med Glean & AWS
Nedan följer en praktisk, komplett väg. Anpassa för din stack, men behåll principerna.
1) Konfigurera identitet och styrning först
- Etablera SSO via Okta/Azure AD. Mappa grupper/roller till appbehörigheter.
- Använd SCIM för automatiserad användarlivscykel (joiner/mover/leaver). Avprovisionering måste kaskaderas till agenten.
- Konfigurera AWS-konton med IAM-roller med minsta möjliga privilegium. Separera utveckling, staging, produktion. Tillämpa VPC-slutpunkter för Bedrock och datatrafikkontroller där det krävs.
- Definiera datalagring: hur länge prompter, svar och vektorinbäddningar ska lagras. Använd KMS-krypterade S3-bucketar för loggar och artefakter.
Tips: Behandla identitet som en runtimesignal. Agenten måste skicka slutanvändarens identitet via Glean och verktyg så att behörighetskontroller förblir intakta.
2) Anslut källor i Glean och aktivera behörighetsmedveten hämtning
- Anslut Slack, Drive, Confluence, Notion, GitHub, Jira, Box och e-post enligt ditt fotavtryck.
- Låt Glean genomsöka och indexera med minsta möjliga privilegium; bekräfta omfattningar med säkerhet.
- Validera behörighetspropagering: en användare ska bara kunna hämta det de kan se i källappen.
- Justera Glean-frågekonfigurationen: aktivera omskrivning av frågor, hybrid hämtning och semantisk omrankning för bättre precision.
Varför det är viktigt: I de flesta företag är 70–90 % av "hallucinationsproblemet" faktiskt ett hämtningsproblem. Med Glean hämtar AI-agenten rätt dokument villkorat av användarens behörigheter, vilket minskar risken och irrelevanta svar kraftigt.
3) Välj modeller via Amazon Bedrock och ställ in skyddsräcken
- Börja med en generalistmodell (t.ex. Claude, Llama eller Mistral via Bedrock) och A/B-testa mot domänprompter.
- Använd Bedrock Guardrails för säkerhetsfilter, kontroller av promptinjektion och innehållspolicyer.
- Begränsa svar: kräva citat per dokument-ID/URL, tillämpa JSON-scheman för verktygsutdata och ställ in maximala tokens per steg.
- Behåll en latensbudget: sikta på P95 end-to-end < 2,5 s för frågor och svar och < 6 s för verktygsanvändningsflöden.
4) Orkestrera agenten på AWS
Mönster: Planering i ReAct-stil + verktygsanvändning + grundad besvarning.
- Använd Step Functions för att samordna steg: hämta → planera → verktyg → validera → svara.
- Resonemangsanrop körs i Lambda eller ECS; välj Lambda för bursty trafik, ECS för sustained throughput.
- Verktygsadaptrar (Jira, Slack, ServiceNow) är tillståndslösa Lambdas med IAM-begränsade hemligheter i AWS Secrets Manager.
- Lagra kortlivad konversationsstatus i DynamoDB med TTL; långsiktig analys i S3/Glue/Athena.
5) Implementera hämtningsförstärkt generering (RAG) med Glean
- Fråga Glean med användarens identitetstoken och användarens fråga.
- Hämta top-k-resultat (t.ex. hybrid: k=10 semantisk + 10 nyckelord) med respekt för behörigheter.
- Omranka med Gleans relevans; skicka bara de översta, deduplicerade bitarna till modellen.
- Kräv att agenten citerar källor och inkluderar en konfidenspoäng.
Promptskelett:
- System: “Du är en grundad företagsassistent. Använd endast det angivna sammanhanget. Om det är irrelevant, ställ en följdfråga. Ange alltid källor efter titel och länk.”
- Verktyg: “Du kan anropa Jira_CreateIssue, Slack_PostMessage, ServiceNow_CreateIncident. Agera först efter att ha bekräftat med användaren om inte en runbook tillåter automatisering.”
6) Lägg till säker verktygsanvändning och godkännanden
- Slå in varje verktyg med parametervalidering och frekvensbegränsning.
- Kräv mänsklig bekräftelse eller chefsgodkännande för åtgärder med stor påverkan (t.ex. provisionering av åtkomst, stängning av P1:or).
- Logga varje verktygsanrop (vem, vad, när, indataschema, utdata) till CloudWatch och S3 för revisioner.
- För Slack/Teams-inlägg, stöd "utkastläge" för förhandsvisning innan sändning.
7) Observerbarhet, utvärdering och driftkontroll
- Fånga prompter, sammanhangssnuttar, citat och svar med redigering där det behövs.
- Använd OpenSearch-instrumentpaneler för att övervaka precision@k, groundedness och deflection rate.
- Kör offline-utvärderingar: sammanställ en gulduppsättning med 100–300 organisationsspecifika frågor med förväntade svar och nödvändiga källor.
- Schemalägg kanariefåglar för att upptäcka anslutnings- eller behörighetsdrift (t.ex. ändrade Slack-kanaler, drivenhetsmigreringar).
8) Prestanda- och kostnadsjustering
- Cachelagra Glean-frågor per användare för heta ämnen (t.ex. HR-policy) med korta TTL:er.
- Använd mindre modeller för routing, större modeller endast för svåra frågor eller planer med flera verktyg.
- Batch-omrankning när det är möjligt; komprimera sammanhang; använd chunkdeduplicering.
- Spåra kostnad per löst uppgift; ange kvoter per organisation och per användargrupp.
Exempel: En IT-assistent för företag byggd med Glean och AWS
Låt oss gå igenom ett konkret scenario som visar hur man bygger AI-agenter som är redo för företag med Glean och AWS.
Användningsfall: IT-supporttriage och lösning.
- Användaren frågar: “VPN misslyckas på macOS 14 efter uppdatering – finns det någon fix?”
- Agenten dirigerar till IT-runbook-spåret.
- Hämtning: Frågar Glean med användarens identitet och hämtar VPN-runbooken (Confluence), en Slack-tråd från #it-support och ett Jamf-policydokument. Endast resurser som användaren kan komma åt beaktas.
- Planering: Agenten föreslår steg: dela fixen, kontrollera enhetens efterlevnad via Jamf och, om det inte löser problemet, öppna en ServiceNow-incident.
- Verktygsanrop: Läser Jamf-status (skrivskyddad), utarbetar ett fixmeddelande och ber användaren att bekräfta eskalering. Vid bekräftelse skapas en incident med rätt mall.
- Svar: Ger en kortfattad fixsammanfattning med hänvisningar till runbooken och Slack-tråden, allt inom användarens behörighetsomfång.
Varför det fungerar: Agenten är grundad i behörighetsmedveten hämtning från Glean, och AWS hanterar exekvering, godkännanden och loggning.
Checklista för säkerhet och efterlevnad (hoppa inte över detta)
- Behåll hämtningskontexten på serversidan; exponera inte rått dokumentinnehåll för klienten.
- Kryptera i vila med KMS; tillämpa TLS 1.2+ under transport.
- Skicka användaridentitet till Glean och verktyg; använd aldrig en delad botidentitet för hämtning.
- Mappa RBAC från IdP-grupper till verktygsomfång.
- Aktivera Bedrock Guardrails; tillåt inte hemligheter i prompter.
- Redigera PII där det krävs och dokumentera lagringsfönster.
- Oföränderliga loggar till S3 med Object Lock; exportera till din SIEM.
- Ha en runbook för incidenthantering och modellåterställning.
Implementeringsritning: 10 steg till produktion
- Definiera de 3 bästa agentanvändningsfallen (IT, HR, försäljningsverksamhet) och framgångsmätvärden (deflection rate, CSAT, time-to-resolution).
- Sätt upp AWS-konton, VPC, IAM-baslinjer och Bedrock-åtkomst.
- Integrera SSO/SCIM; mappa roller och godkännandeflöden.
- Anslut kärnkällor i Glean och validera behörighetsmedveten hämtning.
- Bygg en minimal orkestreringstjänst (Lambda + API Gateway) med Step Functions.
- Implementera RAG-promptkontraktet, citat och källfiltrering.
- Lägg till två verktyg end-to-end (skrivskyddat först, sedan skriv med godkännande).
- Instrumentera loggning, utvärderingar och instrumentpaneler; skapa en gulduppsättning med 150 frågor.
- Kör en stängd beta med 50–100 användare; åtgärda de största problemen; ange SLO:er.
- Rulla ut brett; upprätta en veckovis ändringsgranskning och månatlig modellutvärdering.
Vanliga frågor när du bygger AI-agenter med Glean och AWS
Hur minskar jag hallucinationer i företagsagenter?
Grunda modellen med hämtning från Glean och tillämpa en strikt prompt: använd endast det angivna sammanhanget och citera alltid källor. Avvisa svar med lågt förtroende och ställ förtydligande frågor. De flesta hallucinationer försvinner när du förlitar dig på behörighetsmedveten hämtning.
Kan agenten respektera behörigheter på dokumentnivå över appar?
Ja. När du bygger AI-agenter med Glean och AWS tillämpar Glean behörigheter från anslutna appar vid frågetidpunkten, så agenten ser bara det som användaren kan komma åt. Skicka alltid användarens identitetstoken för att upprätthålla chain of custody.
Vilka modeller ska jag börja med på AWS?
Använd Amazon Bedrock för åtkomst till flera modeller. Börja med en stark generell modell för resonemang och en mindre, snabbare modell för routing. Utvärdera latens, kostnad och noggrannhet mot din sammanställda gulduppsättning.
Hur låter jag agenter säkert vidta åtgärder i system som Jira eller ServiceNow?
Slå in varje verktyg med strikta scheman, indatavalidering och godkännandearbetsflöden. Logga varje verktygsanrop och lagra utdata för revision. För åtgärder med stor påverkan, kräva ett mänskligt bekräftelsesteg.
Vilka mätvärden bevisar att en agent är produktionsklar?
Spåra groundedness (citatfrekvens), svarsnoggrannhet, P95-latens, upplösnings-/deflektionsfrekvens och kostnad per löst uppgift. Bygg instrumentpaneler och kör veckovisa regressionskontroller på din gulduppsättning.
Förresten: accelerera byggloopen
Värt att notera: om ditt team prototyper ofta kan en copilot för forskning och utkast påskynda design dokument, runbooks och promptiterationer. Verktyg som Sider.AI hjälper team att sammanfatta långa trådar, utarbeta utvärderingsprompter och jämföra modellutdata sida vid sida – användbart när du justerar hur du bygger AI-agenter som är redo för företag med Glean och AWS. Viktiga takeaways och nästa steg
- Att bygga AI-agenter med Glean och AWS ger dig identitetsmedveten hämtning och orkestrering i företagsklass.
- Börja med identitet, styrning och behörighetsmedveten hämtning före avancerad planeringslogik.
- Använd Bedrock-skyddsräcken, strikta verktygsscheman och godkännanden med människan-i-loopen.
- Instrumentera allt: utvärderingar, revisioner och kostnadskontroller.
Nästa steg den här veckan:
- Utarbeta dina tre bästa användningsfall och framgångsmätvärden.
- Anslut två kärnkällor i Glean; kör en utvärdering med 150 frågor.
- Sätt upp en minimal Lambda + Step Functions-orkestrerare med ett skrivskyddat verktyg.
- Ange dina latens- och kostnadsbudgetar innan piloten expanderar.
FAQ
F1:Vad betyder företagsklar för AI-agenter på AWS?
Det betyder säkra, revisionsbara agenter som respekterar SSO och dokumentbehörigheter, tillhandahåller citat och körs på kompatibel infrastruktur. När du bygger AI-agenter med Glean och AWS får du behörighetsmedveten hämtning och observerbarhet i molnklass.
F2:Hur förhindrar Glean dataläckor i AI-svar?
Glean tillämpar behörigheter på dokumentnivå från varje ansluten app vid frågetidpunkten. Agenten hämtar bara innehåll som användaren kan komma åt, vilket är avgörande när man bygger AI-agenter som är redo för företag med Glean och AWS.
F3:Vilka AWS-tjänster ska jag använda för orkestrering?
Använd Lambda eller ECS för exekvering, Step Functions för arbetsflöden i flera steg, Bedrock för modeller och skyddsräcken och Secrets Manager för autentiseringsuppgifter. Denna stack är en beprövad bas för att bygga AI-agenter med Glean och AWS.
F4:Hur utvärderar jag noggrannhet och minskar hallucinationer?
Skapa en gulduppsättning med frågor, kräv citat och använd hämtningsförstärkt generering. Med Glean och AWS minskar behörighetsmedveten hämtning plus skyddsräcken hallucinationer avsevärt.
F5:Kan AI-agenter säkert vidta åtgärder som att skapa ärenden eller lägga upp inlägg i Slack?
Ja – med schema-validerade verktyg, godkännanden för åtgärder med stor påverkan och fullständig granskningsloggning. Detta är ett kärnmönster när du bygger AI-agenter som är redo för företag med Glean och AWS.
