Warum Enterprise-KI-Agenten scheitern – und wie man sie mit Glean und AWS produktionsreif macht
Hier ist eine gewagte Behauptung: Die meisten „KI-Agenten“, die in Vorstandsetagen vorgeführt werden, sind nicht wirklich für den Unternehmenseinsatz geeignet. Sie halluzinieren unter Druck, brechen bei realen Daten zusammen und bestehen kein SOC 2-Audit. Wenn Sie eine KI wünschen, die Ihre Rechts-, Sicherheits- und IT-Teams tatsächlich genehmigen – und Ihre Mitarbeiter tatsächlich nutzen – benötigen Sie einen Aufbau, der Retrieval auf Enterprise-Niveau (Glean), robuste Cloud-Primitive (AWS) und eine disziplinierte Architektur kombiniert, die der Skalierung standhält.
Dieser Leitfaden führt Sie Schritt für Schritt durch den Aufbau von Enterprise-KI-Agenten mit Glean und AWS – von identitätsbewusstem Retrieval bis hin zu sicherer Tool-Nutzung, von Latenzbudgets bis hin zu Observability und von Pilotprojekten bis hin zur Produktion.
Wir verwenden eine Frage-geleitete Struktur, sodass Sie direkt zu dem springen können, was am wichtigsten ist: Datenzugriff, Sicherheit, Architektur und Rollout.
Was verstehen wir unter Enterprise-KI-Agenten?
Ein Enterprise-KI-Agent ist nicht nur eine Chat-Oberfläche. Es ist ein sicheres, auditierbares System, das Folgendes kann:
- Fragen unter Verwendung von Unternehmenswissen mit strikten Berechtigungsgrenzen beantworten
- Aktionen über genehmigte Tools ausführen (z. B. ServiceNow-Tickets, Jira-Tickets, Slack-Posts)
- Quellen zuordnen und Begründungen liefern
- Unter Enterprise-SSO-, SCIM- und DLP-Kontrollen arbeiten
- Datenresidenz-, Protokollierungs- und Aufbewahrungsanforderungen erfüllen
- Auf Tausende von Benutzern mit vorhersehbarer Latenz und Kosten skalieren
Hier glänzt der Aufbau von KI-Agenten mit Glean und AWS: Glean bietet identitätsbewusste Enterprise-Suche und Retrieval über verschiedene Anwendungen hinweg, während AWS die Compute-, Orchestrierungs-, Netzwerk- und Governance-Grundlage bietet, die Sie in der Produktion benötigen.
Architektur auf einen Blick: Glean + AWS
Betrachten Sie das System als vier Schichten:
- Identitäts- und Zugriffsschicht (SSO, SCIM, Berechtigungen)
- SSO über Okta/Azure AD; SCIM für die Bereitstellung; Rollenzuordnungen
- Glean erzwingt Berechtigungen auf Dokumentebene zur Abfragezeit
- AWS Cognito oder direktes SAML/OIDC zur Vermittlung von Token in Dienste
- Enterprise-Retrieval-Schicht (Glean)
- Einheitlicher Index über Google Drive, Slack, Confluence, Jira, GitHub, Box, Notion und mehr
- Berechtigungsbewusstes Retrieval und Ranking
- Query Rewriting, hybride Suche, semantisches Reranking
- Reasoning- & Orchestrierungsschicht (AWS + Modelle)
- AWS Lambda oder ECS für zustandslose Agenten-Schritte
- Amazon Bedrock für verwalteten Zugriff auf Frontier-Modelle
- Step Functions für Multi-Tool-Workflows und Wiederholungsversuche
- Secrets Manager/Parameter Store für Schlüssel und Tool-Anmeldeinformationen
- Aktions- & Tool-Schicht (Enterprise-Integrationen)
- Lese- und Schreiboperationen für Record-Systeme (ServiceNow, Salesforce, Jira, Slack)
- Guardrails, Genehmigungen und Beobachtung für jeden Tool-Aufruf
- Audit-Logs in CloudWatch/OpenSearch für Erklärbarkeit
Kernaufbau: So bauen Sie Enterprise-KI-Agenten mit Glean & AWS
Nachfolgend finden Sie einen praktischen End-to-End-Pfad. Passen Sie ihn an Ihren Stack an, aber behalten Sie die Prinzipien bei.
1) Richten Sie zuerst Identität und Governance ein
- Richten Sie SSO über Okta/Azure AD ein. Ordnen Sie Gruppen/Rollen App-Berechtigungen zu.
- Verwenden Sie SCIM für den automatisierten Benutzerlebenszyklus (Joiner/Mover/Leaver). Die Deprovisionierung muss sich auf den Agenten auswirken.
- Konfigurieren Sie AWS-Konten mit IAM-Rollen mit den geringsten Rechten. Trennen Sie Dev, Staging, Prod. Erzwingen Sie VPC-Endpunkte für Bedrock und Daten-Egress-Kontrollen, wo erforderlich.
- Definieren Sie die Datenaufbewahrung: wie lange Prompts, Antworten und Vektoreinbettungen gespeichert werden sollen. Verwenden Sie KMS-verschlüsselte S3-Buckets für Protokolle und Artefakte.
Tipp: Behandeln Sie die Identität als Runtime-Signal. Der Agent muss die Identität des Endbenutzers über Glean und Tools weitergeben, damit die Berechtigungsprüfungen intakt bleiben.
2) Verbinden Sie Quellen in Glean und aktivieren Sie berechtigungsbewusstes Retrieval
- Verbinden Sie Slack, Drive, Confluence, Notion, GitHub, Jira, Box und E-Mail gemäß Ihrem Bedarf.
- Lassen Sie Glean mit den geringsten Rechten crawlen und indizieren; bestätigen Sie die Bereiche mit der Sicherheit.
- Validieren Sie die Berechtigungsweitergabe: Ein Benutzer sollte nur das abrufen können, was er in der Quell-App sehen kann.
- Optimieren Sie die Glean-Abfragekonfiguration: Aktivieren Sie Query Rewriting, hybrides Retrieval und semantisches Reranking für eine bessere Präzision.
Warum es wichtig ist: In den meisten Unternehmen sind 70–90 % des „Halluzinations“-Problems eigentlich ein Retrieval-Problem. Mit Glean ruft der KI-Agent die richtigen Dokumente ab, die an die Berechtigungen des Benutzers gebunden sind, wodurch das Risiko und irrelevante Antworten massiv reduziert werden.
3) Wählen Sie Modelle über Amazon Bedrock und legen Sie Guardrails fest
- Beginnen Sie mit einem Generalistenmodell (z. B. Claude, Llama oder Mistral über Bedrock) und führen Sie A/B-Tests mit Domain-Prompts durch.
- Verwenden Sie Bedrock Guardrails für Sicherheitsfilter, Prompt-Injection-Prüfungen und Content-Richtlinien.
- Beschränken Sie die Antworten: Fordern Sie Zitate nach Dokument-ID/URL an, erzwingen Sie JSON-Schemas für Tool-Ausgaben und legen Sie maximale Token pro Schritt fest.
- Behalten Sie ein Latenzbudget bei: Peilen Sie P95 End-to-End < 2,5 s für Q&A und < 6 s für Tool-Use-Flows an.
4) Orchestrieren Sie den Agenten auf AWS
Muster: ReAct-ähnliche Planung + Tool-Nutzung + fundierte Beantwortung.
- Verwenden Sie Step Functions, um Schritte zu koordinieren: Retrieval → Plan → Tool → Validieren → Antwort.
- Reasoning-Aufrufe werden in Lambda oder ECS ausgeführt; wählen Sie Lambda für Burst-Traffic und ECS für nachhaltigen Durchsatz.
- Tool-Adapter (Jira, Slack, ServiceNow) sind zustandslose Lambdas mit IAM-basierten Secrets im AWS Secrets Manager.
- Speichern Sie kurzlebige Gesprächszustände in DynamoDB mit TTL; langfristige Analysen in S3/Glue/Athena.
5) Implementieren Sie Retrieval-Augmented Generation (RAG) mit Glean
- Fragen Sie Glean mit dem Identitätstoken des Benutzers und der Frage des Benutzers ab.
- Rufen Sie die Top-k-Ergebnisse ab (z. B. hybrid: k=10 semantisch + 10 Keyword), wobei die Berechtigungen berücksichtigt werden.
- Führen Sie ein Reranking mit der Relevanz von Glean durch; geben Sie nur die obersten, deduplizierten Chunks an das Modell weiter.
- Fordern Sie den Agenten auf, Quellen zu zitieren und eine Konfidenzbewertung anzugeben.
Prompt-Skeleton:
- System: „Du bist ein fundierter Enterprise-Assistent. Verwende nur den bereitgestellten Kontext. Wenn er irrelevant ist, stelle eine Folgefrage. Zitiere immer Quellen nach Titel und Link.“
- Tools: „Du kannst Jira_CreateIssue, Slack_PostMessage, ServiceNow_CreateIncident aufrufen. Handle erst nach Rücksprache mit dem Benutzer, es sei denn, ein Runbook autorisiert die Automatisierung.“
6) Fügen Sie eine sichere Tool-Nutzung und Genehmigungen hinzu
- Umhüllen Sie jedes Tool mit Parametervalidierung und Ratenbegrenzung.
- Fordern Sie eine menschliche Bestätigung oder eine Genehmigung des Managers für wirkungsvolle Aktionen an (z. B. Bereitstellung von Zugriff, Schließen von P1s).
- Protokollieren Sie jeden Tool-Aufruf (wer, was, wann, Eingabeschema, Ausgabe) in CloudWatch und S3 für Audits.
- Unterstützen Sie für Slack/Teams-Posts den „Entwurfsmodus“ zur Vorschau vor dem Senden.
7) Observability, Evaluation und Drift Control
- Erfassen Sie Prompts, Kontext-Snippets, Zitate und Antworten mit Redaktion, wo erforderlich.
- Verwenden Sie OpenSearch-Dashboards, um precision@k, Fundiertheit und Deflection Rate zu überwachen.
- Führen Sie Offline-Evals durch: Erstellen Sie einen Gold-Set von 100–300 organisationsspezifischen Fragen mit erwarteten Antworten und erforderlichen Quellen.
- Planen Sie Canaries, um Connector- oder Berechtigungsdrift zu erkennen (z. B. geänderte Slack-Kanäle, Drive-Migrationen).
8) Performance- und Kostenoptimierung
- Zwischenspeichern Sie Glean-Abfragen pro Benutzer für Hot Topics (z. B. HR-Richtlinie) mit kurzen TTLs.
- Verwenden Sie kleinere Modelle für das Routing, größere Modelle nur für schwierige Abfragen oder Multi-Tool-Pläne.
- Führen Sie, wenn möglich, Batch-Reranking durch; komprimieren Sie den Kontext; verwenden Sie Chunk-Deduplizierung.
- Verfolgen Sie die Kosten pro gelöster Aufgabe; legen Sie Quoten pro Organisation und pro Benutzergruppe fest.
Beispiel: Ein Enterprise-IT-Assistent, der mit Glean und AWS erstellt wurde
Lassen Sie uns ein konkretes Szenario durchgehen, das zeigt, wie man Enterprise-KI-Agenten mit Glean und AWS erstellt.
Anwendungsfall: IT-Support-Triage und -Lösung.
- Der Benutzer fragt: „VPN schlägt auf macOS 14 nach dem Update fehl – gibt es eine Lösung?“
- Der Agent leitet zur IT-Runbook-Spur weiter.
- Retrieval: Fragt Glean mit der Identität des Benutzers ab und ruft das VPN-Runbook (Confluence), einen Slack-Thread von #it-support und ein Jamf-Richtliniendokument ab. Es werden nur Ressourcen berücksichtigt, auf die der Benutzer zugreifen kann.
- Planung: Der Agent schlägt Schritte vor: die Lösung teilen, die Gerätekonformität über Jamf überprüfen und, falls das Problem nicht behoben ist, ein ServiceNow-Incident eröffnen.
- Tool-Aufrufe: Liest den Jamf-Status (schreibgeschützt), entwirft eine Fix-Nachricht und bittet den Benutzer, die Eskalation zu bestätigen. Nach Bestätigung erstellt er einen Incident mit der richtigen Vorlage.
- Antwort: Bietet eine prägnante Fix-Zusammenfassung mit Zitaten zum Runbook und Slack-Thread, alles innerhalb des Berechtigungsbereichs des Benutzers.
Warum es funktioniert: Der Agent basiert auf einem berechtigungsbewussten Retrieval von Glean, und AWS übernimmt die Ausführung, Genehmigungen und Protokollierung.
Checkliste für Sicherheit und Compliance (nicht überspringen)
- Behalten Sie den Retrieval-Kontext serverseitig; legen Sie den rohen Dokumentinhalt nicht dem Client offen.
- Verschlüsseln Sie im Ruhezustand mit KMS; erzwingen Sie TLS 1.2+ bei der Übertragung.
- Übergeben Sie die Benutzeridentität an Glean und Tools; verwenden Sie niemals eine gemeinsam genutzte Bot-Identität für das Retrieval.
- Ordnen Sie RBAC von IdP-Gruppen Tool-Bereichen zu.
- Aktivieren Sie Bedrock Guardrails; verbieten Sie Secrets in Prompts.
- Redigieren Sie PII, wo erforderlich, und dokumentieren Sie die Aufbewahrungsfristen.
- Unveränderliche Protokolle in S3 mit Object Lock; Export in Ihr SIEM.
- Führen Sie ein Runbook für die Reaktion auf Vorfälle und den Modell-Rollback.
Implementierungs-Blueprint: 10 Schritte zur Produktion
- Definieren Sie die Top 3 Anwendungsfälle für Agenten (IT, HR, Sales Ops) und Erfolgsmetriken (Deflection Rate, CSAT, Time-to-Resolution).
- Richten Sie AWS-Konten, VPC, IAM-Baselines und Bedrock-Zugriff ein.
- Integrieren Sie SSO/SCIM; ordnen Sie Rollen und Genehmigungsabläufe zu.
- Verbinden Sie Kernquellen in Glean und validieren Sie das berechtigungsbewusste Retrieval.
- Erstellen Sie einen minimalen Orchestrierungsdienst (Lambda + API Gateway) mit Step Functions.
- Implementieren Sie den RAG-Prompt-Vertrag, Zitate und Quellfilterung.
- Fügen Sie zwei End-to-End-Tools hinzu (zuerst schreibgeschützt, dann schreiben mit Genehmigung).
- Instrumentieren Sie Protokollierung, Auswertungen und Dashboards; erstellen Sie einen Gold-Set mit 150 Fragen.
- Führen Sie eine geschlossene Beta mit 50–100 Benutzern durch; beheben Sie die wichtigsten Probleme; legen Sie SLOs fest.
- Führen Sie einen breiten Rollout durch; richten Sie eine wöchentliche Änderungsüberprüfung und eine monatliche Modellbewertung ein.
Häufig gestellte Fragen beim Aufbau von KI-Agenten mit Glean und AWS
Wie reduziere ich Halluzinationen in Enterprise-Agenten?
Fundieren Sie das Modell mit Retrieval von Glean und erzwingen Sie einen strengen Prompt: Verwenden Sie nur den bereitgestellten Kontext und zitieren Sie immer Quellen. Lehen Sie Antworten mit geringem Vertrauen ab und stellen Sie klärende Fragen. Die meisten Halluzinationen verschwinden, wenn Sie sich auf ein berechtigungsbewusstes Retrieval verlassen.
Kann der Agent Berechtigungen auf Dokumentebene über verschiedene Apps hinweg berücksichtigen?
Ja. Wenn Sie KI-Agenten mit Glean und AWS erstellen, erzwingt Glean Berechtigungen von verbundenen Apps zum Abfragezeitpunkt, sodass der Agent nur das sieht, worauf der Benutzer zugreifen kann. Übergeben Sie immer das Identitätstoken des Benutzers, um die Chain of Custody aufrechtzuerhalten.
Mit welchen Modellen sollte ich auf AWS beginnen?
Verwenden Sie Amazon Bedrock für den Zugriff auf mehrere Modelle. Beginnen Sie mit einem starken allgemeinen Modell für Reasoning und einem kleineren, schnelleren Modell für das Routing. Bewerten Sie Latenz, Kosten und Genauigkeit anhand Ihres kuratierten Gold-Sets.
Wie kann ich Agenten sicher Aktionen in Systemen wie Jira oder ServiceNow ausführen lassen?
Umhüllen Sie jedes Tool mit strengen Schemas, Eingabevalidierung und Genehmigungs-Workflows. Protokollieren Sie jeden Tool-Aufruf und speichern Sie die Ausgaben für das Audit. Für wirkungsvolle Aktionen ist ein menschlicher Bestätigungsschritt erforderlich.
Welche Metriken beweisen, dass ein Agent produktionsreif ist?
Verfolgen Sie Fundiertheit (Zitierrate), Antwortgenauigkeit, P95-Latenz, Auflösungs-/Deflection Rate und Kosten pro gelöster Aufgabe. Erstellen Sie Dashboards und führen Sie wöchentliche Regressionsprüfungen für Ihr Gold-Set durch.
Übrigens: Beschleunigung der Build-Schleife
Erwähnenswert: Wenn Ihr Team häufig Prototypen erstellt, kann ein Copilot für Recherche und Entwurf die Erstellung von Designdokumenten, Runbooks und Prompt-Iterationen beschleunigen. Tools wie Sider.AI helfen Teams, lange Threads zusammenzufassen, Bewertungs-Prompts zu entwerfen und Modellausgaben nebeneinander zu vergleichen – nützlich, wenn Sie optimieren, wie Sie Enterprise-KI-Agenten mit Glean und AWS erstellen. Wichtige Erkenntnisse und nächste Schritte
- Das Erstellen von KI-Agenten mit Glean und AWS bietet Ihnen identitätsbewusstes Retrieval und Orchestrierung auf Enterprise-Niveau.
- Beginnen Sie mit Identität, Governance und berechtigungsbewusstem Retrieval, bevor Sie ausgefallene Planungslogiken verwenden.
- Verwenden Sie Bedrock Guardrails, strenge Tool-Schemas und Human-in-the-Loop-Genehmigungen.
- Instrumentieren Sie alles: Auswertungen, Audits und Kostenkontrollen.
Nächste Schritte diese Woche:
- Entwerfen Sie Ihre Top-3-Anwendungsfälle und Erfolgsmetriken.
- Verbinden Sie zwei Kernquellen in Glean; führen Sie eine 150-Fragen-Eval durch.
- Richten Sie einen minimalen Lambda + Step Functions-Orchestrator mit einem schreibgeschützten Tool ein.
- Legen Sie Ihre Latenz- und Kostenbudgets fest, bevor der Pilot erweitert wird.
FAQ
F1: Was bedeutet Enterprise-Ready für KI-Agenten auf AWS?
Es bedeutet sichere, auditierbare Agenten, die SSO- und Dokumentberechtigungen respektieren, Zitate bereitstellen und auf konformer Infrastruktur ausgeführt werden. Wenn Sie KI-Agenten mit Glean und AWS erstellen, erhalten Sie berechtigungsbewusstes Retrieval und Observability auf Cloud-Niveau.
F2: Wie verhindert Glean Datenlecks bei KI-Antworten?
Glean erzwingt Berechtigungen auf Dokumentebene von jeder verbundenen App zum Abfragezeitpunkt. Der Agent ruft nur Inhalte ab, auf die der Benutzer zugreifen kann, was entscheidend ist, wenn Enterprise-KI-Agenten mit Glean und AWS erstellt werden.
F3: Welche AWS-Dienste sollte ich für die Orchestrierung verwenden?
Verwenden Sie Lambda oder ECS für die Ausführung, Step Functions für mehrstufige Workflows, Bedrock für Modelle und Guardrails und Secrets Manager für Anmeldeinformationen. Dieser Stack ist eine bewährte Basis für den Aufbau von KI-Agenten mit Glean und AWS.
F4: Wie bewerte ich die Genauigkeit und reduziere Halluzinationen?
Erstellen Sie einen Gold-Set von Fragen, fordern Sie Zitate an und verwenden Sie Retrieval-Augmented Generation. Mit Glean und AWS reduziert ein berechtigungsbewusstes Retrieval plus Guardrails Halluzinationen erheblich.
F5: Können KI-Agenten sicher Aktionen wie das Erstellen von Tickets oder das Posten in Slack ausführen?
Ja – mit schemavalidierten Tools, Genehmigungen für Aktionen mit großer Auswirkung und vollständiger Audit-Protokollierung. Dies ist ein Kernmuster, wenn Sie Enterprise-KI-Agenten mit Glean und AWS erstellen.
