Perché gli agenti AI aziendali falliscono e come renderli pronti per la produzione con Glean e AWS
Ecco un'affermazione audace: la maggior parte degli "agenti AI" dimostrati nelle sale riunioni non sono realmente pronti per l'uso aziendale. Hanno allucinazioni sotto pressione, si rompono con dati reali e non possono superare un audit SOC 2. Se desideri un'AI che i tuoi team legali, di sicurezza e IT approveranno effettivamente e che i tuoi dipendenti utilizzeranno effettivamente, hai bisogno di una build che combini il recupero di livello aziendale (Glean), primitive cloud robuste (AWS) e un'architettura disciplinata che sopravviva alla scalabilità.
Questa guida ti illustra passo dopo passo come costruire agenti AI pronti per l'uso aziendale con Glean e AWS, dal recupero consapevole dell'identità all'uso sicuro degli strumenti, dai budget di latenza all'osservabilità e dal pilot alla produzione.
Utilizzeremo una struttura guidata da domande in modo che tu possa saltare a ciò che conta di più: accesso ai dati, sicurezza, architettura e implementazione.
Cosa intendiamo per agenti AI pronti per l'uso aziendale?
Un agente AI pronto per l'uso aziendale non è solo un'interfaccia di chat. È un sistema sicuro e controllabile che può:
- Rispondere alle domande utilizzando la conoscenza aziendale con rigidi confini di autorizzazione
- Intraprendere azioni attraverso strumenti approvati (ad esempio, ticket ServiceNow, problemi Jira, post Slack)
- Attribuire fonti e spiegare il ragionamento
- Operare sotto i controlli SSO, SCIM e DLP aziendali
- Rispettare i requisiti di residenza dei dati, registrazione e conservazione
- Scalare a migliaia di utenti con latenza e costi prevedibili
È qui che la costruzione di agenti AI con Glean e AWS eccelle: Glean fornisce ricerca e recupero aziendali consapevoli dell'identità tra le app, mentre AWS offre le basi di calcolo, orchestrazione, rete e governance di cui avrai bisogno in produzione.
Architettura a colpo d'occhio: Glean + AWS
Pensa al sistema come a quattro livelli:
- Livello di identità e accesso (SSO, SCIM, autorizzazioni)
- SSO tramite Okta/Azure AD; SCIM per il provisioning; mappature dei ruoli
- Glean applica le autorizzazioni a livello di documento al momento della query
- AWS Cognito o SAML/OIDC diretto per intermediare i token nei servizi
- Livello di recupero aziendale (Glean)
- Indice unificato tra Google Drive, Slack, Confluence, Jira, GitHub, Box, Notion e altro
- Recupero e classificazione consapevoli delle autorizzazioni
- Riscittura delle query, ricerca ibrida, riclassificazione semantica
- Livello di ragionamento e orchestrazione (AWS + modelli)
- AWS Lambda o ECS per passaggi dell'agente senza stato
- Amazon Bedrock per l'accesso gestito ai modelli di frontiera
- Step Functions per flussi di lavoro multi-strumento e tentativi
- Secrets Manager/Parameter Store per chiavi e credenziali degli strumenti
- Livello di azione e strumento (integrazioni aziendali)
- Operazioni di lettura e scrittura sui sistemi di registrazione (ServiceNow, Salesforce, Jira, Slack)
- Guardrail, approvazioni e osservazione per ogni chiamata allo strumento
- Log di audit in CloudWatch/OpenSearch per la spiegabilità
Build principale: come costruire agenti AI pronti per l'uso aziendale con Glean e AWS
Di seguito è riportato un percorso pratico ed end-to-end. Adatta per il tuo stack, ma mantieni i principi.
1) Imposta prima l'identità e la governance
- Stabilisci SSO tramite Okta/Azure AD. Mappa gruppi/ruoli alle autorizzazioni dell'app.
- Utilizza SCIM per il ciclo di vita automatizzato dell'utente (joiner/mover/leaver). Il deprovisioning deve propagarsi all'agente.
- Configura gli account AWS con i ruoli IAM con privilegi minimi. Separa dev, staging, prod. Applica endpoint VPC per Bedrock e controlli di uscita dei dati dove richiesto.
- Definisci la conservazione dei dati: per quanto tempo archiviare prompt, risposte e incorporamenti vettoriali. Utilizza bucket S3 crittografati con KMS per log e artefatti.
Suggerimento: tratta l'identità come un segnale di runtime. L'agente deve trasmettere l'identità dell'utente finale tramite Glean e gli strumenti in modo che i controlli delle autorizzazioni rimangano intatti.
2) Connetti le origini in Glean e abilita il recupero consapevole delle autorizzazioni
- Connetti Slack, Drive, Confluence, Notion, GitHub, Jira, Box ed e-mail in base alla tua impronta.
- Consenti a Glean di eseguire la scansione e l'indicizzazione con privilegi minimi; conferma gli ambiti con la sicurezza.
- Convalida la propagazione delle autorizzazioni: un utente dovrebbe recuperare solo ciò che può visualizzare nell'app di origine.
- Ottimizza la configurazione delle query di Glean: abilita la riscrittura delle query, il recupero ibrido e la riclassificazione semantica per una migliore precisione.
Perché è importante: nella maggior parte delle aziende, il 70-90% del problema di "allucinazione" è in realtà un problema di recupero. Con Glean, l'agente AI recupera i documenti giusti in base alle autorizzazioni dell'utente, riducendo enormemente il rischio e le risposte irrilevanti.
3) Scegli i modelli tramite Amazon Bedrock e imposta i guardrail
- Inizia con un modello generalista (ad esempio, Claude, Llama o Mistral tramite Bedrock) e A/B rispetto ai prompt di dominio.
- Utilizza Bedrock Guardrails per filtri di sicurezza, controlli di iniezione di prompt e criteri di contenuto.
- Limita le risposte: richiedi citazioni tramite ID/URL del documento, applica schemi JSON per gli output degli strumenti e imposta il numero massimo di token per passaggio.
- Mantieni un budget di latenza: target P95 end-to-end < 2,5 secondi per Q&A e < 6 secondi per i flussi di utilizzo degli strumenti.
4) Orchestra l'agente su AWS
Pattern: pianificazione in stile ReAct + utilizzo degli strumenti + risposta basata su fatti.
- Utilizza Step Functions per coordinare i passaggi: recupera → pianifica → strumento → convalida → rispondi.
- Le chiamate di ragionamento vengono eseguite in Lambda o ECS; scegli Lambda per il traffico irregolare, ECS per la velocità effettiva sostenuta.
- Gli adattatori di strumenti (Jira, Slack, ServiceNow) sono Lambda senza stato con segreti con ambito IAM in AWS Secrets Manager.
- Archivia lo stato della conversazione a breve termine in DynamoDB con TTL; analisi a lungo termine in S3/Glue/Athena.
5) Implementa la generazione aumentata dal recupero (RAG) con Glean
- Interroga Glean con il token di identità dell'utente e la domanda dell'utente.
- Recupera i primi k risultati (ad esempio, ibrido: k=10 semantico + 10 parole chiave) rispettando le autorizzazioni.
- Riclassifica con la rilevanza di Glean; passa solo i chunk migliori e deduplicati al modello.
- Richiedi all'agente di citare le fonti e includere un punteggio di confidenza.
Struttura del prompt:
- Sistema: "Sei un assistente aziendale basato su fatti. Utilizza solo il contesto fornito. Se non è rilevante, poni una domanda di follow-up. Cita sempre le fonti per titolo e link."
- Strumenti: "Puoi chiamare Jira_CreateIssue, Slack_PostMessage, ServiceNow_CreateIncident. Agisci solo dopo aver confermato con l'utente a meno che un runbook non autorizzi l'automazione."
6) Aggiungi l'uso e le approvazioni di strumenti sicuri
- Avvolgi ogni strumento con la convalida dei parametri e la limitazione della frequenza.
- Richiedi la conferma umana o l'approvazione del responsabile per le azioni di impatto (ad esempio, provisioning dell'accesso, chiusura dei P1).
- Registra ogni chiamata allo strumento (chi, cosa, quando, schema di input, output) in CloudWatch e S3 per gli audit.
- Per i post di Slack/Teams, supporta la "modalità bozza" per l'anteprima prima dell'invio.
7) Osservabilità, valutazione e controllo della deriva
- Acquisisci prompt, snippet di contesto, citazioni e risposte con la redazione dove necessario.
- Utilizza le dashboard di OpenSearch per monitorare precision@k, groundedness e tasso di deflection.
- Esegui valutazioni offline: cura un set gold di 100-300 domande specifiche dell'organizzazione con risposte previste e fonti richieste.
- Pianifica canary per rilevare la deriva del connettore o delle autorizzazioni (ad esempio, canali Slack modificati, migrazioni di drive).
8) Ottimizzazione delle prestazioni e dei costi
- Memorizza nella cache le query di Glean per utente per argomenti caldi (ad esempio, politica delle risorse umane) con TTL brevi.
- Utilizza modelli più piccoli per il routing, modelli più grandi solo per query difficili o piani multi-strumento.
- Riclassifica in batch quando possibile; comprimi il contesto; utilizza la deduplicazione dei chunk.
- Tieni traccia del costo per attività risolta; imposta quote per organizzazione e per gruppo di utenti.
Esempio: un assistente IT aziendale costruito con Glean e AWS
Analizziamo uno scenario concreto che mostra come costruire agenti AI pronti per l'uso aziendale con Glean e AWS.
Caso d'uso: triage e risoluzione del supporto IT.
- L'utente chiede: "VPN non funziona su macOS 14 dopo l'aggiornamento: c'è una soluzione?"
- L'agente indirizza alla traccia del runbook IT.
- Recupero: interroga Glean con l'identità dell'utente e recupera il runbook VPN (Confluence), un thread Slack da #it-support e un documento di policy Jamf. Vengono prese in considerazione solo le risorse a cui l'utente può accedere.
- Pianificazione: l'agente propone i seguenti passaggi: condividi la correzione, verifica la conformità del dispositivo tramite Jamf e, se non risolto, apri un incidente ServiceNow.
- Chiamate allo strumento: legge lo stato di Jamf (solo lettura), redige un messaggio di correzione e chiede all'utente di confermare l'escalation. Con la conferma, crea un incidente con il modello corretto.
- Risposta: fornisce un riepilogo conciso della correzione con citazioni del runbook e del thread Slack, il tutto all'interno dell'ambito di autorizzazione dell'utente.
Perché funziona: l'agente è basato sul recupero consapevole delle autorizzazioni da Glean e AWS gestisce l'esecuzione, le approvazioni e la registrazione.
Checklist di sicurezza e conformità (non saltare questo)
- Mantieni il contesto di recupero lato server; non esporre il contenuto grezzo del documento al client.
- Crittografa a riposo con KMS; applica TLS 1.2+ in transito.
- Trasmetti l'identità dell'utente a Glean e agli strumenti; non utilizzare mai un'identità di bot condivisa per il recupero.
- Mappa RBAC dai gruppi IdP agli ambiti degli strumenti.
- Abilita Bedrock Guardrails; non consentire segreti nei prompt.
- Redigi le informazioni personali dove richiesto e documenta le finestre di conservazione.
- Log immutabili su S3 con Object Lock; esporta al tuo SIEM.
- Mantieni un runbook per la risposta agli incidenti e il rollback del modello.
Blueprint di implementazione: 10 passaggi per la produzione
- Definisci i 3 principali casi d'uso dell'agente (IT, HR, operazioni di vendita) e le metriche di successo (tasso di deflection, CSAT, tempo di risoluzione).
- Crea account AWS, VPC, baseline IAM e accesso Bedrock.
- Integra SSO/SCIM; mappa ruoli e flussi di approvazione.
- Connetti le origini principali in Glean e convalida il recupero consapevole delle autorizzazioni.
- Costruisci un servizio di orchestrazione minimo (Lambda + API Gateway) con Step Functions.
- Implementa il contratto di prompt RAG, le citazioni e il filtro delle fonti.
- Aggiungi due strumenti end-to-end (prima solo lettura, poi scrittura con approvazione).
- Strumenta la registrazione, le valutazioni e le dashboard; crea un set gold di 150 domande.
- Esegui una beta chiusa con 50-100 utenti; risolvi i problemi principali; imposta gli SLO.
- Implementa ampiamente; stabilisci una revisione settimanale delle modifiche e una valutazione mensile del modello.
Domande frequenti sulla costruzione di agenti AI con Glean e AWS
Come posso ridurre le allucinazioni negli agenti aziendali?
Ancora il modello con il recupero da Glean e applica un prompt rigoroso: utilizza solo il contesto fornito e cita sempre le fonti. Rifiuta le risposte con bassa confidenza e poni domande chiarificatrici. La maggior parte delle allucinazioni diminuisce quando ti affidi al recupero consapevole delle autorizzazioni.
L'agente può rispettare le autorizzazioni a livello di documento tra le app?
Sì. Quando costruisci agenti AI con Glean e AWS, Glean applica le autorizzazioni dalle app connesse al momento della query, quindi l'agente vede solo ciò a cui l'utente può accedere. Trasmetti sempre il token di identità dell'utente per mantenere la catena di custodia.
Con quali modelli dovrei iniziare su AWS?
Utilizza Amazon Bedrock per l'accesso a più modelli. Inizia con un modello generale forte per il ragionamento e un modello più piccolo e veloce per il routing. Valuta la latenza, il costo e l'accuratezza rispetto al tuo set gold curato.
Come posso consentire in modo sicuro agli agenti di intraprendere azioni in sistemi come Jira o ServiceNow?
Avvolgi ogni strumento con schemi rigorosi, convalida dell'input e flussi di lavoro di approvazione. Registra ogni chiamata allo strumento e archivia gli output per l'audit. Per le azioni di grande impatto, richiedi un passaggio di conferma umano.
Quali metriche dimostrano che un agente è pronto per la produzione?
Tieni traccia di groundedness (tasso di citazione), accuratezza della risposta, latenza P95, tasso di risoluzione/deflection e costo per attività risolta. Costruisci dashboard ed esegui controlli di regressione settimanali sul tuo set gold.
A proposito: accelerare il ciclo di build
Vale la pena notare: se il tuo team prototipa frequentemente, un copilot per la ricerca e la redazione può accelerare i documenti di progettazione, i runbook e le iterazioni dei prompt. Strumenti come Sider.AI aiutano i team a riassumere thread lunghi, a redigere prompt di valutazione e a confrontare gli output del modello side-by-side, utile quando stai ottimizzando come costruire agenti AI pronti per l'uso aziendale con Glean e AWS. Punti chiave e passaggi successivi
- La costruzione di agenti AI con Glean e AWS ti offre il recupero consapevole dell'identità e l'orchestrazione di livello aziendale.
- Inizia con l'identità, la governance e il recupero consapevole delle autorizzazioni prima della logica di pianificazione complessa.
- Utilizza i guardrail di Bedrock, schemi di strumenti rigorosi e approvazioni human-in-the-loop.
- Strumenta tutto: valutazioni, audit e controlli dei costi.
Passaggi successivi questa settimana:
- Redigi i tuoi tre principali casi d'uso e le metriche di successo.
- Connetti due origini principali in Glean; esegui una valutazione di 150 domande.
- Crea un orchestratore minimo Lambda + Step Functions con uno strumento di sola lettura.
- Imposta i tuoi budget di latenza e costi prima che il pilot si espanda.
FAQ
D1: Cosa significa pronto per l'uso aziendale per gli agenti AI su AWS?
Significa agenti sicuri e controllabili che rispettano SSO e le autorizzazioni dei documenti, forniscono citazioni ed eseguono su infrastrutture conformi. Quando costruisci agenti AI con Glean e AWS, ottieni il recupero consapevole delle autorizzazioni e l'osservabilità di livello cloud.
D2: In che modo Glean previene le perdite di dati nelle risposte AI?
Glean applica le autorizzazioni a livello di documento da ogni app connessa al momento della query. L'agente recupera solo il contenuto a cui l'utente può accedere, il che è fondamentale quando si costruiscono agenti AI pronti per l'uso aziendale con Glean e AWS.
D3: Quali servizi AWS dovrei utilizzare per l'orchestrazione?
Utilizza Lambda o ECS per l'esecuzione, Step Functions per flussi di lavoro multi-step, Bedrock per modelli e guardrail e Secrets Manager per le credenziali. Questo stack è una base comprovata per la costruzione di agenti AI con Glean e AWS.
D4: Come posso valutare l'accuratezza e ridurre le allucinazioni?
Crea un set gold di domande, richiedi citazioni e utilizza la generazione aumentata dal recupero. Con Glean e AWS, il recupero consapevole delle autorizzazioni più i guardrail riducono significativamente le allucinazioni.
D5: Gli agenti AI possono intraprendere in modo sicuro azioni come la creazione di ticket o la pubblicazione in Slack?
Sì, con strumenti con schema convalidato, approvazioni per azioni di grande impatto e registrazione completa degli audit. Questo è un modello fondamentale quando costruisci agenti AI pronti per l'uso aziendale con Glean e AWS.
