為何企業級 AI 代理會失敗 — 以及如何透過 Glean 和 AWS 使其達到可生產狀態
以下是一個大膽的聲明：在會議室演示的大多數「AI 代理」並非真正具備企業級水準。它們在高壓下會產生幻覺、在真實數據上會崩潰，並且無法通過 SOC 2 稽核。如果您想要您的法律、安全和 IT 團隊實際上會批准，並且您的員工實際上會使用的 AI，您需要一個結合了企業級檢索 (Glean)、穩健的雲端基礎元件 (AWS) 以及能夠經受擴展考驗的嚴謹架構的建構方案。
本指南將逐步引導您如何使用 Glean 和 AWS 構建企業級 AI 代理 — 從身分感知檢索到安全工具使用，從延遲預算到可觀察性，以及從試點到生產。
我們將使用以問題為導向的結構，以便您可以跳到最重要的部分：資料存取、安全性、架構和推出。
我們所說的企業級 AI 代理是什麼意思？
企業級 AI 代理不僅僅是一個聊天介面。它是一個安全、可稽核的系統，可以：
- 透過批准的工具執行操作（例如，ServiceNow 工單、Jira 問題、Slack 貼文）
這正是使用 Glean 和 AWS 構建 AI 代理的優勢所在：Glean 提供跨應用程式的身分感知企業搜尋和檢索，而 AWS 帶來您在生產環境中所需的計算、協調、網路和治理基礎。
架構概覽：Glean + AWS
將系統視為四個層：
- 透過 Okta/Azure AD 進行 SSO；SCIM 用於配置；角色映射
- AWS Cognito 或直接 SAML/OIDC 將 Token 轉移到服務
- 跨 Google Drive、Slack、Confluence、Jira、GitHub、Box、Notion 等的統一索引
- AWS Lambda 或 ECS 用於無狀態代理步驟
- Amazon Bedrock 用於管理對前沿模型的存取
- Step Functions 用於多工具工作流程和重試
- Secrets Manager/Parameter Store 用於金鑰和工具憑證
- 對記錄系統（ServiceNow、Salesforce、Jira、Slack）的讀取和寫入操作
- CloudWatch/OpenSearch 中的稽核日誌，以實現可解釋性
核心建構：如何使用 Glean 和 AWS 構建企業級 AI 代理
以下是一個實用、端到端的路徑。請根據您的堆疊進行調整，但請記住這些原則。
1) 首先設定身分和治理
- 透過 Okta/Azure AD 建立 SSO。將群組/角色映射到應用程式權限。
- 使用 SCIM 進行自動化的使用者生命週期管理（加入/調動/離職）。取消配置必須級聯到代理。
- 使用最小權限 IAM 角色配置 AWS 帳戶。分離開發、測試和生產環境。在需要時，對 Bedrock 實施 VPC 端點和資料輸出控制。
- 定義資料保留：提示、回應和向量嵌入的儲存時間。對日誌和工件使用 KMS 加密的 S3 儲存桶。
提示：將身分視為運行時訊號。代理必須將最終使用者的身分傳遞到 Glean 和工具，以使權限檢查保持完整。
2) 在 Glean 中連接來源並啟用權限感知檢索
- 根據您的足跡連接 Slack、Drive、Confluence、Notion、GitHub、Jira、Box 和電子郵件。
- 讓 Glean 以最小權限爬取和建立索引；與安全性確認範圍。
- 驗證權限傳播：使用者應僅檢索他們可以在來源應用程式中查看的內容。
- 調整 Glean 查詢配置：啟用查詢重寫、混合檢索和語義重新排序以獲得更高的精確度。
重要原因：在大多數企業中，70–90% 的「幻覺」問題實際上是一個檢索問題。透過 Glean，AI 代理會根據使用者的權限檢索正確的文件，從而大幅降低風險和無關的回覆。
3) 透過 Amazon Bedrock 選擇模型並設定防護措施
- 從通用模型開始（例如，透過 Bedrock 的 Claude、Llama 或 Mistral），並根據領域提示進行 A/B 測試。
- 使用 Bedrock Guardrails 進行安全過濾、提示注入檢查和內容策略。
- 約束回應：要求按文件 ID/URL 引用，對工具輸出強制執行 JSON 結構描述，並設定每個步驟的最大 Token 數。
- 保持延遲預算：目標是 Q&A 的 P95 端到端 < 2.5 秒，工具使用流程的 P95 端到端 < 6 秒。
4) 在 AWS 上協調代理
模式：ReAct 風格的規劃 + 工具使用 + 基於事實的回答。
- 使用 Step Functions 協調步驟：檢索 → 規劃 → 工具 → 驗證 → 回答。
- 推理呼叫在 Lambda 或 ECS 中執行；對於突發流量，選擇 Lambda；對於持續的輸送量，選擇 ECS。
- 工具轉接器（Jira、Slack、ServiceNow）是無狀態 Lambda，在 AWS Secrets Manager 中具有 IAM 範圍的密碼。
- 將短期對話狀態儲存在具有 TTL 的 DynamoDB 中；將長期分析儲存在 S3/Glue/Athena 中。
5) 使用 Glean 實作檢索增強生成 (RAG)
- 使用使用者的身分 Token 和使用者的問題查詢 Glean。
- 檢索前 k 個結果（例如，混合：k=10 語義 + 10 個關鍵字），並遵守權限。
- 使用 Glean 的相關性重新排序；僅將頂部、去重的區塊傳遞給模型。
提示框架：
- 系統：「您是一位基於事實的企業助理。僅使用提供的上下文。如果無關，請提出後續問題。始終按標題和連結引用來源。」
- 工具：「您可以呼叫 Jira_CreateIssue、Slack_PostMessage、ServiceNow_CreateIncident。除非運行手冊授權自動化，否則僅在與使用者確認後才採取行動。」
6) 新增安全工具使用和批准
- 對於有影響的行動（例如，配置存取權限、關閉 P1），需要人工確認或經理批准。
- 將每個工具呼叫（誰、什麼、何時、輸入結構描述、輸出）記錄到 CloudWatch 和 S3 以進行稽核。
- 對於 Slack/Teams 貼文，支援「草稿模式」以在傳送前預覽。
7) 可觀察性、評估和漂移控制
- 捕獲提示、上下文程式碼片段、引用和回應，並在需要時進行編輯。
- 使用 OpenSearch 儀表板監控 precision@k、基於事實的程度和偏轉率。
- 執行離線評估：策劃一組包含預期答案和所需來源的 100–300 個特定於組織的問題。
- 排程 Canary 以檢測連接器或權限漂移（例如，已更改的 Slack 頻道、磁碟機遷移）。
8) 效能和成本調整
- 為熱門主題（例如，HR 政策）快取每個使用者的 Glean 查詢，並使用較短的 TTL。
- 對路由使用較小的模型，僅對難以處理的查詢或多工具計畫使用較大的模型。
- 盡可能批量重新排序；壓縮上下文；使用區塊重複資料刪除。
- 追蹤每個已解決任務的成本；設定每個組織和每個使用者群組的配額。
範例：使用 Glean 和 AWS 建構的企業 IT 助理
讓我們來看一個具體的場景，展示如何使用 Glean 和 AWS 構建企業級 AI 代理。
使用案例：IT 支援分流和解決。
- 使用者詢問：「更新後 macOS 14 上的 VPN 失敗 — 有沒有解決方法？」
- 檢索：使用使用者的身分查詢 Glean，並獲取 VPN 運行手冊 (Confluence)、來自 #it‑support 的 Slack 執行緒和 Jamf 策略文件。僅考慮使用者可以存取的資源。
- 規劃：代理建議步驟：分享修復程式、透過 Jamf 檢查裝置合規性，如果問題未解決，則開啟 ServiceNow 事件。
- 工具呼叫：讀取 Jamf 狀態（唯讀）、起草修復訊息，並要求使用者確認升級。在確認後，使用正確的範本建立事件。
- 回答：提供簡明的修復摘要，其中包含對運行手冊和 Slack 執行緒的引用，所有內容都在使用者的權限範圍內。
有效的原因：代理基於 Glean 的權限感知檢索，而 AWS 處理執行、批准和記錄。
安全性和合規性檢查表（請勿跳過此步驟）
- 將檢索上下文保留在伺服器端；不要將原始文件內容暴露給用戶端。
- 使用 KMS 靜態加密；在傳輸中強制執行 TLS 1.2+。
- 將使用者身分傳遞給 Glean 和工具；切勿使用共用 Bot 身分進行檢索。
- 啟用 Bedrock Guardrails；不允許在提示中使用密碼。
- 使用物件鎖定的 S3 不可變日誌；匯出到您的 SIEM。
實作藍圖：實現生產的 10 個步驟
- 定義前 3 個代理使用案例（IT、HR、銷售運營）和成功指標（偏轉率、CSAT、解決時間）。
- 啟動 AWS 帳戶、VPC、IAM 基準和 Bedrock 存取。
- 在 Glean 中連接核心來源並驗證權限感知檢索。
- 使用 Step Functions 建立最小的協調服務（Lambda + API Gateway）。
- 端到端新增兩個工具（先唯讀，然後寫入並獲得批准）。
- 檢測記錄、評估和儀表板；建立一個包含 150 個問題的黃金集。
- 執行包含 50–100 個使用者的封閉 Beta 版；修復主要問題；設定 SLO。
使用 Glean 和 AWS 構建 AI 代理時的常見問題
如何減少企業代理中的幻覺？
透過從 Glean 檢索來建立模型，並強制執行嚴格的提示：僅使用提供的上下文並始終引用來源。拒絕信心不足的答案並提出澄清問題。當您依賴權限感知檢索時，大多數幻覺都會消失。
代理是否可以尊重跨應用程式的文件層級權限？
是的。當您使用 Glean 和 AWS 構建 AI 代理時，Glean 會在查詢時強制執行來自已連接應用程式的權限，因此代理只會看到使用者可以存取的內容。始終傳遞使用者的身分 Token 以維護監管鏈。
我應該從 AWS 上的哪些模型開始？
使用 Amazon Bedrock 存取多個模型。從一個強大的通用模型開始進行推理，並使用一個較小、更快的模型進行路由。根據您策劃的黃金集評估延遲、成本和準確性。
如何安全地讓代理在 Jira 或 ServiceNow 等系統中執行操作？
使用嚴格的結構描述、輸入驗證和批准工作流程包裝每個工具。記錄每個工具呼叫並儲存輸出以進行稽核。對於有影響的行動，需要人工確認步驟。
哪些指標證明代理已準備好投入生產？
追蹤基於事實的程度（引用率）、答案準確性、P95 延遲、解決/偏轉率以及每個已解決任務的成本。建立儀表板並每週對您的黃金集執行回歸檢查。
順便說一句：加速建構迴圈
值得注意的是：如果您的團隊經常進行原型設計，則用於研究和起草的 Copilot 可以加快設計文件、運行手冊和提示迭代的速度。諸如 Sider.AI 之類的工具可幫助團隊總結長篇執行緒、起草評估提示以及並排比較模型輸出 — 在調整如何使用 Glean 和 AWS 構建企業級 AI 代理時非常有用。 主要要點和後續步驟
- 使用 Glean 和 AWS 構建 AI 代理可為您提供身分感知檢索和企業級協調。
- 在進行花哨的規劃邏輯之前，請先從身分、治理和權限感知檢索開始。
- 使用 Bedrock 防護措施、嚴格的工具結構描述和人工參與的批准。
本週的後續步驟：
- 在 Glean 中連接兩個核心來源；執行包含 150 個問題的評估。
- 使用一個唯讀工具啟動一個最小的 Lambda + Step Functions 協調器。
常見問題
Q1:企業級對 AWS 上的 AI 代理意味著什麼？
它意味著安全、可稽核的代理，這些代理尊重 SSO 和文件權限、提供引用並在符合規範的基礎架構上運行。當您使用 Glean 和 AWS 構建 AI 代理時，您可以獲得權限感知檢索和雲端級別的可觀察性。
Q2:Glean 如何防止 AI 答案中的資料洩漏？
Glean 在查詢時強制執行來自每個已連接應用程式的文件層級權限。代理僅檢索使用者可以存取的內容，這在使用 Glean 和 AWS 構建企業級 AI 代理時至關重要。
Q3:我應該使用哪些 AWS 服務進行協調？
使用 Lambda 或 ECS 進行執行、Step Functions 進行多步驟工作流程、Bedrock 進行模型和防護措施，以及 Secrets Manager 進行憑證管理。此堆疊是使用 Glean 和 AWS 構建 AI 代理的可靠基礎。
Q4:如何評估準確性並減少幻覺？
建立問題的黃金集、要求引用並使用檢索增強生成。透過 Glean 和 AWS，權限感知檢索加上防護措施可顯著減少幻覺。
Q5:AI 代理可以安全地執行諸如建立工單或在 Slack 中發佈之類的操作嗎？
可以 — 使用結構描述驗證的工具、對高影響行動的批准以及完整的稽核記錄。這是使用 Glean 和 AWS 構建企業級 AI 代理時的核心模式。
