Dlaczego korporacyjne agenty AI zawodzą – i jak sprawić, by były gotowe do produkcyjnego wykorzystania dzięki Glean i AWS
Oto śmiałe twierdzenie: większość „agentów AI” demonstrowanych w salach konferencyjnych nie jest tak naprawdę gotowa do użytku w przedsiębiorstwie. Halucynują pod presją, psują się na prawdziwych danych i nie przejdą audytu SOC 2. Jeśli chcesz AI, którą faktycznie zatwierdzą Twoje działy prawne, bezpieczeństwa i IT – i z której faktycznie będą korzystać Twoi pracownicy – potrzebujesz konstrukcji, która łączy wyszukiwanie informacji klasy korporacyjnej (Glean), solidne elementy składowe chmury (AWS) oraz zdyscyplinowaną architekturę, która przetrwa skalowanie.
Ten przewodnik krok po kroku pokazuje, jak zbudować agenty AI gotowe do użycia w przedsiębiorstwie za pomocą Glean i AWS – od wyszukiwania informacji z uwzględnieniem tożsamości po bezpieczne korzystanie z narzędzi, od budżetów opóźnień po obserwację i od pilotażu po produkcję.
Użyjemy struktury opartej na pytaniach, abyś mógł przejść od razu do tego, co najważniejsze: dostępu do danych, bezpieczeństwa, architektury i wdrożenia.
Co rozumiemy przez agenty AI gotowe do użycia w przedsiębiorstwie?
Agent AI gotowy do użycia w przedsiębiorstwie to nie tylko interfejs czatu. To bezpieczny, podlegający audytowi system, który potrafi:
- Odpowiadać na pytania, wykorzystując wiedzę firmy, z zachowaniem ścisłych granic uprawnień
- Podejmować działania za pomocą zatwierdzonych narzędzi (np. zgłoszenia ServiceNow, zadania Jira, posty Slack)
- Przypisywać źródła i wyjaśniać uzasadnienie
- Działać w ramach korporacyjnego SSO, SCIM i kontroli DLP
- Przestrzegać wymogów dotyczących rezydencji danych, rejestrowania i przechowywania
- Skalować się do tysięcy użytkowników z przewidywalnymi opóźnieniami i kosztami
W tym miejscu budowanie agentów AI za pomocą Glean i AWS błyszczy: Glean zapewnia wyszukiwanie i pobieranie informacji w przedsiębiorstwie z uwzględnieniem tożsamości w różnych aplikacjach, a AWS zapewnia moc obliczeniową, orkiestrację, sieć i fundament zarządzania, których będziesz potrzebować w produkcji.
Architektura w skrócie: Glean + AWS
Pomyśl o systemie jako o czterech warstwach:
- Warstwa tożsamości i dostępu (SSO, SCIM, uprawnienia)
- SSO przez Okta/Azure AD; SCIM do aprowizacji; mapowania ról
- Glean wymusza uprawnienia na poziomie dokumentu w czasie zapytania
- AWS Cognito lub bezpośredni SAML/OIDC do pośredniczenia tokenów do usług
- Warstwa wyszukiwania informacji w przedsiębiorstwie (Glean)
- Ujednolicony indeks w Google Drive, Slack, Confluence, Jira, GitHub, Box, Notion i innych
- Wyszukiwanie i ranking z uwzględnieniem uprawnień
- Przepisywanie zapytań, wyszukiwanie hybrydowe, semantyczne ponowne szeregowanie
- Warstwa wnioskowania i orkiestracji (AWS + modele)
- AWS Lambda lub ECS dla bezstanowych kroków agenta
- Amazon Bedrock do zarządzanego dostępu do najnowocześniejszych modeli
- Step Functions dla przepływów pracy z wykorzystaniem wielu narzędzi i ponownych prób
- Secrets Manager/Parameter Store dla kluczy i poświadczeń narzędzi
- Warstwa akcji i narzędzi (integracje korporacyjne)
- Operacje odczytu i zapisu do systemów ewidencji (ServiceNow, Salesforce, Jira, Slack)
- Zabezpieczenia, zatwierdzenia i obserwacja dla każdego wywołania narzędzia
- Dzienniki audytu w CloudWatch/OpenSearch dla wyjaśnialności
Podstawowa konstrukcja: Jak budować agenty AI gotowe do użycia w przedsiębiorstwie za pomocą Glean i AWS
Poniżej znajduje się praktyczna, kompleksowa ścieżka. Dostosuj ją do swojego stosu technologicznego, ale zachowaj zasady.
1) Najpierw skonfiguruj tożsamość i zarządzanie
- Ustanów SSO przez Okta/Azure AD. Zmapuj grupy/role do uprawnień aplikacji.
- Użyj SCIM do automatycznego cyklu życia użytkownika (dołączanie/przenoszenie/odchodzenie). Dezaprowizowanie musi być kaskadowe dla agenta.
- Skonfiguruj konta AWS z rolami IAM o najniższych uprawnieniach. Oddziel środowiska dev, staging, prod. Wymuś punkty końcowe VPC dla Bedrock i kontroli wyjścia danych tam, gdzie jest to wymagane.
- Zdefiniuj przechowywanie danych: jak długo przechowywać podpowiedzi, odpowiedzi i wektorowe osadzania. Użyj zaszyfrowanych za pomocą KMS zasobników S3 dla dzienników i artefaktów.
Wskazówka: Traktuj tożsamość jako sygnał czasu wykonywania. Agent musi przekazywać tożsamość użytkownika końcowego przez Glean i narzędzia, aby kontrole uprawnień pozostały nienaruszone.
2) Połącz źródła w Glean i włącz pobieranie informacji z uwzględnieniem uprawnień
- Podłącz Slack, Drive, Confluence, Notion, GitHub, Jira, Box i e-mail zgodnie z Twoim obszarem działania.
- Pozwól Glean przeszukiwać i indeksować z najniższymi uprawnieniami; potwierdź zakresy z działem bezpieczeństwa.
- Sprawdź propagację uprawnień: użytkownik powinien pobierać tylko to, co może zobaczyć w aplikacji źródłowej.
- Dostosuj konfigurację zapytań Glean: włącz przepisywanie zapytań, pobieranie hybrydowe i semantyczne ponowne szeregowanie, aby uzyskać lepszą precyzję.
Dlaczego to ma znaczenie: W większości przedsiębiorstw 70–90% problemu „halucynacji” jest w rzeczywistości problemem z pobieraniem informacji. Dzięki Glean agent AI pobiera odpowiednie dokumenty w zależności od uprawnień użytkownika, co znacznie zmniejsza ryzyko i nieistotne odpowiedzi.
3) Wybierz modele za pomocą Amazon Bedrock i ustaw zabezpieczenia
- Zacznij od modelu ogólnego (np. Claude, Llama lub Mistral za pośrednictwem Bedrock) i testuj A/B z podpowiedziami domenowymi.
- Użyj Bedrock Guardrails do filtrów bezpieczeństwa, kontroli wstrzykiwania podpowiedzi i zasad dotyczących treści.
- Ogranicz odpowiedzi: wymagaj cytatów według identyfikatora/adresu URL dokumentu, wymuś schematy JSON dla wyjść narzędzi i ustaw maksymalną liczbę tokenów na krok.
- Utrzymuj budżet opóźnień: celuj w P95 end-to-end < 2,5 s dla Q&A i < 6 s dla przepływów wykorzystujących narzędzia.
4) Orkestruj agenta na AWS
Wzorzec: Planowanie w stylu ReAct + korzystanie z narzędzi + uzasadnione odpowiadanie.
- Użyj Step Functions do koordynowania kroków: pobierz → zaplanuj → narzędzie → sprawdź → odpowiedz.
- Wywołania wnioskowania działają w Lambda lub ECS; wybierz Lambda dla nagłego ruchu, ECS dla stałej przepustowości.
- Adaptery narzędzi (Jira, Slack, ServiceNow) to bezstanowe Lambdy z sekretami o zakresie IAM w AWS Secrets Manager.
- Przechowuj krótkotrwały stan konwersacji w DynamoDB z TTL; długoterminowe analizy w S3/Glue/Athena.
5) Zaimplementuj generowanie rozszerzone o pobieranie (RAG) za pomocą Glean
- Wyślij zapytanie do Glean z tokenem tożsamości użytkownika i pytaniem użytkownika.
- Pobierz najlepsze wyniki top-k (np. hybrydowe: k=10 semantyczne + 10 słów kluczowych) z uwzględnieniem uprawnień.
- Ponownie uszereguj z wykorzystaniem trafności Glean; przekaż tylko najlepsze, zdeduplikowane fragmenty do modelu.
- Wymagaj od agenta cytowania źródeł i dołączania wskaźnika zaufania.
Szkielet podpowiedzi:
- System: „Jesteś ugruntowanym asystentem korporacyjnym. Używaj tylko dostarczonego kontekstu. Jeśli jest nieistotny, zadaj pytanie uzupełniające. Zawsze cytuj źródła, podając tytuł i link”.
- Narzędzia: „Możesz wywołać Jira_CreateIssue, Slack_PostMessage, ServiceNow_CreateIncident. Działaj tylko po potwierdzeniu z użytkownikiem, chyba że instrukcja postępowania zezwala na automatyzację”.
6) Dodaj bezpieczne korzystanie z narzędzi i zatwierdzenia
- Owiń każde narzędzie walidacją parametrów i ograniczaniem szybkości.
- Wymagaj potwierdzenia przez człowieka lub zatwierdzenia przez menedżera dla działań o dużym wpływie (np. aprowizowanie dostępu, zamykanie P1).
- Rejestruj każde wywołanie narzędzia (kto, co, kiedy, schemat wejściowy, wyjście) do CloudWatch i S3 na potrzeby audytów.
- Dla postów Slack/Teams obsługuj „tryb roboczy” do podglądu przed wysłaniem.
7) Obserwowalność, ocena i kontrola odchyleń
- Przechwytuj podpowiedzi, fragmenty kontekstu, cytaty i odpowiedzi z redakcją tam, gdzie jest to potrzebne.
- Użyj paneli OpenSearch do monitorowania precision@k, ugruntowania i współczynnika odrzucenia.
- Przeprowadzaj oceny offline: przygotuj złoty zestaw 100–300 pytań specyficznych dla organizacji z oczekiwanymi odpowiedziami i wymaganymi źródłami.
- Zaplanuj kanarki, aby wykryć odchylenia łącznika lub uprawnień (np. zmienione kanały Slack, migracje dysków).
8) Dostrajanie wydajności i kosztów
- Buforuj zapytania Glean na użytkownika dla popularnych tematów (np. polityka HR) z krótkimi TTL.
- Używaj mniejszych modeli do routingu, większych modeli tylko do trudnych zapytań lub planów z wykorzystaniem wielu narzędzi.
- Przetwarzaj ponownie szeregowanie wsadowo, gdy jest to możliwe; kompresuj kontekst; używaj deduplikacji fragmentów.
- Śledź koszt na rozwiązane zadanie; ustaw limity dla organizacji i grupy użytkowników.
Przykład: Asystent IT dla przedsiębiorstw zbudowany za pomocą Glean i AWS
Przyjrzyjmy się konkretnemu scenariuszowi, który pokazuje, jak budować agenty AI gotowe do użycia w przedsiębiorstwie za pomocą Glean i AWS.
Przypadek użycia: Triada i rozwiązywanie problemów z obsługą IT.
- Użytkownik pyta: „VPN nie działa na macOS 14 po aktualizacji – jak to naprawić?”
- Agent kieruje do ścieżki instrukcji postępowania IT.
- Pobieranie informacji: Wysyła zapytanie do Glean z tożsamością użytkownika i pobiera instrukcję postępowania VPN (Confluence), wątek Slack z #it-support i dokument zasad Jamf. Rozważane są tylko zasoby, do których użytkownik ma dostęp.
- Planowanie: Agent proponuje kroki: udostępnij poprawkę, sprawdź zgodność urządzenia za pomocą Jamf, a jeśli problem nie zostanie rozwiązany, otwórz zgłoszenie ServiceNow.
- Wywołania narzędzi: Odczytuje status Jamf (tylko do odczytu), tworzy wiadomość z poprawką i prosi użytkownika o potwierdzenie eskalacji. Po potwierdzeniu tworzy zgłoszenie z odpowiednim szablonem.
- Odpowiedź: Zawiera zwięzłe podsumowanie poprawki z cytatami z instrukcji postępowania i wątku Slack, wszystko w zakresie uprawnień użytkownika.
Dlaczego to działa: Agent jest oparty na pobieraniu informacji z uwzględnieniem uprawnień z Glean, a AWS obsługuje wykonanie, zatwierdzenia i rejestrowanie.
Lista kontrolna bezpieczeństwa i zgodności (nie pomijaj tego)
- Utrzymuj kontekst pobierania po stronie serwera; nie ujawniaj surowej zawartości dokumentów klientowi.
- Szyfruj w spoczynku za pomocą KMS; wymuś TLS 1.2+ w tranzycie.
- Przekaż tożsamość użytkownika do Glean i narzędzi; nigdy nie używaj współdzielonej tożsamości bota do pobierania informacji.
- Zmapuj RBAC z grup IdP do zakresów narzędzi.
- Włącz Bedrock Guardrails; zabroń sekretów w podpowiedziach.
- Redaguj PII tam, gdzie jest to wymagane, i dokumentuj okresy przechowywania.
- Niezmienne dzienniki do S3 z blokadą obiektów; eksportuj do swojego SIEM.
- Utrzymuj instrukcję postępowania na potrzeby reagowania na incydenty i wycofywania modelu.
Plan wdrożenia: 10 kroków do produkcji
- Zdefiniuj 3 najlepsze przypadki użycia agenta (IT, HR, operacje sprzedaży) i wskaźniki sukcesu (współczynnik odrzucenia, CSAT, czas do rozwiązania).
- Uruchom konta AWS, VPC, podstawowe IAM i dostęp do Bedrock.
- Zintegruj SSO/SCIM; zmapuj role i przepływy zatwierdzania.
- Podłącz podstawowe źródła w Glean i sprawdź pobieranie informacji z uwzględnieniem uprawnień.
- Zbuduj minimalną usługę orkiestracji (Lambda + API Gateway) z Step Functions.
- Zaimplementuj kontrakt podpowiedzi RAG, cytaty i filtrowanie źródeł.
- Dodaj dwa narzędzia kompleksowo (najpierw tylko do odczytu, potem do zapisu z zatwierdzeniem).
- Instrumentuj rejestrowanie, oceny i panele; stwórz złoty zestaw 150 pytań.
- Uruchom zamkniętą wersję beta z 50–100 użytkownikami; napraw najważniejsze problemy; ustaw SLO.
- Wdróż szeroko; ustanów cotygodniowy przegląd zmian i comiesięczną ocenę modelu.
Często zadawane pytania podczas budowania agentów AI za pomocą Glean i AWS
Jak zmniejszyć halucynacje u agentów korporacyjnych?
Ugruntuj model pobieraniem informacji z Glean i wymuś ścisłą podpowiedź: używaj tylko dostarczonego kontekstu i zawsze cytuj źródła. Odrzucaj odpowiedzi o niskim poziomie zaufania i zadawaj pytania wyjaśniające. Większość halucynacji znika, gdy polegasz na pobieraniu informacji z uwzględnieniem uprawnień.
Czy agent może przestrzegać uprawnień na poziomie dokumentu w różnych aplikacjach?
Tak. Kiedy budujesz agenty AI za pomocą Glean i AWS, Glean wymusza uprawnienia z podłączonych aplikacji w czasie zapytania, więc agent widzi tylko to, do czego użytkownik ma dostęp. Zawsze przekazuj token tożsamości użytkownika, aby zachować łańcuch kontroli.
Od jakich modeli powinienem zacząć na AWS?
Użyj Amazon Bedrock, aby uzyskać dostęp do wielu modeli. Zacznij od silnego modelu ogólnego do wnioskowania i mniejszego, szybszego modelu do routingu. Oceń opóźnienia, koszty i dokładność w oparciu o swój przygotowany złoty zestaw.
Jak bezpiecznie pozwolić agentom podejmować działania w systemach takich jak Jira lub ServiceNow?
Owiń każde narzędzie ścisłymi schematami, walidacją danych wejściowych i przepływami pracy zatwierdzania. Rejestruj każde wywołanie narzędzia i przechowuj dane wyjściowe do celów audytu. W przypadku działań o dużym wpływie wymagaj kroku potwierdzenia przez człowieka.
Jakie wskaźniki udowadniają, że agent jest gotowy do produkcji?
Śledź ugruntowanie (współczynnik cytowań), dokładność odpowiedzi, opóźnienie P95, współczynnik rozwiązania/odrzucenia i koszt na rozwiązane zadanie. Buduj panele i przeprowadzaj cotygodniowe kontrole regresji na swoim złotym zestawie.
Przy okazji: przyspieszenie pętli budowania
Warto zauważyć: jeśli Twój zespół często tworzy prototypy, copilot do badań i tworzenia wersji roboczych może przyspieszyć tworzenie dokumentów projektowych, instrukcji postępowania i iteracji podpowiedzi. Narzędzia takie jak Sider.AI pomagają zespołom podsumowywać długie wątki, tworzyć podpowiedzi do oceny i porównywać wyniki modelu obok siebie – przydatne, gdy dostrajasz sposób budowania agentów AI gotowych do użycia w przedsiębiorstwie za pomocą Glean i AWS. Kluczowe wnioski i następne kroki
- Budowanie agentów AI za pomocą Glean i AWS zapewnia wyszukiwanie informacji z uwzględnieniem tożsamości i orkiestrację klasy korporacyjnej.
- Zacznij od tożsamości, zarządzania i pobierania informacji z uwzględnieniem uprawnień przed wymyślną logiką planowania.
- Użyj zabezpieczeń Bedrock, ścisłych schematów narzędzi i zatwierdzeń z udziałem człowieka.
- Instrumentuj wszystko: oceny, audyty i kontrole kosztów.
Następne kroki w tym tygodniu:
- Przygotuj trzy najlepsze przypadki użycia i wskaźniki sukcesu.
- Podłącz dwa podstawowe źródła w Glean; przeprowadź ocenę 150 pytań.
- Uruchom minimalny orkiestrator Lambda + Step Functions z jednym narzędziem tylko do odczytu.
- Ustaw budżety opóźnień i kosztów przed rozszerzeniem pilotażu.
FAQ
P1: Co oznacza gotowość do użycia w przedsiębiorstwie dla agentów AI na AWS?
Oznacza to bezpiecznych, podlegających audytowi agentów, którzy przestrzegają SSO i uprawnień do dokumentów, podają cytaty i działają na zgodnej infrastrukturze. Kiedy budujesz agenty AI za pomocą Glean i AWS, otrzymujesz pobieranie informacji z uwzględnieniem uprawnień i obserwację klasy chmurowej.
P2: Jak Glean zapobiega wyciekom danych w odpowiedziach AI?
Glean wymusza uprawnienia na poziomie dokumentu z każdej podłączonej aplikacji w czasie zapytania. Agent pobiera tylko treści, do których użytkownik ma dostęp, co ma kluczowe znaczenie podczas budowania agentów AI gotowych do użycia w przedsiębiorstwie za pomocą Glean i AWS.
P3: Z jakich usług AWS powinienem korzystać do orkiestracji?
Użyj Lambda lub ECS do wykonywania, Step Functions do wieloetapowych przepływów pracy, Bedrock do modeli i zabezpieczeń oraz Secrets Manager do poświadczeń. Ten stos jest sprawdzoną podstawą do budowania agentów AI za pomocą Glean i AWS.
P4: Jak ocenić dokładność i zmniejszyć halucynacje?
Stwórz złoty zestaw pytań, wymagaj cytatów i użyj generowania rozszerzonego o pobieranie. Dzięki Glean i AWS pobieranie informacji z uwzględnieniem uprawnień oraz zabezpieczenia znacznie zmniejszają halucynacje.
P5: Czy agenci AI mogą bezpiecznie podejmować działania, takie jak tworzenie zgłoszeń lub publikowanie w Slack?
Tak – z narzędziami walidowanymi schematami, zatwierdzeniami dla działań o dużym wpływie i pełnym rejestrowaniem audytów. Jest to podstawowy wzorzec podczas budowania agentów AI gotowych do użycia w przedsiębiorstwie za pomocą Glean i AWS.
