Mengapa agen AI perusahaan gagal — dan bagaimana cara membuatnya siap produksi dengan Glean dan AWS
Berikut adalah pernyataan berani: sebagian besar "agen AI" yang didemokan di ruang rapat sebenarnya belum siap untuk perusahaan. Mereka berhalusinasi di bawah tekanan, rusak pada data nyata, dan tidak dapat lulus audit SOC 2. Jika Anda menginginkan AI yang benar-benar disetujui oleh tim hukum, keamanan, dan TI Anda—dan benar-benar digunakan oleh karyawan Anda—Anda memerlukan pembangunan yang memadukan pengambilan () tingkat perusahaan (Glean), primitif cloud yang kuat (AWS), dan arsitektur disiplin yang bertahan dalam skala besar.
Panduan ini memandu Anda langkah demi langkah tentang cara membangun agen AI siap perusahaan dengan Glean dan AWS—mulai dari pengambilan yang sadar identitas hingga penggunaan alat yang aman, mulai dari anggaran latensi hingga observabilitas, dan mulai dari uji coba hingga produksi.
Kami akan menggunakan struktur berbasis pertanyaan sehingga Anda dapat langsung menuju hal yang paling penting: akses data, keamanan, arsitektur, dan peluncuran.
Apa yang kami maksud dengan agen AI siap perusahaan?
Agen AI siap perusahaan bukan hanya antarmuka obrolan. Ini adalah sistem yang aman dan dapat diaudit yang dapat:
- Menjawab pertanyaan menggunakan pengetahuan perusahaan dengan batasan izin yang ketat
- Mengambil tindakan melalui alat yang disetujui (mis., tiket ServiceNow, masalah Jira, postingan Slack)
- Mengatribusikan sumber dan menjelaskan penalaran
- Beroperasi di bawah kontrol SSO, SCIM, dan DLP perusahaan
- Mematuhi persyaratan residensi data, pencatatan, dan retensi
- Menskalakan ke ribuan pengguna dengan latensi dan biaya yang dapat diprediksi
Di sinilah keunggulan membangun agen AI dengan Glean dan AWS: Glean menyediakan pencarian dan pengambilan tingkat perusahaan yang sadar identitas di seluruh aplikasi, sementara AWS menghadirkan fondasi komputasi, orkestrasi, jaringan, dan tata kelola yang Anda perlukan dalam produksi.
Sekilas tentang arsitektur: Glean + AWS
Anggap sistem ini sebagai empat lapisan:
- Lapisan identitas & akses (SSO, SCIM, izin)
- SSO melalui Okta/Azure AD; SCIM untuk penyediaan; pemetaan peran
- Glean memberlakukan izin tingkat dokumen pada saat kueri
- AWS Cognito atau SAML/OIDC langsung untuk menengahi token ke layanan
- Lapisan pengambilan perusahaan (Glean)
- Indeks terpadu di seluruh Google Drive, Slack, Confluence, Jira, GitHub, Box, Notion, dan lainnya
- Pengambilan dan peringkat yang sadar izin
- Penulisan ulang kueri, pencarian hibrida, pemeringkatan ulang semantik
- Lapisan penalaran & orkestrasi (AWS + model)
- AWS Lambda atau ECS untuk langkah-langkah agen tanpa status
- Amazon Bedrock untuk akses terkelola ke model-model
- Step Functions untuk alur kerja multi-alat dan percobaan ulang
- Secrets Manager/Parameter Store untuk kunci dan kredensial alat
- Lapisan tindakan & alat (integrasi perusahaan)
- Operasi baca dan tulis ke sistem catatan (ServiceNow, Salesforce, Jira, Slack)
- Pelindung, persetujuan, dan observasi untuk setiap panggilan alat
- Log audit di CloudWatch/OpenSearch untuk kemampuan penjelasan
Bangunan inti: Cara membangun agen AI siap perusahaan dengan Glean & AWS
Di bawah ini adalah jalur praktis dan menyeluruh. Sesuaikan untuk tumpukan () Anda, tetapi pertahankan prinsip-prinsipnya.
1) Siapkan identitas dan tata kelola terlebih dahulu
- Tetapkan SSO melalui Okta/Azure AD. Petakan grup/peran ke izin aplikasi.
- Gunakan SCIM untuk siklus hidup pengguna otomatis (). Penghapusan provisi harus mengalir ke agen.
- Konfigurasikan akun AWS dengan peran IAM hak istimewa terendah. Pisahkan dev, , prod. Terapkan titik akhir VPC untuk Bedrock dan kontrol keluar data jika diperlukan.
- Tentukan retensi data: berapa lama menyimpan perintah, respons, dan . Gunakan bucket S3 yang dienkripsi KMS untuk log dan artefak.
Tip: Perlakukan identitas sebagai sinyal . Agen harus meneruskan identitas pengguna akhir melalui Glean dan alat sehingga pemeriksaan izin tetap utuh.
2) Hubungkan sumber di Glean dan aktifkan pengambilan yang sadar izin
- Hubungkan Slack, Drive, Confluence, Notion, GitHub, Jira, Box, dan email sesuai dengan jejak Anda.
- Biarkan Glean merayapi dan mengindeks dengan hak istimewa terendah; konfirmasikan cakupan dengan keamanan.
- Validasi propagasi izin: pengguna hanya boleh mengambil apa yang dapat mereka lihat di aplikasi sumber.
- Sesuaikan konfigurasi kueri Glean: aktifkan penulisan ulang kueri, pengambilan hibrida, dan pemeringkatan ulang semantik untuk presisi yang lebih baik.
Mengapa ini penting: Di sebagian besar perusahaan, 70–90% masalah "halusinasi" sebenarnya adalah masalah pengambilan. Dengan Glean, agen AI mengambil dokumen yang tepat berdasarkan izin pengguna, yang secara besar-besaran mengurangi risiko dan jawaban yang tidak relevan.
3) Pilih model melalui Amazon Bedrock dan atur pelindung
- Mulailah dengan model generalis (mis., Claude, Llama, atau Mistral melalui Bedrock) dan A/B terhadap perintah domain.
- Gunakan Bedrock Guardrails untuk filter keamanan, pemeriksaan injeksi perintah, dan kebijakan konten.
- Batasi respons: minta kutipan berdasarkan ID/URL dokumen, terapkan skema JSON untuk keluaran alat, dan atur token maksimum per langkah.
- Pertahankan anggaran latensi: targetkan P95 < 2,5 detik untuk Tanya Jawab dan < 6 detik untuk alur penggunaan alat.
4) Orkestrasi agen di AWS
Pola: Perencanaan gaya ReAct + penggunaan alat + jawaban yang berdasarkan fakta.
- Gunakan Step Functions untuk mengoordinasikan langkah-langkah: ambil → rencanakan → gunakan alat → validasi → jawab.
- Panggilan penalaran berjalan di Lambda atau ECS; pilih Lambda untuk lalu lintas yang padat, ECS untuk berkelanjutan.
- Adaptor alat (Jira, Slack, ServiceNow) adalah Lambda tanpa status dengan rahasia lingkup IAM di AWS Secrets Manager.
- Simpan status percakapan berumur pendek di DynamoDB dengan TTL; analitik jangka panjang di S3/Glue/Athena.
5) Terapkan (RAG) dengan Glean
- Kueri Glean dengan token identitas pengguna dan pertanyaan pengguna.
- Ambil hasil top-k (mis., hibrida: k=10 semantik + 10 kata kunci) dengan menghormati izin.
- Peringkat ulang dengan relevansi Glean; hanya berikan potongan yang paling atas dan tidak diduplikasi ke model.
- Minta agen untuk mengutip sumber dan menyertakan skor kepercayaan.
Kerangka perintah:
- Sistem: “Anda adalah asisten perusahaan yang berdasarkan fakta. Gunakan hanya konteks yang diberikan. Jika tidak relevan, ajukan pertanyaan lanjutan. Selalu kutip sumber berdasarkan judul dan tautan.”
- Alat: “Anda dapat memanggil Jira_CreateIssue, Slack_PostMessage, ServiceNow_CreateIncident. Hanya bertindak setelah mengonfirmasi dengan pengguna kecuali mengizinkan otomatisasi.”
6) Tambahkan penggunaan alat dan persetujuan yang aman
- Bungkus setiap alat dengan validasi parameter dan pembatasan laju.
- Minta konfirmasi manusia atau persetujuan manajer untuk tindakan yang berdampak (mis., menyediakan akses, menutup P1).
- Catat setiap panggilan alat (siapa, apa, kapan, skema masukan, keluaran) ke CloudWatch dan S3 untuk audit.
- Untuk postingan Slack/Teams, dukung "mode draf" untuk pratinjau sebelum mengirim.
7) Observabilitas, evaluasi, dan kontrol penyimpangan
- Tangkap perintah, potongan konteks, kutipan, dan respons dengan redaksi jika diperlukan.
- Gunakan dasbor OpenSearch untuk memantau presisi@k, , dan tingkat defleksi.
- Jalankan evaluasi : kurasi kumpulan emas yang terdiri dari 100–300 pertanyaan khusus organisasi dengan jawaban yang diharapkan dan sumber yang diperlukan.
- Jadwalkan untuk mendeteksi konektor atau penyimpangan izin (mis., saluran Slack yang diubah, migrasi ).
8) Penyetelan kinerja dan biaya
- Cache kueri Glean per pengguna untuk topik hangat (mis., kebijakan SDM) dengan TTL pendek.
- Gunakan model yang lebih kecil untuk perutean, model yang lebih besar hanya untuk kueri sulit atau rencana multi-alat.
- Batch bila memungkinkan; kompres konteks; gunakan deduplikasi potongan.
- Lacak biaya per tugas yang diselesaikan; tetapkan kuota per organisasi dan per grup pengguna.
Contoh: Asisten TI perusahaan yang dibangun dengan Glean dan AWS
Mari kita bahas skenario konkret yang menunjukkan cara membangun agen AI siap perusahaan dengan Glean dan AWS.
Kasus penggunaan: Triage dan resolusi dukungan TI.
- Pengguna bertanya: “VPN gagal di macOS 14 setelah pembaruan—adakah perbaikan?”
- Agen merutekan ke jalur TI.
- Pengambilan: Kueri Glean dengan identitas pengguna dan mengambil VPN (Confluence), utas Slack dari #it-support, dan dokumen kebijakan Jamf. Hanya sumber daya yang dapat diakses pengguna yang dipertimbangkan.
- Perencanaan: Agen mengusulkan langkah-langkah: bagikan perbaikan, periksa kepatuhan perangkat melalui Jamf, dan jika belum teratasi, buka insiden ServiceNow.
- Panggilan alat: Membaca status Jamf (hanya baca), membuat draf pesan perbaikan, dan meminta pengguna untuk mengonfirmasi eskalasi. Dengan konfirmasi, buat insiden dengan templat yang tepat.
- Jawaban: Memberikan ringkasan perbaikan yang ringkas dengan kutipan ke dan utas Slack, semuanya dalam lingkup izin pengguna.
Mengapa ini berhasil: Agen didasarkan pada pengambilan yang sadar izin dari Glean, dan AWS menangani eksekusi, persetujuan, dan pencatatan.
Daftar periksa keamanan dan kepatuhan (jangan lewati ini)
- Simpan konteks pengambilan di sisi server; jangan memaparkan konten dokumen mentah ke klien.
- Enkripsi saat istirahat dengan KMS; terapkan TLS 1.2+ saat transit.
- Berikan identitas pengguna ke Glean dan alat; jangan pernah menggunakan identitas bot bersama untuk pengambilan.
- Petakan RBAC dari grup IdP ke lingkup alat.
- Aktifkan Bedrock Guardrails; jangan izinkan rahasia dalam perintah.
- Redaksi PII jika diperlukan dan dokumentasikan periode retensi.
- Log yang tidak dapat diubah ke S3 dengan Object Lock; ekspor ke SIEM Anda.
- Simpan untuk respons insiden dan pengembalian model.
Cetak biru implementasi: 10 langkah menuju produksi
- Tentukan 3 kasus penggunaan agen teratas (TI, SDM, operasi Penjualan) dan metrik keberhasilan (tingkat defleksi, CSAT, waktu penyelesaian).
- Siapkan akun AWS, VPC, dasar IAM, dan akses Bedrock.
- Integrasikan SSO/SCIM; petakan peran dan alur persetujuan.
- Hubungkan sumber inti di Glean dan validasi pengambilan yang sadar izin.
- Bangun layanan orkestrasi minimal (Lambda + API Gateway) dengan Step Functions.
- Terapkan kontrak perintah RAG, kutipan, dan penyaringan sumber.
- Tambahkan dua alat (hanya baca terlebih dahulu, lalu tulis dengan persetujuan).
- Instrumentasikan pencatatan, evaluasi, dan dasbor; buat kumpulan emas yang terdiri dari 150 pertanyaan.
- Jalankan beta tertutup dengan 50–100 pengguna; perbaiki masalah utama; tetapkan SLO.
- Luncurkan secara luas; tetapkan tinjauan perubahan mingguan dan evaluasi model bulanan.
Pertanyaan yang sering diajukan saat membangun agen AI dengan Glean dan AWS
Bagaimana cara mengurangi halusinasi pada agen perusahaan?
Dasarkan model dengan pengambilan dari Glean dan terapkan perintah yang ketat: hanya gunakan konteks yang diberikan dan selalu kutip sumber. Tolak jawaban dengan kepercayaan rendah dan ajukan pertanyaan klarifikasi. Sebagian besar halusinasi berkurang saat Anda mengandalkan pengambilan yang sadar izin.
Bisakah agen menghormati izin tingkat dokumen di seluruh aplikasi?
Ya. Saat Anda membangun agen AI dengan Glean dan AWS, Glean menerapkan izin dari aplikasi yang terhubung pada saat kueri, sehingga agen hanya melihat apa yang dapat diakses pengguna. Selalu berikan token identitas pengguna untuk mempertahankan rantai kepemilikan.
Model apa yang harus saya mulai di AWS?
Gunakan Amazon Bedrock untuk akses ke beberapa model. Mulailah dengan model umum yang kuat untuk penalaran dan model yang lebih kecil dan lebih cepat untuk perutean. Evaluasi latensi, biaya, dan akurasi terhadap kumpulan emas yang Anda kurasi.
Bagaimana cara mengizinkan agen mengambil tindakan dengan aman di sistem seperti Jira atau ServiceNow?
Bungkus setiap alat dengan skema yang ketat, validasi masukan, dan alur kerja persetujuan. Catat setiap panggilan alat dan simpan keluaran untuk audit. Untuk tindakan yang berdampak, minta langkah konfirmasi manusia.
Metrik apa yang membuktikan bahwa agen siap produksi?
Lacak (tingkat kutipan), akurasi jawaban, latensi P95, tingkat resolusi/defleksi, dan biaya per tugas yang diselesaikan. Bangun dasbor dan jalankan pemeriksaan regresi mingguan pada kumpulan emas Anda.
Omong-omong: mempercepat
Perlu dicatat: jika tim Anda sering membuat prototipe, untuk penelitian dan penyusunan dapat mempercepat dokumen desain, , dan iterasi perintah. Alat seperti Sider.AI membantu tim meringkas utas panjang, membuat draf perintah evaluasi, dan membandingkan keluaran model secara berdampingan—berguna saat Anda menyempurnakan cara membangun agen AI siap perusahaan dengan Glean dan AWS. Poin-poin penting dan langkah selanjutnya
- Membangun agen AI dengan Glean dan AWS memberi Anda pengambilan yang sadar identitas dan orkestrasi tingkat perusahaan.
- Mulailah dengan identitas, tata kelola, dan pengambilan yang sadar izin sebelum logika perencanaan yang rumit.
- Gunakan pelindung Bedrock, skema alat yang ketat, dan persetujuan .
- Instrumentasikan semuanya: evaluasi, audit, dan kontrol biaya.
Langkah selanjutnya minggu ini:
- Buat draf tiga kasus penggunaan teratas dan metrik keberhasilan Anda.
- Hubungkan dua sumber inti di Glean; jalankan evaluasi 150 pertanyaan.
- Siapkan Lambda + Step Functions minimal dengan satu alat hanya baca.
- Tetapkan anggaran latensi dan biaya Anda sebelum uji coba diperluas.
FAQ
Q1: Apa arti siap perusahaan untuk agen AI di AWS?
Artinya agen yang aman, dapat diaudit, yang menghormati SSO dan izin dokumen, memberikan kutipan, dan berjalan di infrastruktur yang sesuai. Saat Anda membangun agen AI dengan Glean dan AWS, Anda mendapatkan pengambilan yang sadar izin dan observabilitas tingkat .
Q2: Bagaimana Glean mencegah kebocoran data dalam jawaban AI?
Glean menerapkan izin tingkat dokumen dari setiap aplikasi yang terhubung pada saat kueri. Agen hanya mengambil konten yang dapat diakses pengguna, yang sangat penting saat membangun agen AI siap perusahaan dengan Glean dan AWS.
Q3: Layanan AWS mana yang harus saya gunakan untuk orkestrasi?
Gunakan Lambda atau ECS untuk eksekusi, Step Functions untuk alur kerja multi-langkah, Bedrock untuk model dan pelindung, dan Secrets Manager untuk kredensial. Tumpukan () ini adalah basis yang terbukti untuk membangun agen AI dengan Glean dan AWS.
Q4: Bagaimana cara mengevaluasi akurasi dan mengurangi halusinasi?
Buat kumpulan pertanyaan emas, minta kutipan, dan gunakan . Dengan Glean dan AWS, pengambilan yang sadar izin ditambah pelindung mengurangi halusinasi secara signifikan.
Q5: Bisakah agen AI mengambil tindakan dengan aman seperti membuat tiket atau memposting di Slack?
Ya—dengan alat yang divalidasi skema, persetujuan untuk tindakan berdampak tinggi, dan pencatatan audit lengkap. Ini adalah pola inti saat Anda membangun agen AI siap perusahaan dengan Glean dan AWS.
