ಉದ್ಯಮ AI ಏಜೆಂಟ್ಗಳು ಏಕೆ ವಿಫಲಗೊಳ್ಳುತ್ತವೆ - ಮತ್ತು Glean ಮತ್ತು AWS ನೊಂದಿಗೆ ಅವುಗಳನ್ನು ಉತ್ಪಾದನೆಗೆ ಸಿದ್ಧವಾಗಿಸುವುದು ಹೇಗೆ
ಇಲ್ಲಿ ಒಂದು ಧೈರ್ಯದ ಹೇಳಿಕೆ ಇದೆ: ಮಂಡಳಿ ಸಭೆಗಳಲ್ಲಿ ಪ್ರದರ್ಶಿಸಲಾದ ಹೆಚ್ಚಿನ "AI ಏಜೆಂಟ್ಗಳು" ನಿಜವಾಗಿಯೂ ಉದ್ಯಮಕ್ಕೆ ಸಿದ್ಧವಾಗಿಲ್ಲ. ಅವು ಒತ್ತಡದಲ್ಲಿ ಭ್ರಮೆ ಹುಟ್ಟಿಸುತ್ತವೆ, ನೈಜ ಡೇಟಾದಲ್ಲಿ ಮುರಿಯುತ್ತವೆ ಮತ್ತು SOC 2 ಆಡಿಟ್ ಅನ್ನು ಪಾಸ್ ಮಾಡಲು ಸಾಧ್ಯವಿಲ್ಲ. ನಿಮ್ಮ ಕಾನೂನು, ಭದ್ರತೆ ಮತ್ತು IT ತಂಡಗಳು ನಿಜವಾಗಿಯೂ ಅನುಮೋದಿಸುವ ಮತ್ತು ನಿಮ್ಮ ಉದ್ಯೋಗಿಗಳು ನಿಜವಾಗಿಯೂ ಬಳಸುವ AI ಅನ್ನು ನೀವು ಬಯಸಿದರೆ, ನೀವು ಉದ್ಯಮ-ದರ್ಜೆಯ ಮರುಪಡೆಯುವಿಕೆ (Glean), ದೃಢವಾದ ಕ್ಲೌಡ್ ಪ್ರಿಮಿಟಿವ್ಗಳು (AWS), ಮತ್ತು ಪ್ರಮಾಣವನ್ನು ಉಳಿಸಿಕೊಳ್ಳುವ ಶಿಸ್ತುಬದ್ಧ ವಾಸ್ತುಶಿಲ್ಪವನ್ನು ಮಿಶ್ರಣ ಮಾಡುವ ನಿರ್ಮಾಣವನ್ನು ನೀವು ಹೊಂದಿರಬೇಕು.
Glean ಮತ್ತು AWS ನೊಂದಿಗೆ ಉದ್ಯಮ-ಸಿದ್ಧ AI ಏಜೆಂಟ್ಗಳನ್ನು ಹೇಗೆ ನಿರ್ಮಿಸುವುದು ಎಂಬುದರ ಕುರಿತು ಈ ಮಾರ್ಗದರ್ಶಿ ಹಂತ-ಹಂತವಾಗಿ ವಿವರಿಸುತ್ತದೆ - ಗುರುತಿನ-ಅರಿವಿನ ಮರುಪಡೆಯುವಿಕೆಯಿಂದ ಸುರಕ್ಷಿತ ಸಾಧನ ಬಳಕೆ, ಲೇಟೆನ್ಸಿ ಬಜೆಟ್ಗಳಿಂದ ವೀಕ್ಷಣೆ, ಮತ್ತು ಪೈಲಟ್ನಿಂದ ಉತ್ಪಾದನೆಯವರೆಗೆ.
ನಾವು ಪ್ರಶ್ನೆ-ನೇತೃತ್ವದ ರಚನೆಯನ್ನು ಬಳಸುತ್ತೇವೆ ಆದ್ದರಿಂದ ನೀವು ಡೇಟಾ ಪ್ರವೇಶ, ಭದ್ರತೆ, ವಾಸ್ತುಶಿಲ್ಪ ಮತ್ತು ರೋಲ್ಔಟ್ನಂತಹ ಪ್ರಮುಖ ವಿಷಯಗಳಿಗೆ ಹೋಗಬಹುದು.
ಉದ್ಯಮ-ಸಿದ್ಧ AI ಏಜೆಂಟ್ಗಳು ಎಂದರೆ ಏನು?
ಉದ್ಯಮ-ಸಿದ್ಧ AI ಏಜೆಂಟ್ ಕೇವಲ ಚಾಟ್ ಇಂಟರ್ಫೇಸ್ ಅಲ್ಲ. ಇದು ಸುರಕ್ಷಿತ, ಆಡಿಟ್ ಮಾಡಬಹುದಾದ ವ್ಯವಸ್ಥೆಯಾಗಿದ್ದು ಅದು:
- ಕಟ್ಟುನಿಟ್ಟಾದ ಅನುಮತಿ ಗಡಿಗಳೊಂದಿಗೆ ಕಂಪನಿಯ ಜ್ಞಾನವನ್ನು ಬಳಸಿ ಪ್ರಶ್ನೆಗಳಿಗೆ ಉತ್ತರಿಸಿ
- ಅನುಮೋದಿತ ಪರಿಕರಗಳ ಮೂಲಕ ಕ್ರಮಗಳನ್ನು ತೆಗೆದುಕೊಳ್ಳಿ (ಉದಾ., ServiceNow ಟಿಕೆಟ್ಗಳು, Jira ಸಮಸ್ಯೆಗಳು, Slack ಪೋಸ್ಟ್ಗಳು)
- ಮೂಲಗಳನ್ನು ಗುಣಲಕ್ಷಣಗೊಳಿಸಿ ಮತ್ತು ತಾರ್ಕಿಕತೆಯನ್ನು ವಿವರಿಸಿ
- ಉದ್ಯಮ SSO, SCIM ಮತ್ತು DLP ನಿಯಂತ್ರಣಗಳ ಅಡಿಯಲ್ಲಿ ಕಾರ್ಯನಿರ್ವಹಿಸಿ
- ಡೇಟಾ ರೆಸಿಡೆನ್ಸಿ, ಲಾಗಿಂಗ್ ಮತ್ತು ಧಾರಣ ಅಗತ್ಯತೆಗಳನ್ನು ಅನುಸರಿಸಿ
- ಊಹಿಸಬಹುದಾದ ಲೇಟೆನ್ಸಿ ಮತ್ತು ವೆಚ್ಚದೊಂದಿಗೆ ಸಾವಿರಾರು ಬಳಕೆದಾರರಿಗೆ ಸ್ಕೇಲ್ ಮಾಡಿ
ಇಲ್ಲಿ Glean ಮತ್ತು AWS ನೊಂದಿಗೆ AI ಏಜೆಂಟ್ಗಳನ್ನು ನಿರ್ಮಿಸುವುದು ಎದ್ದು ಕಾಣುತ್ತದೆ: Glean ಅಪ್ಲಿಕೇಶನ್ಗಳಾದ್ಯಂತ ಗುರುತಿನ-ಅರಿವಿನ ಉದ್ಯಮ ಹುಡುಕಾಟ ಮತ್ತು ಮರುಪಡೆಯುವಿಕೆಯನ್ನು ಒದಗಿಸುತ್ತದೆ, ಆದರೆ AWS ಉತ್ಪಾದನೆಯಲ್ಲಿ ನಿಮಗೆ ಅಗತ್ಯವಿರುವ ಕಂಪ್ಯೂಟ್, ಆರ್ಕೆಸ್ಟ್ರೇಷನ್, ನೆಟ್ವರ್ಕಿಂಗ್ ಮತ್ತು ಆಡಳಿತ ಅಡಿಪಾಯವನ್ನು ತರುತ್ತದೆ.
ವಾಸ್ತುಶಿಲ್ಪದ ಅವಲೋಕನ: Glean + AWS
ವ್ಯವಸ್ಥೆಯನ್ನು ನಾಲ್ಕು ಪದರಗಳೆಂದು ಯೋಚಿಸಿ:
- ಗುರುತು ಮತ್ತು ಪ್ರವೇಶ ಪದರ (SSO, SCIM, ಅನುಮತಿಗಳು)
- Okta/Azure AD ಮೂಲಕ SSO; ನಿಯೋಜನೆಗಾಗಿ SCIM; ಪಾತ್ರ ಮ್ಯಾಪಿಂಗ್ಗಳು
- Glean ಪ್ರಶ್ನೆ ಸಮಯದಲ್ಲಿ ಡಾಕ್ಯುಮೆಂಟ್-ಮಟ್ಟದ ಅನುಮತಿಗಳನ್ನು ಜಾರಿಗೊಳಿಸುತ್ತದೆ
- AWS Cognito ಅಥವಾ ನೇರ SAML/OIDC ಸೇವೆಗಳಿಗೆ ಟೋಕನ್ಗಳನ್ನು ಬ್ರೋಕರ್ ಮಾಡಲು
- ಉದ್ಯಮ ಮರುಪಡೆಯುವಿಕೆ ಪದರ (Glean)
- Google Drive, Slack, Confluence, Jira, GitHub, Box, Notion ಮತ್ತು ಹೆಚ್ಚಿನವುಗಳಾದ್ಯಂತ ಏಕೀಕೃತ ಸೂಚ್ಯಂಕ
- ಅನುಮತಿ-ಅರಿವಿನ ಮರುಪಡೆಯುವಿಕೆ ಮತ್ತು ಶ್ರೇಯಾಂಕ
- ಪ್ರಶ್ನೆ ಪುನಃ ಬರೆಯುವುದು, ಹೈಬ್ರಿಡ್ ಹುಡುಕಾಟ, ಸೆಮ್ಯಾಂಟಿಕ್ ಮರು ಶ್ರೇಯಾಂಕ
- ತಾರ್ಕಿಕ ಮತ್ತು ಆರ್ಕೆಸ್ಟ್ರೇಷನ್ ಪದರ (AWS + ಮಾದರಿಗಳು)
- ಸ್ಥಿತಿಯಿಲ್ಲದ ಏಜೆಂಟ್ ಹಂತಗಳಿಗಾಗಿ AWS Lambda ಅಥವಾ ECS
- ಗಡಿಯಾಚೆಗಿನ ಮಾದರಿಗಳಿಗೆ ನಿರ್ವಹಿಸಿದ ಪ್ರವೇಶಕ್ಕಾಗಿ Amazon Bedrock
- ಬಹು-ಉಪಕರಣದ ವರ್ಕ್ಫ್ಲೋಗಳು ಮತ್ತು ಮರುಪ್ರಯತ್ನಗಳಿಗಾಗಿ ಸ್ಟೆಪ್ ಫಂಕ್ಷನ್ಗಳು
- ಕೀಗಳು ಮತ್ತು ಪರಿಕರ ರುಜುವಾತುಗಳಿಗಾಗಿ ಸೀಕ್ರೆಟ್ಸ್ ಮ್ಯಾನೇಜರ್/ಪ್ಯಾರಾಮೀಟರ್ ಸ್ಟೋರ್
- ಕ್ರಮ ಮತ್ತು ಪರಿಕರ ಪದರ (ಉದ್ಯಮ ಏಕೀಕರಣಗಳು)
- ರೆಕಾರ್ಡ್ ಸಿಸ್ಟಮ್ಗಳಿಗೆ ಓದಲು ಮತ್ತು ಬರೆಯುವ ಕಾರ್ಯಾಚರಣೆಗಳು (ServiceNow, Salesforce, Jira, Slack)
- ಪ್ರತಿ ಪರಿಕರ ಕರೆಗೆ ಗಾರ್ಡ್ರೈಲ್ಗಳು, ಅನುಮೋದನೆಗಳು ಮತ್ತು ವೀಕ್ಷಣೆ
- ವಿವರಿಸುವಿಕೆಗಾಗಿ CloudWatch/OpenSearch ನಲ್ಲಿ ಆಡಿಟ್ ಲಾಗ್ಗಳು
ಕೋರ್ ನಿರ್ಮಾಣ: Glean & AWS ನೊಂದಿಗೆ ಉದ್ಯಮ-ಸಿದ್ಧ AI ಏಜೆಂಟ್ಗಳನ್ನು ಹೇಗೆ ನಿರ್ಮಿಸುವುದು
ಕೆಳಗೆ ಪ್ರಾಯೋಗಿಕ, ಅಂತ್ಯದಿಂದ-ಅಂತ್ಯದ ಮಾರ್ಗವಿದೆ. ನಿಮ್ಮ ಸ್ಟಾಕ್ಗೆ ಹೊಂದಿಕೊಳ್ಳಿ, ಆದರೆ ತತ್ವಗಳನ್ನು ಉಳಿಸಿಕೊಳ್ಳಿ.
1) ಗುರುತು ಮತ್ತು ಆಡಳಿತವನ್ನು ಮೊದಲು ಹೊಂದಿಸಿ
- Okta/Azure AD ಮೂಲಕ SSO ಅನ್ನು ಸ್ಥಾಪಿಸಿ. ಗುಂಪುಗಳು/ಪಾತ್ರಗಳನ್ನು ಅಪ್ಲಿಕೇಶನ್ ಅನುಮತಿಗಳಿಗೆ ಮ್ಯಾಪ್ ಮಾಡಿ.
- ಸ್ವಯಂಚಾಲಿತ ಬಳಕೆದಾರ ಜೀವನಚಕ್ರಕ್ಕಾಗಿ SCIM ಅನ್ನು ಬಳಸಿ (ಸೇರುವವರು/ಸಾಗುವವರು/ಬಿಡುವವರು). ಡಿಪ್ರೊವಿಷನಿಂಗ್ ಏಜೆಂಟ್ಗೆ ಕ್ಯಾಸ್ಕೇಡ್ ಆಗಬೇಕು.
- ಕನಿಷ್ಠ ಸವಲತ್ತು IAM ಪಾತ್ರಗಳೊಂದಿಗೆ AWS ಖಾತೆಗಳನ್ನು ಕಾನ್ಫಿಗರ್ ಮಾಡಿ. ಡೆವ್, ಸ್ಟೇಜಿಂಗ್, ಉತ್ಪಾದನೆಯನ್ನು ಪ್ರತ್ಯೇಕಿಸಿ. ಅಗತ್ಯವಿರುವಲ್ಲಿ ಬೆಡ್ರಾಕ್ಗಾಗಿ VPC ಎಂಡ್ಪಾಯಿಂಟ್ಗಳು ಮತ್ತು ಡೇಟಾ ಎಗ್ರೆಸ್ ನಿಯಂತ್ರಣಗಳನ್ನು ಜಾರಿಗೊಳಿಸಿ.
- ಡೇಟಾ ಧಾರಣವನ್ನು ವ್ಯಾಖ್ಯಾನಿಸಿ: ಪ್ರಾಂಪ್ಟ್ಗಳು, ಪ್ರತಿಕ್ರಿಯೆಗಳು ಮತ್ತು ವೆಕ್ಟರ್ ಎಂಬೆಡಿಂಗ್ಗಳನ್ನು ಎಷ್ಟು ಸಮಯದವರೆಗೆ ಸಂಗ್ರಹಿಸಬೇಕು. ಲಾಗ್ಗಳು ಮತ್ತು ಕಲಾಕೃತಿಗಳಿಗಾಗಿ KMS-ಎನ್ಕ್ರಿಪ್ಟ್ ಮಾಡಿದ S3 ಬಕೆಟ್ಗಳನ್ನು ಬಳಸಿ.
ಸಲಹೆ: ಗುರುತನ್ನು ರನ್ಟೈಮ್ ಸಿಗ್ನಲ್ ಆಗಿ ಪರಿಗಣಿಸಿ. ಅನುಮತಿ ತಪಾಸಣೆಗಳು ಹಾಗೇ ಉಳಿಯಲು ಏಜೆಂಟ್ Glean ಮತ್ತು ಪರಿಕರಗಳ ಮೂಲಕ ಅಂತಿಮ ಬಳಕೆದಾರರ ಗುರುತನ್ನು ರವಾನಿಸಬೇಕು.
2) Glean ನಲ್ಲಿ ಮೂಲಗಳನ್ನು ಸಂಪರ್ಕಿಸಿ ಮತ್ತು ಅನುಮತಿ-ಅರಿವಿನ ಮರುಪಡೆಯುವಿಕೆಯನ್ನು ಸಕ್ರಿಯಗೊಳಿಸಿ
- ನಿಮ್ಮ ಹೆಜ್ಜೆಗುರುತಿಗಾಗಿ Slack, Drive, Confluence, Notion, GitHub, Jira, Box ಮತ್ತು ಇಮೇಲ್ ಅನ್ನು ಸಂಪರ್ಕಿಸಿ.
- ಕನಿಷ್ಠ ಸವಲತ್ತಿನೊಂದಿಗೆ Glean ಕ್ರಾಲರ್ ಮತ್ತು ಇಂಡೆಕ್ಸ್ ಮಾಡಲು ಬಿಡಿ; ಭದ್ರತೆಯೊಂದಿಗೆ ಸ್ಕೋಪ್ಗಳನ್ನು ಖಚಿತಪಡಿಸಿ.
- ಅನುಮತಿ ಪ್ರಸರಣವನ್ನು ಮೌಲ್ಯೀಕರಿಸಿ: ಬಳಕೆದಾರರು ಮೂಲ ಅಪ್ಲಿಕೇಶನ್ನಲ್ಲಿ ಅವರು ವೀಕ್ಷಿಸಬಹುದಾದದ್ದನ್ನು ಮಾತ್ರ ಮರುಪಡೆಯಬೇಕು.
- Glean ಪ್ರಶ್ನೆ ಕಾನ್ಫಿಗರೇಶನ್ ಅನ್ನು ಟ್ಯೂನ್ ಮಾಡಿ: ಉತ್ತಮ ನಿಖರತೆಗಾಗಿ ಪ್ರಶ್ನೆ ಪುನಃ ಬರೆಯುವುದು, ಹೈಬ್ರಿಡ್ ಮರುಪಡೆಯುವಿಕೆ ಮತ್ತು ಸೆಮ್ಯಾಂಟಿಕ್ ಮರು ಶ್ರೇಯಾಂಕವನ್ನು ಸಕ್ರಿಯಗೊಳಿಸಿ.
ಇದು ಏಕೆ ಮುಖ್ಯ: ಹೆಚ್ಚಿನ ಉದ್ಯಮಗಳಲ್ಲಿ, 70-90% "ಭ್ರಮೆ" ಸಮಸ್ಯೆ ವಾಸ್ತವವಾಗಿ ಮರುಪಡೆಯುವಿಕೆ ಸಮಸ್ಯೆಯಾಗಿದೆ. Glean ನೊಂದಿಗೆ, AI ಏಜೆಂಟ್ ಬಳಕೆದಾರರ ಅನುಮತಿಗಳ ಮೇಲೆ ಕಂಡೀಷನ್ ಮಾಡಿದ ಸರಿಯಾದ ಡಾಕ್ಯುಮೆಂಟ್ಗಳನ್ನು ಮರುಪಡೆಯುತ್ತದೆ, ಅಪಾಯ ಮತ್ತು ಅಪ್ರಸ್ತುತ ಉತ್ತರಗಳನ್ನು ಅಪಾರವಾಗಿ ಕಡಿಮೆ ಮಾಡುತ್ತದೆ.
3) Amazon Bedrock ಮೂಲಕ ಮಾದರಿಗಳನ್ನು ಆಯ್ಕೆಮಾಡಿ ಮತ್ತು ಗಾರ್ಡ್ರೈಲ್ಗಳನ್ನು ಹೊಂದಿಸಿ
- ಸಾಮಾನ್ಯ ಮಾದರಿಯೊಂದಿಗೆ ಪ್ರಾರಂಭಿಸಿ (ಉದಾ., Claude, Llama, ಅಥವಾ Mistral ಬೆಡ್ರಾಕ್ ಮೂಲಕ) ಮತ್ತು ಡೊಮೇನ್ ಪ್ರಾಂಪ್ಟ್ಗಳ ವಿರುದ್ಧ A/B ಮಾಡಿ.
- ಸುರಕ್ಷತಾ ಫಿಲ್ಟರ್ಗಳು, ಪ್ರಾಂಪ್ಟ್ ಇಂಜೆಕ್ಷನ್ ತಪಾಸಣೆಗಳು ಮತ್ತು ವಿಷಯ ನೀತಿಗಳಿಗಾಗಿ ಬೆಡ್ರಾಕ್ ಗಾರ್ಡ್ರೈಲ್ಗಳನ್ನು ಬಳಸಿ.
- ಪ್ರತಿಕ್ರಿಯೆಗಳನ್ನು ನಿರ್ಬಂಧಿಸಿ: ಡಾಕ್ ಐಡಿ/URL ಮೂಲಕ ಉಲ್ಲೇಖಗಳನ್ನು ವಿನಂತಿಸಿ, ಉಪಕರಣದ ಔಟ್ಪುಟ್ಗಳಿಗಾಗಿ JSON ಸ್ಕೀಮಾಗಳನ್ನು ಜಾರಿಗೊಳಿಸಿ ಮತ್ತು ಪ್ರತಿ ಹಂತಕ್ಕೆ ಗರಿಷ್ಠ ಟೋಕನ್ಗಳನ್ನು ಹೊಂದಿಸಿ.
- ಲೇಟೆನ್ಸಿ ಬಜೆಟ್ ಅನ್ನು ಇರಿಸಿ: Q&A ಗಾಗಿ P95 ಅಂತ್ಯದಿಂದ-ಅಂತ್ಯದ < 2.5s ಮತ್ತು ಉಪಕರಣ-ಬಳಕೆಯ ಹರಿವುಗಳಿಗೆ < 6s ಅನ್ನು ಗುರಿಯಾಗಿಸಿ.
4) AWS ನಲ್ಲಿ ಏಜೆಂಟ್ ಅನ್ನು ಆರ್ಕೆಸ್ಟ್ರೇಟ್ ಮಾಡಿ
ಮಾದರಿ: ReAct-ಶೈಲಿಯ ಯೋಜನೆ + ಉಪಕರಣ ಬಳಕೆ + ಆಧಾರಿತ ಉತ್ತರಿಸುವಿಕೆ.
- ಹಂತಗಳನ್ನು ಸಂಯೋಜಿಸಲು ಸ್ಟೆಪ್ ಫಂಕ್ಷನ್ಗಳನ್ನು ಬಳಸಿ: ಮರುಪಡೆಯಿರಿ → ಯೋಜನೆ → ಉಪಕರಣ → ಮೌಲ್ಯೀಕರಿಸಿ → ಉತ್ತರಿಸಿ.
- ತಾರ್ಕಿಕ ಕರೆಗಳು Lambda ಅಥವಾ ECS ನಲ್ಲಿ ಚಲಿಸುತ್ತವೆ; ಬರ್ಸ್ಟಿ ಟ್ರಾಫಿಕ್ಗಾಗಿ Lambda ಅನ್ನು ಆರಿಸಿ, ನಿರಂತರ ಥ್ರೋಪುಟ್ಗಾಗಿ ECS ಅನ್ನು ಆರಿಸಿ.
- ಉಪಕರಣ ಅಡಾಪ್ಟರ್ಗಳು (Jira, Slack, ServiceNow) AWS ಸೀಕ್ರೆಟ್ಸ್ ಮ್ಯಾನೇಜರ್ನಲ್ಲಿ IAM-ಸ್ಕೋಪ್ಡ್ ಸೀಕ್ರೆಟ್ಗಳೊಂದಿಗೆ ಸ್ಥಿತಿಯಿಲ್ಲದ ಲ್ಯಾಂಬ್ಡಾಗಳು.
- TTL ನೊಂದಿಗೆ ಡೈನಾಮೊಡಿಬಿಯಲ್ಲಿ ಕಡಿಮೆ-ಅವಧಿಯ ಸಂಭಾಷಣೆಯ ಸ್ಥಿತಿಯನ್ನು ಸಂಗ್ರಹಿಸಿ; S3/Glue/Athena ನಲ್ಲಿ ದೀರ್ಘಕಾಲೀನ ವಿಶ್ಲೇಷಣೆ.
5) Glean ನೊಂದಿಗೆ ಮರುಪಡೆಯುವಿಕೆ-ಹೆಚ್ಚಿಸಿದ ಉತ್ಪಾದನೆ (RAG) ಅನ್ನು ಕಾರ್ಯಗತಗೊಳಿಸಿ
- ಬಳಕೆದಾರರ ಗುರುತಿನ ಟೋಕನ್ ಮತ್ತು ಬಳಕೆದಾರರ ಪ್ರಶ್ನೆಯೊಂದಿಗೆ Glean ಅನ್ನು ಪ್ರಶ್ನಿಸಿ.
- ಉನ್ನತ-k ಫಲಿತಾಂಶಗಳನ್ನು ಮರುಪಡೆಯಿರಿ (ಉದಾ., ಹೈಬ್ರಿಡ್: k=10 ಸೆಮ್ಯಾಂಟಿಕ್ + 10 ಕೀವರ್ಡ್) ಅನುಮತಿಗಳನ್ನು ಗೌರವಿಸುತ್ತದೆ.
- Glean ನ ಪ್ರಸ್ತುತತೆಯೊಂದಿಗೆ ಮರು ಶ್ರೇಯಾಂಕ ನೀಡಿ; ಮಾದರಿಗೆ ಉನ್ನತ, ಡಿಡುಪ್ಲಿಕೇಟೆಡ್ ಚಂಕ್ಗಳನ್ನು ಮಾತ್ರ ರವಾನಿಸಿ.
- ಮೂಲಗಳನ್ನು ಉಲ್ಲೇಖಿಸಲು ಮತ್ತು ವಿಶ್ವಾಸದ ಸ್ಕೋರ್ ಅನ್ನು ಸೇರಿಸಲು ಏಜೆಂಟ್ ಅನ್ನು ಕೇಳಿ.
ಪ್ರಾಂಪ್ಟ್ ಅಸ್ಥಿಪಂಜರ:
- ಸಿಸ್ಟಮ್: "ನೀವು ಆಧಾರಿತ ಉದ್ಯಮ ಸಹಾಯಕರು. ಒದಗಿಸಿದ ಸಂದರ್ಭವನ್ನು ಮಾತ್ರ ಬಳಸಿ. ಅಪ್ರಸ್ತುತವಾಗಿದ್ದರೆ, ಫಾಲೋ-ಅಪ್ ಪ್ರಶ್ನೆಯನ್ನು ಕೇಳಿ. ಯಾವಾಗಲೂ ಶೀರ್ಷಿಕೆ ಮತ್ತು ಲಿಂಕ್ ಮೂಲಕ ಮೂಲಗಳನ್ನು ಉಲ್ಲೇಖಿಸಿ."
- ಪರಿಕರಗಳು: "ನೀವು Jira_CreateIssue, Slack_PostMessage, ServiceNow_CreateIncident ಅನ್ನು ಕರೆಯಬಹುದು. ರನ್ಬುಕ್ ಯಾಂತ್ರೀಕರಣವನ್ನು ಅಧಿಕೃತಗೊಳಿಸದ ಹೊರತು ಬಳಕೆದಾರರೊಂದಿಗೆ ಖಚಿತಪಡಿಸಿದ ನಂತರವೇ ಕಾರ್ಯನಿರ್ವಹಿಸಿ."
6) ಸುರಕ್ಷಿತ ಪರಿಕರ ಬಳಕೆ ಮತ್ತು ಅನುಮೋದನೆಗಳನ್ನು ಸೇರಿಸಿ
- ಪ್ರತಿ ಉಪಕರಣವನ್ನು ಪ್ಯಾರಾಮೀಟರ್ ಮೌಲ್ಯೀಕರಣ ಮತ್ತು ದರ ಮಿತಿಯೊಂದಿಗೆ ಸುತ್ತಿ.
- ಪ್ರಭಾವಶಾಲಿ ಕ್ರಿಯೆಗಳಿಗೆ ಮಾನವ ದೃಢೀಕರಣ ಅಥವಾ ವ್ಯವಸ್ಥಾಪಕರ ಅನುಮೋದನೆ ಅಗತ್ಯವಿದೆ (ಉದಾ., ಪ್ರವೇಶವನ್ನು ಒದಗಿಸುವುದು, P1 ಗಳನ್ನು ಮುಚ್ಚುವುದು).
- ಪ್ರತಿ ಉಪಕರಣದ ಕರೆ (ಯಾರು, ಏನು, ಯಾವಾಗ, ಇನ್ಪುಟ್ ಸ್ಕೀಮಾ, ಔಟ್ಪುಟ್) ಅನ್ನು CloudWatch ಮತ್ತು S3 ಗೆ ಆಡಿಟ್ಗಳಿಗಾಗಿ ಲಾಗ್ ಮಾಡಿ.
- Slack/Teams ಪೋಸ್ಟ್ಗಳಿಗಾಗಿ, ಕಳುಹಿಸುವ ಮೊದಲು ಪೂರ್ವವೀಕ್ಷಣೆಗಾಗಿ "ಡ್ರಾಫ್ಟ್ ಮೋಡ್" ಅನ್ನು ಬೆಂಬಲಿಸಿ.
7) ವೀಕ್ಷಣೆ, ಮೌಲ್ಯಮಾಪನ ಮತ್ತು ಡ್ರಿಫ್ಟ್ ನಿಯಂತ್ರಣ
- ಅಗತ್ಯವಿರುವಲ್ಲಿ ರಿಡಾಕ್ಷನ್ನೊಂದಿಗೆ ಪ್ರಾಂಪ್ಟ್ಗಳು, ಸಂದರ್ಭದ ತುಣುಕುಗಳು, ಉಲ್ಲೇಖಗಳು ಮತ್ತು ಪ್ರತಿಕ್ರಿಯೆಗಳನ್ನು ಸೆರೆಹಿಡಿಯಿರಿ.
- ನಿಖರತೆ@k, ಗ್ರೌಂಡೆಡ್ನೆಸ್ ಮತ್ತು ಡಿಫ್ಲೆಕ್ಷನ್ ದರವನ್ನು ಮೇಲ್ವಿಚಾರಣೆ ಮಾಡಲು OpenSearch ಡ್ಯಾಶ್ಬೋರ್ಡ್ಗಳನ್ನು ಬಳಸಿ.
- ಆಫ್ಲೈನ್ ಇವಾಲ್ಗಳನ್ನು ರನ್ ಮಾಡಿ: ನಿರೀಕ್ಷಿತ ಉತ್ತರಗಳು ಮತ್ತು ಅಗತ್ಯವಿರುವ ಮೂಲಗಳೊಂದಿಗೆ 100-300 ಆರ್ಗ್-ನಿರ್ದಿಷ್ಟ ಪ್ರಶ್ನೆಗಳ ಗೋಲ್ಡ್ ಸೆಟ್ ಅನ್ನು ಕ್ಯುರೇಟ್ ಮಾಡಿ.
- ಕನೆಕ್ಟರ್ ಅಥವಾ ಅನುಮತಿ ಡ್ರಿಫ್ಟ್ ಅನ್ನು ಪತ್ತೆಹಚ್ಚಲು ಕ್ಯಾನರಿಗಳನ್ನು ನಿಗದಿಪಡಿಸಿ (ಉದಾ., ಬದಲಾದ Slack ಚಾನಲ್ಗಳು, ಡ್ರೈವ್ ವಲಸೆಗಳು).
8) ಕಾರ್ಯಕ್ಷಮತೆ ಮತ್ತು ವೆಚ್ಚ ಟ್ಯೂನಿಂಗ್
- ಬಿಸಿ ವಿಷಯಗಳಿಗಾಗಿ (ಉದಾ., HR ನೀತಿ) ಪ್ರತಿ ಬಳಕೆದಾರರಿಗೆ Glean ಪ್ರಶ್ನೆಗಳನ್ನು ಶಾರ್ಟ್ TTL ಗಳೊಂದಿಗೆ ಸಂಗ್ರಹಿಸಿ.
- ರೂಟಿಂಗ್ಗಾಗಿ ಸಣ್ಣ ಮಾದರಿಗಳನ್ನು ಬಳಸಿ, ಕಠಿಣ ಪ್ರಶ್ನೆಗಳು ಅಥವಾ ಬಹು-ಉಪಕರಣ ಯೋಜನೆಗಳಿಗೆ ಮಾತ್ರ ದೊಡ್ಡ ಮಾದರಿಗಳನ್ನು ಬಳಸಿ.
- ಸಾಧ್ಯವಾದಾಗ ಬ್ಯಾಚ್ ಮರು ಶ್ರೇಯಾಂಕ; ಸಂದರ್ಭವನ್ನು ಸಂಕುಚಿತಗೊಳಿಸಿ; ಚಂಕ್ ಡಿಡುಪ್ಲಿಕೇಶನ್ ಬಳಸಿ.
- ಪರಿಹರಿಸಲಾದ ಪ್ರತಿ ಕಾರ್ಯಕ್ಕೆ ವೆಚ್ಚವನ್ನು ಟ್ರ್ಯಾಕ್ ಮಾಡಿ; ಪ್ರತಿ ಸಂಸ್ಥೆ ಮತ್ತು ಪ್ರತಿ ಬಳಕೆದಾರರ ಗುಂಪಿಗೆ ಕೋಟಾಗಳನ್ನು ಹೊಂದಿಸಿ.
ಉದಾಹರಣೆ: Glean ಮತ್ತು AWS ನೊಂದಿಗೆ ನಿರ್ಮಿಸಲಾದ ಉದ್ಯಮ IT ಸಹಾಯಕ
Glean ಮತ್ತು AWS ನೊಂದಿಗೆ ಉದ್ಯಮ-ಸಿದ್ಧ AI ಏಜೆಂಟ್ಗಳನ್ನು ಹೇಗೆ ನಿರ್ಮಿಸುವುದು ಎಂಬುದನ್ನು ತೋರಿಸುವ ಒಂದು ನಿರ್ದಿಷ್ಟ ಸನ್ನಿವೇಶವನ್ನು ನೋಡೋಣ.
ಬಳಕೆಯ ಸಂದರ್ಭ: IT ಬೆಂಬಲ ಟ್ರೈಯೇಜ್ ಮತ್ತು ರೆಸಲ್ಯೂಶನ್.
- ಬಳಕೆದಾರರು ಕೇಳುತ್ತಾರೆ: "macOS 14 ರಲ್ಲಿ ಅಪ್ಡೇಟ್ ನಂತರ VPN ವಿಫಲಗೊಳ್ಳುತ್ತದೆ-ಯಾವುದೇ ಪರಿಹಾರವಿದೆಯೇ?"
- ಏಜೆಂಟ್ IT ರನ್ಬುಕ್ ಟ್ರ್ಯಾಕ್ಗೆ ಮಾರ್ಗಗಳನ್ನು ನೀಡುತ್ತದೆ.
- ಮರುಪಡೆಯುವಿಕೆ: ಬಳಕೆದಾರರ ಗುರುತಿನೊಂದಿಗೆ Glean ಅನ್ನು ಪ್ರಶ್ನಿಸುತ್ತದೆ ಮತ್ತು VPN ರನ್ಬುಕ್ (Confluence), #it-support ನಿಂದ Slack ಥ್ರೆಡ್ ಮತ್ತು Jamf ನೀತಿ ಡಾಕ್ ಅನ್ನು ತರುತ್ತದೆ. ಬಳಕೆದಾರರು ಪ್ರವೇಶಿಸಬಹುದಾದ ಸಂಪನ್ಮೂಲಗಳನ್ನು ಮಾತ್ರ ಪರಿಗಣಿಸಲಾಗುತ್ತದೆ.
- ಯೋಜನೆ: ಏಜೆಂಟ್ ಹಂತಗಳನ್ನು ಪ್ರಸ್ತಾಪಿಸುತ್ತದೆ: ಪರಿಹಾರವನ್ನು ಹಂಚಿಕೊಳ್ಳಿ, Jamf ಮೂಲಕ ಸಾಧನದ ಅನುಸರಣೆಯನ್ನು ಪರಿಶೀಲಿಸಿ ಮತ್ತು ಪರಿಹರಿಸದಿದ್ದರೆ, ServiceNow ಘಟನೆಯನ್ನು ತೆರೆಯಿರಿ.
- ಉಪಕರಣ ಕರೆಗಳು: Jamf ಸ್ಥಿತಿಯನ್ನು ಓದುತ್ತದೆ (ಓದಲು-ಮಾತ್ರ), ಪರಿಹಾರ ಸಂದೇಶವನ್ನು ರಚಿಸುತ್ತದೆ ಮತ್ತು ಎಸ್ಕಲೇಷನ್ ಅನ್ನು ಖಚಿತಪಡಿಸಲು ಬಳಕೆದಾರರನ್ನು ಕೇಳುತ್ತದೆ. ದೃಢೀಕರಣದೊಂದಿಗೆ, ಸರಿಯಾದ ಟೆಂಪ್ಲೇಟ್ನೊಂದಿಗೆ ಘಟನೆಯನ್ನು ರಚಿಸುತ್ತದೆ.
- ಉತ್ತರ: ರನ್ಬುಕ್ ಮತ್ತು Slack ಥ್ರೆಡ್ಗೆ ಉಲ್ಲೇಖಗಳೊಂದಿಗೆ ಸಂಕ್ಷಿಪ್ತ ಪರಿಹಾರ ಸಾರಾಂಶವನ್ನು ಒದಗಿಸುತ್ತದೆ, ಎಲ್ಲವೂ ಬಳಕೆದಾರರ ಅನುಮತಿ ವ್ಯಾಪ್ತಿಯಲ್ಲಿರುತ್ತದೆ.
ಇದು ಏಕೆ ಕಾರ್ಯನಿರ್ವಹಿಸುತ್ತದೆ: Glean ನಿಂದ ಅನುಮತಿ-ಅರಿವಿನ ಮರುಪಡೆಯುವಿಕೆಯಲ್ಲಿ ಏಜೆಂಟ್ ಆಧಾರಿತವಾಗಿದೆ ಮತ್ತು AWS ಕಾರ್ಯಗತಗೊಳಿಸುವಿಕೆ, ಅನುಮೋದನೆಗಳು ಮತ್ತು ಲಾಗಿಂಗ್ ಅನ್ನು ನಿರ್ವಹಿಸುತ್ತದೆ.
ಭದ್ರತೆ ಮತ್ತು ಅನುಸರಣೆ ಪರಿಶೀಲನಾಪಟ್ಟಿ (ಇದನ್ನು ಬಿಟ್ಟುಬಿಡಬೇಡಿ)
- ಮರುಪಡೆಯುವಿಕೆ ಸಂದರ್ಭವನ್ನು ಸರ್ವರ್-ಸೈಡ್ನಲ್ಲಿ ಇರಿಸಿ; ಕಚ್ಚಾ ಡಾಕ್ ವಿಷಯವನ್ನು ಕ್ಲೈಂಟ್ಗೆ ಬಹಿರಂಗಪಡಿಸಬೇಡಿ.
- KMS ನೊಂದಿಗೆ ವಿಶ್ರಾಂತಿಯಲ್ಲಿ ಎನ್ಕ್ರಿಪ್ಟ್ ಮಾಡಿ; ಸಾಗಣೆಯಲ್ಲಿ TLS 1.2+ ಅನ್ನು ಜಾರಿಗೊಳಿಸಿ.
- ಬಳಕೆದಾರರ ಗುರುತನ್ನು Glean ಮತ್ತು ಪರಿಕರಗಳಿಗೆ ರವಾನಿಸಿ; ಮರುಪಡೆಯುವಿಕೆಗಾಗಿ ಹಂಚಿಕೆಯ ಬಾಟ್ ಗುರುತನ್ನು ಎಂದಿಗೂ ಬಳಸಬೇಡಿ.
- IdP ಗುಂಪುಗಳಿಂದ ಪರಿಕರ ಸ್ಕೋಪ್ಗಳಿಗೆ RBAC ಅನ್ನು ಮ್ಯಾಪ್ ಮಾಡಿ.
- ಬೆಡ್ರಾಕ್ ಗಾರ್ಡ್ರೈಲ್ಗಳನ್ನು ಸಕ್ರಿಯಗೊಳಿಸಿ; ಪ್ರಾಂಪ್ಟ್ಗಳಲ್ಲಿ ರಹಸ್ಯಗಳನ್ನು ಅನುಮತಿಸಬೇಡಿ.
- ಅಗತ್ಯವಿರುವಲ್ಲಿ PII ಅನ್ನು ರಿಡಾಕ್ಟ್ ಮಾಡಿ ಮತ್ತು ಡಾಕ್ಯುಮೆಂಟ್ ಧಾರಣ ವಿಂಡೋಗಳನ್ನು ದಾಖಲಿಸಿ.
- ಆಬ್ಜೆಕ್ಟ್ ಲಾಕ್ನೊಂದಿಗೆ S3 ಗೆ ಬದಲಾಯಿಸಲಾಗದ ಲಾಗ್ಗಳು; ನಿಮ್ಮ SIEM ಗೆ ರಫ್ತು ಮಾಡಿ.
- ಘಟನೆ ಪ್ರತಿಕ್ರಿಯೆ ಮತ್ತು ಮಾದರಿ ರೋಲ್ಬ್ಯಾಕ್ಗಾಗಿ ರನ್ಬುಕ್ ಅನ್ನು ಇರಿಸಿ.
ಅನುಷ್ಠಾನ ಬ್ಲೂಪ್ರಿಂಟ್: ಉತ್ಪಾದನೆಗೆ 10 ಹಂತಗಳು
- ಉನ್ನತ 3 ಏಜೆಂಟ್ ಬಳಕೆಯ ಸಂದರ್ಭಗಳನ್ನು (IT, HR, ಮಾರಾಟ ಕಾರ್ಯಾಚರಣೆ) ಮತ್ತು ಯಶಸ್ಸಿನ ಮೆಟ್ರಿಕ್ಗಳನ್ನು ವ್ಯಾಖ್ಯಾನಿಸಿ (ಡಿಫ್ಲೆಕ್ಷನ್ ದರ, CSAT, ಸಮಯ-ಪರಿಹಾರ).
- AWS ಖಾತೆಗಳು, VPC, IAM ಬೇಸ್ಲೈನ್ಗಳು ಮತ್ತು ಬೆಡ್ರಾಕ್ ಪ್ರವೇಶವನ್ನು ಸ್ಥಾಪಿಸಿ.
- SSO/SCIM ಅನ್ನು ಸಂಯೋಜಿಸಿ; ಪಾತ್ರಗಳು ಮತ್ತು ಅನುಮೋದನೆ ಹರಿವುಗಳನ್ನು ಮ್ಯಾಪ್ ಮಾಡಿ.
- Glean ನಲ್ಲಿ ಕೋರ್ ಮೂಲಗಳನ್ನು ಸಂಪರ್ಕಿಸಿ ಮತ್ತು ಅನುಮತಿ-ಅರಿವಿನ ಮರುಪಡೆಯುವಿಕೆಯನ್ನು ಮೌಲ್ಯೀಕರಿಸಿ.
- ಸ್ಟೆಪ್ ಫಂಕ್ಷನ್ಗಳೊಂದಿಗೆ ಕನಿಷ್ಠ ಆರ್ಕೆಸ್ಟ್ರೇಷನ್ ಸೇವೆಯನ್ನು (Lambda + API ಗೇಟ್ವೇ) ನಿರ್ಮಿಸಿ.
- RAG ಪ್ರಾಂಪ್ಟ್ ಕಾಂಟ್ರಾಕ್ಟ್, ಉಲ್ಲೇಖಗಳು ಮತ್ತು ಮೂಲ ಫಿಲ್ಟರಿಂಗ್ ಅನ್ನು ಕಾರ್ಯಗತಗೊಳಿಸಿ.
- ಎರಡು ಉಪಕರಣಗಳನ್ನು ಅಂತ್ಯದಿಂದ-ಅಂತ್ಯಕ್ಕೆ ಸೇರಿಸಿ (ಮೊದಲು ಓದಲು-ಮಾತ್ರ, ನಂತರ ಅನುಮೋದನೆಯೊಂದಿಗೆ ಬರೆಯಿರಿ).
- ಲಾಗಿಂಗ್, ಮೌಲ್ಯಮಾಪನಗಳು ಮತ್ತು ಡ್ಯಾಶ್ಬೋರ್ಡ್ಗಳನ್ನು ಇನ್ಸ್ಟ್ರುಮೆಂಟ್ ಮಾಡಿ; 150-ಪ್ರಶ್ನೆಯ ಗೋಲ್ಡ್ ಸೆಟ್ ಅನ್ನು ರಚಿಸಿ.
- 50-100 ಬಳಕೆದಾರರೊಂದಿಗೆ ಮುಚ್ಚಿದ ಬೀಟಾವನ್ನು ರನ್ ಮಾಡಿ; ಉನ್ನತ ಸಮಸ್ಯೆಗಳನ್ನು ಸರಿಪಡಿಸಿ; SLO ಗಳನ್ನು ಹೊಂದಿಸಿ.
- ವ್ಯಾಪಕವಾಗಿ ರೋಲ್ ಔಟ್ ಮಾಡಿ; ಸಾಪ್ತಾಹಿಕ ಬದಲಾವಣೆ-ವಿಮರ್ಶೆ ಮತ್ತು ಮಾಸಿಕ ಮಾದರಿ ಮೌಲ್ಯಮಾಪನವನ್ನು ಸ್ಥಾಪಿಸಿ.
Glean ಮತ್ತು AWS ನೊಂದಿಗೆ AI ಏಜೆಂಟ್ಗಳನ್ನು ನಿರ್ಮಿಸುವಾಗ ಸಾಮಾನ್ಯವಾಗಿ ಕೇಳಲಾಗುವ ಪ್ರಶ್ನೆಗಳು
ಉದ್ಯಮ ಏಜೆಂಟ್ಗಳಲ್ಲಿ ಭ್ರಮೆಗಳನ್ನು ನಾನು ಹೇಗೆ ಕಡಿಮೆ ಮಾಡುವುದು?
Glean ನಿಂದ ಮರುಪಡೆಯುವಿಕೆಯೊಂದಿಗೆ ಮಾದರಿಯನ್ನು ಆಧಾರಗೊಳಿಸಿ ಮತ್ತು ಕಟ್ಟುನಿಟ್ಟಾದ ಪ್ರಾಂಪ್ಟ್ ಅನ್ನು ಜಾರಿಗೊಳಿಸಿ: ಒದಗಿಸಿದ ಸಂದರ್ಭವನ್ನು ಮಾತ್ರ ಬಳಸಿ ಮತ್ತು ಯಾವಾಗಲೂ ಮೂಲಗಳನ್ನು ಉಲ್ಲೇಖಿಸಿ. ಕಡಿಮೆ ವಿಶ್ವಾಸದಿಂದ ಉತ್ತರಗಳನ್ನು ತಿರಸ್ಕರಿಸಿ ಮತ್ತು ಸ್ಪಷ್ಟಪಡಿಸುವ ಪ್ರಶ್ನೆಗಳನ್ನು ಕೇಳಿ. ನೀವು ಅನುಮತಿ-ಅರಿವಿನ ಮರುಪಡೆಯುವಿಕೆಯನ್ನು ಅವಲಂಬಿಸಿದಾಗ ಹೆಚ್ಚಿನ ಭ್ರಮೆಗಳು ಕಡಿಮೆಯಾಗುತ್ತವೆ.
ಏಜೆಂಟ್ ಅಪ್ಲಿಕೇಶನ್ಗಳಾದ್ಯಂತ ಡಾಕ್ಯುಮೆಂಟ್-ಮಟ್ಟದ ಅನುಮತಿಗಳನ್ನು ಗೌರವಿಸಬಹುದೇ?
ಹೌದು. ನೀವು Glean ಮತ್ತು AWS ನೊಂದಿಗೆ AI ಏಜೆಂಟ್ಗಳನ್ನು ನಿರ್ಮಿಸಿದಾಗ, Glean ಪ್ರಶ್ನೆ ಸಮಯದಲ್ಲಿ ಸಂಪರ್ಕಿತ ಅಪ್ಲಿಕೇಶನ್ಗಳಿಂದ ಅನುಮತಿಗಳನ್ನು ಜಾರಿಗೊಳಿಸುತ್ತದೆ, ಆದ್ದರಿಂದ ಏಜೆಂಟ್ ಬಳಕೆದಾರರು ಪ್ರವೇಶಿಸಬಹುದಾದದ್ದನ್ನು ಮಾತ್ರ ನೋಡುತ್ತಾನೆ. ಕಸ್ಟಡಿಯ ಸರಣಿಯನ್ನು ನಿರ್ವಹಿಸಲು ಯಾವಾಗಲೂ ಬಳಕೆದಾರರ ಗುರುತಿನ ಟೋಕನ್ ಅನ್ನು ರವಾನಿಸಿ.
AWS ನಲ್ಲಿ ನಾನು ಯಾವ ಮಾದರಿಗಳೊಂದಿಗೆ ಪ್ರಾರಂಭಿಸಬೇಕು?
ಬಹು ಮಾದರಿಗಳಿಗೆ ಪ್ರವೇಶಕ್ಕಾಗಿ Amazon Bedrock ಅನ್ನು ಬಳಸಿ. ತಾರ್ಕಿಕತೆಗಾಗಿ ಬಲವಾದ ಸಾಮಾನ್ಯ ಮಾದರಿಯೊಂದಿಗೆ ಪ್ರಾರಂಭಿಸಿ ಮತ್ತು ರೂಟಿಂಗ್ಗಾಗಿ ಚಿಕ್ಕದಾದ, ವೇಗವಾದ ಮಾದರಿಯೊಂದಿಗೆ ಪ್ರಾರಂಭಿಸಿ. ನಿಮ್ಮ ಕ್ಯುರೇಟೆಡ್ ಗೋಲ್ಡ್ ಸೆಟ್ ವಿರುದ್ಧ ಲೇಟೆನ್ಸಿ, ವೆಚ್ಚ ಮತ್ತು ನಿಖರತೆಯನ್ನು ಮೌಲ್ಯಮಾಪನ ಮಾಡಿ.
Jira ಅಥವಾ ServiceNow ನಂತಹ ಸಿಸ್ಟಮ್ಗಳಲ್ಲಿ ಏಜೆಂಟ್ಗಳು ಸುರಕ್ಷಿತವಾಗಿ ಕ್ರಮಗಳನ್ನು ತೆಗೆದುಕೊಳ್ಳಲು ನಾನು ಹೇಗೆ ಅವಕಾಶ ನೀಡಲಿ?
ಪ್ರತಿ ಉಪಕರಣವನ್ನು ಕಟ್ಟುನಿಟ್ಟಾದ ಸ್ಕೀಮಾಗಳು, ಇನ್ಪುಟ್ ಮೌಲ್ಯೀಕರಣ ಮತ್ತು ಅನುಮೋದನೆ ವರ್ಕ್ಫ್ಲೋಗಳೊಂದಿಗೆ ಸುತ್ತಿ. ಪ್ರತಿ ಉಪಕರಣದ ಕರೆಯನ್ನು ಲಾಗ್ ಮಾಡಿ ಮತ್ತು ಆಡಿಟ್ಗಾಗಿ ಔಟ್ಪುಟ್ಗಳನ್ನು ಸಂಗ್ರಹಿಸಿ. ಪ್ರಭಾವಶಾಲಿ ಕ್ರಿಯೆಗಳಿಗಾಗಿ, ಮಾನವ ದೃಢೀಕರಣ ಹಂತದ ಅಗತ್ಯವಿದೆ.
ಏಜೆಂಟ್ ಉತ್ಪಾದನೆಗೆ ಸಿದ್ಧವಾಗಿದೆ ಎಂದು ಯಾವ ಮೆಟ್ರಿಕ್ಗಳು ಸಾಬೀತುಪಡಿಸುತ್ತವೆ?
ಗ್ರೌಂಡೆಡ್ನೆಸ್ (ಉಲ್ಲೇಖ ದರ), ಉತ್ತರದ ನಿಖರತೆ, P95 ಲೇಟೆನ್ಸಿ, ರೆಸಲ್ಯೂಶನ್/ಡಿಫ್ಲೆಕ್ಷನ್ ದರ ಮತ್ತು ಪರಿಹರಿಸಲಾದ ಪ್ರತಿ ಕಾರ್ಯಕ್ಕೆ ವೆಚ್ಚವನ್ನು ಟ್ರ್ಯಾಕ್ ಮಾಡಿ. ಡ್ಯಾಶ್ಬೋರ್ಡ್ಗಳನ್ನು ನಿರ್ಮಿಸಿ ಮತ್ತು ನಿಮ್ಮ ಗೋಲ್ಡ್ ಸೆಟ್ನಲ್ಲಿ ಸಾಪ್ತಾಹಿಕ ರಿಗ್ರೆಶನ್ ತಪಾಸಣೆಗಳನ್ನು ರನ್ ಮಾಡಿ.
ದಾರಿಯುದ್ದಕ್ಕೂ: ನಿರ್ಮಾಣ ಲೂಪ್ ಅನ್ನು ವೇಗಗೊಳಿಸುವುದು
ಗಮನಿಸಬೇಕಾದ ಸಂಗತಿ: ನಿಮ್ಮ ತಂಡವು ಆಗಾಗ್ಗೆ ಮೂಲಮಾದರಿಗಳನ್ನು ಮಾಡಿದರೆ, ಸಂಶೋಧನೆ ಮತ್ತು ಡ್ರಾಫ್ಟಿಂಗ್ಗಾಗಿ ಕೋಪೈಲಟ್ ವಿನ್ಯಾಸ ಡಾಕ್ಯುಮೆಂಟ್ಗಳು, ರನ್ಬುಕ್ಗಳು ಮತ್ತು ಪ್ರಾಂಪ್ಟ್ ಪುನರಾವರ್ತನೆಗಳನ್ನು ವೇಗಗೊಳಿಸುತ್ತದೆ. Sider.AI ನಂತಹ ಪರಿಕರಗಳು ತಂಡಗಳಿಗೆ ದೀರ್ಘ ಥ್ರೆಡ್ಗಳನ್ನು ಸಾರಾಂಶ ಮಾಡಲು, ಮೌಲ್ಯಮಾಪನ ಪ್ರಾಂಪ್ಟ್ಗಳನ್ನು ರಚಿಸಲು ಮತ್ತು ಮಾದರಿ ಔಟ್ಪುಟ್ಗಳನ್ನು ಅಕ್ಕಪಕ್ಕದಲ್ಲಿ ಹೋಲಿಸಲು ಸಹಾಯ ಮಾಡುತ್ತದೆ - Glean ಮತ್ತು AWS ನೊಂದಿಗೆ ಉದ್ಯಮ-ಸಿದ್ಧ AI ಏಜೆಂಟ್ಗಳನ್ನು ಹೇಗೆ ನಿರ್ಮಿಸುವುದು ಎಂಬುದನ್ನು ನೀವು ಟ್ಯೂನ್ ಮಾಡುತ್ತಿರುವಾಗ ಉಪಯುಕ್ತವಾಗಿದೆ. ಪ್ರಮುಖ ಟೇಕ್ಅವೇಗಳು ಮತ್ತು ಮುಂದಿನ ಹಂತಗಳು
- Glean ಮತ್ತು AWS ನೊಂದಿಗೆ AI ಏಜೆಂಟ್ಗಳನ್ನು ನಿರ್ಮಿಸುವುದು ನಿಮಗೆ ಗುರುತು-ಅರಿವಿನ ಮರುಪಡೆಯುವಿಕೆ ಮತ್ತು ಉದ್ಯಮ-ದರ್ಜೆಯ ಆರ್ಕೆಸ್ಟ್ರೇಷನ್ ಅನ್ನು ನೀಡುತ್ತದೆ.
- ಫ್ಯಾನ್ಸಿ ಯೋಜನಾ ತರ್ಕದ ಮೊದಲು ಗುರುತು, ಆಡಳಿತ ಮತ್ತು ಅನುಮತಿ-ಅರಿವಿನ ಮರುಪಡೆಯುವಿಕೆಯೊಂದಿಗೆ ಪ್ರಾರಂಭಿಸಿ.
- ಬೆಡ್ರಾಕ್ ಗಾರ್ಡ್ರೈಲ್ಗಳು, ಕಟ್ಟುನಿಟ್ಟಾದ ಪರಿಕರ ಸ್ಕೀಮಾಗಳು ಮತ್ತು ಮಾನವ-ಇನ್-ದಿ-ಲೂಪ್ ಅನುಮೋದನೆಗಳನ್ನು ಬಳಸಿ.
- ಎಲ್ಲವನ್ನೂ ಇನ್ಸ್ಟ್ರುಮೆಂಟ್ ಮಾಡಿ: ಮೌಲ್ಯಮಾಪನಗಳು, ಆಡಿಟ್ಗಳು ಮತ್ತು ವೆಚ್ಚ ನಿಯಂತ್ರಣಗಳು.
ಈ ವಾರ ಮುಂದಿನ ಹಂತಗಳು:
- ನಿಮ್ಮ ಉನ್ನತ ಮೂರು ಬಳಕೆಯ ಸಂದರ್ಭಗಳು ಮತ್ತು ಯಶಸ್ಸಿನ ಮೆಟ್ರಿಕ್ಗಳನ್ನು ರಚಿಸಿ.
- Glean ನಲ್ಲಿ ಎರಡು ಕೋರ್ ಮೂಲಗಳನ್ನು ಸಂಪರ್ಕಿಸಿ; 150-ಪ್ರಶ್ನೆಯ ಇವಾಲ್ ಅನ್ನು ರನ್ ಮಾಡಿ.
- ಒಂದು ಓದಲು-ಮಾತ್ರ ಉಪಕರಣದೊಂದಿಗೆ ಕನಿಷ್ಠ Lambda + ಸ್ಟೆಪ್ ಫಂಕ್ಷನ್ಸ್ ಆರ್ಕೆಸ್ಟ್ರೇಟರ್ ಅನ್ನು ಸ್ಥಾಪಿಸಿ.
- ಪೈಲಟ್ ವಿಸ್ತರಿಸುವ ಮೊದಲು ನಿಮ್ಮ ಲೇಟೆನ್ಸಿ ಮತ್ತು ವೆಚ್ಚ ಬಜೆಟ್ಗಳನ್ನು ಹೊಂದಿಸಿ.
FAQ
Q1: AWS ನಲ್ಲಿ AI ಏಜೆಂಟ್ಗಳಿಗೆ ಉದ್ಯಮ-ಸಿದ್ಧ ಎಂದರೆ ಏನು?
ಇದರರ್ಥ ಸುರಕ್ಷಿತ, ಆಡಿಟ್ ಮಾಡಬಹುದಾದ ಏಜೆಂಟ್ಗಳು SSO ಮತ್ತು ಡಾಕ್ಯುಮೆಂಟ್ ಅನುಮತಿಗಳನ್ನು ಗೌರವಿಸುತ್ತವೆ, ಉಲ್ಲೇಖಗಳನ್ನು ಒದಗಿಸುತ್ತವೆ ಮತ್ತು ಅನುಸರಣಾ ಮೂಲಸೌಕರ್ಯದಲ್ಲಿ ಚಲಿಸುತ್ತವೆ. ನೀವು Glean ಮತ್ತು AWS ನೊಂದಿಗೆ AI ಏಜೆಂಟ್ಗಳನ್ನು ನಿರ್ಮಿಸಿದಾಗ, ನೀವು ಅನುಮತಿ-ಅರಿವಿನ ಮರುಪಡೆಯುವಿಕೆ ಮತ್ತು ಕ್ಲೌಡ್-ಗ್ರೇಡ್ ವೀಕ್ಷಣೆಯನ್ನು ಪಡೆಯುತ್ತೀರಿ.
Q2: AI ಉತ್ತರಗಳಲ್ಲಿ ಡೇಟಾ ಸೋರಿಕೆಯನ್ನು Glean ಹೇಗೆ ತಡೆಯುತ್ತದೆ?
Glean ಪ್ರಶ್ನೆ ಸಮಯದಲ್ಲಿ ಪ್ರತಿ ಸಂಪರ್ಕಿತ ಅಪ್ಲಿಕೇಶನ್ನಿಂದ ಡಾಕ್ಯುಮೆಂಟ್-ಮಟ್ಟದ ಅನುಮತಿಗಳನ್ನು ಜಾರಿಗೊಳಿಸುತ್ತದೆ. ಏಜೆಂಟ್ ಬಳಕೆದಾರರು ಪ್ರವೇಶಿಸಬಹುದಾದ ವಿಷಯವನ್ನು ಮಾತ್ರ ಮರುಪಡೆಯುತ್ತಾನೆ, ಇದು Glean ಮತ್ತು AWS ನೊಂದಿಗೆ ಉದ್ಯಮ-ಸಿದ್ಧ AI ಏಜೆಂಟ್ಗಳನ್ನು ನಿರ್ಮಿಸುವಾಗ ನಿರ್ಣಾಯಕವಾಗಿದೆ.
Q3: ಆರ್ಕೆಸ್ಟ್ರೇಷನ್ಗಾಗಿ ನಾನು ಯಾವ AWS ಸೇವೆಗಳನ್ನು ಬಳಸಬೇಕು?
ಕಾರ್ಯಗತಗೊಳಿಸುವಿಕೆಗಾಗಿ Lambda ಅಥವಾ ECS ಅನ್ನು ಬಳಸಿ, ಬಹು-ಹಂತದ ವರ್ಕ್ಫ್ಲೋಗಳಿಗಾಗಿ ಸ್ಟೆಪ್ ಫಂಕ್ಷನ್ಗಳು, ಮಾದರಿಗಳು ಮತ್ತು ಗಾರ್ಡ್ರೈಲ್ಗಳಿಗಾಗಿ ಬೆಡ್ರಾಕ್ ಮತ್ತು ರುಜುವಾತುಗಳಿಗಾಗಿ ಸೀಕ್ರೆಟ್ಸ್ ಮ್ಯಾನೇಜರ್. Glean ಮತ್ತು AWS ನೊಂದಿಗೆ AI ಏಜೆಂಟ್ಗಳನ್ನು ನಿರ್ಮಿಸಲು ಈ ಸ್ಟಾಕ್ ಸಾಬೀತಾದ ಆಧಾರವಾಗಿದೆ.
Q4: ನಾನು ನಿಖರತೆಯನ್ನು ಹೇಗೆ ಮೌಲ್ಯಮಾಪನ ಮಾಡುವುದು ಮತ್ತು ಭ್ರಮೆಗಳನ್ನು ಕಡಿಮೆ ಮಾಡುವುದು ಹೇಗೆ?
ಪ್ರಶ್ನೆಗಳ ಗೋಲ್ಡ್ ಸೆಟ್ ಅನ್ನು ರಚಿಸಿ, ಉಲ್ಲೇಖಗಳ ಅಗತ್ಯವಿರುತ್ತದೆ ಮತ್ತು ಮರುಪಡೆಯುವಿಕೆ-ಹೆಚ್ಚಿಸಿದ ಉತ್ಪಾದನೆಯನ್ನು ಬಳಸಿ. Glean ಮತ್ತು AWS ನೊಂದಿಗೆ, ಅನುಮತಿ-ಅರಿವಿನ ಮರುಪಡೆಯುವಿಕೆ ಜೊತೆಗೆ ಗಾರ್ಡ್ರೈಲ್ಗಳು ಭ್ರಮೆಗಳನ್ನು ಗಮನಾರ್ಹವಾಗಿ ಕಡಿಮೆ ಮಾಡುತ್ತದೆ.
Q5: AI ಏಜೆಂಟ್ಗಳು ಟಿಕೆಟ್ಗಳನ್ನು ರಚಿಸುವುದು ಅಥವಾ Slack ನಲ್ಲಿ ಪೋಸ್ಟ್ ಮಾಡುವುದು ಮುಂತಾದ ಕ್ರಮಗಳನ್ನು ಸುರಕ್ಷಿತವಾಗಿ ತೆಗೆದುಕೊಳ್ಳಬಹುದೇ?
ಹೌದು-ಸ್ಕೆಮಾ-ಮೌಲ್ಯೀಕರಿಸಿದ ಪರಿಕರಗಳು, ಹೆಚ್ಚಿನ-ಪ್ರಭಾವದ ಕ್ರಿಯೆಗಳಿಗೆ ಅನುಮೋದನೆಗಳು ಮತ್ತು ಪೂರ್ಣ ಆಡಿಟ್ ಲಾಗಿಂಗ್ನೊಂದಿಗೆ. Glean ಮತ್ತು AWS ನೊಂದಿಗೆ ಉದ್ಯಮ-ಸಿದ್ಧ AI ಏಜೆಂಟ್ಗಳನ್ನು ನಿರ್ಮಿಸುವಾಗ ಇದು ಪ್ರಮುಖ ಮಾದರಿಯಾಗಿದೆ.
