എന്റർപ്രൈസ് AI ഏജന്റുമാർ പരാജയപ്പെടുന്നതെന്തുകൊണ്ട് - {Glean}-ഉം {AWS}-ഉം ഉപയോഗിച്ച് അവയെ എങ്ങനെ പ്രവർത്തനക്ഷമമാക്കാം
ഇതാ ഒരു ധീരമായ വാദം: ബോർഡ് റൂമുകളിൽ പ്രദർശിപ്പിക്കുന്ന മിക്ക “AI ഏജന്റുമാരും” യഥാർത്ഥത്തിൽ എന്റർപ്രൈസ്-റെഡിയല്ല. സമ്മർദ്ദത്തിൽ അവ യാഥാർത്ഥ്യമല്ലാത്ത കാര്യങ്ങൾ പറയുന്നു, യഥാർത്ഥ ഡാറ്റയിൽ തകരാറിലാകുന്നു, കൂടാതെ ഒരു {SOC} 2 ഓഡിറ്റ് പാസാകാൻ കഴിയില്ല. നിങ്ങളുടെ നിയമപരവും സുരക്ഷാപരവുമായ, {IT} ടീമുകൾ അംഗീകരിക്കുകയും നിങ്ങളുടെ ജീവനക്കാർ ഉപയോഗിക്കുകയും ചെയ്യുന്ന ഒരു {AI} നിങ്ങൾക്ക് വേണമെങ്കിൽ, എന്റർപ്രൈസ്-ഗ്രേഡ് റിട്രീവൽ ({Glean}), ശക്തമായ ക്ലൗഡ് പ്രിമിറ്റീവുകൾ ({AWS}), കൂടാതെ വലിയ തോതിലുള്ള ഉപയോഗത്തെ അതിജീവിക്കുന്ന ചിട്ടയായ രൂപകൽപ്പന എന്നിവ ചേർന്ന ഒരു നിർമ്മാണം നിങ്ങൾക്ക് ആവശ്യമാണ്.
{Glean}-ഉം {AWS}-ഉം ഉപയോഗിച്ച് എന്റർപ്രൈസ്-റെഡി {AI} ഏജന്റുകളെ എങ്ങനെ നിർമ്മിക്കാമെന്ന് ഈ ഗൈഡ് ഘട്ടം ഘട്ടമായി വിശദീകരിക്കുന്നു - ഐഡന്റിറ്റി തിരിച്ചറിഞ്ഞുള്ള വീണ്ടെടുക്കൽ മുതൽ സുരക്ഷിതമായ ടൂൾ ഉപയോഗം വരെ, ലേറ്റൻസി ബഡ്ജറ്റുകൾ മുതൽ നിരീക്ഷണം വരെ, പൈലറ്റ് മുതൽ പ്രൊഡക്ഷൻ വരെ.
ഞങ്ങൾ ചോദ്യങ്ങൾ അടിസ്ഥാനമാക്കിയുള്ള ഒരു ഘടന ഉപയോഗിക്കും, അതിനാൽ ഡാറ്റാ ആക്സസ്, സുരക്ഷ, ആർക്കിടെക്ചർ, റോൾഔട്ട് എന്നിങ്ങനെയുള്ള ഏറ്റവും പ്രധാനപ്പെട്ട കാര്യങ്ങളിലേക്ക് നിങ്ങൾക്ക് കടന്നുചെല്ലാം.
എന്റർപ്രൈസ്-റെഡി {AI} ഏജന്റുകൾ എന്നാൽ ഞങ്ങൾ എന്താണ് അർത്ഥമാക്കുന്നത്?
ഒരു എന്റർപ്രൈസ്-റെഡി {AI} ഏജന്റ് എന്നത് ഒരു ചാറ്റ് ഇൻ്റർഫേസ് മാത്രമല്ല. അത് സുരക്ഷിതവും ഓഡിറ്റ് ചെയ്യാൻ കഴിയുന്നതുമായ ഒരു സിസ്റ്റമാണ്, അതിന്:
- കർശനമായ അനുമതികളോടെ കമ്പനി വിവരങ്ങൾ ഉപയോഗിച്ച് ചോദ്യങ്ങൾക്ക് ഉത്തരം നൽകാൻ കഴിയും
- അംഗീകൃത ടൂളുകളിലൂടെ പ്രവർത്തനങ്ങൾ ചെയ്യാൻ കഴിയും ({ServiceNow} ടിക്കറ്റുകൾ, {Jira} പ്രശ്നങ്ങൾ, {Slack} പോസ്റ്റുകൾ)
- ഉറവിടങ്ങൾ നൽകാനും യുക്തി വിശദീകരിക്കാനും കഴിയും
- എന്റർപ്രൈസ് {SSO}, {SCIM}, {DLP} നിയന്ത്രണങ്ങളിൽ പ്രവർത്തിക്കാൻ കഴിയും
- ഡാറ്റാ റസിഡൻസി, ലോഗിംഗ്, നിലനിർത്തൽ ആവശ്യകതകൾ പാലിക്കാൻ കഴിയും
- പ്രവചനാതീതമായ ലേറ്റൻസിയും ചിലവും ഉപയോഗിച്ച് ആയിരക്കണക്കിന് ഉപയോക്താക്കളിലേക്ക് സ്കെയിൽ ചെയ്യാൻ കഴിയും
{Glean}-ഉം {AWS}-ഉം ഉപയോഗിച്ച് {AI} ഏജന്റുകൾ നിർമ്മിക്കുന്നതിൻ്റെ പ്രത്യേകത ഇതാണ്: {Glean} ആപ്പുകളിൽ ഉടനീളം ഐഡന്റിറ്റി തിരിച്ചറിഞ്ഞുള്ള എന്റർപ്രൈസ് തിരയലും വീണ്ടെടുക്കലും നൽകുന്നു, അതേസമയം {AWS} പ്രൊഡക്ഷനിൽ നിങ്ങൾക്ക് ആവശ്യമായ കമ്പ്യൂട്ട്, ഓർക്കസ്ട്രേഷൻ, നെറ്റ്വർക്കിംഗ്, ഭരണപരമായ അടിത്തറ എന്നിവ നൽകുന്നു.
ഒരു നോട്ടത്തിൽ ആർക്കിടെക്ചർ: {Glean} + {AWS}
ഈ സിസ്റ്റത്തെ നാല് ലെയറുകളായി കരുതുക:
- ഐഡന്റിറ്റി & ആക്സസ് ലെയർ ({SSO}, {SCIM}, അനുമതികൾ)
- {Okta}/{Azure AD} വഴിയുള്ള {SSO}; പ്രൊവിഷനിംഗിനായുള്ള {SCIM}; റോൾ മാപ്പിംഗുകൾ
- ചോദ്യം ചെയ്യുന്ന സമയത്ത് {Glean} ഡോക്യുമെൻ്റ്-ലെവൽ അനുമതികൾ നടപ്പിലാക്കുന്നു
- ടോക്കണുകളെ സേവനങ്ങളിലേക്ക് മാറ്റാൻ {AWS Cognito} അല്ലെങ്കിൽ ഡയറക്ട് {SAML}/{OIDC}
- എന്റർപ്രൈസ് റിട്രീവൽ ലെയർ ({Glean})
- {Google Drive}, {Slack}, {Confluence}, {Jira}, {GitHub}, {Box}, {Notion} എന്നിവയിലുടനീളമുള്ള ഏകീകൃത സൂചിക
- അനുമതി തിരിച്ചറിഞ്ഞുള്ള വീണ്ടെടുക്കലും റാങ്കിംഗും
- ചോദ്യം മാറ്റിയെഴുതൽ, ഹൈബ്രിഡ് തിരയൽ, സെമാൻ്റിക് റീറാങ്കിംഗ്
- റീസണിംഗ് & ഓർക്കസ്ട്രേഷൻ ലെയർ ({AWS} + മോഡലുകൾ)
- സ്ഥിരമല്ലാത്ത ഏജന്റ് ഘട്ടങ്ങൾക്കായി {AWS Lambda} അല്ലെങ്കിൽ {ECS}
- ഫ്രോണ്ടിയർ മോഡലുകളിലേക്ക് മാനേജ്ഡ് ആക്സസ് ചെയ്യുന്നതിന് {Amazon Bedrock}
- മൾട്ടി-ടൂൾ വർക്ക്ഫ്ലോകൾക്കും വീണ്ടും ശ്രമിക്കുന്നതിനും {Step Functions}
- കീകൾക്കും ടൂൾ ക്രെഡൻഷ്യലുകൾക്കുമായി {Secrets Manager}/{Parameter Store}
- ആക്ഷൻ & ടൂൾ ലെയർ (എന്റർപ്രൈസ് സംയോജനങ്ങൾ)
- റെക്കോർഡ് സിസ്റ്റങ്ങളിലേക്ക് വായിക്കുകയും എഴുതുകയും ചെയ്യാനുള്ള പ്രവർത്തനങ്ങൾ ({ServiceNow}, {Salesforce}, {Jira}, {Slack})
- ഓരോ ടൂൾ വിളിക്കും ഗാർഡ്റെയിലുകൾ, അംഗീകാരങ്ങൾ, നിരീക്ഷണം
- വിശദീകരണത്തിനായി {CloudWatch}/{OpenSearch}-ലെ ഓഡിറ്റ് ലോഗുകൾ
Core build: {Glean} & {AWS} എന്നിവ ഉപയോഗിച്ച് എന്റർപ്രൈസ്-റെഡി {AI} ഏജന്റുകളെ എങ്ങനെ നിർമ്മിക്കാം
താഴെ ഒരു പ്രായോഗികമായ പൂർണ്ണമായ പാത നൽകുന്നു. നിങ്ങളുടെ സ്റ്റാക്കിന് അനുയോജ്യമായ രീതിയിൽ മാറ്റം വരുത്തുക, എന്നാൽ തത്വങ്ങൾ പാലിക്കുക.
1) ഐഡന്റിറ്റിയും ഭരണവും ആദ്യം സജ്ജമാക്കുക
- {Okta}/{Azure AD} വഴി {SSO} സ്ഥാപിക്കുക. ഗ്രൂപ്പുകൾ/റോളുകൾ ആപ്പ് അനുമതികളിലേക്ക് മാപ്പ് ചെയ്യുക.
- ഓട്ടോമേറ്റഡ് യൂസർ ലൈഫ്സൈക്കിളിനായി ({joiner/mover/leaver}) {SCIM} ഉപയോഗിക്കുക. ഏജന്റിലേക്കുള്ള ഡിപ്രൊവിഷനിംഗ് നിർബന്ധമായും കാസ്കേഡ് ചെയ്യണം.
- കുറഞ്ഞത് പ്രത്യേകാവകാശങ്ങളുള്ള {IAM} റോളുകൾ ഉപയോഗിച്ച് {AWS} അക്കൗണ്ടുകൾ കോൺഫിഗർ ചെയ്യുക. {dev}, {staging}, {prod} എന്നിവയെ വേർതിരിക്കുക. ആവശ്യമുള്ളിടത്ത് {Bedrock}-നും ഡാറ്റാ എഗ്രസ്സ് കൺട്രോളുകൾക്കുമായി {VPC} എൻഡ്പോയിന്റുകൾ നടപ്പിലാക്കുക.
- ഡാറ്റാ നിലനിർത്തൽ നിർവ്വചിക്കുക: പ്രോംപ്റ്റുകൾ, പ്രതികരണങ്ങൾ, വെക്റ്റർ എംബെഡിംഗുകൾ എന്നിവ എത്ര സമയം സൂക്ഷിക്കണം. ലോഗുകൾക്കും ആർട്ടിഫാക്റ്റുകൾക്കുമായി {KMS}-എൻക്രിപ്റ്റ് ചെയ്ത {S3} ബക്കറ്റുകൾ ഉപയോഗിക്കുക.
നുറുങ്ങ്: ഐഡന്റിറ്റിയെ ഒരു റൺടൈം സിഗ്നലായി പരിഗണിക്കുക. അനുമതി പരിശോധനകൾ അതേപടി നിലനിർത്താൻ ഏജന്റ് എൻഡ് യൂസറുടെ ഐഡന്റിറ്റി {Glean}-ലൂടെയും ടൂളുകളിലൂടെയും കൈമാറ്റം ചെയ്യണം.
2) {Glean}-ൽ ഉറവിടങ്ങൾ കണക്ട് ചെയ്യുക, അനുമതി തിരിച്ചറിഞ്ഞുള്ള വീണ്ടെടുക്കൽ പ്രവർത്തനക്ഷമമാക്കുക
- നിങ്ങളുടെ ആവശ്യാനുസരണം {Slack}, {Drive}, {Confluence}, {Notion}, {GitHub}, {Jira}, {Box}, ഇമെയിൽ എന്നിവ കണക്ട് ചെയ്യുക.
- കുറഞ്ഞത് പ്രത്യേകാവകാശങ്ങളോടെ {Glean}-നെ ക്രാൾ ചെയ്യാനും ഇൻഡെക്സ് ചെയ്യാനും അനുവദിക്കുക; സുരക്ഷ ഉപയോഗിച്ച് സ്കോപ്പുകൾ സ്ഥിരീകരിക്കുക.
- അനുമതി പ്രൊപ്പഗേഷൻ സാധൂകരിക്കുക: ഒരു ഉപയോക്താവിന് സോഴ്സ് ആപ്പിൽ കാണാൻ കഴിയുന്നത് മാത്രമേ വീണ്ടെടുക്കാൻ കഴിയൂ.
- കൃത്യത മെച്ചപ്പെടുത്തുന്നതിന് {Glean} ചോദ്യ കോൺഫിഗറേഷൻ ട്യൂൺ ചെയ്യുക: ചോദ്യം മാറ്റിയെഴുതൽ, ഹൈബ്രിഡ് വീണ്ടെടുക്കൽ, സെമാൻ്റിക് റീറാങ്കിംഗ് എന്നിവ പ്രവർത്തനക്ഷമമാക്കുക.
എന്തുകൊണ്ട് ഇത് പ്രധാനമാണ്: മിക്ക എന്റർപ്രൈസുകളിലും, 70-90% “ഹാലൂസിനേഷൻ” പ്രശ്നവും ഒരു വീണ്ടെടുക്കൽ പ്രശ്നമാണ്. {Glean} ഉപയോഗിച്ച്, {AI} ഏജന്റ് ഉപയോക്താവിൻ്റെ അനുമതികളെ അടിസ്ഥാനമാക്കി ശരിയായ രേഖകൾ വീണ്ടെടുക്കുന്നു, ഇത് അപകടസാധ്യതയും അപ്രസക്തമായ ഉത്തരങ്ങളും ഗണ്യമായി കുറയ്ക്കുന്നു.
3) {Amazon Bedrock} വഴി മോഡലുകൾ തിരഞ്ഞെടുത്ത് ഗാർഡ്റെയിലുകൾ സജ്ജമാക്കുക
- ഒരു ജനറൽ മോഡലിൽ ({Claude}, {Llama}, അല്ലെങ്കിൽ {Bedrock} വഴിയുള്ള {Mistral}) ആരംഭിച്ച് ഡൊമെയ്ൻ പ്രോംപ്റ്റുകൾക്കെതിരെ {A/B} ടെസ്റ്റ് നടത്തുക.
- സുരക്ഷാ ഫിൽട്ടറുകൾ, പ്രോംപ്റ്റ് ഇൻജക്ഷൻ പരിശോധനകൾ, ഉള്ളടക്ക നയങ്ങൾ എന്നിവയ്ക്കായി {Bedrock Guardrails} ഉപയോഗിക്കുക.
- പ്രതികരണങ്ങൾ നിയന്ത്രിക്കുക: ഡോക്യുമെന്റ് {ID/URL} അനുസരിച്ച് സൈറ്റേഷനുകൾ ആവശ്യപ്പെടുക, ടൂൾ ഔട്ട്പുട്ടുകൾക്കായി {JSON} സ്കീമകൾ നടപ്പിലാക്കുക, ഓരോ ഘട്ടത്തിനും പരമാവധി ടോക്കണുകൾ സജ്ജമാക്കുക.
- ഒരു ലേറ്റൻസി ബഡ്ജറ്റ് സൂക്ഷിക്കുക: ചോദ്യോത്തരത്തിന് {P95} എൻഡ്-ടു-എൻഡ് < 2.5s, ടൂൾ ഉപയോഗിക്കുന്ന ഫ്ലോകൾക്ക് < 6s എന്നിങ്ങനെ ലക്ഷ്യമിടുക.
4) {AWS}-ൽ ഏജന്റിനെ ഓർക്കസ്ട്രേറ്റ് ചെയ്യുക
പാറ്റേൺ: {ReAct}-ശൈലിയിലുള്ള ആസൂത്രണം + ടൂൾ ഉപയോഗം + അടിസ്ഥാനപരമായ ഉത്തരം നൽകൽ.
- ഘട്ടങ്ങൾ ഏകോപിപ്പിക്കാൻ {Step Functions} ഉപയോഗിക്കുക: വീണ്ടെടുക്കുക → ആസൂത്രണം ചെയ്യുക → ടൂൾ → സാധൂകരിക്കുക → ഉത്തരം നൽകുക.
- റീസണിംഗ് കോളുകൾ {Lambda}-യിലോ {ECS}-ലോ പ്രവർത്തിപ്പിക്കുക; തിരക്ക് കൂടുതലുള്ള ട്രാഫിക്കിനായി {Lambda}-യും, തുടർച്ചയായ ത്രൂപുട്ടിനായി {ECS}-ഉം തിരഞ്ഞെടുക്കുക.
- ടൂൾ അഡാപ്റ്ററുകൾ ({Jira}, {Slack}, {ServiceNow}) {AWS Secrets Manager}-ലെ {IAM}-സ്കോപ്പ് ചെയ്ത രഹസ്യങ്ങളുള്ള സ്ഥിരമല്ലാത്ത {Lambdas} ആണ്.
- {TTL}-ഉം {DynamoDB}-യിലെ ഹ്രസ്വകാല സംഭാഷണ സ്റ്റേറ്റും സംഭരിക്കുക; {S3/Glue/Athena}-യിലെ ദീർഘകാല അനലിറ്റിക്സും.
5) {Glean} ഉപയോഗിച്ച് റിട്രീവൽ-ഓഗ്മെൻ്റഡ് ജനറേഷൻ ({RAG}) നടപ്പിലാക്കുക
- ഉപയോക്താവിൻ്റെ ഐഡന്റിറ്റി ടോക്കണും ഉപയോക്താവിൻ്റെ ചോദ്യവും ഉപയോഗിച്ച് {Glean}-നെ ചോദ്യം ചെയ്യുക.
- ടോപ്പ്-{k} ഫലങ്ങൾ വീണ്ടെടുക്കുക (ഉദാഹരണത്തിന്, ഹൈബ്രിഡ്: {k=10} സെമാൻ്റിക് + 10 കീവേഡ്) അനുമതികൾക്ക് ഊന്നൽ നൽകുക.
- {Glean}-ൻ്റെ പ്രസക്തി ഉപയോഗിച്ച് വീണ്ടും റാങ്ക് ചെയ്യുക; മുകളിലുള്ള, ഡ്യൂപ്ലിക്കേറ്റ് ചെയ്യാത്ത ഭാഗങ്ങൾ മാത്രം മോഡലിലേക്ക് കൈമാറുക.
- ഉറവിടങ്ങൾ ഉദ്ധരിക്കാനും കോൺഫിഡൻസ് സ്കോർ ഉൾപ്പെടുത്താനും ഏജന്റിനോട് ആവശ്യപ്പെടുക.
പ്രോംപ്റ്റ് രൂപരേഖ:
- സിസ്റ്റം: “നിങ്ങളൊരു അടിസ്ഥാനപരമായ എന്റർപ്രൈസ് അസിസ്റ്റൻ്റാണ്. നൽകിയിട്ടുള്ള കോൺടെക്സ്റ്റ് മാത്രം ഉപയോഗിക്കുക. അപ്രസക്തമാണെങ്കിൽ, ഒരു ഫോളോ-അപ്പ് ചോദിക്കുക. എല്ലായ്പ്പോഴും ശീർഷകവും ലിങ്കും അനുസരിച്ച് ഉറവിടങ്ങൾ ഉദ്ധരിക്കുക.”
- ടൂളുകൾ: “നിങ്ങൾക്ക് {Jira_CreateIssue}, {Slack_PostMessage}, {ServiceNow_CreateIncident} എന്നിവ വിളിക്കാം. ഒരു റൺബുക്ക് ഓട്ടോമേഷൻ അംഗീകരിക്കുന്നില്ലെങ്കിൽ, ഉപയോക്താവുമായി സ്ഥിരീകരിച്ച ശേഷം മാത്രം പ്രവർത്തിക്കുക.”
6) സുരക്ഷിതമായ ടൂൾ ഉപയോഗവും അംഗീകാരങ്ങളും ചേർക്കുക
- ഓരോ ടൂളിനെയും പാരാമീറ്റർ വാലിഡേഷനും റേറ്റ് ലിമിറ്റിംഗും ഉപയോഗിച്ച് പൊതിയുക.
- വലിയ സ്വാധീനമുള്ള പ്രവർത്തനങ്ങൾക്ക് (ഉദാഹരണത്തിന്, ആക്സസ് നൽകൽ, {P1}-കൾ അവസാനിപ്പിക്കൽ) മനുഷ്യൻ്റെ സ്ഥിരീകരണമോ മാനേജരുടെ അംഗീകാരമോ ആവശ്യമാണ്.
- ഓരോ ടൂൾ കോളും ({who}, {what}, {when}, ഇൻപുട്ട് സ്കീമ, ഔട്ട്പുട്ട്) ഓഡിറ്റുകൾക്കായി {CloudWatch}-ലേക്കും {S3}-ലേക്കും ലോഗ് ചെയ്യുക.
- {Slack}/{Teams} പോസ്റ്റുകൾക്കായി, അയക്കുന്നതിന് മുമ്പ് പ്രിവ്യൂ ചെയ്യുന്നതിന് “ഡ്രാഫ്റ്റ് മോഡ്” പിന്തുണയ്ക്കുക.
7) നിരീക്ഷണം, മൂല്യനിർണയം, ഡ്രിഫ്റ്റ് കൺട്രോൾ
- ആവശ്യമുള്ളിടത്ത് റിഡക്ഷനോടുകൂടി പ്രോംപ്റ്റുകൾ, കോൺടെക്സ്റ്റ് സ്നിപ്പറ്റുകൾ, സൈറ്റേഷനുകൾ, പ്രതികരണങ്ങൾ എന്നിവ ക്യാപ്ചർ ചെയ്യുക.
- {precision@k}, {groundedness}, {deflection rate} എന്നിവ നിരീക്ഷിക്കാൻ {OpenSearch} ഡാഷ്ബോർഡുകൾ ഉപയോഗിക്കുക.
- ഓഫ്ലൈൻ ഇവാല്യുവേഷനുകൾ പ്രവർത്തിപ്പിക്കുക: പ്രതീക്ഷിക്കുന്ന ഉത്തരങ്ങളും ആവശ്യമായ ഉറവിടങ്ങളുമുള്ള 100-300 ഓർഗ്ഗനൈസേഷൻ-നിർദ്ദിഷ്ട ചോദ്യങ്ങളുടെ ഒരു ഗോൾഡ് സെറ്റ് ക്യൂറേറ്റ് ചെയ്യുക.
- കണക്റ്റർ അല്ലെങ്കിൽ അനുമതി ഡ്രിഫ്റ്റ് കണ്ടെത്താൻ കാനറികൾ ഷെഡ്യൂൾ ചെയ്യുക (ഉദാഹരണത്തിന്, മാറ്റിയ {Slack} ചാനലുകൾ, ഡ്രൈവ് മൈഗ്രേഷനുകൾ).
8) പ്രകടനവും ചെലവ് ട്യൂണിംഗും
- ചൂടേറിയ വിഷയങ്ങൾക്കായി (ഉദാഹരണത്തിന്, {HR} പോളിസി) ഓരോ ഉപയോക്താവിനും {Glean} ചോദ്യങ്ങൾ ചെറിയ {TTL}-കളോടെ കാഷെ ചെയ്യുക.
- റൂട്ടിംഗിനായി ചെറിയ മോഡലുകളും, ബുദ്ധിമുട്ടുള്ള ചോദ്യങ്ങൾക്കോ മൾട്ടി-ടൂൾ പ്ലാനുകൾക്കോ മാത്രം വലിയ മോഡലുകളും ഉപയോഗിക്കുക.
- സാധ്യമാകുമ്പോൾ റീറാങ്കിംഗ് ബാച്ച് ചെയ്യുക; കോൺടെക്സ്റ്റ് കംപ്രസ്സ് ചെയ്യുക; ചങ്ക് ഡ്യൂപ്ലിക്കേഷൻ ഉപയോഗിക്കുക.
- പരിഹരിച്ച ഓരോ ടാസ്ക്കിനുമുള്ള ചെലവ് ട്രാക്ക് ചെയ്യുക; ഓരോ ഓർഗനൈസേഷനും ഓരോ ഉപയോക്തൃ ഗ്രൂപ്പിനും ക്വാട്ടകൾ സജ്ജമാക്കുക.
ഉദാഹരണം: {Glean}-ഉം {AWS}-ഉം ഉപയോഗിച്ച് നിർമ്മിച്ച ഒരു എന്റർപ്രൈസ് {IT} അസിസ്റ്റൻ്റ്
{Glean}-ഉം {AWS}-ഉം ഉപയോഗിച്ച് എന്റർപ്രൈസ്-റെഡി {AI} ഏജന്റുകളെ എങ്ങനെ നിർമ്മിക്കാമെന്ന് കാണിക്കുന്ന ഒരു കോൺക്രീറ്റ് സാഹചര്യം നമുക്ക് നോക്കാം.
ഉപയോഗ കേസ്: {IT} പിന്തുണ ട്രയാേജ് ചെയ്ത് പരിഹരിക്കുക.
- ഉപയോക്താവ് ചോദിക്കുന്നു: “അപ്ഡേറ്റിന് ശേഷം {macOS} 14-ൽ {VPN} പരാജയപ്പെടുന്നു - എന്തെങ്കിലും പരിഹാരമുണ്ടോ?”
- ഏജന്റ് {IT} റൺബുക്ക് ട്രാക്കിലേക്ക് റൂട്ട് ചെയ്യുന്നു.
- വീണ്ടെടുക്കൽ: ഉപയോക്താവിൻ്റെ ഐഡന്റിറ്റി ഉപയോഗിച്ച് {Glean}-നെ ചോദ്യം ചെയ്യുന്നു, {VPN} റൺബുക്ക് ({Confluence}), {#it-support} എന്നതിലെ ഒരു {Slack} ത്രെഡ്, ഒരു {Jamf} പോളിസി ഡോക്യുമെൻ്റ് എന്നിവ ഫെച്ച് ചെയ്യുന്നു. ഉപയോക്താവിന് ആക്സസ് ചെയ്യാൻ കഴിയുന്ന ഉറവിടങ്ങൾ മാത്രമേ പരിഗണിക്കൂ.
- ആസൂത്രണം: ഏജന്റ് ഘട്ടങ്ങൾ നിർദ്ദേശിക്കുന്നു: പരിഹാരം പങ്കിടുക, {Jamf} വഴി ഉപകരണ പാലിക്കൽ പരിശോധിക്കുക, പരിഹരിച്ചില്ലെങ്കിൽ ഒരു {ServiceNow} ഇൻസിഡൻ്റ് തുറക്കുക.
- ടൂൾ കോളുകൾ: {Jamf} സ്റ്റാറ്റസ് വായിക്കുന്നു (വായിക്കാൻ മാത്രം), ഒരു ഫിക്സ് മെസ്സേജ് ഡ്രാഫ്റ്റ് ചെയ്യുന്നു, തുടർന്ന് എസ്കലേഷൻ സ്ഥിരീകരിക്കാൻ ഉപയോക്താവിനോട് ആവശ്യപ്പെടുന്നു. സ്ഥിരീകരണത്തോടെ, ശരിയായ ടെംപ്ലേറ്റ് ഉപയോഗിച്ച് ഒരു ഇൻസിഡൻ്റ് ഉണ്ടാക്കുന്നു.
- ഉത്തരം: റൺബുക്കിലേക്കും {Slack} ത്രെഡിലേക്കും സൈറ്റേഷനുകളുള്ള സംക്ഷിപ്തമായ ഫിക്സ് സംഗ്രഹം നൽകുന്നു, എല്ലാം ഉപയോക്താവിൻ്റെ അനുമതി സ്കോപ്പിനുള്ളിൽ.
എന്തുകൊണ്ട് ഇത് പ്രവർത്തിക്കുന്നു: {Glean}-ൽ നിന്നുള്ള അനുമതി തിരിച്ചറിഞ്ഞുള്ള വീണ്ടെടുക്കലിൽ ഏജന്റ് അടിസ്ഥാനമിട്ടിരിക്കുന്നു, കൂടാതെ {AWS} എക്സിക്യൂഷൻ, അംഗീകാരങ്ങൾ, ലോഗിംഗ് എന്നിവ കൈകാര്യം ചെയ്യുന്നു.
സുരക്ഷയും പാലിക്കൽ ചെക്ക്ലിസ്റ്റും (ഇത് ഒഴിവാക്കരുത്)
- വീണ്ടെടുക്കൽ കോൺടെക്സ്റ്റ് സെർവർ-സൈഡിൽ സൂക്ഷിക്കുക; റോ ഡോക്യുമെൻ്റ് ഉള്ളടക്കം ക്ലയിന്റിന് വെളിപ്പെടുത്തരുത്.
- {KMS} ഉപയോഗിച്ച് റെസ്റ്റിൽ എൻക്രിപ്റ്റ് ചെയ്യുക; ട്രാൻസിറ്റിൽ {TLS} 1.2+ നടപ്പിലാക്കുക.
- ഉപയോക്തൃ ഐഡന്റിറ്റി {Glean}-ലേക്കും ടൂളുകളിലേക്കും കൈമാറുക; വീണ്ടെടുക്കലിനായി ഒരിക്കലും പങ്കിട്ട ബോട്ട് ഐഡന്റിറ്റി ഉപയോഗിക്കരുത്.
- {IdP} ഗ്രൂപ്പുകളിൽ നിന്ന് ടൂൾ സ്കോപ്പുകളിലേക്ക് {RBAC} മാപ്പ് ചെയ്യുക.
- {Bedrock Guardrails} പ്രവർത്തനക്ഷമമാക്കുക; പ്രോംപ്റ്റുകളിൽ രഹസ്യങ്ങൾ അനുവദിക്കരുത്.
- ആവശ്യമുള്ളിടത്ത് {PII} റിഡക്ട് ചെയ്യുകയും നിലനിർത്തൽ വിൻഡോകൾ രേഖപ്പെടുത്തുകയും ചെയ്യുക.
- {Object Lock}-ഓടുകൂടിയ മാറ്റമില്ലാത്ത ലോഗുകൾ {S3}-ലേക്ക്; നിങ്ങളുടെ {SIEM}-ലേക്ക് എക്സ്പോർട്ട് ചെയ്യുക.
- സംഭവങ്ങളുടെ പ്രതികരണത്തിനും മോഡൽ റോൾബാക്കിനുമായി ഒരു റൺബുക്ക് സൂക്ഷിക്കുക.
നടപ്പിലാക്കൽ ബ്ലൂപ്രിൻ്റ്: പ്രൊഡക്ഷനിലേക്കുള്ള 10 ഘട്ടങ്ങൾ
- ഏറ്റവും മികച്ച 3 ഏജൻ്റ് ഉപയോഗ കേസുകളും ({IT}, {HR}, സെയിൽസ് ഓപ്സ്) വിജയ അളവുകളും (ഡിഫ്ലെക്ഷൻ റേറ്റ്, {CSAT}, പരിഹരിക്കാനുള്ള സമയം) നിർവ്വചിക്കുക.
- {AWS} അക്കൗണ്ടുകൾ, {VPC}, {IAM} ബേസ്ലൈനുകൾ, {Bedrock} ആക്സസ് എന്നിവ സജ്ജമാക്കുക.
- {SSO}/{SCIM} സംയോജിപ്പിക്കുക; റോളുകളും അംഗീകാര ഫ്ലോകളും മാപ്പ് ചെയ്യുക.
- {Glean}-ൽ കോർ ഉറവിടങ്ങൾ കണക്ട് ചെയ്ത് അനുമതി തിരിച്ചറിഞ്ഞുള്ള വീണ്ടെടുക്കൽ സാധൂകരിക്കുക.
- {Step Functions}-നൊപ്പം ഒരു മിനിമൽ ഓർക്കസ്ട്രേഷൻ സർവീസ് ({Lambda + API Gateway}) നിർമ്മിക്കുക.
- {RAG} പ്രോംപ്റ്റ് കരാർ, സൈറ്റേഷനുകൾ, ഉറവിട ഫിൽട്ടറിംഗ് എന്നിവ നടപ്പിലാക്കുക.
- രണ്ട് ടൂളുകൾ എൻഡ്-ടു-എൻഡ് ചേർക്കുക (ആദ്യം വായിക്കാൻ മാത്രം, തുടർന്ന് അംഗീകാരത്തോടെ എഴുതുക).
- ലോഗിംഗ്, ഇവാല്യുവേഷനുകൾ, ഡാഷ്ബോർഡുകൾ എന്നിവ ഇൻസ്ട്രുമെൻ്റ് ചെയ്യുക; 150 ചോദ്യങ്ങളുള്ള ഒരു ഗോൾഡ് സെറ്റ് ഉണ്ടാക്കുക.
- 50-100 ഉപയോക്താക്കളുമായി ഒരു ക്ലോസ്ഡ് ബീറ്റ പ്രവർത്തിപ്പിക്കുക; പ്രധാന പ്രശ്നങ്ങൾ പരിഹരിക്കുക; {SLO} സജ്ജമാക്കുക.
- വ്യാപകമായി റോൾ ഔട്ട് ചെയ്യുക; പ്രതിവാര മാറ്റ അവലോകനവും പ്രതിമാസ മോഡൽ ഇവാല്യുവേഷനും സ്ഥാപിക്കുക.
{Glean}-ഉം {AWS}-ഉം ഉപയോഗിച്ച് {AI} ഏജന്റുകൾ നിർമ്മിക്കുമ്പോൾ പതിവായി ചോദിക്കുന്ന ചോദ്യങ്ങൾ
എന്റർപ്രൈസ് ഏജന്റുകളിലെ ഹാലൂസിനേഷനുകൾ എങ്ങനെ കുറയ്ക്കാം?
{Glean}-ൽ നിന്നുള്ള വീണ്ടെടുക്കലുമായി മോഡലിനെ അടിസ്ഥാനപ്പെടുത്തി ഒരു കർശനമായ പ്രോംപ്റ്റ് നടപ്പിലാക്കുക: നൽകിയിട്ടുള്ള കോൺടെക്സ്റ്റ് മാത്രം ഉപയോഗിക്കുക, എല്ലായ്പ്പോഴും ഉറവിടങ്ങൾ ഉദ്ധരിക്കുക. കുറഞ്ഞ ആത്മവിശ്വാസമുള്ള ഉത്തരങ്ങൾ നിരസിക്കുകയും വ്യക്തമാക്കുന്ന ചോദ്യങ്ങൾ ചോദിക്കുകയും ചെയ്യുക. അനുമതി തിരിച്ചറിഞ്ഞുള്ള വീണ്ടെടുക്കലിനെ ആശ്രയിക്കുമ്പോൾ മിക്ക ഹാലൂസിനേഷനുകളും കുറയും.
ആപ്ലിക്കേഷനുകളിലുടനീളമുള്ള ഡോക്യുമെൻ്റ്-ലെവൽ അനുമതികളെ ഏജന്റിന് മാനിക്കാൻ കഴിയുമോ?
ഉവ്വ്. നിങ്ങൾ {Glean}-ഉം {AWS}-ഉം ഉപയോഗിച്ച് {AI} ഏജന്റുകൾ നിർമ്മിക്കുമ്പോൾ, {Glean} ചോദ്യം ചെയ്യുന്ന സമയത്ത് കണക്ട് ചെയ്ത ആപ്പുകളിൽ നിന്നുള്ള അനുമതികൾ നടപ്പിലാക്കുന്നു, അതിനാൽ ഉപയോക്താവിന് ആക്സസ് ചെയ്യാൻ കഴിയുന്നത് മാത്രമേ ഏജന്റ് കാണുകയുള്ളൂ. കസ്റ്റഡിയുടെ ശൃംഖല നിലനിർത്താൻ ഉപയോക്താവിൻ്റെ ഐഡന്റിറ്റി ടോക്കൺ എല്ലായ്പ്പോഴും കൈമാറുക.
{AWS}-ൽ ഞാൻ ഏതൊക്കെ മോഡലുകളിൽ തുടങ്ങണം?
ഒന്നിലധികം മോഡലുകളിലേക്ക് ആക്സസ് ചെയ്യാൻ {Amazon Bedrock} ഉപയോഗിക്കുക. റീസണിംഗിനായി ശക്തമായ ഒരു ജനറൽ മോഡലിലും, റൂട്ടിംഗിനായി വേഗതയേറിയതും ചെറുതുമായ ഒരു മോഡലിലും ആരംഭിക്കുക. നിങ്ങളുടെ ക്യൂറേറ്റ് ചെയ്ത ഗോൾഡ് സെറ്റിനെതിരെ ലേറ്റൻസി, ചെലവ്, കൃത്യത എന്നിവ വിലയിരുത്തുക.
{Jira} അല്ലെങ്കിൽ {ServiceNow} പോലുള്ള സിസ്റ്റങ്ങളിൽ ഏജന്റുമാരെ സുരക്ഷിതമായി എങ്ങനെ പ്രവർത്തനമെടുക്കാൻ അനുവദിക്കാം?
ഓരോ ടൂളിനെയും കർശനമായ സ്കീമകൾ, ഇൻപുട്ട് വാലിഡേഷൻ, അംഗീകാര വർക്ക്ഫ്ലോകൾ എന്നിവ ഉപയോഗിച്ച് പൊതിയുക. ഓരോ ടൂൾ കോളും ലോഗ് ചെയ്ത് ഓഡിറ്റിനായി ഔട്ട്പുട്ടുകൾ സംഭരിക്കുക. വലിയ സ്വാധീനമുള്ള പ്രവർത്തനങ്ങൾക്ക്, ഒരു മനുഷ്യൻ്റെ സ്ഥിരീകരണ ഘട്ടം ആവശ്യമാണ്.
ഒരു ഏജന്റ് പ്രൊഡക്ഷൻ-റെഡിയാണെന്ന് തെളിയിക്കുന്ന അളവുകൾ എന്തൊക്കെയാണ്?
{groundedness} (സൈറ്റേഷൻ റേറ്റ്), ഉത്തര കൃത്യത, {P95} ലേറ്റൻസി, റെസല്യൂഷൻ/ഡിഫ്ലെക്ഷൻ റേറ്റ്, പരിഹരിച്ച ഓരോ ടാസ്ക്കിനുമുള്ള ചെലവ് എന്നിവ ട്രാക്ക് ചെയ്യുക. ഡാഷ്ബോർഡുകൾ നിർമ്മിക്കുകയും നിങ്ങളുടെ ഗോൾഡ് സെറ്റിൽ പ്രതിവാര റിഗ്രഷൻ പരിശോധനകൾ നടത്തുകയും ചെയ്യുക.
ഒരു കാര്യം കൂടി: ബിൽഡ് ലൂപ്പ് വേഗത്തിലാക്കുന്നു
ശ്രദ്ധിക്കുക: നിങ്ങളുടെ ടീം പതിവായി പ്രോട്ടോടൈപ്പുകൾ നിർമ്മിക്കുന്നുണ്ടെങ്കിൽ, ഗവേഷണത്തിനും ഡ്രാഫ്റ്റിംഗിനുമുള്ള ഒരു കോപൈലറ്റിന് ഡിസൈൻ ഡോക്യുമെൻ്റുകൾ, റൺബുക്കുകൾ, പ്രോംപ്റ്റ് ആവർത്തനങ്ങൾ എന്നിവ വേഗത്തിലാക്കാൻ കഴിയും. Sider.AI പോലുള്ള ടൂളുകൾക്ക് ടീമുകളെ വലിയ ത്രെഡുകൾ സംഗ്രഹിക്കാനും, ഇവാല്യുവേഷൻ പ്രോംപ്റ്റുകൾ ഡ്രാഫ്റ്റ് ചെയ്യാനും, മോഡൽ ഔട്ട്പുട്ടുകൾ സൈഡ്-ബൈ-സൈഡ് താരതമ്യം ചെയ്യാനും സഹായിക്കുന്നു—{Glean}-ഉം {AWS}-ഉം ഉപയോഗിച്ച് എന്റർപ്രൈസ്-റെഡി {AI} ഏജന്റുകൾ എങ്ങനെ നിർമ്മിക്കാമെന്ന് ട്യൂൺ ചെയ്യുമ്പോൾ ഇത് ഉപയോഗപ്രദമാണ്. പ്രധാന കണ്ടെത്തലുകളും അടുത്ത ഘട്ടങ്ങളും
- {Glean}-ഉം {AWS}-ഉം ഉപയോഗിച്ച് {AI} ഏജന്റുകൾ നിർമ്മിക്കുന്നത് നിങ്ങൾക്ക് ഐഡന്റിറ്റി തിരിച്ചറിഞ്ഞുള്ള വീണ്ടെടുക്കലും എന്റർപ്രൈസ്-ഗ്രേഡ് ഓർക്കസ്ട്രേഷനും നൽകുന്നു.
- ആദ്യം ഐഡന്റിറ്റി, ഭരണം, അനുമതി തിരിച്ചറിഞ്ഞുള്ള വീണ്ടെടുക്കൽ എന്നിവയിൽ ശ്രദ്ധിക്കുക, അതിനുശേഷം മാത്രം മികച്ച ആസൂത്രണ യുക്തിയിലേക്ക് കടക്കുക.
- {Bedrock} ഗാർഡ്റെയിലുകൾ, കർശനമായ ടൂൾ സ്കീമകൾ, മനുഷ്യൻ്റെ അംഗീകാരങ്ങൾ എന്നിവ ഉപയോഗിക്കുക.
- എല്ലാം ഇൻസ്ട്രുമെൻ്റ് ചെയ്യുക: ഇവാല്യുവേഷനുകൾ, ഓഡിറ്റുകൾ, ചെലവ് നിയന്ത്രണങ്ങൾ.
ഈ ആഴ്ചയിലെ അടുത്ത ഘട്ടങ്ങൾ:
- നിങ്ങളുടെ മികച്ച മൂന്ന് ഉപയോഗ കേസുകളും വിജയ അളവുകളും ഡ്രാഫ്റ്റ് ചെയ്യുക.
- {Glean}-ൽ രണ്ട് കോർ ഉറവിടങ്ങൾ കണക്ട് ചെയ്യുക; 150 ചോദ്യങ്ങളുള്ള ഒരു ഇവാല്യുവേഷൻ പ്രവർത്തിപ്പിക്കുക.
- ഒരു റീഡ്-ഒൺലി ടൂളുള്ള ഒരു മിനിമൽ {Lambda + Step Functions} ഓർക്കസ്ട്രേറ്റർ സജ്ജമാക്കുക.
- പൈലറ്റ് വിപുലീകരിക്കുന്നതിന് മുമ്പ് നിങ്ങളുടെ ലേറ്റൻസിയും ചെലവ് ബഡ്ജറ്റുകളും സജ്ജമാക്കുക.
പതിവായി ചോദിക്കുന്ന ചോദ്യങ്ങൾ
{AWS}-ലെ {AI} ഏജന്റുകൾക്ക് എന്റർപ്രൈസ്-റെഡി എന്നതിൻ്റെ അർത്ഥമെന്താണ്?
അതിനർത്ഥം {SSO} ഡോക്യുമെൻ്റ് അനുമതികളെ മാനിക്കുന്നതും, സൈറ്റേഷനുകൾ നൽകുന്നതും, പാലിക്കാവുന്ന ഇൻഫ്രാസ്ട്രക്ചറിൽ പ്രവർത്തിക്കുന്നതുമായ സുരക്ഷിതവും ഓഡിറ്റ് ചെയ്യാവുന്നതുമായ ഏജന്റുകൾ എന്നാണ്. നിങ്ങൾ {Glean}-ഉം {AWS}-ഉം ഉപയോഗിച്ച് {AI} ഏജന്റുകൾ നിർമ്മിക്കുമ്പോൾ, നിങ്ങൾക്ക് അനുമതി തിരിച്ചറിഞ്ഞുള്ള വീണ്ടെടുക്കലും ക്ലൗഡ്-ഗ്രേഡ് നിരീക്ഷണവും ലഭിക്കുന്നു.
{AI} ഉത്തരങ്ങളിലെ ഡാറ്റാ ചോർച്ച {Glean} എങ്ങനെ തടയുന്നു?
ചോദ്യം ചെയ്യുന്ന സമയത്ത് കണക്ട് ചെയ്ത ഓരോ ആപ്പിൽ നിന്നുമുള്ള ഡോക്യുമെൻ്റ്-ലെവൽ അനുമതികൾ {Glean} നടപ്പിലാക്കുന്നു. ഉപയോക്താവിന് ആക്സസ് ചെയ്യാൻ കഴിയുന്ന ഉള്ളടക്കം മാത്രമേ ഏജന്റ് വീണ്ടെടുക്കൂ, {Glean}-ഉം {AWS}-ഉം ഉപയോഗിച്ച് എന്റർപ്രൈസ്-റെഡി {AI} ഏജന്റുകൾ നിർമ്മിക്കുമ്പോൾ ഇത് നിർണായകമാണ്.
ഓർക്കസ്ട്രേഷനായി ഞാൻ ഏതൊക്കെ {AWS} സേവനങ്ങളാണ് ഉപയോഗിക്കേണ്ടത്?
എക്സിക്യൂഷനായി {Lambda} അല്ലെങ്കിൽ {ECS}, മൾട്ടി-സ്റ്റെപ്പ് വർക്ക്ഫ്ലോകൾക്കായി {Step Functions}, മോഡലുകൾക്കും ഗാർഡ്റെയിലുകൾക്കുമായി {Bedrock}, ക്രെഡൻഷ്യലുകൾക്കായി {Secrets Manager} എന്നിവ ഉപയോഗിക്കുക. {Glean}-ഉം {AWS}-ഉം ഉപയോഗിച്ച് {AI} ഏജന്റുകൾ നിർമ്മിക്കുന്നതിനുള്ള ഒരു തെളിയിക്കപ്പെട്ട അടിത്തറയാണ് ഈ സ്റ്റാക്ക്.
കൃത്യത എങ്ങനെ വിലയിരുത്തുകയും ഹാലൂസിനേഷനുകൾ കുറയ്ക്കുകയും ചെയ്യാം?
ചോദ്യങ്ങളുടെ ഒരു ഗോൾഡ് സെറ്റ് ഉണ്ടാക്കുക, സൈറ്റേഷനുകൾ ആവശ്യപ്പെടുക, വീണ്ടെടുക്കൽ-ഓഗ്മെൻ്റഡ് ജനറേഷൻ ഉപയോഗിക്കുക. {Glean}-ഉം {AWS}-ഉം ഉപയോഗിച്ച്, അനുമതി തിരിച്ചറിഞ്ഞുള്ള വീണ്ടെടുക്കലും ഗാർഡ്റെയിലുകളും ഹാലൂസിനേഷനുകൾ ഗണ്യമായി കുറയ്ക്കുന്നു.
{AI} ഏജന്റുകൾക്ക് ടിക്കറ്റുകൾ ഉണ്ടാക്കുകയോ {Slack}-ൽ പോസ്റ്റ് ചെയ്യുകയോ ചെയ്യുന്നത് പോലെ സുരക്ഷിതമായി പ്രവർത്തനമെടുക്കാൻ കഴിയുമോ?
ഉവ്വ്—സ്കീമ-വാലിഡേറ്റ് ചെയ്ത ടൂളുകൾ, വലിയ സ്വാധീനമുള്ള പ്രവർത്തനങ്ങൾക്കുള്ള അംഗീകാരങ്ങൾ, പൂർണ്ണമായ ഓഡിറ്റ് ലോഗിംഗ് എന്നിവ ഉപയോഗിച്ച് സാധ്യമാകും. {Glean}-ഉം {AWS}-ഉം ഉപയോഗിച്ച് എന്റർപ്രൈസ്-റെഡി {AI} ഏജന്റുകൾ നിർമ്മിക്കുമ്പോൾ ഇതൊരു പ്രധാന പാറ്റേണാണ്.
