"AI RAG என்றால் என்ன? மீட்டெடுப்பு-உதவியுடன் உருவாக்கம் பற்றிய தெளிவான, சாரமற்ற வழிகாட்டி"
"பெரிய மொழி மாதிரியிடம் நீங்கள் எப்போதாவது ஒரு எளிய கேள்வியைக் கேட்டு, அது உறுதியாக தவறான பதிலைக் கொடுத்திருந்தால், நீங்கள் பிரமையைக் கண்டிருக்கிறீர்கள். மீட்டெடுப்பு-உதவியுடன் உருவாக்கம் (RAG), முன் பயிற்சியின்போது அவர்கள் கற்றுக்கொண்டதை மட்டும் நம்பாமல், உருவாக்கும் நேரத்தில் மாதிரிகளுக்கு உண்மையான, தற்போதைய உண்மைகளை வழங்குவதன் மூலம் அதை சரிசெய்வதற்கான மிகவும் பயனுள்ள வழிகளில் ஒன்றாகும். சுருக்கமாக: RAG உங்கள் தரவை உங்கள் AI இல் செருகுகிறது, எனவே பதில்கள் யதார்த்தத்தில் நிலைநிறுத்தப்படுகின்றன.",,.
இந்த விளக்கவுரை ஒரு நடைமுறை & தீர்வு சார்ந்த அணுகுமுறையை எடுக்கிறது: AI RAG என்றால் என்ன, அது எப்படி வேலை செய்கிறது, அது எங்கே பிரகாசிக்கிறது, என்ன தவறு நடக்கலாம், அதை எப்படி மதிப்பீடு செய்வது, மேலும் சொல்லாடல்களில் தொலைந்து போகாமல் எப்படி தொடங்குவது.
விரைவான வரையறை: AI RAG என்றால் என்ன?
- AI RAG (Retrieval-Augmented Generation) என்பது ஒரு நுட்பமாகும், இதில் ஒரு அமைப்பு அறிவு மூலத்திலிருந்து (எ.கா., ஒரு திசையன் தரவுத்தளம், கோப்பு சேமிப்பு, API) தொடர்புடைய ஆவணங்கள் அல்லது உண்மைகளை மீட்டெடுத்து, அவற்றை ஒரு பெரிய மொழி மாதிரிக்கு (LLM) உள்ளீடாக வழங்குகிறது. மாதிரி மீட்டெடுக்கப்பட்ட ஆதாரங்களில் நிலைநிறுத்தப்பட்ட பதில்களை உருவாக்க முடியும்.,
- இதை இப்படி நினைத்துப் பாருங்கள்: முதலில் தேடுங்கள், பின்னர் தொகுக்கவும்.
- விளைவு: அதிக உண்மைத் துல்லியம், புதிய பதில்கள் மற்றும் ஆதாரங்கள் பற்றிய வெளிப்படைத்தன்மை.
RAG ஏன் உள்ளது: அது தீர்க்கும் முக்கிய பிரச்சனை
- LLMகள் நிலையான தரவு ஸ்னாப்ஷாட்களில் பயிற்சி அளிக்கப்படுகின்றன. நீங்கள் அவர்களுக்கு அணுகல் கொடுக்காவிட்டால், அவர்கள் உங்கள் தனிப்பட்ட ஆவணங்கள் அல்லது நேற்றைய கொள்கை புதுப்பிப்பை "அறிய" முடியாது.
- தூய நுணுக்கமான ட்யூனிங் விலை உயர்ந்தது, புதுப்பிக்க மெதுவாக இருக்கும், மேலும் அதிகப்படியான பொருத்தம் அல்லது தரவு கசிவு ஏற்படும் அபாயம் உள்ளது.
- AI RAG சரியான நேரத்தில் அறிவு செலுத்துவதை செயல்படுத்துகிறது: நீங்கள் தரவை இருக்கும் இடத்தில் வைத்து, தேவைப்படும்போது சரியான துண்டுகளை மீட்டெடுக்கலாம்.
RAG எப்படி வேலை செய்கிறது (அதிக ஆரவாரமின்றி)
RAG குழாய்த்திட்டங்கள் வேறுபடுகின்றன, ஆனால் பெரும்பாலானவற்றில் இந்த படிகள் அடங்கும்:
- உட்கொள்ளுதல் & துண்டாக்குதல்
- ஆவணங்களை நிர்வகிக்கக்கூடிய துண்டுகளாக உடைக்கவும் (எ.கா., 200–1,000 டோக்கன்கள்).
- மெட்டாடேட்டாவை பிரித்தெடுக்கவும் (தலைப்பு, ஆசிரியர், தேதி, அனுமதிகள்).
- உட்பொதித்தல் & அட்டவணைப்படுத்தல்
- துண்டுகளை திசையன் உட்பொதிப்புகளாக மாற்றவும்.
- மெட்டாடேட்டா வடிப்பான்களுடன் திசையன் தரவுத்தளத்தில் சேமிக்கவும் (எ.கா., FAISS, Milvus, pgvector).
- ஒவ்வொரு பயனர் வினவலுக்கும், ஒரு வினவல் உட்பொதிவை உருவாக்கவும்.
- சொற்பொருள் தேடலைப் பயன்படுத்தி சிறந்த K- ஒத்த துண்டுகளைப் பெறவும், பெரும்பாலும் கலப்பின அணுகுமுறைகளுடன் (முக்கிய சொல் + திசையன்).
- மறுவரிசைப்படுத்துதல் (விருப்பமானது ஆனால் சக்தி வாய்ந்தது)
- பொருத்தம் மூலம் மீட்டெடுக்கப்பட்ட முடிவுகளை மறுவரிசைப்படுத்த குறுக்கு-குறியாக்கி அல்லது மறுவரிசைப்படுத்துபவரைப் பயன்படுத்தவும்.
- பயனர் கேள்வி + தேர்ந்தெடுக்கப்பட்ட துண்டுகளுடன் ஒரு தூண்டுதலை உருவாக்கவும்.
- வழங்கப்பட்ட சூழலால் கட்டுப்படுத்தப்பட்ட பதிலை LLM உருவாக்குகிறது.
- மேற்கோள்கள், சுருக்கங்கள் அல்லது கருவி செயல்களைச் சேர்க்கவும்.
- மதிப்பீட்டிற்கான டெலிமெட்ரியை பதிவு செய்யவும்.
இந்த "மீட்டெடு → படிக்க → பதிலளி" வடிவமைப்பு உண்மையான ஆதாரங்களுடன் மாதிரி வெளியீடுகளை நிலைநிறுத்துகிறது, உண்மைத்தன்மையை அதிகரிக்கிறது மற்றும் பிரமைகளை குறைக்கிறது.,
AI RAG அமைப்பின் முக்கிய கூறுகள்
- மீட்டெடுப்பவர்: தொடர்புடைய துண்டுகளைக் கண்டறிகிறது (திசையன் ஒற்றுமை, BM25, கலப்பின தேடல்).
- திசையன் தரவுத்தளம்: உட்பொதிவுகள் மற்றும் மெட்டாடேட்டாவை சேமிக்கிறது; வடிப்பான்கள், பக்கவாட்டு மற்றும் TTLகளை ஆதரிக்கிறது.
- LLM: ஜெனரேட்டர் (OpenAI, Anthropic, உள்ளூர் மாதிரிகள் போன்றவை).
- ஆர்கெஸ்ட்ரேட்டர்: பசை தர்க்கம் (தூண்டுதல் உருவாக்கம், மறுவரிசைப்படுத்துதல், தற்காலிக சேமிப்பு, பாதுகாப்பு தடைகள்).
- கண்காணிப்பு: தடயங்கள், தாமதம், செலவு அளவீடுகள் மற்றும் ஆஃப்லைன் மதிப்பீட்டு தரவுத்தொகுப்புகள்.
நீங்கள் காணும் பொதுவான RAG வகைகள்
- அடிப்படை RAG: தூண்டுதலில் செருகப்பட்ட சிறந்த K-சொற்பொருள் மீட்டெடுப்பு.
- கலப்பின RAG: தொழில்நுட்ப சொற்களில் நினைவுகூரலை மேம்படுத்த முக்கிய சொல் (BM25) + திசையனை இணைக்கவும்.
- RAG-இணைவு: வினவலை பல துணை-வினவல்களாக விரிவாக்குங்கள், ஒவ்வொன்றிற்கும் மீட்டெடுக்கவும், பின்னர் ஒன்றிணைக்கவும்.
- மல்டி-ஹாப் RAG: சிக்கலான, பல ஆவணக் கேள்விகளுக்கு பதிலளிக்க சங்கிலி மீட்டெடுப்பு படிகள்.
- ஏஜென்டிக் RAG: மாதிரி எப்போது, எப்படி மீட்டெடுப்பது என்பதை தீர்மானிக்கிறது, சில நேரங்களில் கருவிகளை மீண்டும் மீண்டும் அழைக்கிறது.
- கட்டமைக்கப்பட்ட RAG: அட்டவணைகள்/வரைபடங்களை மீட்டெடுக்கவும், உரை மட்டுமல்ல; ஸ்கீமா-அறிந்த தூண்டுதல்களைப் பயன்படுத்தவும்.
AI RAG எங்கே பிரகாசிக்கிறது (பயன்பாட்டு நிகழ்வுகள்)
- வாடிக்கையாளர் ஆதரவு: உதவி மையம் மற்றும் கொள்கை ஆவணங்களில் அடிப்படை பதில்கள்; மூல இணைப்புகளைச் சேர்க்கவும்.
- உள் அறிவு உதவியாளர்கள்: SOPகள், விக்கிகள், மின்னஞ்சல்கள், ஸ்லாக் திரிகள் - அனுமதிகளை மதித்தல்.
- ஒழுங்குபடுத்தப்பட்ட உள்ளடக்கம்: தணிக்கை திறனை மேம்படுத்த கொள்கை பத்திகள் மற்றும் பயனுள்ள தேதிகளைக் குறிப்பிடவும்.
- ஆராய்ச்சி கோபைலட்: தாள்கள் மற்றும் குறிப்புகளை இழுக்கவும்; குறிப்புகளுடன் சுருக்கவும்.
- குறியீடு & API உதவியாளர்கள்: துல்லியமான பரிந்துரைகளுக்கு செயல்பாடுகள், டிக்கெட்டுகள் மற்றும் வடிவமைப்பு ஆவணங்களை மீட்டெடுக்கவும்.
- விற்பனை/CS செயல்படுத்தல்: தற்போதைய தாளை மீட்டெடுப்பதன் மூலம் "சமீபத்திய விலை என்ன?" என்பதற்கு பதிலளிக்கவும்.
RAG இன் நன்மைகள் (குழுக்கள் ஏன் இதைத் தேர்ந்தெடுக்கின்றன)
- புத்துணர்ச்சி: மறுபயிற்சி இல்லாமல் சமீபத்திய தகவல்களை அணுகவும்.
- துல்லியம் & விளக்கமளிக்கும் திறன்: பதில்கள் ஆதாரங்களைக் குறிப்பிடலாம், பிரமைகளைக் குறைக்கும்.
- தரவு கட்டுப்பாடு: தனியுரிம தரவை உங்கள் உள்கட்டமைப்பில் வைத்திருங்கள்; வரி-நிலை அனுமதிகளைப் பயன்படுத்தவும்.
- செலவு & வேகம்: அடிக்கடி நுணுக்கமான ட்யூனிங்கை விட மலிவானது; புதுப்பிப்புகள் உடனடியாக பரவுகின்றன.
RAG என்பது மந்திரம் அல்ல: அறியப்பட்ட சவால்கள்
- குப்பை-உள்ளே மீட்டெடுப்பு: உங்கள் குறியீட்டு முக்கியமான உண்மைகளை தவறவிட்டால், LLM அதை சரிசெய்ய முடியாது.
- துண்டாக்கும் வர்த்தகங்கள்: மிகச் சிறியது சூழலை இழக்கிறது; மிகப் பெரியது துல்லியம் மற்றும் டோக்கன் செலவுகளை பாதிக்கிறது.
- வினவல் விலகல்: மோசமான வினவல் உட்பொதிவுகள் அல்லது சொற்றொடர் பொருத்தமற்ற வெற்றிகளைத் தருகிறது.
- தாமதம்: மீட்டெடுப்பு + மறுவரிசைப்படுத்துதல் + உருவாக்கம் தாவல்களைச் சேர்க்கிறது; தற்காலிக சேமிப்பு மற்றும் தொகுதி அவசியம்.
- மதிப்பீடு: சோதனை சேணம் இல்லாமல் "உதவிகரம்" மற்றும் "நம்பகத்தன்மை" ஆகியவற்றை அளவிடுவது கடினம்.
AI RAG அமைப்பை எவ்வாறு மதிப்பீடு செய்வது
ஆஃப்லைன் அளவீடுகளை மனித மதிப்பாய்வுடன் கலக்கவும்:
- மீட்டெடுப்பு: Recall@K, MRR, nDCG; தங்க பதில்களின் கவரேஜ்.
- உருவாக்கம்: நம்பகத்தன்மை (பதில் ஆதாரங்களுக்கு ஒட்டிக்கொள்கிறதா?), உண்மைத்தன்மை, முழுமை.
- இறுதி முதல் இறுதி வரை: பணி வெற்றி விகிதம், முதல் பதிலுக்கான நேரம், உரையாடலுக்கு ஆகும் செலவு.
- மேற்கோள்கள்: மேற்கோள் காட்டப்பட்ட காலங்களின் துல்லியம்/நினைவுகூர்தல்; மூல பன்முகத்தன்மை.
- பாதுகாப்பு: PII கசிவு, கொள்கை கடைபிடித்தல், சிறை உடைப்பு எதிர்ப்பு.
நடைமுறை உதவிக்குறிப்பு: லேபிளிடப்பட்ட துணை பத்திகளுடன் (50-200 Q/A ஜோடிகள்) ஒரு இலகுரக மதிப்பீட்டு தொகுப்பை உருவாக்கவும். பின்னடைவுகளைத் தவிர்க்க ஒவ்வொரு குழாய் மாற்றத்திலும் அதை இயக்கவும்.
செயல்படுத்தல் வரைபடம் (நகல்-ஒட்டு விளையாட்டு புத்தகம்)
- நோக்கம்: ஒரு உயர் மதிப்பு சூழ்நிலையைத் தேர்ந்தெடுக்கவும் (எ.கா., ஆதரவு FAQ போட்).
- ஆதாரங்களை சேகரிக்கவும்: உதவி மையம், உள் ரன்புக்குகள், கொள்கை PDFகள், ஸ்லாக் ஏற்றுமதிகள்.
- இயல்பாக்கு: உரையாக மாற்றவும்; மெட்டாடேட்டாவை பிரித்தெடுக்கவும்; அனுமதிகளை கையாளவும்.
- துண்டு: 400-800 டோக்கன் துண்டுகளுடன் தொடங்கவும்; ஒன்றுடன் ஒன்று சேர்க்கவும் (50-100 டோக்கன்கள்).
- உட்பொதி: வலுவான உட்பொதி மாதிரி ஒன்றைத் தேர்ந்தெடுக்கவும்; மெட்டாடேட்டாவுடன் திசையன் DB இல் சேமிக்கவும்.
- மீட்டெடுக்கவும்: கலப்பின தேடலை உள்ளமைக்கவும் (BM25 + திசையன்). தொடங்க K=8-20 ஐ அமைக்கவும்.
- மறுவரிசைப்படுத்தவும்: சிறந்த 50 ஐ சிறந்த 5-10 ஆக மறுவரிசைப்படுத்த குறுக்கு-குறியாக்கியைப் பயன்படுத்தவும்.
- தூண்டு: தெளிவான அமைப்பு தூண்டுதல் மற்றும் மேற்கோள்கள்-முதல் டெம்ப்ளேட்டை உருவாக்கவும்.
- உருவாக்கவும்: பாணியைக் கட்டுப்படுத்துங்கள், மூல ஐடிகளைச் சேர்க்கவும், ஊகத்தைத் தவிர்க்கவும்.
- மதிப்பீடு: உங்கள் சேணத்தை இயக்கவும்; துண்டாக்குதல், K மற்றும் மறுவரிசைப்படுத்துதலில் மீண்டும் செய்யவும்.
- கப்பல்: தற்காலிக சேமிப்பு, விகித வரம்புகள் மற்றும் கண்காணிப்பைச் சேர்க்கவும்; விலகலைக் கண்காணிக்கவும்.
எடுத்துக்காட்டு தூண்டுதல் எலும்புக்கூடு
நீங்கள் ஒரு உதவியாளர். கீழே உள்ள ஆதாரங்களை மட்டும் பயன்படுத்தவும். காணவில்லை என்றால், எனக்குத் தெரியாது என்று சொல்லுங்கள்.
கேள்வி: {user_query}
ஆதாரங்கள்:
1) {title_1} — {snippet_1} — {url_1}
2) {title_2} — {snippet_2} — {url_2}
...
விதிகள்:
- தொடர்புடைய வாக்கியங்களுக்குப் பிறகு [1], [2] போன்ற மூல எண்களைக் குறிப்பிடவும்.
<a12>- ஆதாரங்களில் இல்லாத உண்மைகளை கண்டுபிடிக்க வேண்டாம்.
வடிவமைப்பு சிறந்த நடைமுறைகள் (உண்மையில் ஊசியை நகர்த்துவது எது)
- இயல்பாக கலப்பின மீட்டெடுப்பு: நீண்ட வால் வினவல்களில் முக்கிய சொல் + திசையன் இரண்டும் தனித்தனியாக வெல்லும்.
- டொமைன்-அறிந்த துண்டாக்குதல்: குறியீடு மற்றும் APIகளுக்கு, செயல்பாடு/வகுப்பு எல்லைகளால் துண்டாக்கவும்; கொள்கைக்கு, பிரிவின்படி துண்டாக்கவும்.
- மறுவரிசைப்படுத்துதல் முக்கியம்: ஒரு நல்ல மறுவரிசைப்படுத்துபவர் குறைந்தபட்ச கூடுதல் செலவில் உணரப்பட்ட தரத்தை இரட்டிப்பாக்க முடியும்.
- பாதுகாப்பு தடைகள்: மீட்டெடுக்கப்பட்ட சூழலுக்கு வெளியே பதிலளிக்க மறுக்கவும்; தெளிவுபடுத்தும் கேள்விகளைக் கேட்கவும்.
- மாறும் தூண்டுதல்கள்: டொமைனுக்கு ஏற்ப கணினி வழிமுறைகளை வடிவமைக்கவும் (ஆதரவு எதிராக ஆராய்ச்சி எதிராக பொறியியல்).
- மேற்கோள்கள் UX: சரியான பத்திக்கு மீண்டும் இணைக்கவும்; மேற்கோள் காட்டப்பட்ட காலங்களை முன்னிலைப்படுத்தவும்.
- அணுகல் கட்டுப்பாடுகள்: UI மட்டுமல்ல, மீட்டெடுக்கும் நேரத்தில் பயனர் அனுமதிகளை அமல்படுத்தவும்.
RAG எதிராக நுணுக்கமான ட்யூனிங் எதிராக முகவர்கள்
- RAG: மறுபயிற்சி இல்லாமல் தற்போதைய அல்லது தனிப்பட்ட தரவில் அடிப்படை பதில்களுக்கு சிறந்தது.
- நுணுக்கமான ட்யூனிங்: பாணி தழுவல், டொமைன் மொழி அல்லது மீட்டெடுப்பு தேவையில்லாத கட்டமைக்கப்பட்ட பணிகளுக்கு சிறந்தது.
- முகவர்கள்/கருவிகள்: செயல்கள் தேவைப்படும் பணிப்பாய்வுகளுக்கு சிறந்தது (தேடல், உலாவல், குறியீடு இயக்கவும்). வினவல்களுக்கு மீண்டும் மீண்டும் மீட்டெடுப்பு மற்றும் பகுத்தறிவு தேவைப்படும்போது ஏஜென்டிக் RAG இவற்றை கலக்கிறது.
பாதுகாப்பு மற்றும் இணக்க கருத்தாய்வுகள்
- உணர்திறன் தரவைக் கையாளும் போது உங்கள் VPCக்குள் உட்பொதிவுகள் மற்றும் மூல உரையை வைத்திருங்கள்.
- ஓய்வில் மற்றும் போக்குவரத்தில் குறியாக்கம்; விசைகளை சுழற்று.
- தரவு வைத்திருத்தல் கொள்கைகளை செயல்படுத்தவும்; பழைய அல்லது ரத்து செய்யப்பட்ட உள்ளடக்கத்தை அகற்றவும்.
- தணிக்கைகளுக்கான அணுகல் முடிவுகளை பதிவு செய்யவும்; தூண்டுதல்களில் PII ஐ மறைக்கவும்.
செலவுகள் மற்றும் செயல்திறன்: என்ன பார்க்க வேண்டும்
- டோக்கன் செலவுகள் துண்டு அளவு மற்றும் K உடன் அளவிடப்படுகின்றன. மிக நீண்ட சூழல்களுக்கு சுருக்கம் அல்லது வரைபடத்தைக் குறைக்கவும் பயன்படுத்தவும்.
- தற்காலிக சேமிப்பு: வினவல் உட்பொதிவுகள், மீட்டெடுப்பு முடிவுகள் மற்றும் பொருத்தமான இடங்களில் இறுதி பதில்கள்.
- தொகுதி மறுவரிசைப்படுத்துதல் அழைப்புகள்; வேகமான முதல் டோக்கனுக்கு ஸ்ட்ரீமிங் தலைமுறையை விரும்புகிறேன்.
கருவி மற்றும் சுற்றுச்சூழல் அமைப்பு ஒரு பார்வை
- திசையன் கடைகள்: FAISS, Milvus, Weaviate, pgvector.
- சட்டகங்கள்: LangChain, LlamaIndex, Haystack.
- மறுவரிசைப்படுத்துபவர்கள்: குறுக்கு-குறியாக்கிகள் (எ.கா., மோனோ- அல்லது பல டொமைன் மாதிரிகள்).
- Eval: Ragas, Giskard, தனிப்பயன் சேணங்கள்.
இந்த கூறுகள் பொதுவாக கிளவுட் மற்றும் AI விற்பனையாளர்களால் விவரிக்கப்படும் மீட்டெடுப்பு-உதவியுடன் உருவாக்கும் முறையை செயல்படுத்த பயன்படுத்தப்படுகின்றன.,,
RAG ஐ எப்போது பயன்படுத்தக்கூடாது
- வெளிப்புற அறிவு தேவையில்லாமல், நீங்கள் ஒரு மூடிய புத்தகம், நன்கு வரையறுக்கப்பட்ட பணியைக் கொண்டுள்ளீர்கள்.
- உங்கள் தரவு மிகவும் சிறியது மற்றும் நிலையானது - எளிய தூண்டுதல் பொறியியல் அல்லது நுணுக்கமான ட்யூனிங் போதுமானதாக இருக்கலாம்.
- ஒவ்வொரு மில்லி விநாடியும் கணக்கிடப்படும் மற்றும் மீட்டெடுப்பு மேல்நிலை மறைக்க முடியாத அல்ட்ரா-குறைந்த-தாமத காட்சிகள்.
மூலம்: Sider.AI உடன் RAG பணிப்பாய்வுகளை விரைவுபடுத்துதல்
Sider.AI ஐக் குறிப்பிடுவதற்கான தொடர்பு மதிப்பெண்: 8/10. நீங்கள் தூண்டுதல்களில் மீண்டும் செய்கிறீர்கள், மீட்டெடுப்பு அமைப்புகளை ஒப்பிடுகிறீர்கள் மற்றும் விளையாட்டுப் புத்தகங்களை ஆவணப்படுத்துகிறீர்கள் என்றால், ஒரு நோட்புக்-பாணி AI பணியிடம் சோதனைகளை விரைவுபடுத்தும். கவனிக்க வேண்டியது: Sider.AI குழுக்கள் தூண்டுதல்களை மூளைச்சலவை செய்யவும், மாறுபாடுகளை சோதிக்கவும் மற்றும் வேலை செய்யும் தூண்டுதல்களை மீண்டும் பயன்படுத்தக்கூடிய துணுக்குகளாக மாற்றவும் அனுமதிக்கிறது - RAG தூண்டுதல்கள் மற்றும் மதிப்பீட்டு ஸ்கிரிப்ட்களை உருவாக்குவதற்கு எளிதானது. இது ஒரு திசையன் தரவுத்தளம் அல்லது மீட்டெடுப்பவர் அல்ல, ஆனால் இது சோதனை சுழற்சியை ஒழுங்குபடுத்துவதன் மூலம் அவற்றை நிரப்புகிறது.
முக்கிய குறிப்புகள்
- AI RAG LLM பதில்களை மீட்டெடுக்கப்பட்ட சூழலுடன் நிலைநிறுத்துகிறது, துல்லியம் மற்றும் புத்துணர்ச்சியை மேம்படுத்துகிறது.
- மிகப்பெரிய வெற்றிகள் மீட்டெடுப்பு தரத்திலிருந்து வருகின்றன: கலப்பின தேடல், ஸ்மார்ட் துண்டாக்குதல் மற்றும் மறுவரிசைப்படுத்துதல்.
- நம்பகத்தன்மை, recall@K மற்றும் பணி வெற்றியுடன் இறுதி முதல் இறுதி வரை மதிப்பீடு செய்யவும்.
- சிறியதாகத் தொடங்கி, அளந்து, மீண்டும் செய்யவும். முதல் நாளிலிருந்து பாதுகாப்பு தடைகள் மற்றும் மேற்கோள்களைச் சேர்க்கவும்.
அடுத்த படிகள்
- ஒரு பயன்பாட்டு நிகழ்வைத் தேர்ந்தெடுக்கவும் (ஆதரவு, உள் தேடல், ஆராய்ச்சி) மற்றும் குறைந்தபட்ச கார்பஸை ஒன்றுகூட்டவும்.
- ஒரு திசையன் கடையை நிறுத்தி, கலப்பின மீட்டெடுப்பை செயல்படுத்தி, மறுவரிசைப்படுத்துபவரைச் சேர்க்கவும்.
- 100-கேள்வி மதிப்பீட்டு தொகுப்பை உருவாக்கி, ஒவ்வொரு வாரமும் நம்பகத்தன்மை + recall@K ஐ கண்காணிக்கவும்.
- தற்காலிக சேமிப்பு, அணுகல் கட்டுப்பாடுகள் மற்றும் சுத்தமான மேற்கோள்கள் UX இல் அடுக்கு.
அடிக்கடி கேட்கப்படும் கேள்விகள்
Q1: AI RAG என்றால் எளிய வார்த்தைகளில் என்ன?
AI RAG (Retrieval-Augmented Generation) தொடர்புடைய ஆவணங்களை மீட்டெடுத்து, அவற்றை LLM க்கு வழங்குகிறது, எனவே இது உண்மையான ஆதாரங்களில் நிலைநிறுத்தப்பட்ட பதில்களை உருவாக்க முடியும். இது பிரமைகளை குறைக்கிறது மற்றும் வெளிப்புற அறிவை கலந்தாலோசிப்பதன் மூலம் பதில்களை தற்போதையதாக வைத்திருக்கிறது.
Q2: RAG ஒரு மாதிரியை நுணுக்கமாக ட்யூன் செய்வதிலிருந்து எவ்வாறு வேறுபடுகிறது?
RAG உண்மைகளை மீட்டெடுப்பதன் மூலம் வினவல் நேரத்தில் சூழலைச் சேர்க்கிறது, அதே நேரத்தில் நுணுக்கமான ட்யூனிங் வடிவங்கள் அல்லது பாணியைக் கற்றுக்கொள்ள மாதிரி எடைகளை மாற்றுகிறது. புதிய, தனிப்பட்ட தரவுக்கு RAG ஐப் பயன்படுத்தவும்; பணி பாணி மற்றும் டொமைன் தழுவலுக்கு நுணுக்கமான ட்யூனிங்கைப் பயன்படுத்தவும்.
Q3: RAG அமைப்பின் முக்கிய கூறுகள் என்ன?
முக்கிய கூறுகளில் மீட்டெடுப்பவர் (சொற்பொருள் மற்றும் முக்கிய சொல் தேடல்), உட்பொதிவுகளுக்கான திசையன் தரவுத்தளம், தலைமுறைக்கான LLM மற்றும் தூண்டுதல்கள், மறுவரிசைப்படுத்துதல் மற்றும் கண்காணிப்புக்கான ஆர்கெஸ்ட்ரேஷன் ஆகியவை அடங்கும்.
Q4: AI RAG உடன் பொதுவான சவால்கள் என்ன?
சவால்களில் மோசமான மீட்டெடுப்பு நினைவுகூர்தல், உகந்த துண்டாக்குதல், வினவல் விலகல், சேர்க்கப்பட்ட தாமதம் மற்றும் அளவிடுவதற்கு கடினமான நம்பகத்தன்மை ஆகியவை அடங்கும். வலுவான மதிப்பீடு மற்றும் மறுவரிசைப்படுத்துதல் இந்த சிக்கல்களில் பலவற்றைத் தணிக்கின்றன.
Q5: நான் எப்போது RAG vs முகவர்கள் அல்லது கருவிகளைப் பயன்படுத்த வேண்டும்?
ஆவணங்களிலிருந்து துல்லியமான, புதுப்பித்த அறிவு உங்கள் பணிக்குத் தேவைப்படும்போது RAG ஐப் பயன்படுத்தவும். பணிக்கு செயல்கள் தேவைப்படும்போது (உலாவல், குறியீடு இயக்குதல் போன்றவை) அல்லது பல-படி திட்டமிடல் - பெரும்பாலும் அடிப்படைக்கு RAG உடன் இணைந்து முகவர்கள் அல்லது கருவிகளைப் பயன்படுத்தவும்.
