உங்கள் AI ஒரு வானிலை ரோபோவைப் போல இல்லாமல்... உங்களைப் போலவே ஒலிக்க வேண்டும் என்று எப்போதாவது விரும்புகிறீர்களா?
இதை கற்பனை செய்து பாருங்கள்: ஒரு வாடிக்கையாளர் மின்னஞ்சலை சுருக்கமாகக் கூற உங்கள் AI-ஐ கேட்கிறீர்கள், அது ஷிப்பிங் முன்னறிவிப்பை விவரிப்பது போல் பதிலளிக்கிறது. தொழில்நுட்ப ரீதியாக சரியானது; ஆனால் ஆன்மீக ரீதியாக உதவியற்றது. உங்கள் AI - உங்கள் தொனி, உங்கள் தொழில்சார் கலைச்சொற்கள், உங்கள் விருப்பங்கள் - உங்கள் கேரேஜில் ஒரு ஆராய்ச்சி ஆய்வகத்தை உருவாக்க வேண்டிய அவசியமின்றி உங்களுக்கு கிடைக்க வேண்டும் என்று நீங்கள் உண்மையில் விரும்புகிறீர்கள்.
அங்குதான் ஃபைன்-ட்யூனிங் (fine-tuning) வருகிறது. நீங்கள் “Tinker API” பற்றி கேள்விப்பட்டிருந்தால், நீங்கள் சரியான இடத்திற்கு வந்துள்ளீர்கள். Tinker API-ஐப் பயன்படுத்தி உங்கள் சொந்த AI மாடலை ஃபைன்-ட்யூன் செய்வது எப்படி என்பதற்கான வழிகாட்டி இது. எனவே அடுத்த முறை நீங்கள் “பதிலைத் தயாரிக்கவும்” என்று டைப் செய்தால், உங்களுக்கு HAL 9000-இன் உறவினரைப் போல் இல்லாமல், உங்கள் குழுவைப் போல் பதிலைப் பெறுவீர்கள்.
நாங்கள் எல்லாவற்றையும் படிப்படியாகப் பார்ப்போம்: ஃபைன்-ட்யூனிங் என்றால் என்ன, உங்கள் தரவை எவ்வாறு தயார் செய்வது, Tinker API உடன் ஒரு ஃபைன்-ட்யூனை எவ்வாறு இயக்குவது, உங்கள் பட்ஜெட்டை (அல்லது உங்கள் பொறுமையை) எவ்வாறு வீணாக்காமல் இருப்பது. குறும்புகள் எங்கே வசிக்கின்றன என்பதையும் நான் உங்களுக்குச் சொல்வேன்—ஏனெனில் ஃபைன்-ட்யூனிங் சக்தி வாய்ந்தது, ஆனால் இது ஒரு தேவதை அல்ல.
முக்கிய வார்த்தைகள் பற்றிய முன்னெச்சரிக்கை: “Tinker API-ஐ எவ்வாறு பயன்படுத்துவது” என்பதைப் பற்றி நிறைய சொல்லப் போகிறோம், ஏனென்றால் அதற்காகத்தான் நீங்கள் இங்கு வந்திருக்கிறீர்கள். “உங்கள் சொந்த AI மாடலை ஃபைன்-ட்யூன் செய்வது”, “Tinker API பயிற்சி”, “ஃபைன்-ட்யூனிங்கிற்கான தரவுத்தொகுப்பு தயாரிப்பு” மற்றும் “ஃபைன்-ட்யூன் செய்யப்பட்ட மாடலை பயன்படுத்துதல்” போன்ற நீண்ட வால் சொற்களையும் பயன்படுத்துவோம். அது நிறைய இருப்பதாகத் தோன்றினால், கவலைப்பட வேண்டாம்—நான் அதை மனிதத்தனமாக வைத்திருப்பேன்.
ஃபைன்-ட்யூனிங் என்றால் என்ன—மற்றும் அது என்ன இல்லை
ஒரு பொதுவான AI மாடல் ஒரு ஸ்விஸ் இராணுவ கத்தி என்றால், ஃபைன்-ட்யூனிங் என்பது நீங்கள், “கத்தியே, கேட்பாயாக, நாங்கள் உன்னை பொட்டலங்களைத் திறப்பதில் மிகச் சிறப்பாகச் செய்யப் போகிறோம்” என்று சொல்வது போன்றது. நீங்கள் கத்தியைக் கண்டுபிடிக்கவில்லை. உங்களுக்குப் பிடித்த அட்டைப் பெட்டியைப் பற்றி நீங்கள் அதற்கு கற்பிக்கிறீர்கள்.
நடைமுறையில், ஃபைன்-ட்யூனிங் என்பது ஒரு அடிப்படை மாதிரியை (ஏற்கனவே இணையத்தில் உள்ள நிறைய உரைகளில் பயிற்சி பெற்றது) எடுத்து, உங்கள் எடுத்துக்காட்டுகளுடன் அதை மேம்படுத்துகிறீர்கள் - உங்கள் எழுத்து நடை, உங்கள் துறை சார்ந்த Q&A, உங்கள் ஆதரவு ஸ்கிரிப்டுகள் - எனவே அது நீங்கள் விரும்பும் வழியில் பதிலளிக்கிறது. ஒரு மாடலுக்கு ஒரு ஸ்டைல் கையேடு மற்றும் பயிற்சி வினாடி வினாக்களைக் கொடுப்பது போன்றது.
ஆனால் ஃபைன்-ட்யூனிங் ஒரு மந்திரம் அல்ல. உங்கள் தரவு அந்த வடிவங்களைக் கற்பிக்காவிட்டால், அது இதுவரை பார்க்காத உண்மைகளை அது திடீரென கற்றுக்கொள்ளாது. மேலும் நீங்கள் பிரதிநிதித்துவத் துணுக்குகளை வழங்காவிட்டால், அது பெரிய தனியுரிம ஆவணங்களை “நினைவில் கொள்ளாது”. உங்கள் தரவு ஒழுங்கற்றதாக, முரண்பாடானதாக அல்லது சிறியதாக இருந்தால், உங்கள் மாடல் ஒரு டீனேஜ் ராக் இசைக்குழு அதன் ட்ரம்மரின் டெம்போவை எவ்வாறு பெறுமோ அதுபோல அந்தப் பழக்கங்களைப் பெறும்.
விரைவான பயண திட்டம்
Tinker API-ஐப் பயன்படுத்தி உங்கள் சொந்த AI மாடலை ஃபைன்-ட்யூன் செய்வது எப்படி என்பதற்கான ஒரு பறவைப் பார்வை இதோ:
- Tinker API-இல் ஒரு அடிப்படை மாதிரியைத் தேர்ந்தெடுக்கவும்.
- தூய்மையான, சமநிலையான தரவுத்தொகுப்பை உருவாக்குங்கள், அதில் தூண்டுதல்களும் சிறந்த பதில்களும் இருக்க வேண்டும்.
- உங்கள் தரவுத்தொகுப்பை டிங்கருக்குப் பதிவேற்றவும்.
- தெளிவான ஹைப்பர் பாராமீட்டர்களுடன் ஒரு ஃபைன்-ட்யூனிங் வேலையை உருவாக்கவும்.
- பயிற்சியைக் கண்காணிக்கவும், ஒதுக்கி வைக்கப்பட்ட சோதனைத் தொகுப்பின் மூலம் முடிவுகளை மதிப்பிடவும்.
- உற்பத்தியில் உங்கள் ஃபைன்-ட்யூன் செய்யப்பட்ட மாடலைப் பயன்படுத்தி அழைக்கவும்.
- வித்தியாசமான விஷயங்களை நீங்கள் கண்டறிந்தால் மீண்டும் செய்யவும்.
நாங்கள் படிப்படியாகச் செல்வோம், நீங்கள் ஒட்டக்கூடிய குறியீடு-நடை எடுத்துக்காட்டுகள் மற்றும் என்னைக் கத்தாமல் தடுத்த உதவிக்குறிப்புகளுடன்.
படி 1: வாடகை கார் எடுப்பது போல் உங்கள் அடிப்படை மாதிரியைத் தேர்ந்தெடுக்கவும்
மன்ஹாட்டனில் சமாந்திரமாக நிறுத்த 15 இருக்கைகள் கொண்ட வேனை நீங்கள் வாடகைக்கு எடுக்க மாட்டீர்கள். அதேபோல், தினமும் மில்லியன் கணக்கான கோரிக்கைகளுக்கு விரைவான, மலிவான பதில்கள் உங்களுக்குத் தேவைப்பட்டால், பெரிய மாடலைத் தேர்ந்தெடுக்க வேண்டாம். Tinker API பொதுவாக சில மாடல் குடும்பங்களை வழங்குகிறது—எளிதான, நடுத்தர அளவு மற்றும் “வாவ், அது புத்திசாலி.”
- உங்களுக்கு வேகம் மற்றும் செலவு சேமிப்பு தேவைப்பட்டால்: சிறிய அடிப்படையைத் தேர்ந்தெடுக்கவும்.
- உங்களுக்கு நுணுக்கம், பகுத்தறிவு அல்லது நீண்ட வடிவ எழுத்து தேவைப்பட்டால்: பெரிய அடிப்படையைத் தேர்ந்தெடுக்கவும்.
- உங்கள் டொமைனில் நிறைய தொழில்சார் கலைச்சொற்கள் இருந்தால் (மருத்துவம், சட்டம், ஆதரவு மேக்ரோக்கள்): நடுத்தர முதல் பெரிய மாடல்கள் வரை ஃபைன்-ட்யூனிங் மிகவும் பலனளிக்கும்.
உதவிக்குறிப்பு: முன்மாதிரியை உருவாக்க சிறியதாகத் தொடங்கவும். உங்கள் முக்கிய அளவீடுகள் உயர்ந்தால், அதே தரவுத்தொகுப்பை பெரிய அடிப்படைக்கு நகர்த்தவும்.
படி 2: உங்கள் தரவுத்தொகுப்பை ரெசிபி கார்டு போல் தயார் செய்யுங்கள், குப்பை டிராயர் போல் அல்ல
உங்கள் தரவுத்தொகுப்பு தரத்திற்கான மிகப்பெரிய நெம்புகோல் ஆகும். மாதிரி பின்பற்றுவதன் மூலம் கற்றுக்கொள்கிறது; எடுத்துக்காட்டுகள் தெளிவற்றதாக இருந்தால், மாதிரி தெளிவற்றதாக இருக்க கற்றுக்கொள்கிறது. அவை தெளிவாகவும், சீரானதாகவும், மாறுபட்டதாகவும் இருந்தால், உங்கள் மாதிரி உண்மையில் குறிப்பாணையைப் படிக்கும் ஒரு உதவியாக இருக்கும்.
வெளிப்படையான அறிவுறுத்தல்-பதில் ஜோடிகளுடன் JSONL (JSON Lines) வடிவமைப்பை இலக்காகக் கொள்ளுங்கள். சாட்-ஸ்டைல் ஃபைன்-ட்யூனிங்கிற்கு, சிஸ்டம்/பயனர்/உதவியாளர் போன்ற பாத்திரங்களைச் சேர்க்கவும். ஒவ்வொரு எடுத்துக்காட்டையும் குறுகிய-நடுத்தரமாக வைத்திருங்கள்; டஜன் கணக்கான உயர்தர எடுத்துக்காட்டுகள் ஆயிரம் சத்தமில்லாதவற்றை விட சிறந்தது.
எடுத்துக்காட்டு (அறிவுறுத்தல்-நடை):
{"instruction": "இந்த ஆதரவு டிக்கெட்டை 2 வாக்கியங்களில், நட்பு தொனியில் சுருக்கவும்.", "input": "'ஆர்டரை கண்காணிக்கவும்' என்பதைக் கிளிக் செய்யும் போது வாடிக்கையாளர் 404 பிழையைப் புகாரளிக்கிறார்", "output": "இதை சுட்டிக்காட்டியதற்கு நன்றி! வாடிக்கையாளர்கள் 'ஆர்டரை கண்காணிக்கவும்' என்பதைக் கிளிக் செய்யும் போது தளம் 404 பிழையைக் காட்டுகிறது. ஆர்டர்-கண்காணிப்பு பக்கத்தில் உள்ள உடைந்த இணைப்பை நாங்கள் விசாரித்து வருகிறோம், மேலும் ஒரு திருத்தத்துடன் பின்தொடர்வோம்."}
எடுத்துக்காட்டு (சாட்-நடை):
{"messages": [
{"role": "system", "content": "நீங்கள் ஒரு சுருக்கமான, நட்பு ஆதரவு முகவர். சாதாரண ஆங்கிலத்தைப் பயன்படுத்தவும்."},
{"role": "user", "content": "எனது சந்தா புதுப்பிக்கப்பட்டது, ஆனால் அட்டை காலாவதியானது. உதவி செய்யுங்களா?"},
{"role": "assistant", "content": "தலைவலிக்கு மன்னிக்கவும்! காலாவதியான அட்டையில் புதுப்பித்தல் முயற்சி செய்யப்பட்டதால், உங்கள் திட்டத்தை நான் மீண்டும் சரிபார்த்தேன். பில்லிங் பக்கத்தில் உங்கள் அட்டையைப் புதுப்பிக்கவும்; அது சேமிக்கப்பட்டவுடன் கட்டணத்தை மீண்டும் முயற்சிப்பேன்."}
]}
ஃபைன்-ட்யூனிங்கிற்கான தரவுத்தொகுப்பு தயாரிப்பதற்கான உதவிக்குறிப்புகள்:
- நிலைத்தன்மை ராணி. எப்போதும் ஒரே தொனி, கையொப்பங்கள் மற்றும் கட்டமைப்பைப் பயன்படுத்தவும்.
- உங்கள் தலைப்புகளை சமநிலைப்படுத்துங்கள். 90% எடுத்துக்காட்டுகள் பணத்தைத் திரும்பப் பெறுவதாக இருந்தால், உங்கள் மாதிரி பணத்தைத் திரும்பப் பெறும் தேவதையாக மாறும்.
- தந்திரமான நிகழ்வுகளை லேபிளிடுங்கள். Tinker API ஒரு விருப்ப சமிக்ஞையை ஆதரித்தால், எதிர்மறை எடுத்துக்காட்டுகளைச் சேர்க்கவும் (என்ன சொல்லக்கூடாது).
- பாதுகாப்பாக வைத்திருங்கள். தனிப்பட்ட தரவை அகற்றவும். நீங்கள் முக்கியமான தகவல்களுடன் பணிபுரிந்தால், அதை அநாமதேயமாக்குங்கள் அல்லது ஒருங்கிணைக்கவும்.
உங்கள் தரவில் 10–20% சோதனைக் குழுவாக வைத்திருங்கள். நீங்கள் பயிற்சித் தொகுப்பில் தரப்படுத்தினால், மாதிரி ஒரு மேதை என்று உங்களை நீங்களே ஏமாற்றிக் கொள்வீர்கள். எனக்கு எப்படி தெரியும் என்று கேளுங்கள்.
படி 3: கண்ணீர் இல்லாமல் உங்கள் தரவை Tinker API-க்கு பதிவேற்றவும்
பெரும்பாலான ஃபைன்-ட்யூனிங் தளங்கள் ஒரு சேமிப்பக முனைப்புள்ளியை வழங்குகின்றன. Tinker API மூலம், நீங்கள் வழக்கமாக:
- தரவுத்தொகுப்பு ஆதாரத்தை உருவாக்கவும் (எ.கா., POST /datasets)
- உங்கள் JSONL கோப்பைப் பதிவேற்றவும்
- திட்டத்தை சரிபார்க்கவும் (Tinker பொதுவாக ஒரு எளிதான அறிக்கையை வழங்குகிறது: சரி எண்ணிக்கை, பிழைகள், வித்தியாசமான புலங்கள்)
போலி-எடுத்துக்காட்டு (சுருள்-போன்றது):
curl -X POST -H "Authorization: Bearer YOUR_TINKER_KEY" -F "file=@my_finetune_data.jsonl" -F "purpose=finetune"
Tinker API ஒரு CLI-ஐ ஆதரித்தால், வாழ்க்கை எளிதாகிறது:
பதிவேற்றம்
tinker datasets upload my_finetune_data.jsonl --purpose finetune
சரிபார்க்கவும்
tinker datasets validate DATASET_ID
சரிபார்ப்பு பிழைகள் உங்கள் நண்பர். அவை தவறானவையாகத் தோன்றுகின்றன, ஆனால் அவை அதிகாலை 2 மணிக்கு மர்மமான பயிற்சி தோல்விகளிலிருந்து உங்களைக் காப்பாற்றுகின்றன.
படி 4: ஒரு ஃபைன்-ட்யூன் வேலையைத் தொடங்கி தெளிவான அமைப்புகளைத் தேர்ந்தெடுக்கவும்
உங்கள் தரவுத்தொகுப்பு மற்றும் நீங்கள் தேர்ந்தெடுத்த அடிப்படை மாதிரிக்கு சுட்டிக்காட்டும் ஒரு வேலையை நீங்கள் தொடங்குவீர்கள். பெரும்பாலான Tinker API ஃபைன்-ட்யூனிங் முனைப்புள்ளிகள் எபோச்கள் (epochs), கற்றல் விகிதம் (learning rate), தொகுதி அளவு (batch size) மற்றும் மதிப்பீட்டு அதிர்வெண் (evaluation frequency) போன்ற அளவுருக்களை ஏற்கின்றன. மொழிபெயர்ப்பு: உங்கள் தரவின் மீது எத்தனை முறை கடந்து செல்வது, மாதிரி எவ்வளவு தீவிரமாக கற்றுக்கொள்கிறது, அது ஒரு நேரத்தில் எத்தனை எடுத்துக்காட்டுகளைப் படிக்கிறது, மேலும் அது எவ்வளவு அடிக்கடி முன்னேற்ற அறிக்கையைக் காட்டுகிறது.
எடுத்துக்காட்டு கோரிக்கை:
curl -X POST -H "Authorization: Bearer YOUR_TINKER_KEY" -H "Content-Type: application/json" -d '{
"base_model": "tinker-large-1",
"dataset_id": "ds_abc123",
"epochs": 3,
"learning_rate": 1e-5,
"batch_size": 8,
"eval_dataset_id": "ds_eval789",
"suffix": "support-tone-v1"
}'
தெளிவான இயல்புநிலைகள்:
- எபோச்கள்: சிறிய முதல் நடுத்தர தரவுத்தொகுப்புகளுக்கு 3–5. அதிகமாக இருப்பது எப்போதும் சிறந்தது அல்ல; சில நேரங்களில் அது கூடுதல் படிகளுடன் அதிகப்படியான பொருத்தம் மட்டுமே.
- கற்றல் விகிதம்: பழமைவாதமாகத் தொடங்கவும் (1e-5 அல்லது 2e-5). மாதிரி மிக வேகமாக கற்றுக் கொண்டால், அது அதன் பொது அறிவை மறந்துவிடும்.
- தொகுதி அளவு: உங்கள் ஒதுக்கீடு எதுவாக இருந்தாலும், ஆனால் அதைப் பற்றி கவலைப்பட வேண்டாம்—செயல்திறன் ஆதாயங்கள் பெரும்பாலும் நல்ல தரவிலிருந்து வருகின்றன.
- ஆரம்ப நிறுத்தம்: Tinker API அதை வழங்கினால், அதை இயக்கவும். அது அவ்வப்போது, “ஆம்” என்று சொல்லும் இயந்திர கற்றலின் “நாங்கள் இன்னும் அங்கு இருக்கிறோமா?” போன்றது.
படி 5: ஒரு பருந்தைப் போல் பயிற்சியைக் கண்காணிக்கவும்—ஆனால் அமைதியான பருந்து
Tinker பொதுவாக பதிவுகளை ஸ்ட்ரீம் செய்கிறது: பயிற்சி இழப்பு (training loss), மதிப்பீட்டு இழப்பு (evaluation loss) மற்றும் நீங்கள் வரையறுக்கும் தனிப்பயன் அளவீடுகள் (Q&A க்கான சரியான பொருத்தம் போன்றவை). தேயிலை இலைகளை எவ்வாறு படிப்பது என்பது இங்கே:
- பயிற்சி இழப்பு குறைகிறது, மதிப்பீட்டு இழப்பு நிலையாக அல்லது உயர்கிறதா? நீங்கள் அதிகப்படியான பொருத்தமாக இருக்கிறீர்கள்—உங்கள் பயிற்சி பதில்களை மனப்பாடம் செய்கிறீர்கள், ஆனால் புதியவற்றை குழப்புகிறீர்கள்.
- இரண்டும் குறைகிறதா? நீங்கள் சரியான பாதையில் இருக்கிறீர்கள்.
- இழப்பு போகோ குச்சி போல் துள்ளுகிறதா? உங்கள் கற்றல் விகிதம் அதிகமாக இருக்கலாம், அல்லது உங்கள் தரவுத்தொகுப்பு சீரற்றதாக இருக்கலாம்.
Tinker பயிற்சிக்கு இடையில் முன்னோட்ட உருவாக்கங்களை வழங்கினால், பகுதி வெளியீடுகளைச் சரிபார்க்கவும். உங்கள் சோதனைத் தொகுப்பிலிருந்து சில தூண்டுதல்களை மாதிரி செய்து தொனி/துல்லியத்தை கண்காணிக்கவும். ஆமாம், இது தரமானதாக இருக்கிறது—ஆனால் நீங்கள் பாணிக்கு பயிற்சி அளிக்கிறீர்கள், இயற்பியல் ஆதாரங்களுக்கு அல்ல.
படி 6: பெயரிடுங்கள், பயன்படுத்துங்கள், அழைக்கவும்
வேலை முடிந்ததும், Tinker API ft:tinker-large-1:support-tone-v1:abc123 போன்ற மாதிரி ஐடியுடன் உங்களை ஆசீர்வதிக்கும். பின்னர் நீங்கள் அதை ஒரு முனைப்புள்ளிக்கு பின்னால் பயன்படுத்தி, அடிப்படை மாதிரியைப் போலவே அழைக்கலாம்—ஆனால் இப்போது அது உங்கள் குழுவைப் போல பேசுகிறது.
எடுத்துக்காட்டு உருவாக்கும் அழைப்பு:
curl -X POST -H "Authorization: Bearer YOUR_TINKER_KEY" -H "Content-Type: application/json" -d '{
"model": "ft:tinker-large-1:support-tone-v1:abc123",
"messages": [
{"role": "system", "content": "நீங்கள் ஒரு சுருக்கமான, நட்பு ஆதரவு முகவர்."},
{"role": "user", "content": "எனது பணத்தைத் திரும்பப் பெறுவது தாமதமானது, நான் எரிச்சலடைகிறேன்."}
],
"temperature": 0.4
}'
உங்கள் மாதிரி மிகவும் பேசும் அல்லது மிகவும் சுருக்கமாக இருந்தால், நீங்கள் அதிக “presence_penalty” ஐ அமைக்கலாம் அல்லது “temperature” ஐ குறைக்கலாம். Tinker இன் ஆவணங்கள் கைப்பிடிகளை விளக்கும்—பரிசோதனை செய்ய வெட்கப்பட வேண்டாம்.
படி 7: ஒரு பயிற்சியாளரைப் போல் மதிப்பிடுங்கள், ஒரு நீதிபதியைப் போல் அல்ல
உங்களுக்கு ஒரு தானியங்கி ஸ்கோர்கார்டு மற்றும் ஒரு மனித ஸ்கோர்கார்டு தேவைப்படும். தானியங்கி அளவீடுகள் (BLEU, ROUGE, துல்லியம்) நேர்த்தியானவை, ஆனால் தொனிக்கு குருட்டுத்தனமானவை. மனிதர்கள் “இது எரிச்சலூட்டும் போல் ஒலிக்கிறது” என்ற சிக்கலைப் பிடிக்கிறார்கள்.
ஒரு சிறிய ரூபிரிக்கை அமைக்கவும்:
- அறிவுறுத்தல்-பின்பற்றுதல் (1–5)
உங்கள் ஒதுக்கி வைக்கப்பட்ட தொகுப்பிலிருந்து 50–100 வெளியீடுகளை மாதிரியாக எடுக்கவும். இரண்டு நபர்களை அவற்றைச் சுயாதீனமாக மதிப்பிடச் சொல்லுங்கள். ஒரு வகை 3-க்கு குறைவாக இருந்தால், அதை உங்கள் தரவுத்தொகுப்புக்குத் திருப்பி, நீங்கள் விரும்பும் நடத்தையை நிரூபிக்கும் கூடுதல் எடுத்துக்காட்டுகளைச் சேர்க்கவும்.
படி 8: செலவு மற்றும் செயல்திறன்: உங்கள் CFO மற்றும் உங்கள் சேவையகம் எதைப் பற்றி கவலைப்படுகிறார்கள்
Tinker API உடன் ஃபைன்-ட்யூனிங் பயிற்சி மற்றும் அனுமானம் ஆகிய இரண்டு இடங்களில் பணத்தை செலவழிக்கிறது. பயிற்சி ஒரு முறை மட்டுமே நடக்கும் வேகம்; அனுமானம் என்பது மாரத்தான்.
- டோக்கன் நீளத்தைக் குறைக்கவும். குறுகிய தூண்டுதல்கள் மற்றும் வெளியீடுகள் = சிறிய கட்டணங்கள்.
- உங்கள் பாணியை வடிவமைக்கும் ஒரு சிஸ்டம் தூண்டுதலைப் பயன்படுத்தவும், ஆனால் ஒவ்வொரு அழைப்பிலும் பெரிய அறிவுறுத்தல்களை மீண்டும் செய்ய வேண்டாம், Tinker ஒரு பயன்பாட்டு-நிலை இயல்புநிலையை ஆதரித்தால்.
- பொதுவான தூண்டுதல்களை முடிந்தவரை சேமிக்கவும்.
- ஒரு திசைதிருப்பும் உத்தியைக் கவனியுங்கள்: உங்கள் ஃபைன்-ட்யூன் செய்யப்பட்ட பெரிய மாதிரியை தேவைப்படும்போது மட்டும் பயன்படுத்தவும்; இல்லையெனில், சிறிய, மலிவான ஒன்றை மீண்டும் பயன்படுத்தவும்.
தாமதமும் முக்கியமானது. உங்கள் ஃபைன்-ட்யூன் செய்யப்பட்ட மாதிரி மெதுவாக இயங்கினால், சிறிய சூழல் சாளரங்களை முயற்சிக்கவும், அல்லது வகைப்படுத்துவதற்கு சிறிய மாதிரியைப் பயன்படுத்தவும் மற்றும் பெரிய ஒன்றை உற்பத்தி உரைக்கு மட்டும் பயன்படுத்தவும்.
படி 9: சரிசெய்தல்: குறும்புத்தனத்தின் மிகப்பெரிய வெற்றிகள்
- மாடல் தன்னை ஒரு உடைந்த ரெக்கார்டைப் போல் திரும்பத் திரும்பச் சொல்கிறது.
- வெப்பநிலையைக் குறைக்கவும்; தெளிவான, குறுகிய பதில்களுடன் எடுத்துக்காட்டுகளைச் சேர்க்கவும்; அது ஒரு விருப்பமாக இருந்தால் கற்றை அகலத்தைக் குறைக்கவும்.
- அது அறிவுறுத்தல்களைப் புறக்கணிக்கிறது.
- கண்டிப்பான அறிவுறுத்தல்-பின்பற்றலைக் காட்டும் பயிற்சி எடுத்துக்காட்டுகளைச் சேர்க்கவும், சிஸ்டம் தூண்டுதலை வலுப்படுத்தவும்.
- அது கர்வம் மிகுந்த உண்மைகளை மனம்போன போக்கில் கற்பனை செய்கிறது.
- “எனக்குத் தெரியாது” என்று கூறும் அல்லது ஆதாரங்களுடன் இணைக்கும் எடுத்துக்காட்டுகளைச் சேர்க்கவும்; வெப்பநிலையைக் குறைக்கவும்; பதில்களை தரையில் வைப்பதற்காக மீட்டெடுதலுடன் இணைக்கவும்.
- இது மிகவும் நன்றாக இருக்கிறது. (ஆமாம், அது ஒரு விஷயம்.)
- எல்லைகளை அமைத்து கொள்கைகளை தெளிவுபடுத்தும் பயிற்சி எடுத்துக்காட்டுகளைச் சேர்க்கவும்— “நாங்கள் X செய்ய முடியாது, ஆனால் இங்கே Y உள்ளது.”
- பயிற்சி பாதியில் தோல்வியடைகிறது.
- தரவுத்தொகுப்பு சரிபார்ப்பு, வித்தியாசமான எழுத்துகள் மற்றும் அதிகபட்ச டோக்கன் நீளங்களை சரிபார்க்கவும். சிறிய தொகுதி அளவு அல்லது குறைவான எபோச்களை முயற்சிக்கவும்.
படி 10: எப்போது ஃபைன்-ட்யூன் செய்வது vs. எப்போது தூண்டுதல்கள் அல்லது மீட்டெடுப்பைப் பயன்படுத்துவது
நான் ஃபைன்-ட்யூனிங்கை விரும்புகிறேன், ஆனால் அது மட்டுமே ஒரே சுத்தி அல்ல. மூன்று பொதுவான உத்திகள்:
- தூண்டுதல் பொறியியல் மட்டுமே: மலிவானது, வேகமானது. நீங்கள் ஒரு தொனி மாற்றத்தை அல்லது எளிய நிலைத்தன்மையை மட்டுமே விரும்பினால் சிறந்தது.
- மீட்டெடுப்பு-அதிகரிக்கப்பட்ட உருவாக்கம் (RAG): புதிய உண்மைகள் மற்றும் பெரிய அறிவுத் தளங்களுக்கு சிறந்தது. மாதிரி உங்கள் ஆவணங்களை இயக்க நேரத்தில் படிக்கிறது.
- ஃபைன்-ட்யூனிங்: ஒவ்வொரு நாளும் மாறாத பாணி, கட்டமைப்பு மற்றும் டொமைன் வடிவங்களுக்கு சிறந்தது.
பெரும்பாலும், வெற்றி பெறும் செய்முறை ஒவ்வொன்றிலும் கொஞ்சம் உள்ளது: உண்மைகளை எடுக்க RAG ஐப் பயன்படுத்தவும், பின்னர் அவற்றை உங்கள் ஃபைன்-ட்யூன் செய்யப்பட்ட மாதிரிக்கு அனுப்பவும், இதனால் அது உங்கள் கையொப்ப குரலில் பதிலளிக்கும்.
நீங்கள் நகலெடுக்கக்கூடிய ஒரு விரைவான Tinker API பயிற்சி
Tinker-நடை தளங்களைப் பிரதிபலிக்கும் ஒரு ஒருங்கிணைக்கப்பட்ட, கற்பனையான வழிமுறை இங்கே. முனைப்புள்ளிகள் மற்றும் ஐடிகளை உங்கள் உண்மையானவற்றுடன் மாற்றவும்.
- தரவுத்தொகுப்புகளை உருவாக்கி பதிவேற்றவும்
curl -X POST -H "Authorization: Bearer $TINKER_KEY" -F "[email protected]" -F "purpose=finetune" curl -X POST -H "Authorization: Bearer $TINKER_KEY" -F "[email protected]" -F "purpose=eval" - ஃபைன்-ட்யூனிங்கைத் தொடங்கவும்
curl -X POST -H "Authorization: Bearer $TINKER_KEY" -H "Content-Type: application/json" -d '{
"base_model": "tinker-medium-1",
"dataset_id": "ds_train",
"eval_dataset_id": "ds_eval",
"epochs": 4,
"learning_rate": 2e-5,
"suffix": "email-summarizer-v1"
}'
curl -N -H "Authorization: Bearer $TINKER_KEY"
- ஃபைன்-ட்யூன் செய்யப்பட்ட மாதிரியைப் பயன்படுத்தவும்
curl -X POST -H "Authorization: Bearer $TINKER_KEY" -H "Content-Type: application/json" -d '{
"model": "ft:tinker-medium-1:email-summarizer-v1:xyz",
"prompt": "பின்வரும் மின்னஞ்சலை இரண்டு புல்லட்களில், நட்பு தொனியில் சுருக்கவும்:\n\n[PASTE EMAIL]",
"max_tokens": 160,
"temperature": 0.4
}'
உண்மையான வாழ்க்கை சூழ்நிலைகள்: எப்போது என்ன நடக்கும்…
- உங்கள் ஆதரவு மேக்ரோக்களில் நீங்கள் ஃபைன்-ட்யூன் செய்கிறீர்கள்
- திடீரென்று, உங்கள் AI உங்கள் முகவர்கள் பயன்படுத்தும் அதே கட்டமைப்பில் பதிலளிக்கிறது: மன்னிப்பு, நடவடிக்கை, பின்தொடர்தல். CSAT பெரும்பாலும் உயர்கிறது, ஏனென்றால் மக்கள் ஆச்சரியங்களை விட நிலைத்தன்மையை விரும்புகிறார்கள்.
- உங்கள் பிராண்ட் குரலில் நீங்கள் ஃபைன்-ட்யூன் செய்கிறீர்கள்
- மாதிரி உங்கள் “நாங்கள் உதவியாக இருக்கிறோம், ஆனால் ஒட்டிக்கொண்டிருக்க மாட்டோம்” என்ற பாணியை அடிக்கிறது. அது 17-ஆச்சரியக்குறி ஆர்வத்தைத் தவிர்க்கிறது. மார்க்கெட்டிங் நன்றாக தூங்குகிறது.
- குறியீடு பரிந்துரைகளுக்கு நீங்கள் ஃபைன்-ட்யூன் செய்கிறீர்கள்
- பணி விளக்கங்கள் மற்றும் சிறந்த குறியீடு துணுக்குகளின் ஜோடிகளைச் சேர்க்கவும். எடுத்துக்காட்டுகளைக் குறுகியதாகவும் கவனம் செலுத்தியதாகவும் வைத்திருங்கள்; சத்தமில்லாத குறியீடு சத்தமில்லாத நிறைவுகளை ஏற்படுத்துகிறது.
- வகைப்படுத்தலுக்கு நீங்கள் ஃபைன்-ட்யூன் செய்கிறீர்கள்
- ஆமாம், உங்களால் முடியும். லேபிளிடப்பட்ட எடுத்துக்காட்டுகளை வழங்கி, குறுகிய தூண்டுதல்களுடன் மாதிரியை அழைக்கவும். கண்டிப்பான லேபிள்களுக்கு, வெப்பநிலையை பூஜ்ஜியமாக அமைக்கவும்.
பாதுகாப்பு முதலில், கடைசியாக மற்றும் எப்போதும்
உங்கள் பயன்பாட்டு வழக்கு ஒழுங்குபடுத்தப்பட்ட அல்லது முக்கியமான பகுதிகளைத் தொட்டால், உங்கள் சிஸ்டம் தூண்டுதல் மற்றும் உங்கள் பயிற்சித் தரவில் பிரகாசமான கோடுகளை வரையவும். தயக்கங்களை அழகாக நிரூபிக்கும் எடுத்துக்காட்டுகளைச் சேர்க்கவும். வெளியீடுகளைப் பதிவுசெய்து, பயனர்கள் சிக்கல்களைப் புகாரளிக்க அனுமதிக்கவும். ஃபைன்-ட்யூன் செய்யப்பட்ட மாதிரிகள் நம்பிக்கையுடன் இருக்க முடியும்—நம்பிக்கையுடன் கவனமாக இருக்க அவர்களுக்குப் பயிற்சி அளிக்கவும்.
Sider.AI எங்கே பொருந்துகிறது (மற்றும் எங்கே பொருந்தாது)
இதோ ஒரு ஆச்சரியம்: Tinker API-ஐ எவ்வாறு பயன்படுத்துவது என்பதைக் கண்டுபிடிக்கும்போது Sider.AI ஒரு சிறந்த துணையாக இருக்கலாம். புகார் செய்யாமல் ஆவணங்களைப் படிக்கும் ஒரு கவனமான இணை விமானியை வைத்திருப்பது போன்றது. உங்கள் இருக்கும் மின்னஞ்சல்கள் அல்லது அறிவுத் தளத்தை உலாவும்போது நீங்கள் Sider இன் பக்கவாட்டில் தரவுத்தொகுப்பு எடுத்துக்காட்டுகளை உருவாக்கலாம், பின்னர் சுத்தமான, நிலையான JSONL ஐ ஏற்றுமதி செய்யலாம். அது உங்களுக்காக பயிற்சி வேலையை இயக்கப் போவதில்லை—அது Tinker இன் எல்லை—ஆனால் உங்கள் எடுத்துக்காட்டுகளை வரைவு செய்தல், மறுசீரமைத்தல் மற்றும் QA செய்தலுக்கு, இது மிகவும் நடைமுறைக்குரியது. “இந்த பதிலைக் அமைதியான, சாதாரண ஆங்கில ஆதரவுக் குரலில், இரண்டு வாக்கியங்களில் மீண்டும் எழுதவும்” என்று கேட்டுப் பாருங்கள், உங்கள் தரவுத்தொகுப்பு தரம் உயர்வதைக் கண்காணிக்கவும். ஒருவர் எனக்குச் சொல்லியிருக்க வேண்டும் என்று நான் விரும்பும் சிக்கல்கள்
- அதிக தரவு எப்போதும் சிறந்ததல்ல—அதிக பிரதிநிதித்துவ தரவு சிறந்தது.
- தொனியை அதிகமாகப் பொருத்த வேண்டாம். சில வைல்ட்கார்டு எடுத்துக்காட்டுகளை வைத்திருங்கள், இதனால் பயனர்கள் ஆக்கப்பூர்வமாக இருக்கும்போது மாடல் மேம்படுத்த முடியும்.
- எல்லாவற்றையும் பதிப்பு செய்யவும்: தரவுத்தொகுப்பு v1.1, மாதிரி v1.2, தூண்டுதல் டெம்ப்ளேட் v3.0. எதிர்கால நீங்கள் உங்களுக்கு நன்றி கூறும் மஃபினை அனுப்புவார்.
- ஒரு திரும்பப் பெறும் பொத்தானை வைத்திருங்கள். ஒரு புதிய ஃபைன்-ட்யூன் தடம் புரண்டால், முந்தைய மாதிரியை விரைவாக மீண்டும் பயன்படுத்தவும்.
- உண்மையான பயனர் தூண்டுதல்களுடன் மதிப்பிடுங்கள், உங்கள் அழகான எடுத்துக்காட்டுகளுடன் மட்டும் அல்ல. பயனர்கள் குழப்பத்தின் கவிஞர்கள்.
இறுதியாக ஒன்று…
Tinker API உடன் ஃபைன்-ட்யூனிங் என்பது Skynet ஐ உருவாக்குவது பற்றியது அல்ல. உங்கள் AI உங்கள் குழுவின் ஒரு பகுதியாக இருப்பதை உணர வைப்பதற்காக கடினமான விளிம்புகளை அகற்றுவது பற்றியது. சிறியதாகத் தொடங்கி, இரக்கமின்றி அளவிடவும், மேலும் ஒரு எளிய தந்திரம் (சிறந்த தூண்டுதல்கள் போன்றவை) வேலையைச் செய்தால் ஒப்புக்கொள்ள பயப்பட வேண்டாம்.
ஏனென்றால் உங்கள் AI இறுதியாக நீங்கள் பதிலளிக்கும் வழியில் பதிலளிக்கும்போது? அது செயல்திறன் மட்டுமல்ல. அது மனநலம்.
ஏமாற்று தாள்
- உங்கள் சொந்த AI மாதிரியை ஃபைன்-ட்யூன் செய்ய Tinker API ஐ எவ்வாறு பயன்படுத்துவது: சுத்தமான, நிலையான JSONL ஜோடிகளைத் தயாரிக்கவும்; பதிவேற்றவும்; தெளிவான இயல்புநிலைகளுடன் ஒரு ஃபைன்-ட்யூனைத் தொடங்கவும்; மனிதர்கள் மற்றும் அளவீடுகளுடன் மதிப்பிடவும்; பயன்படுத்தவும் மற்றும் மீண்டும் செய்யவும்.
- பாணி மற்றும் நிலையான வடிவங்களுக்கு ஃபைன்-ட்யூனிங்கைப் பயன்படுத்தவும்; புதிய உண்மைகளுக்கு மீட்டெடுப்பைப் பயன்படுத்தவும்.
- குறுகிய தூண்டுதல்கள், சிறிய மாதிரிகள் மற்றும் ரூட்டிங் மூலம் செலவைக் கட்டுப்படுத்தவும்.
- உங்கள் தரவுத்தொகுப்பின் வெளிப்படையான பகுதியாக பாதுகாப்பை ஆக்குங்கள்.
- நீங்கள் “பயிற்சி” என்பதை அடிப்பதற்கு முன்பு சிறந்த எடுத்துக்காட்டுகளை உருவாக்க Sider.AI போன்ற கருவிகள் உங்களுக்கு உதவட்டும்.
அடிக்கடி கேட்கப்படும் கேள்விகள்
Q1:Tinker API உடன் எனது சொந்த AI மாதிரியை ஃபைன்-ட்யூன் செய்ய தரவை நான் எவ்வாறு தயார் செய்வது?
தெளிவான அறிவுறுத்தல்–பதில் அல்லது சாட்-நடை ஜோடிகளுடன் JSONL ஐப் பயன்படுத்தவும். தொனியைச் சீராக வைத்திருங்கள், முக்கியமான தகவல்களை அநாமதேயமாக்குங்கள், மேலும் சோதனையிட 10–20% வைத்திருங்கள், இதனால் நீங்கள் உயர்த்தப்பட்ட மதிப்பெண்களுடன் உங்களை ஏமாற்றிக் கொள்ளாதீர்கள்.
Q2: Tinker API மூலம் fine-tuning செய்வது prompt engineeringஐ விட சிறந்ததா?
விரைவான தொனியில் மாற்றங்கள் மற்றும் எளிய நடத்தைகளுக்கு promptகளைப் பயன்படுத்தவும்; நீடித்த நடை, கட்டமைப்பு அல்லது கள வடிவங்கள் உங்களுக்குத் தேவைப்படும்போது fine-tuningஐப் பயன்படுத்தவும். பல குழுக்கள் இரண்டையும் இணைக்கின்றன - உண்மைகளுக்கு RAG, குரலுக்கு fine-tune.
Q3: Tinker API உடன் ஒரு மாதிரியை fine-tune செய்ய எனக்கு எவ்வளவு தரவு தேவை?
அளவை விட தரம் சிறந்தது. சில நூறு வலுவான எடுத்துக்காட்டுகள் ஆயிரக்கணக்கான சத்தமில்லாதவற்றை விட சிறப்பாக செயல்பட முடியும். சிறியதாகத் தொடங்கி, மதிப்பீடு செய்து, பின்னர் மாதிரி எங்கு சிரமப்படுகிறதோ அங்கு இலக்கு வைக்கப்பட்ட எடுத்துக்காட்டுகளைச் சேர்க்கவும்.
Q4: Tinker API இல் fine-tuned மாதிரியை நான் எப்படி deploy செய்வது?
பயிற்சிக்குப் பிறகு, Tinker ஒரு மாதிரி ID-ஐ திருப்பித் தரும், அதை நீங்கள் நிலையான completions அல்லது chat endpoint மூலம் அழைக்கலாம். உதவியாக இருக்கும் system promptஐ அமைத்து, வெப்பநிலையை (temperature) சரிசெய்து, உண்மையான போக்குவரத்தில் வெளியீடுகளைக் கண்காணிக்கவும்.
Q5: என்னுடைய fine-tuned மாதிரி பிரம்மை பிடிப்பதை (hallucinating) நான் எப்படி நிறுத்துவது?
நிச்சயமற்ற தன்மையை அனுமதிக்கும் எடுத்துக்காட்டுகளுடன் பயிற்சி அளிக்கவும், வெப்பநிலையைக் (temperature) குறைக்கவும், மேலும் உண்மைகளுக்காக மீட்டெடுப்புடன் (retrieval) இணைக்கவும். "ஆதாரங்களை மேற்கோள் காட்டு" அல்லது "எனக்குத் தெரியாது என்று சொல்" என்பதை அறிவுறுத்தலின் ஒரு பகுதியாகவும், பயிற்சித் தரவின் ஒரு பகுதியாகவும் ஆக்குங்கள்.
