What is Unsloth, in simple terms?

Unsloth is a library that makes fine-tuning large language models faster and less memory-hungry. It focuses on QLoRA and other efficiency tricks so you can train useful models on a single 24GB GPU without losing quality.

Is Unsloth better than standard PEFT for QLoRA?

For many real-world tasks, yes—Unsloth typically delivers faster training and lower VRAM while maintaining accuracy. You still use familiar patterns, but you’ll get more experiments done in the same time.

Can I use Unsloth to fine-tune a 70B model on one GPU?

You can often make it work with careful settings, but it won’t be effortless. Unsloth helps with speed and VRAM, yet big models still demand patience and careful batch sizes, sequence lengths, and quantization.

Does Unsloth hurt model quality compared to full-precision finetuning?

With good datasets and QLoRA, most users see similar quality for common tasks like instruction following or summarization. For highly specialized or knowledge-heavy changes, full-precision finetuning may still outperform.

How does [Sider.AI](https://sider.ai) help if it’s not a training tool?

Use [Sider.AI](https://sider.ai) to gather and refine your training data: summarize docs, generate prompts, and draft diverse examples. Better data makes Unsloth shine—think of [Sider.AI](https://sider.ai) as the prep cook that speeds up your kitchen.

Unsloth விமர்சனம்: பெரிய AI மாடல்களை (பெரிய GPU இல்லாமல்) மிக வேகமாக ட்யூன் செய்யும் ஆச்சரியமான வழி

சாதாரண GPUவில் பெரிய மொழி மாதிரியை ஃபைன் ட்யூன் செய்வது வெட்டிங் கேக்-கை டோஸ்டர் அவனில் செய்வது போன்றது தெரியுமா? டேட்டாவை உள்ளே லோட் செய்து, அவனை ஆன் செய்துவிட்டு… காத்திருக்க வேண்டும். காத்துக்கிட்டே இருக்கணும். ஃபேன் கத்தும். காபி ஆறிப்போகும். வாரம் போயிரும். Unslothஐ உள்ளே விடுங்க, ஒரு ஓப்பன் சோர்ஸ் லைப்ரரி கிட்டதட்ட, “டோஸ்டர் அவனுக்கு டர்போ மோட் இருந்தால் எப்படியிருக்கும்?”னு கேட்கும். இந்த Unsloth ரிவியூவில், அது என்ன, அது என்ன செய்யும், எப்படி அது உங்க நேரத்தையும் VRAM-ஐயும் சேமிக்கும், மற்றும் அது எங்கே இடிக்குதுன்னு சொல்லப்போறேன்.

Unsloth என்றால் என்ன, ஏன் மக்கள் இவ்வளவு ஆர்வமாக இருக்கிறார்கள்? Unsloth ஒரு பைதான் லைப்ரரி. இது பெரிய மொழி மாதிரிகளை ஃபைன் ட்யூன் செய்வதற்கு உபயோகிக்கப்படுகிறது - Llama, Mistral மற்றும் நண்பர்கள் மாதிரி. வேகமாகவும், மெமரியை திறம்பட பயன்படுத்தும் வகையிலும் வடிவமைக்கப்பட்டுள்ளது. விற்பனைக்கான விளம்பரம் ரொம்ப சிம்பிளானது: அதே குவாலிட்டி, ஆனா வேகமான ட்ரெயினிங் மற்றும் குறைந்த VRAM பயன்பாடு. LoRA அல்லது QLoRAவுடன் போராடி இருந்தா உங்களுக்கு அந்த கஷ்டம் தெரியும்: 24GB கார்டில் ஃபைன் ட்யூன் செய்யலாம், ஆனால் ரொம்ப கஷ்டம், அதுவும் வேகமா இருக்காது. Unsloth உபயோகிக்கும் டெக்னிக் என்னவென்றால் - கஸ்டம் கர்னல்ஸ், ஆப்டிமைசர் சாய்ஸ், குவான்டிசேஷன் ஸ்மார்ட்ஸ் மற்றும் கிளெவர் மெமரி பிளம்பிங் போன்ற இன்ஜினியரிங் ட்வீக்குகளின் கலவை - அதனால் நீங்க அதிக நேரத்துல ட்ரெயின் பண்ணலாம் (அல்லது அதே வேலையை குறைவான நேரத்துல பண்ணலாம்).

Unsloth உங்க வழக்கமான ஸ்டேக்கை மாற்றுமா? சரியாக சொல்ல முடியாது. நீங்க Hugging Face Transformers, PEFT மற்றும் bitsandbytesக்கு பழகிட்டீங்கனா, Unsloth ஒரு பிளக்-இன் ஆர்கனைசர் மாதிரி. உங்க சார்ஜிங் கேபிள்ஸ் உங்களை மூணாவது தடவை அட்டாக் பண்ணும் போது வாங்குவீங்க பாருங்க, அந்த மாதிரி. டேட்டாசெட்ஸ், ட்ரெயினிங் லூப்ஸ் எல்லாம் அதே மாதிரிதான் இருக்கும், ஆனா VRAM ஜக்லிங், ஸ்பீடு ட்வீக்ஸ் மாதிரியான வேலை தானாகவே மேம்படுத்தப்படும்.

Unsloth யாருக்கானது?

“என்கிட்ட ஒரு 24GB GPU இருக்கு, ஒரு கனவு இருக்கு” கூட்டம்.

சிறிய டீம்கள், CFO மற்றும் தூக்க மாத்திரை தேவையில்லாமல் கிளவுட் பில் இல்லாமல் மாடல்களை விரைவாக அனுப்ப வேண்டும் என்பவர்கள்.

தங்களுடைய VRAM வெடிக்காமல் QLoRAவை இன்னும் மேம்படுத்த விரும்பும் டிங்கரர்ஸ்.

எஜுகேட்டர்ஸ் மற்றும் ஸ்டூடண்ட்ஸ், கிளாஸ்ரூமில் ஃபைன்-ட்யூனிங்கை காட்ட விரும்புகிறார்கள். அங்கே பேராசிரியரின் கேமிங் லேப்டாப்தான் சிறந்த மெஷினா இருக்கும்.

நேரடி விளக்கம்: Unsloth உடன் ஃபைன்-ட்யூனிங் Unsloth உடன் ஃபைன்-ட்யூன் செய்யும்போது இப்படி இருக்கும்:

நீங்க ஒரு பேஸ் மாடலை செலக்ட் பண்ணுவீங்க (Llama 3 அல்லது Mistralன்னு வச்சுக்குவோம்), குவான்டிசேஷனை தேர்ந்தெடுப்பீங்க (4-பிட் QLoRA தான் பெஸ்ட்), உங்க டேட்டாசெட்டை பாயிண்ட் பண்ணுவீங்க.

உங்க ட்ரெயினிங் ஸ்கிரிப்ட்டில் Unsloth பிட்ஸை இயக்குவீங்க - வழக்கமா கொஞ்சம் இம்போர்ட்ஸ் மற்றும் ஃபிளாக்ஸ் இருக்கும்.

ட்ரெயின் பட்டனை அழுத்தி உங்க GPU லைஃப்ல என்ன பண்ணனும்னு அதுவே முடிவு பண்ணும். அதிகமான த்ரூபுட், குறைந்த VRAM ஸ்பைக்ஸ் மற்றும் “CUDA அவுட் ஆஃப் மெமரி” பிரச்னைகள் குறைவாக வருவதை நீங்க பார்ப்பீங்க.

உங்க ரன்டைம் பிடிச்ச ஃபார்மட்டுக்கு மாடலை எக்ஸ்போர்ட் பண்ணுவீங்க - CPU/Ollamaக்கு GGUF அல்லது GPUக்களுக்கு ஸ்டாண்டர்ட் சேஃப்டென்ஸார்ஸ்.

அதை ரன் பண்ணுவீங்க. சிரிப்பீங்க. ஒரு ரவுண்ட் அடிப்பீங்க.

அது சாதாரண டெவலப்பர் கதை. ஆனா நம்மள மாதிரி ஆளுங்களுக்கு: வேகமா இருக்குறதுனா என்ன அர்த்தம்? உங்க பேஸ்லைன் ஃபைன்-ட்யூன் எட்டு மணி நேரம் எடுத்துக்குச்சுனா, Unsloth ஒரு மாடலை, ஹைப்பர் பாராமீட்டர்ஸ் மற்றும் ஹார்டுவேரை பொறுத்து நாலு மணி நேரத்துக்குள்ள முடிச்சிடும். சேமிப்பு அதிகமாகும்: வேகமான எப்போக்ஸ், குறைந்த ரீஸ்டார்ட்ஸ், மற்றும் டைட்டான VRAM பட்ஜெட்டில் அதிக ஸ்டேபிள் ட்ரெயினிங் கிடைக்கும். இது டெலிபோர்ட்டேஷன் டிவைஸ் கிடையாது - யாரும் 70B மாடலை ரெண்டு நிமிஷத்துல முடிக்க முடியாது. ஆனா உங்க ப்ராக்ரஸ் பாரை பார்த்துட்டே இருக்கிற பழக்கம் இருந்தா வித்தியாசம் தெரியும்.

எப்படி ஸ்பீடு கிடைக்குது (PhD இல்லாம)

ஸ்மார்ட்டான மெமரி பயன்பாடு: எல்லாத்தையும் லூசா உள்ள போடுறதுக்கு பதிலா கம்ப்ரஷன் க்யூப்ஸ் வச்சு டிரிப் போறதுக்கு பேக் பண்ற மாதிரி. அதே டிரஸ்ஸ்தான் உள்ள இருக்கும், ஆனா சூட்கேஸ் மூடும்.

குவான்டிசேஷன் பேலன்ஸ்: QLoRA பெரும்பாலான வெயிட்ஸுக்கு 4-பிட் ரெப்ரெசென்டேஷன்ஸை பயன்படுத்துகிறது. அது VRAMஐ நிறைய குறைக்கும். Unsloth துல்லியத்தை குறைக்காம அத நல்லா யூஸ் பண்ணும்.

கர்னல் வித்தை: உள்ளுக்குள்ள கஸ்டம் GPU கர்னல்ஸ் பொதுவான ட்ரெயினிங் ஸ்டெப்ஸை வேகப்படுத்தும். உங்கள பொறுத்தவரைக்கும் ரொம்ப நேரம் வெயிட் பண்ண தேவையில்லை.

லைட்வெயிட் அடாப்டர்ஸ்: LoRA சிறிய ட்ரெயினபிள் அடாப்டர்ஸை மட்டும் வச்சுக்கும், முழு மாடலையும் வச்சுக்காது. நீங்க பர்சனாலிட்டியை ஃபைன் ட்யூன் பண்ணலாம், DNAவை இல்ல.

குவாலிட்டி மற்றும் அக்யூரசி: ரூம்ல இருக்கிற யானை சந்தேகம் வர மாதிரி ஒரு விஷயம். யாராவது “அதே குவாலிட்டி, ஆனா வேகமா”ன்னு சொன்னா, கொஞ்சம் உஷாராகணும். நடைமுறையில், QLoRA மற்றும் நல்ல டேட்டாசெட்ஸோட, அப்ளைட் டாஸ்க்ல முழுமையான ரிசல்ட்ஸ் கிடைக்கும்: இன்ஸ்ட்ரக்ஷன் ஃபாலோயிங், சம்மரைசேஷன், கஸ்டமர் சப்போர்ட் ஸ்டைல் டோன்-அப், லைட்வெயிட் டொமைன் அடாப்டேஷன். உங்க யூஸ் கேஸ் ஒரு பிக்ஸல்ல இருந்து ஒரு கரடி புழுவோட வாழ்க்கை கதையை கண்டுபிடிக்கணும்னா, ஃபைன்-ட்யூனிங் ஷார்ட்கட்ஸ் உங்களுக்கு ஹெல்ப் பண்ணாது. ஆனா நீங்க நார்மலா லாங்குவேஜ் கஸ்டமைசேஷன் பண்ணா, Unsloth பெர்ஃபார்மன்ஸ நீங்க எதிர்பார்க்கிற மாதிரி கொடுக்கும், அதே நேரத்துல உங்க டைமையும் VRAMஐயும் சேமிக்கும்.

இதுல என்ன சிறப்பா இருக்கு

பெரிய மாடல்ஸ சிறிய ஹார்டுவேர்ல ரன் பண்ணலாம். முன்னாடி கிளவுட்ல ரெண்ட் எடுக்க வேண்டியது இருந்துச்சு, ஆனா இப்போ ஒரு 24GB கார்டு இருந்தாலே போதும்.

வேகமா பண்ணலாம். ஒரே நாள்ல நிறைய ரன்ஸ், நிறைய ப்ராம்ப்ஸ், நிறைய டேட்டா செட்ஸை ட்ரை பண்ணலாம். அதனால பெட்டரான ரிசல்ட்ஸ் கிடைக்கும் - ஏன்னா நீங்க நிறைய எக்ஸ்பெரிமெண்ட்ஸ் பண்ணுவீங்க.

கிளாஸ்ரூம் மற்றும் வொர்க்ஷாப் டெமோஸ். சூப்பர் கம்ப்யூட்டர் ஹார்டுவேர் இல்லாமலே ஃபைன்-ட்யூனை ரன் பண்றது ஒரு பெரிய விஷயம்.

நடைமுறைக்கு ஏத்த மாதிரியான மாடல்ஸ வேகமா டெலிவர் பண்ணலாம். உங்க ப்ராடக்ட்க்கு உங்க பிராண்டுக்கு ஏத்த மாதிரி சாட் அசிஸ்டென்ட் தேவைப்பட்டுச்சுனா, Unsloth சீக்கிரமா ஹெல்ப் பண்ணும்.

எங்க மேஜிக் வேலை செய்யாது

ரொம்ப பெரிய மாடல்ஸ் கஷ்டம். நீங்க 70B மாடலை ஃபைன் ட்யூன் பண்ணா, ரொம்ப நேரம் ஆகும். Unsloth உதவி பண்ணும், ஆனா ஈஸி ஆக்காது.

டேட்டா குவாலிட்டி முக்கியம். குப்பையான டேட்டாவை வேகமா ரன் பண்ணா, வேகமா ஒரு குப்பையான மாடல் கிடைக்கும். எந்த லைப்ரரியும் டேட்டாசெட்டை சுத்தம் பண்ண முடியாது.

எட்ஜ் கேஸஸ்ல கவனம் தேவை. சில அட்வான்ஸ்டு பீச்சர்ஸ், விசித்திரமான ஆர்கிடெக்சர்ஸ் மற்றும் ட்ரெயினிங் லூப்ஸ்க்கு டிங்கரிங் தேவைப்படலாம். கம்யூனிட்டி வேகமா மூவ் ஆகுது, ஆனா எல்லாமே பட்டனை அமுக்குற மாதிரி இருக்காது.

ஒரு நாள் டெஸ்ட் டிரைவ் நான் ஒரு சிம்பிளான இன்ஸ்ட்ரக்ஷன்-ட்யூனிங் ஜாப்பை செட் பண்ணேன்: QLoRA ஆன் எ லாமா-ஸ்டைல் மாடல், 24GB GPU, சில ஆயிரம் கஸ்டமர் சப்போர்ட் டோன்ல “கேள்வி → உதவியான பதில்” எக்ஸாம்பிள்ஸ். பேஸ்லைன் அப்ரோச்: 8-பிட் அல்லது 16-பிட் அடாப்டர்ஸ், ஸ்டாண்டர்ட் ட்ரெயினர், ஆறுல இருந்து எட்டு மணி நேரம் ஆகும்னு எதிர்பார்த்தேன். Unsloth அப்ரோச்: 4-பிட் QLoRA அதோட ஆப்டிமைஸ்டு ஸ்டேக். என்ன வித்தியாசம்? Unsloth பாதி நேரத்துல முடிஞ்சுது, GPU மெமரி ரெட் ஜோனுக்கு போகல, அவுட்புட்ஸ் கிட்டத்தட்ட ஒரே மாதிரிதான் இருந்துச்சு. கடிகாரத்தை விட முக்கியமானது என்னன்னா அதே சாயங்காலத்துல இன்னும் நிறைய ட்ரையல்ஸ் பண்ண முடிஞ்சது. கொஞ்சம் வித்தியாசமான ப்ராம்ட் பார்மட், ட்ரெயினிங் எப்போக்ஸ் மாத்தி, நல்ல சிஸ்டம் மெசேஜ் டெஸ்ட் பண்ணேன். ரெண்டாவது ரன்ல அக்யூரசி குறையாம டோன் நல்லா இருந்துச்சு.

Unsloth ஒரு டீம் வொர்க்ஃப்ளோல எப்படி ஃபிட் ஆகும்

டேட்டா ஆட்கள்: உங்க டேட்டா செட்டை இன்ஸ்ட்ரக்ஷன்-ஸ்டைல் ஜோடிகளாக சுத்தம் செய்து பார்மட் பண்ணுங்க. ட்ரெயினர் ஆர்க்யூமெண்ட்ஸ்ல இல்ல, இங்கதான் குவாலிட்டி அதிகமாகும்.

ML இன்ஜினியர்ஸ்: உங்க வழக்கமான PEFT லூப்ல Unsloth ட்ரெயினர் பிட்ஸை மாத்துங்க. உங்க லாக்கிங் மற்றும் ஈவாலை அப்படியே வச்சுக்கோங்க, அப்போதான் கம்பேர் பண்ண முடியும்.

ப்ராடக்ட் ஆட்கள்: வேகமான இட்டரேஷன் சைக்கிள்ஸ எதிர்பார்க்கலாம். ஒரு பார் வேகமா நகர்றது மட்டும் இல்ல, ஸ்ப்ரிண்ட்க்கு அதிகமான எக்ஸ்பெரிமெண்ட்ஸ் பண்ணலாம்.

ஆப்ஸ்: உங்க இன்ஃப்ரா விரும்பும் சர்விங் பார்மட்டுக்கு மாடல்ஸை எக்ஸ்போர்ட் பண்ணுங்க (CPU/Ollamaக்கு GGUF அல்லது GPU-ஆக்சிலரேட்டட் ரன்டைம்). Unsloth எக்ஸ்போர்ட் ஆப்ஷன்ஸ் உங்களுக்கு ஹெல்ப் பண்ணும்.

கம்பாட்டிபிலிட்டி மற்றும் மாடல் சப்போர்ட் Unsloth வழக்கமான ஓப்பன் மாடல்ஸோட நல்லா ஒர்க் ஆகும்: Llama-ஃபாமிலி, Mistral, Phi மற்றும் இன்னும் நிறைய. லோக்கல் ரன்டைம்ஸ் மற்றும் எட்ஜ் டெப்ளாய்மென்ட்ஸ் வச்சு பில்ட் பண்ற கம்யூனிட்டீஸ்லயும் இதுக்கு நல்ல வரவேற்பு இருக்கு. நீங்க ஏற்கனவே Hugging Face மாடல்ஸ் மற்றும் PEFTஐ யூஸ் பண்ணா, Unsloth ட்ரை பண்றது ஈஸி.

பிரச்சனை தீர்க்கும் இடம்: பொதுவான பிரச்சனைகள் மற்றும் உடனடி தீர்வுகள்

CUDA அவுட் ஆஃப் மெமரி? கிரேடியண்ட் அக்யூமுலேஷன், சிறிய பேட்ச் சைஸ் அல்லது 4-பிட் QLoRAவை யூஸ் பண்ணுங்க. உங்க சீக்வென்ஸ் லென்த் அதிகமா இல்லாம பாத்துக்கோங்க.

லாஸ் மூவ் ஆகலையா? உங்க லேர்னிங் ரேட் தப்பா இருக்கலாம். டவுட்டா இருந்தா 1e-4 to 2e-4 வரைக்கும் LoRA அடாப்டர்ஸுக்கு ட்ரை பண்ணுங்க, இல்லாட்டி வார்ம்அப் ஸ்டெப்ஸ் ஜீரோவா இல்லாம இருக்கட்டும்.

அவுட்புட்ஸ் ரோபோ மாதிரி இருக்கா? நிறைய இன்ஸ்ட்ரக்ஷன் எக்ஸாம்பிள்ஸ சேருங்க அல்லது உங்க டேட்டா செட்டை பேலன்ஸ் பண்ணுங்க, இல்லாட்டி அது ஒரு டோன அதிகமா கத்துக்கொடுக்கும். டேட்டாவுல கொஞ்சம் ட்வீக் பண்ணா சரி ஆகிடும்.

ட்ரெயினிங் முடிஞ்சதுக்கு அப்பறம் இன்ஃபரன்ஸ் ஸ்லோவா இருக்கா: இன்ஃபரன்ஸ் ஃப்ரெண்ட்லியான பார்மட்டுக்கு எக்ஸ்போர்ட் பண்ணுங்க. CPUல GGUF ஒரு லைஃப் சேவர். GPUல உங்க குவான்டிசேஷனையும் ரன்டைமையும் செக் பண்ணுங்க.

காஸ்ட் கணக்கு: உங்க வாலட்டுக்கு எது முக்கியமோ அது வேகம் உங்க ஞாயிற்றுக்கிழமையை மட்டும் சேமிக்கல, டாலர்ஸையும் சேமிக்கும். உங்க கிளவுட் GPUக்கு ஒரு மணி நேரத்துக்கு $2–$4 டாலர் செலவு பண்ணா, 10 மணி நேர வேலையை 5 மணி நேரமா குறைக்கிறது பெரிய விஷயம். அத நிறைய எக்ஸ்பெரிமெண்ட்ஸ் பண்ணி பாருங்க, சேமிப்பு எவ்வளவு இருக்கும்னு தெரியும் “நம்ம ஒரு செகண்ட் GPU வாங்க முடியுமா” அல்லது “கடைசியா நம்ம நல்ல காபி வாங்கலாம்”னு தோணும்.

பாதுகாப்பு மற்றும் தனியுரிமை: Unsloth உடன் என்ன மாறும்? Unsloth உங்க ரிஸ்க் ப்ரொஃபைலை மாத்தாது, உங்க ரன்டைம் மாத்தும். நீங்க எங்க ட்ரெயின் பண்றீங்க (லோக்கல் vs. கிளவுட்), என்ன டேட்டா யூஸ் பண்றீங்க (PII? ரெகுலேட்டட்?), மற்றும் செக் பாயிண்ட்ஸ எப்படி ஸ்டோர் பண்றீங்கங்குறது முக்கியமான விஷயம். நீங்க சென்சிடிவ் டேட்டாவை ஹேண்டில் பண்ணா, ஸ்டாண்டர்ட் ஹைஜீன் ஃபாலோ பண்ணுங்க: முடிஞ்ச வரைக்கும் அனானிமைஸ் பண்ணுங்க, உங்க ட்ரெயினிங் ஆப்ஸ ஐசோலேட் பண்ணுங்க மற்றும் ஆடிட் லாக்ஸ வச்சுக்கோங்க. ஒரு கம்ப்ளையன்ஸ் ஆபீசர்கிட்ட ஒரு ஃபைன்-ட்யூனிங் பைப்லைன எக்ஸ்பிளைன் பண்ண வேண்டியிருந்தா, Unsloth அதை கஷ்டமாக்காது. சொல்லப்போனா, உங்க சொந்த மெஷின்ல லோக்கல்ல ஃபைன் ட்யூன் பண்றது இன்னும் ஈஸியா இருக்கும்.

வழக்கமான விஷயங்கள் கூட இது எப்படி ஒர்க் ஆகுது

பிளைன் PEFT + Transformers: பழக்கமானது, சப்போர்ட் நிறைய இருக்கு, ஆனா ஸ்லோவா இருக்கும் மற்றும் மெமரி நிறைய எடுக்கும். Unsloth ஸ்பீடு மற்றும் VRAM ரிலீஃப் கொடுக்கும்.

16-பிட்ல முழுசா ஃபைன்ட்யூனிங்: பவர்ஃபுல், ஆனா காஸ்ட்லி. மாடலோட கோர் நாலேட்ஜை மாத்தணும்னா இதை யூஸ் பண்ணுங்க. மத்தபடி LoRA/QLoRAதான் உங்களுக்கு பெஸ்ட்.

பாராமீட்டர்-எஃபிஷியன்ட் ஆல்டர்நேட்டிவ்ஸ் (எ.கா., அடாப்டர்ஸ், ப்ரிஃபிக்ஸ்): LoRA குடும்பத்துல இருக்குற மாதிரி. Unsloth இந்த அப்ரோச்ஸ சப்போர்ட் பண்ணும், அதே நேரத்துல நல்ல பெர்ஃபார்மன்ஸும் கொடுக்கும்.

பிகினர்ஸ் Unsloth ட்ரை பண்ணலாமா? ஆமா - ட்ரெயினிங் வீல்ஸோட. நீங்க எதுவும் ஃபைன்ட்யூன் பண்ணலனா, சின்ன மாடல் (7B), ஒரு சின்ன டேட்டா செட் மற்றும் QLoRAவோட ஆரம்பிங்க. உங்க முதல் சக்சஸ் தான் சிறந்த டீச்சர். Unsloth டாக்குமெண்டேஷன் மற்றும் எக்ஸாம்பிள் நோட்புக்ஸ் வழக்கமான ஹைப்பர் பாராமீட்டர்ஸை விட ரொம்ப ஈஸியா இருக்கும். நீங்க தடுமாறும் போது, கம்யூனிட்டி ஹெல்ப் பண்ணுவாங்க.

Sider.AI இந்த கதையில எங்க ஃபிட் ஆகுது ஃபைன் ட்யூனிங் பத்தி படிச்சிட்டு, “நான் பிரவுசர்ல ஒர்க் பண்ணலாமா?”னு நெனச்சீங்கன்னா, உங்களுக்கு ஒரு சர்ப்ரைஸ் இருக்கு. Sider.AI உங்க பிரவுசர்ல ஒரு AI சைட்கிக் மாதிரி இருக்கு: பேஜஸ சம்மரைஸ் பண்ணும், ஈமெயில் டிராஃப்ட் பண்ணும், ரிசர்ச் பண்ண ஹெல்ப் பண்ணும். இது ஒரு ஃபைன் ட்யூனிங் லைப்ரரி இல்ல, ஆனா இது ரொம்ப பெஸ்ட்: வெப் கண்டென்ட்ல இருந்து டேட்டாசெட்ஸ க்யூரேட் பண்ணும், சிந்தெடிக் ட்ரெயினிங் ப்ராம்ப்ஸ் ஜெனரேட் பண்ணும், ஒரு டிராஃப்ட் மாடல் அல்லது APIல இன்ஸ்ட்ரக்ஷன்ஸ டெஸ்ட் பண்ணும். ப்ராம்ப்ஸ் பிரையன்ஸ்டார்ம் பண்ண, டாக்ஸ்ல இருந்து Q&A ஜோடிய எடுக்க அல்லது டோன்-கண்ட்ரோல் எக்ஸாம்பிள்ஸ டிராஃப்ட் பண்ண Sider.AIவ யூஸ் பண்ணுங்க - அப்பறம் அத உங்க Unsloth ரன்ல போடுங்க. Sider.AI பேக் ப்ராப்பகேஷன் பண்ண ட்ரை பண்ணா உங்களுக்கு ஒரு நல்ல நாள் அமையாது. நீங்க பெட்டரான டேட்டா மற்றும் வேகமான இட்டரேஷன் லூப்ஸ பில்ட் பண்ணுங்க, நீங்க சீட் பண்ற மாதிரி ஃபீல் பண்ணுவீங்க (நல்ல விதமா).

ட்ரை பண்ண வேண்டிய ஒரு கடைசி எக்ஸ்பெரிமெண்ட் ஒரு பெரிய ட்ரெயினிங் ரன் பண்றதுக்கு முன்னாடி, இத ட்ரை பண்ணுங்க: 200–500 நல்ல குவாலிட்டியான எக்ஸாம்பிள்ஸ வச்சு ஒரு மினி டேட்டாசெட் கிரியேட் பண்ணுங்க. Unsloth வச்சு கொஞ்ச எப்போக்ஸ்க்கு ஃபைன் ட்யூன் பண்ணுங்க. அவுட்புட்ஸ ஈவாலுவேட் பண்ணிட்டு அப்பறமா ஸ்கேல் அப் பண்ணுங்க. அந்த சின்ன ரிஹர்சல் உங்க நேரத்த சேமிக்கும் - உங்ககிட்ட ஒரு பெட்டரான மாடல் கிடைக்கும் ஏன்னா உங்க செகண்ட் பாஸ் ஸ்மார்ட்டா இருக்கும்.

பாட்டம் லைன் சிம்பிளா சொல்லணும்னா Unsloth புதுசா எந்த மேத்ஸையும் கண்டுபிடிக்கல, அது வீட்டை சுத்தம் பண்ணுது: ஃபர்னிச்சர மாத்தி வைக்குது, டிராயர்ஸ லேபல் பண்ணுது, டர்போ பட்டன அமைதியா இன்ஸ்டால் பண்ணுது. ஒரு GPU அரை நாள் வெயிட் பண்ணி பாக்குறவங்களுக்கு, டைம் மற்றும் VRAM சேமிப்பு ஒரு சூப்பர் பவர் மாதிரி இருக்கும். இது எல்லாத்துக்கும் மருந்து இல்ல - மோசமான டேட்டா எப்பவும் மோசமாத்தான் இருக்கும், பெரிய மாடல் எப்போவும் பெருசாத்தான் இருக்கும் - ஆனா இது நார்மல் மனுஷங்க எட்டக்கூடிய தூரத்துல இருக்கு. உங்க கோல் ரியலிஸ்டிக் ஹார்டுவேர்ல கஸ்டமைசேஷன் பண்ணனும்னா, Unsloth உங்க டூல்கிட்ல இருக்க தகுதியானது.

குவிக்-ஸ்டார்ட் செக்லிஸ்ட்

சின்னதா ஆரம்பிங்க: 7B மாடல், ஷார்ட் சீக்வென்ஸ், கிளீன் டேட்டா செட்.

நீங்க சொல்லுங்க காரணம் இல்லாம 4-பிட் QLoRAவ யூஸ் பண்ணுங்க.

பேட்ச் சைஸ் கொஞ்சமா வச்சுக்கோங்க; கிரேடியண்ட் அக்யூமுலேஷன் ஹெவி லிஃப்டிங்க பண்ணட்டும்.

எல்லாத்தையும் லாக் பண்ணுங்க: வேலிடேஷன் சாம்பிள்ஸ், லாஸ் கர்வ்ஸ் மற்றும் ரியல் வேர்ல்ட் ப்ராம்ப்ஸ்.

நீங்க ஆக்சுவலா சர்வ் பண்ண போற பார்மட்டுக்கு எக்ஸ்போர்ட் பண்ணுங்க (GGUF அல்லது GPU-நேட்டிவ்) முன்னாடியே லேட்டன்சிய டெஸ்ட் பண்ணுங்க.

ஹைப்பர் பராமீட்டர்ஸ்ல இட்டரேட் பண்றதுக்கு முன்னாடி டேட்டாவுல இட்டரேட் பண்ணுங்க; நல்ல எக்ஸாம்பிள்ஸ் தந்திரங்களை விட பெஸ்ட்.

முடிவுரை (மற்றும் ஒரு கண் சிமிட்டல்) ஃபைன்ட்யூனிங் ஆங்கிள் வெயிட்ஸ் போட்டு மாரத்தான்ல ட்ரைன் பண்ற மாதிரி இருந்தது. Unsloth அந்த வெயிட்ஸ அவுத்து விட்டுருச்சு. நீங்க இன்னும் ஓடணும், ஆனா தூரம் கொஞ்சம் கம்மியா இருக்க மாதிரி இருக்கும். நீங்க உங்க ஃபர்ஸ்ட் ட்யூன் மாடல ஒரு வாரத்துக்கு பதிலா ஒரு சாயங்காலத்துல டெலிவர் பண்ணும் போது, நீங்க என்ன பண்ணுவீங்கன்னா: நீங்க உங்க GPUவ திட்டினதுக்கு அமைதியா மன்னிப்பு கேப்பீங்க.

அடிக்கடி கேட்கப்படும் கேள்விகள்

Q1:Unsloth என்றால் என்ன, எளிமையாக சொல்லுங்க? Unsloth ஒரு லைப்ரரி, இது பெரிய லாங்குவேஜ் மாடல்ஸ வேகமா ஃபைன்ட்யூன் பண்ண ஹெல்ப் பண்ணும், அதுவும் கம்மியான மெமரிய யூஸ் பண்ணி. இது QLoRA மற்றும் இன்னும் நிறைய எஃபிஷியன்சி ட்ரிக்ஸ்ல ஃபோகஸ் பண்ணும். அது மூலமா நீங்க ஒரு 24GB GPUல குவாலிட்டி குறையாம யூஸ்ஃபுல்லான மாடல்ஸ ட்ரெயின் பண்ணலாம்.

Q2:QLoRAக்கு ஸ்டாண்டர்ட் PEFTஐ விட Unsloth பெஸ்ட்டா? நிறைய ரியல் வேர்ல்ட் டாஸ்க்ஸுக்கு, ஆமா - Unsloth வேகமான ட்ரெயினிங்க கொடுக்கும் மற்றும் VRAM கம்மியா யூஸ் பண்ணும், ஆனா அக்யூரசி மெயின்டைன் பண்ணும். நீங்க இன்னும் பழக்கமான பேட்டர்ன்ஸ யூஸ் பண்ணலாம், ஆனா கொஞ்ச நேரத்துல அதிகமான எக்ஸ்பெரிமெண்ட்ஸ முடிப்பீங்க.

Q3:Unslothஐ யூஸ் பண்ணி ஒரு GPUல 70B மாடலை ஃபைன்ட்யூன் பண்ண முடியுமா? கரெக்டா செட் பண்ணா முடியும், ஆனா ரொம்ப ஈஸியா இருக்காது. Unsloth ஸ்பீடு மற்றும் VRAMக்கு ஹெல்ப் பண்ணும், ஆனா பெரிய மாடல்ஸுக்கு பொறுமை வேணும், அதுவும் பேட்ச் சைஸ், சீக்வென்ஸ் லென்த் மற்றும் குவான்டிசேஷன் கரெக்டா இருக்கணும்.

Q4:Unsloth முழு-துல்லிய ஃபைன்ட்யூனிங்குடன் ஒப்பிடும்போது மாடல் குவாலிட்டிய குறைக்குமா? நல்ல டேட்டாசெட்ஸ் மற்றும் QLoRA வச்சு, பெரும்பாலான யூசர்ஸ் இன்ஸ்ட்ரக்ஷன் ஃபாலோயிங் அல்லது சம்மரைசேஷன் மாதிரியான டாஸ்க்ஸுக்கு ஒரே மாதிரி குவாலிட்டிய பார்ப்பாங்க. ஸ்பெஷலைஸ்டு அல்லது நாலேஜ் அதிகமா இருக்கணும்னா, முழு-துல்லிய ஃபைன்ட்யூனிங் நல்ல பெர்ஃபார்ம் பண்ணும்.

Q5:Sider.AI ஒரு ட்ரெயினிங் டூல் இல்லாட்டி எப்படி ஹெல்ப் பண்ணும்? உங்க ட்ரெயினிங் டேட்டாவ கலெக்ட் பண்ணவும் அதை ரிஃபைன் பண்ணவும் Sider.AI யூஸ் பண்ணுங்க: டாக்ஸ் சம்மரைஸ் பண்ணுங்க, ப்ராம்ட்ஸ் ஜெனரேட் பண்ணுங்க மற்றும் நிறைய எக்ஸாம்பிள்ஸ டிராஃப்ட் பண்ணுங்க. பெட்டரான டேட்டா Unsloth ஷைன் பண்ண வைக்கும் - Sider.AI உங்க கிச்சன வேகப்படுத்தற ஒரு பிரிப் குக் மாதிரி நெனைச்சுக்குங்க.