What is Unsloth, in simple terms?

Unsloth is a library that makes fine-tuning large language models faster and less memory-hungry. It focuses on QLoRA and other efficiency tricks so you can train useful models on a single 24GB GPU without losing quality.

Is Unsloth better than standard PEFT for QLoRA?

For many real-world tasks, yes—Unsloth typically delivers faster training and lower VRAM while maintaining accuracy. You still use familiar patterns, but you’ll get more experiments done in the same time.

Can I use Unsloth to fine-tune a 70B model on one GPU?

You can often make it work with careful settings, but it won’t be effortless. Unsloth helps with speed and VRAM, yet big models still demand patience and careful batch sizes, sequence lengths, and quantization.

Does Unsloth hurt model quality compared to full-precision finetuning?

With good datasets and QLoRA, most users see similar quality for common tasks like instruction following or summarization. For highly specialized or knowledge-heavy changes, full-precision finetuning may still outperform.

How does [Sider.AI](https://sider.ai) help if it’s not a training tool?

Use [Sider.AI](https://sider.ai) to gather and refine your training data: summarize docs, generate prompts, and draft diverse examples. Better data makes Unsloth shine—think of [Sider.AI](https://sider.ai) as the prep cook that speeds up your kitchen.

Unsloth جائزہ: بڑے AI کو ٹھیک کرنے کا حیرت انگیز طور پر تیز طریقہ (بڑے GPU کے بغیر)

کیا آپ نے کبھی ٹوسٹر اوون میں شادی کا کیک بنانے کی کوشش کی ہے؟ ایک عام GPU پر ایک بڑے لسانی ماڈل کو ٹھیک کرنا بالکل ایسا ہی لگتا ہے۔ آپ ڈیٹا لوڈ کرتے ہیں، اوون آن کرتے ہیں، اور پھر… آپ انتظار کرتے ہیں۔ اور انتظار کرتے ہیں۔ آپ کا پنکھا چیختا ہے۔ آپ کی کافی ٹھنڈی ہو جاتی ہے۔ آپ کا ویک اینڈ غائب ہو جاتا ہے۔ Unsloth میں داخل ہوں، ایک اوپن سورس لائبریری جو بنیادی طور پر کہتی ہے، "کیا ہوگا اگر ٹوسٹر اوون میں ٹربو موڈ ہوتا؟" اس Unsloth کے جائزے میں، میں آپ کو بتاؤں گا کہ یہ کیا ہے، یہ کیا کرتا ہے، یہ آپ کا وقت اور VRAM کیسے بچاتا ہے، اور یہ اب بھی فرنیچر سے کہاں ٹکراتا ہے۔

Unsloth کیا ہے، اور لوگ اس کی اتنی باتیں کیوں کر رہے ہیں؟ Unsloth ایک Python لائبریری ہے جو بڑے لسانی ماڈلز—جیسے Llama، Mistral، اور ان کے ساتھیوں—کو تیزی سے اور میموری کے لحاظ سے موثر بنانے کے لیے ڈیزائن کی گئی ہے۔ اس کی فروخت کی تجویز سادہ ہے: وہی معیار، لیکن تیز تربیت اور کم VRAM کا استعمال۔ اگر آپ نے LoRA یا QLoRA کے ساتھ جدوجہد کی ہے، تو آپ جانتے ہیں کہ یہ کتنا مشکل ہے: آپ 24GB کارڈ پر ٹھیک کر سکتے ہیں، لیکن یہ بہت مشکل ہے، اور یہ بالکل بھی تیز نہیں ہے۔ Unsloth کی چال انجینئرنگ کی تبدیلیوں کا ایک مجموعہ ہے—کسٹم کرنلز، آپٹیمائزر کے انتخاب، کوانٹائزیشن کی مہارت، اور میموری کی ہوشیار پلمبنگ—تاکہ آپ اسی وقت میں زیادہ تربیت دے سکیں (یا کم وقت میں وہی تربیت)۔

کیا Unsloth آپ کے معمول کے اسٹیک کی جگہ لے لیتا ہے؟ بالکل نہیں۔ اگر آپ Hugging Face Transformers, PEFT، اور bitsandbytes کے عادی ہیں، تو Unsloth ان ہوشیار پلگ ان آرگنائزروں کی طرح ہے جو آپ تیسری بار اپنے چارجنگ کیبلز کے آپ پر حملہ کرنے کے بعد خریدتے ہیں۔ آپ اب بھی واقف پیٹرن (ڈیٹا سیٹ، ٹریننگ لوپس) استعمال کرتے ہیں، لیکن مشکل حصے—VRAM کی جگلنگ، رفتار میں تبدیلیاں—خود بخود اپ گریڈ ہو جاتے ہیں۔

Unsloth کس کے لیے ہے؟

وہ لوگ جن کے پاس "ایک 24GB GPU اور ایک خواب" ہے۔

چھوٹی ٹیمیں جنہیں CFO اور sedative کی ضرورت کے بغیر کلاؤڈ بل کے بغیر تیزی سے ماڈل بھیجنے کی ضرورت ہے۔

وہ شوقین جو اپنے VRAM کو پھٹنے کے بغیر QLoRA کو مزید آگے بڑھانے سے لطف اندوز ہوتے ہیں۔

اساتذہ اور طلباء جو کلاس روم میں ٹھیک ٹیوننگ دکھانا چاہتے ہیں جہاں سب سے عمدہ مشین پروفیسر کا گیمنگ لیپ ٹاپ ہے۔

ایک عملی واک تھرو: Unsloth کے ساتھ ٹھیک ٹیوننگ جب آپ Unsloth کے ساتھ ٹھیک ٹیوننگ کرتے ہیں تو یہاں کا ماحول یہ ہے:

آپ ایک بیس ماڈل (مثال کے طور پر، Llama 3 یا Mistral) چنتے ہیں، کوانٹائزیشن (4-bit QLoRA سب کو خوش کرنے والا ہے) کا انتخاب کرتے ہیں، اور اپنے ڈیٹا سیٹ کی طرف اشارہ کرتے ہیں۔

آپ اپنے تربیتی اسکرپٹ میں Unsloth بٹس کو فعال کرتے ہیں—عام طور پر چند امپورٹس اور فلیگز۔

آپ ٹرین کو ہٹ کرتے ہیں اور اپنے GPU کے استعمال کو اس کی زندگی کے انتخاب کو سمجھنے کے لیے دیکھتے ہیں۔ آپ اکثر اعلی تھرو پٹ، کم VRAM سپائکس، اور کم "CUDA آؤٹ آف میموری" کے غصے دیکھیں گے۔

آپ نتیجے میں آنے والے ماڈل کو ان فارمیٹس میں ایکسپورٹ کرتے ہیں جو آپ کے رن ٹائم کو پسند ہیں—CPU/Ollama کے لیے GGUF، یا GPUs کے لیے معیاری safetensors۔

آپ اسے پیش کرتے ہیں۔ مسکرائیں۔ ایک چکر لگائیں۔

یہ عام ڈویلپر کی کہانی ہے۔ لیکن ہم میں سے باقی لوگوں کے لیے: تیز تر ہونے کا اصل مطلب کیا ہے؟ انسانی اصطلاحات میں، اگر آپ کی بنیادی ٹھیک ٹیوننگ میں آٹھ گھنٹے لگتے ہیں، تو Unsloth کی اصلاحات اسے تقریباً چار گھنٹوں تک کم کر سکتی ہیں، یہ ماڈل، ہائپر پیرامیٹرز اور ہارڈ ویئر پر منحصر ہے۔ بچت جمع ہوتی ہے: تیز epochs، کم ری اسٹارٹس، اور تنگ VRAM بجٹ پر زیادہ مستحکم تربیت۔ یہ ٹیلی پورٹیشن ڈیوائس نہیں ہے—کوئی بھی 70B ماڈل کو دو منٹ کے کام میں نہیں بدل رہا ہے۔ لیکن اگر آپ پروگریس بار کو اس طرح گھورنے کے عادی ہیں جیسے وہ آپ کے مقروض ہیں، تو آپ کو فرق نظر آئے گا۔

رفتار کہاں سے آتی ہے (پی ایچ ڈی کے بغیر)

اسمارٹر میموری کا استعمال: اسے اس طرح سمجھیں جیسے ہر چیز کو ڈھیلے انداز میں پھینکنے کے بجائے کمپریشن کیوبز کے ساتھ سفر کے لیے پیک کرنا۔ آپ اب بھی وہی الماری لاتے ہیں، لیکن سوٹ کیس دراصل بند ہو جاتا ہے۔

کوانٹائزیشن بیلنس: QLoRA زیادہ تر وزن کے لیے 4-بٹ ریپریزنٹیشنز استعمال کرتا ہے، جو VRAM کو بہت کم کرتا ہے۔ Unsloth اس پر جھک جاتا ہے (اور دیگر چالوں پر) بغیر درستگی کو متاثر کیے۔

کرنل وزرڈری: ہڈ کے نیچے، کسٹم GPU کرنلز عام تربیتی مراحل کو تیز کرتے ہیں۔ آپ کے لیے، اس کا مطلب ہے کم انتظار کرنا۔

ہلکے وزن کے اڈاپٹر: LoRA صرف چھوٹے تربیت دینے کے قابل "اڈاپٹر" رکھتا ہے، نہ کہ پورا بڑا ماڈل۔ آپ شخصیت کو ٹھیک کرتے ہیں، نہ کہ DNA کو۔

معیار اور درستگی: سرور روم میں ہاتھی یہاں شکی حصہ ہے۔ جب بھی کوئی "وہی معیار، تیز" کا وعدہ کرتا ہے، تو میں آنکھیں تنگ کرنا شروع کر دیتا ہوں۔ عملی طور پر، QLoRA اور اچھے ڈیٹا سیٹس کے ساتھ، آپ زیادہ تر اطلاق شدہ کاموں پر مکمل درستگی کے نتائج کے بہت قریب پہنچ سکتے ہیں: ہدایات پر عمل کرنا، خلاصہ کرنا، کسٹمر سپورٹ اسٹائل ٹون اپ، ہلکا پھلکا ڈومین موافقت۔ اگر آپ کا استعمال کیس "ایک پکسل سے ٹارڈ گریڈ کی زندگی کی کہانی کی شناخت کرنا" ہے، تو ٹھیک ٹیوننگ شارٹ کٹس آپ کو نہیں بچائیں گے۔ لیکن اگر آپ عام لسانی حسب ضرورت کر رہے ہیں، تو Unsloth کارکردگی کو وہیں رکھتا ہے جہاں آپ توقع کرتے ہیں، جبکہ آپ وقت اور VRAM کی بچت کرتے ہیں۔

یہ کس چیز میں بہترین ہے

بڑے ماڈلز کو معمولی ہارڈ ویئر میں ڈالنا۔ ایک 24GB کارڈ تربیتی سیٹ اپ کو سنبھال سکتا ہے جس کے لیے پہلے کلاؤڈ کرایوں اور دعا کی ضرورت تھی۔

تیزی سے دہرانا۔ آپ ایک ہی دن میں زیادہ رنز، زیادہ پرامپٹس، زیادہ ڈیٹا سیٹس آزما سکتے ہیں۔ جس کی وجہ سے عام طور پر بہتر نتائج آتے ہیں—کیونکہ آپ زیادہ تجربات کر رہے ہیں۔

کلاس روم اور ورکشاپ ڈیمو۔ غیر سپر کمپیوٹر ہارڈ ویئر پر مناسب ٹھیک ٹیون چلانے کا "واہ" عنصر حقیقی ہے۔

عملی، درمیانے سائز کے ماڈلز کو تیزی سے بھیجنا۔ اگر آپ کی پروڈکٹ آپ کے برانڈ ٹون کے مطابق ایک چیٹ اسسٹنٹ، یا آپ کے ریپوز کے مطابق ایک کوڈ ہیلپر چاہتی ہے، تو Unsloth آپ کو وہاں جلد پہنچنے میں مدد کرتا ہے۔

یہ کہاں جادو نہیں ہے

میگا جنات اب بھی تکلیف دیتے ہیں۔ اگر آپ 70B ماڈل کو ٹھیک کر رہے ہیں، تو آپ اب بھی "اسنیکس لائیں" کے علاقے میں ہیں۔ Unsloth اسے قابل برداشت بناتا ہے، معمولی نہیں۔

ڈیٹا کا معیار اب بھی راج کرتا ہے۔ فضول ڈیٹا پر بجلی کی تیز رفتار آپ کو ایک بہت ہی تیز رفتار خراب ماڈل دیتی ہے۔ کوئی بھی لائبریری گندے ڈیٹا سیٹ کو صاف نہیں کر سکتی۔

ایج کیسز کو دیکھ بھال کی ضرورت ہے۔ کچھ جدید خصوصیات، غیر ملکی فن تعمیرات، اور عجیب تربیتی لوپس کو ٹنکرنگ کی ضرورت پڑ سکتی ہے۔ کمیونٹی تیزی سے آگے بڑھ رہی ہے، لیکن ہر چیز پش بٹن نہیں ہے—ابھی تک۔

روزمرہ کی زندگی کا ٹیسٹ ڈرائیو میں نے ایک سادہ ہدایتی ٹیوننگ جاب ترتیب دی: Llama-اسٹائل ماڈل پر QLoRA، 24GB GPU، کسٹمر سپورٹ ٹون میں "سوال → مددگار جواب" کی چند ہزار مثالیں۔ بیس لائن اپروچ: 8-بٹ یا 16-بٹ اڈاپٹر، معیاری ٹرینر، تقریباً چھ سے آٹھ گھنٹے کی توقع کریں۔ Unsloth اپروچ: اس کے بہتر اسٹیک کے ساتھ 4-بٹ QLoRA۔ فرق؟ Unsloth رن تقریباً آدھے وقت میں مکمل ہو گیا، GPU میموری ریڈ زون سے باہر رہی، اور اس قسم کے کام کے لیے آؤٹ پٹس بنیادی طور پر ناقابل شناخت تھے۔ سب سے بڑی عملی جیت اسٹاپ واچ نہیں تھی—یہ اسی دوپہر میں زیادہ ٹرائلز کرنے کی آزادی تھی۔ میں نے ایک قدرے مختلف پرامپٹ فارمیٹ آزمایا، تربیتی epochs کو تبدیل کیا، اور ایک زیادہ بھرپور سسٹم پیغام کا تجربہ کیا۔ دوسرے رن نے درستگی کھوئے بغیر ایک واضح طور پر خوشگوار ٹون تیار کیا۔

Unsloth ایک ٹیم ورک فلو میں کیسے فٹ بیٹھتا ہے

ڈیٹا کے لوگ: اپنے ڈیٹا سیٹ کو ہدایتی طرز کے جوڑوں میں صاف اور فارمیٹ کریں۔ آپ کو یہاں سب سے بڑا معیار حاصل ہوگا—ٹرینر کی دلیلوں میں نہیں۔

ML انجینئرز: اپنے معمول کے PEFT لوپ کے لیے Unsloth کے ٹرینر بٹس کو تبدیل کریں۔ اپنی لاگنگ اور ایول کو وہی رکھیں، تاکہ آپ apples-to-apples دیکھ سکیں۔

پروڈکٹ کے لوگ: تیز تکرار کے چکروں کی توقع کریں۔ یہ حقیقی اثر ہے—صرف تیز بار نہیں، بلکہ فی اسپرنٹ زیادہ تجربات۔

آپریشنز: ماڈلز کو اس خدمت فارمیٹ میں ایکسپورٹ کریں جو آپ کا انفرا پسند کرتا ہے (CPU/Ollama کے لیے GGUF یا GPU-ایکسلریٹڈ رن ٹائم)۔ Unsloth کے ایکسپورٹ آپشنز آپ کو وہیں ملیں گے جہاں آپ رہتے ہیں۔

مطابقت اور ماڈل سپورٹ Unsloth معمول کے اوپن ماڈلز کے ساتھ اچھا کھیلتا ہے: Llama-فیملی، Mistral, Phi، اور بہت سے دوسرے۔ اس نے مقامی رن ٹائمز اور ایج تعیناتیوں کے ساتھ تعمیر کرنے والی کمیونٹیز میں بھی توجہ حاصل کی ہے۔ اگر آپ کا اسٹیک پہلے سے ہی Hugging Face ماڈلز اور PEFT پر جھکا ہوا ہے، تو Unsloth کو آزمانا ایک چھوٹا سا قدم ہے۔

خرابیوں کو دور کرنے کا کونہ: عام مسائل اور فوری اصلاحات

CUDA میموری سے باہر؟ گریڈینٹ جمع کرنے، ایک چھوٹے بیچ سائز، یا 4-بٹ QLoRA کو نافذ کرنے کی کوشش کریں۔ یہ بھی چیک کریں کہ آپ کی سیکوینس کی لمبائی بہت زیادہ تو نہیں ہے۔

نقص ہل نہیں رہا؟ آپ کی سیکھنے کی شرح بند ہو سکتی ہے۔ "جب شک ہو" کی حد آزمائیں: LoRA اڈاپٹر کے لیے 1e-4 سے 2e-4، یا وارم اپ اقدامات جو صفر نہیں ہیں۔

آؤٹ پٹس روبوٹک ہو گئے؟ زیادہ متنوع ہدایتی مثالیں شامل کریں یا اپنے ڈیٹا سیٹ کو متوازن کریں تاکہ یہ ایک ٹون کو بہت جارحانہ انداز میں نہ سکھائے۔ ایک چھوٹی سی ڈیٹا کی تبدیلی اکثر اسے ٹھیک کر دیتی ہے۔

تربیت کے بعد انفرنس سست ہے: انفرنس کے موافق فارمیٹ میں ایکسپورٹ کریں۔ CPU پر، GGUF ایک لائف سیور ہو سکتا ہے۔ GPU پر، اپنے کوانٹائزیشن اور رن ٹائم کو چیک کریں۔

لاگت کا حساب: وہ حصہ جس کا آپ کا بٹوے کو خیال ہے رفتار نہ صرف آپ کے اتوار کو بچاتی ہے—یہ ڈالر بھی بچاتی ہے۔ اگر آپ کے کلاؤڈ GPU کی قیمت $2–$4 فی گھنٹہ ہے، تو 10 گھنٹے کے کام کو 5 گھنٹے تک کم کرنا حقیقی رقم ہے۔ اسے درجنوں تجربات پر ضرب دیں اور آپ کو معلوم ہوگا کہ بچت تقریباً "ارے، شاید ہم دوسرا GPU خرید سکتے ہیں" یا "میں سمجھتا ہوں کہ ہم آخر کار اچھی کافی خرید سکتے ہیں۔" کے برابر ہے۔

سیکیورٹی اور پرائیویسی: Unsloth کے ساتھ کیا تبدیل ہوتا ہے؟ Unsloth آپ کے خطرے کے پروفائل کو اتنا نہیں بدلتا جتنا کہ آپ کا رن ٹائم بدلتا ہے۔ بڑے عوامل اب بھی یہ ہیں: آپ کہاں تربیت دیتے ہیں (مقامی بمقابلہ کلاؤڈ)، آپ کون سا ڈیٹا استعمال کرتے ہیں (PII؟ ریگولیٹڈ؟)، اور آپ چیک پوائنٹس کو کیسے اسٹور کرتے ہیں۔ اگر آپ حساس ڈیٹا کو سنبھال رہے ہیں، تو اپنی معیاری حفظان صحت کریں: جہاں ممکن ہو وہاں گمنام کریں، اپنے تربیتی آپس کو الگ کریں، اور آڈٹ لاگز رکھیں۔ اگر آپ کو کسی تعمیل افسر کو ٹھیک ٹیوننگ پائپ لائن کی وضاحت کرنی ہے، تو Unsloth اس گفتگو کو مشکل نہیں بناتا ہے۔ درحقیقت، آپ کی اپنی مشین پر مقامی ٹھیک ٹیوننگ بعض اوقات اسے آسان بنا سکتی ہے۔

یہ معمول کے مشتبہ افراد کے مقابلے میں کیسا ہے

پلین PEFT + Transformers: واقف، وسیع پیمانے پر تعاون یافتہ، اور بہت اچھا—لیکن سست اور زیادہ میموری طلب ہو سکتا ہے۔ Unsloth رفتار اور VRAM میں ریلیف شامل کرتا ہے۔

16-بٹ پر مکمل فن ٹیوننگ: طاقتور لیکن مہنگا ہے۔ اس وقت استعمال کریں جب آپ کو ماڈل کے بنیادی علم کو تبدیل کرنے کی واقعی ضرورت ہو۔ بصورت دیگر، LoRA/QLoRA آپ کے دوست ہیں۔

پیرامیٹر کے لحاظ سے موثر متبادل (مثال کے طور پر، اڈاپٹر، پریفکس): LoRA کے خاندان میں۔ Unsloth ان طریقوں کو سپورٹ کر سکتا ہے جبکہ کارکردگی کو تیز رکھتا ہے۔

کیا ابتدائی افراد کو Unsloth کو آزمانا چاہیے؟ ہاں—ٹریننگ وہیلز کے ساتھ۔ اگر آپ نے کبھی کسی چیز کو ٹھیک نہیں کیا ہے، تو ایک چھوٹے ماڈل (7B)، ایک چھوٹے صاف ڈیٹا سیٹ، اور QLoRA کے ساتھ شروع کریں۔ آپ کی پہلی کامیابی بہترین استاد ہوگی۔ Unsloth دستاویزات اور مثال کے نوٹ بکس عام ہائپر پیرامیٹرز کی دیوار سے زیادہ دوستانہ ہوتے ہیں۔ اور جب آپ پھسلیں (اگر نہیں)، تو کمیونٹی کافی جوابدہ ہے۔

Sider.AI اس کہانی میں کہاں فٹ بیٹھتا ہے اگر آپ ان لوگوں میں سے ہیں جو ٹھیک ٹیوننگ کے بارے میں پڑھتے ہیں اور سوچتے ہیں، "کیا میں براہ کرم اپنے براؤزر کے اندر کام کر سکتا ہوں؟"—تو ایک خوشگوار حیرت ہے۔ Sider.AI آپ کے براؤزر میں ایک قسم کے AI سائڈ کِک کے طور پر رہتا ہے: صفحات کا خلاصہ کرنا، ای میلز کا مسودہ تیار کرنا، اور تحقیق کو سنبھالنے میں آپ کی مدد کرنا۔ یہ ٹھیک ٹیوننگ لائبریری نہیں ہے، لیکن یہ گندے وسط کے لیے زبردست ہے: ویب مواد سے ڈیٹا سیٹس کو مرتب کرنا، مصنوعی تربیتی پرامپٹس تیار کرنا، اور مسودہ ماڈل یا API پر فوری طور پر ہدایات کی جانچ کرنا۔ پرامپٹس پر دماغ سوزی کرنے، دستاویزات سے سوال و جواب کے جوڑے نکالنے، یا ٹون کنٹرولڈ مثالوں کا مسودہ تیار کرنے کے لیے Sider.AI کا استعمال کریں—اور پھر ان کو اپنی Unsloth رن میں فیڈ کریں۔ Sider.AI سے بیک پروپیگیشن کروانے کی کوشش کریں اور آپ کا دن برا گزرے گا۔ بہتر ڈیٹا اور تیز تکرار کے لوپس بنانے کے لیے اس کا استعمال کریں، اور آپ کو ایسا لگے گا جیسے آپ دھوکہ دے رہے ہیں (اچھے طریقے سے)۔

ایک آخری تجربہ جو آزمانے کے قابل ہے بڑی تربیتی رن کرنے سے پہلے، اسے آزمائیں: 200–500 اعلیٰ معیار کی مثالوں کا ایک منی ڈیٹا سیٹ بنائیں۔ Unsloth کے ساتھ چند epochs کے لیے ٹھیک ٹیون کریں۔ آؤٹ پٹس کا جائزہ لیں اور صرف اس کے بعد اسکیل اپ کریں۔ وہ چھوٹی ریہرسل آپ کے گھنٹوں بچائے گی—اور آپ کے پاس ایک بہتر ماڈل ہوگا کیونکہ آپ کا دوسرا پاس زیادہ ہوشیار ہوگا۔

عام انگریزی میں حتمی نتیجہ Unsloth نیا ریاضی ایجاد نہیں کرتا بلکہ گھر کو صاف کرتا ہے: یہ فرنیچر کو دوبارہ ترتیب دیتا ہے، درازوں پر لیبل لگاتا ہے، اور خاموشی سے ایک ٹربو بٹن انسٹال کرتا ہے۔ کسی کے لیے بھی جس نے کبھی آدھے دن کے لیے GPU کو بیک ہوتے دیکھا ہے، وقت اور VRAM کی بچت ایک سپر پاور کی طرح محسوس ہوتی ہے۔ یہ کوئی علاج نہیں ہے—خراب ڈیٹا خراب ہی رہتا ہے، بڑے ماڈلز بڑے ہی رہتے ہیں—لیکن یہ عام فانیوں کی پہنچ میں زیادہ ٹھیک ٹیوننگ ڈالتا ہے۔ اگر آپ کا مقصد حقیقت پسندانہ ہارڈ ویئر پر عملی حسب ضرورت کرنا ہے، تو Unsloth آپ کے ٹول کٹ میں اپنی جگہ کماتا ہے۔

کوئیک اسٹارٹ چیک لسٹ

چھوٹے پیمانے پر شروع کریں: 7B ماڈل، مختصر سیکوینسز، صاف ڈیٹا سیٹ۔

QLoRA 4-بٹ استعمال کریں جب تک کہ آپ کے پاس کوئی مضبوط وجہ نہ ہو۔

بیچ سائز کو معمولی رکھیں؛ گریڈینٹ جمع کرنے کو بھاری لفٹنگ کرنے دیں۔

ہر چیز کو لاگ کریں: توثیقی نمونے، نقصان کے منحنی خطوط، اور حقیقی دنیا کے پرامپٹس۔

اس فارمیٹ میں ایکسپورٹ کریں جس میں آپ دراصل (GGUF یا GPU-نیٹو) میں جلد خدمت کریں گے اور تاخیر کی جانچ کریں۔

ہائپر پیرامیٹرز سے پہلے ڈیٹا پر دہرائیں؛ بہتر مثالیں ہوشیار چالوں کو مات دیتی ہیں۔

اختتامیہ (اور ایک چشمک) ٹھیک ٹیوننگ پہلے ٹخنوں پر وزن کے ساتھ میراتھن کے لیے ٹریننگ کی طرح محسوس ہوتی تھی۔ Unsloth وزن کو کھولتا ہے۔ آپ کو ابھی بھی دوڑنا ہے، لیکن اچانک فاصلہ… قابل انتظام لگتا ہے۔ اور جب آپ ایک ہفتے کے آخر کے بجائے ایک دوپہر میں اپنا پہلا ٹیونڈ ماڈل بھیجتے ہیں، تو آپ اپنے آپ کو وہ کرتے ہوئے پا سکتے ہیں جو میں نے کیا: خاموشی سے اپنے GPU سے ان تمام ناموں کے لیے معافی مانگیں جو آپ نے اسے دیے۔

عمومی سوالات

Q1: Unsloth کیا ہے، آسان الفاظ میں؟ Unsloth ایک لائبریری ہے جو بڑے لسانی ماڈلز کو تیزی سے اور کم میموری طلب بنانے کے لیے ٹھیک کرتی ہے۔ یہ QLoRA اور دیگر کارکردگی کی چالوں پر توجہ مرکوز کرتا ہے تاکہ آپ معیار کو کھوئے بغیر ایک 24GB GPU پر کارآمد ماڈلز کو تربیت دے سکیں۔

Q2: کیا QLoRA کے لیے Unsloth معیاری PEFT سے بہتر ہے؟ بہت سے حقیقی دنیا کے کاموں کے لیے، ہاں—Unsloth عام طور پر درستگی کو برقرار رکھتے ہوئے تیز تربیت اور کم VRAM فراہم کرتا ہے۔ آپ اب بھی واقف پیٹرن استعمال کرتے ہیں، لیکن آپ ایک ہی وقت میں زیادہ تجربات کریں گے۔

Q3: کیا میں ایک GPU پر 70B ماڈل کو ٹھیک کرنے کے لیے Unsloth استعمال کر سکتا ہوں؟ آپ اکثر محتاط ترتیبات کے ساتھ اسے کام کر سکتے ہیں، لیکن یہ آسان نہیں ہوگا۔ Unsloth رفتار اور VRAM میں مدد کرتا ہے، پھر بھی بڑے ماڈلز کو صبر اور محتاط بیچ سائز، سیکوینس کی لمبائی اور کوانٹائزیشن کی ضرورت ہوتی ہے۔

Q4: کیا Unsloth مکمل درستگی والی فن ٹیوننگ کے مقابلے میں ماڈل کے معیار کو نقصان پہنچاتا ہے؟ اچھے ڈیٹا سیٹس اور QLoRA کے ساتھ، زیادہ تر صارفین عام کاموں جیسے ہدایات پر عمل کرنے یا خلاصہ کرنے کے لیے اسی طرح کا معیار دیکھتے ہیں۔ انتہائی خصوصی یا علم سے بھرپور تبدیلیوں کے لیے، مکمل درستگی والی فن ٹیوننگ اب بھی بہتر کارکردگی کا مظاہرہ کر سکتی ہے۔

Q5: Sider.AI کیسے مدد کرتا ہے اگر یہ تربیتی ٹول نہیں ہے؟ اپنا تربیتی ڈیٹا اکٹھا کرنے اور اسے بہتر بنانے کے لیے Sider.AI کا استعمال کریں: دستاویزات کا خلاصہ کریں، پرامپٹس تیار کریں، اور متنوع مثالیں تیار کریں۔ بہتر ڈیٹا Unsloth کو چمکاتا ہے—Sider.AI کو پریپ کک کے طور پر سوچیں جو آپ کے کچن کو تیز کرتا ہے۔