What is Unsloth, in simple terms?

Unsloth is a library that makes fine-tuning large language models faster and less memory-hungry. It focuses on QLoRA and other efficiency tricks so you can train useful models on a single 24GB GPU without losing quality.

Is Unsloth better than standard PEFT for QLoRA?

For many real-world tasks, yes—Unsloth typically delivers faster training and lower VRAM while maintaining accuracy. You still use familiar patterns, but you’ll get more experiments done in the same time.

Can I use Unsloth to fine-tune a 70B model on one GPU?

You can often make it work with careful settings, but it won’t be effortless. Unsloth helps with speed and VRAM, yet big models still demand patience and careful batch sizes, sequence lengths, and quantization.

Does Unsloth hurt model quality compared to full-precision finetuning?

With good datasets and QLoRA, most users see similar quality for common tasks like instruction following or summarization. For highly specialized or knowledge-heavy changes, full-precision finetuning may still outperform.

How does [Sider.AI](https://sider.ai) help if it’s not a training tool?

Use [Sider.AI](https://sider.ai) to gather and refine your training data: summarize docs, generate prompts, and draft diverse examples. Better data makes Unsloth shine—think of [Sider.AI](https://sider.ai) as the prep cook that speeds up your kitchen.

بررسی Unsloth: روشی به طرز شگفت انگیزی سریع برای تنظیم دقیق هوش مصنوعی بزرگ (بدون GPU بزرگ)

تا به حال سعی کرده‌اید کیک عروسی را در یک توستر بپزید؟ این حس fine-tuning یک مدل زبانی بزرگ روی یک GPU معمولی است. داده‌ها را بارگذاری می‌کنید، فر را روشن می‌کنید و سپس... صبر می‌کنید. و صبر می‌کنید. فن شما فریاد می‌زند. قهوه‌تان سرد می‌شود. آخر هفته‌تان ناپدید می‌شود. وارد Unsloth شوید، یک کتابخانه متن‌باز که اساساً می‌گوید: «چه می‌شد اگر توستر حالت توربو داشت؟» در این بررسی Unsloth، به شما خواهم گفت که چیست، چه کار می‌کند، چگونه در زمان و VRAM شما صرفه‌جویی می‌کند و کجا هنوز به موانع برخورد می‌کند.

Unsloth چیست و چرا مردم درباره آن صحبت می‌کنند؟ Unsloth یک کتابخانه پایتون برای fine-tuning مدل‌های زبانی بزرگ است - مانند Llama، Mistral و دوستانشان - که به گونه‌ای طراحی شده است که سریع و از نظر حافظه کارآمد باشد. تبلیغات فروش ساده است: همان کیفیت، اما آموزش سریع‌تر و استفاده کمتر از VRAM. اگر با LoRA یا QLoRA دست و پنجه نرم کرده‌اید، این فشار را می‌دانید: می‌توانید روی یک کارت 24 گیگابایتی fine-tune کنید، اما تنگ است و دقیقاً سریع نیست. ترفند Unsloth مجموعه‌ای از ترفندهای مهندسی است - هسته‌های سفارشی، انتخاب‌های بهینه‌ساز، هوشمندی کوانتیزاسیون و لوله‌کشی هوشمندانه حافظه - بنابراین می‌توانید بیشتر را در همان زمان آموزش دهید (یا همان مقدار را در زمان کمتر).

آیا Unsloth جایگزین پشته معمول شما می‌شود؟ نه دقیقاً. اگر به Hugging Face Transformers، PEFT و bitsandbytes عادت دارید، Unsloth مانند یکی از آن سازمان‌دهنده‌های هوشمندانه است که بعد از سومین باری که کابل‌های شارژتان به شما حمله می‌کنند، می‌خرید. شما همچنان از الگوهای آشنا (مجموعه داده‌ها، حلقه‌های آموزشی) استفاده می‌کنید، اما قسمت‌های سخت - شعبده‌بازی VRAM، ترفندهای سرعت - به طور خودکار ارتقا می‌یابند.

Unsloth برای چه کسانی مناسب است؟

افرادی که «یک GPU 24 گیگابایتی و یک رویا» دارند.

تیم‌های کوچکی که نیاز دارند مدل‌ها را به سرعت و بدون قبض ابری که نیاز به مدیر مالی و آرام‌بخش دارد، ارائه دهند.

دست‌اندرکارانی که از پیش بردن QLoRA بدون منفجر کردن VRAM خود لذت می‌برند.

مربیان و دانشجویانی که می‌خواهند fine-tuning را در کلاسی نشان دهند که فانتزی‌ترین دستگاه، لپ‌تاپ بازی استاد است.

یک راهنمای عملی: fine-tuning با Unsloth هنگامی که با Unsloth، fine-tune می‌کنید، این حس را خواهید داشت:

شما یک مدل پایه را انتخاب می‌کنید (مثلاً Llama 3 یا Mistral)، کوانتیزاسیون را انتخاب می‌کنید (QLoRA 4 بیتی مورد پسند همه است) و به مجموعه داده خود اشاره می‌کنید.

شما بیت‌های Unsloth را در اسکریپت آموزشی خود فعال می‌کنید - معمولاً چند import و flag.

دکمه Train را می‌زنید و تماشا می‌کنید که استفاده از GPU شما، انتخاب‌های زندگی خود را درک می‌کند. اغلب، توان عملیاتی بالاتر، spikeهای VRAM پایین‌تر و «CUDA out of memory» کمتری مشاهده خواهید کرد.

مدل حاصل را به فرمت‌هایی که زمان اجرای شما دوست دارد صادر می‌کنید - GGUF برای CPU/Ollama یا safetensors استاندارد برای GPUها.

آن را ارائه می‌دهید. لبخند می‌زنید. یک دور می‌زنید.

این داستان معمولی توسعه‌دهنده است. اما برای بقیه ما: سریع‌تر واقعاً به چه معناست؟ به زبان ساده، اگر baseline fine-tune شما هشت ساعت طول بکشد، بهینه‌سازی‌های Unsloth می‌تواند آن را به چیزی نزدیک به چهار ساعت کاهش دهد، بسته به مدل، hyperparameters و سخت‌افزار. پس‌اندازها جمع می‌شوند: دوره‌های سریع‌تر، راه‌اندازی مجدد کمتر و آموزش پایدارتر با بودجه‌های محدود VRAM. این یک دستگاه تله‌پورت نیست - هیچ‌کس یک مدل 70B را به یک کار دو دقیقه‌ای تبدیل نمی‌کند. اما اگر عادت دارید به یک نوار پیشرفت خیره شوید، متوجه تفاوت خواهید شد.

سرعت از کجا می‌آید (بدون دکترا)

استفاده هوشمندتر از حافظه: آن را مانند بستن چمدان برای یک سفر با مکعب‌های فشرده‌سازی به جای انداختن همه چیز به صورت شل در نظر بگیرید. شما هنوز هم همان کمد لباس را می‌آورید، اما چمدان واقعاً بسته می‌شود.

تعادل کوانتیزاسیون: QLoRA از نمایش‌های 4 بیتی برای اکثر وزن‌ها استفاده می‌کند که VRAM را بسیار کاهش می‌دهد. Unsloth به این (و ترفندهای دیگر) تکیه می‌کند بدون اینکه دقت را کاهش دهد.

جادوگری هسته: در زیر کاپوت، هسته‌های GPU سفارشی مراحل آموزشی رایج را تسریع می‌کنند. برای شما، این فقط به معنای انتظار کمتر است.

آداپتورهای سبک: LoRA فقط آداپتورهای کوچک قابل آموزش را نگه می‌دارد، نه مدل غول‌پیکر کامل. شما شخصیت را fine-tune می‌کنید، نه DNA را.

کیفیت و دقت: فیل در اتاق سرور این قسمت شکاکانه است. هر وقت کسی قول «همان کیفیت، سریع‌تر» را می‌دهد، شروع به باریک کردن چشم‌هایم می‌کنم. در عمل، با QLoRA و مجموعه‌داده‌های مناسب، می‌توانید در اکثر کارهای کاربردی به نتایج با دقت کامل بسیار نزدیک شوید: پیروی از دستورالعمل‌ها، خلاصه‌سازی، لحن‌دهی به سبک پشتیبانی مشتری، انطباق دامنه سبک. اگر مورد استفاده شما «شناسایی داستان زندگی یک خرس آبی از یک پیکسل» است، میانبرهای fine-tuning به شما کمک نخواهند کرد. اما اگر در حال انجام سفارشی‌سازی زبان معمولی هستید، Unsloth عملکرد را دقیقاً همان جایی که انتظار دارید نگه می‌دارد، در حالی که شما در زمان و پس‌انداز VRAM صرفه‌جویی می‌کنید.

در چه چیزهایی عالی است

فشردن مدل‌های بزرگ در سخت‌افزار متوسط. یک کارت 24 گیگابایتی می‌تواند تنظیمات آموزشی را که قبلاً به اجاره ابری و دعا نیاز داشتند، انجام دهد.

تکرار سریع. می‌توانید آزمایش‌های بیشتر، promptهای بیشتر و مجموعه‌داده‌های بیشتری را در همان روز امتحان کنید. که معمولاً به نتایج بهتری منجر می‌شود - زیرا بیشتر آزمایش می‌کنید.

نمایش‌های کلاسی و کارگاهی. عامل «وای» اجرای یک fine-tune مناسب روی سخت‌افزار غیر ابررایانه واقعی است.

ارائه سریع مدل‌های عملی و متوسط. اگر محصول شما یک دستیار چت می‌خواهد که با لحن برند شما تنظیم شده باشد، یا یک کمک‌کننده کد که با repos شما تنظیم شده باشد، Unsloth به شما کمک می‌کند زودتر به آنجا برسید.

کجا جادو نیست

غول‌های بزرگ هنوز هم دردسرساز هستند. اگر در حال fine-tuning یک مدل 70B هستید، هنوز هم در قلمرو «خوراکی بیاور» هستید. Unsloth آن را قابل تحمل می‌کند، نه پیش‌پاافتاده.

کیفیت داده هنوز هم حرف اول را می‌زند. یک اجرای سریع رعدوبرقی روی داده‌های نامرغوب فقط یک مدل بد بسیار سریع به شما می‌دهد. هیچ کتابخانه‌ای نمی‌تواند یک مجموعه داده نامرتب را پاکسازی کند.

موردها حاشیه‌ای نیاز به مراقبت دارند. برخی از ویژگی‌های پیشرفته، معماری‌های عجیب و غریب و حلقه‌های آموزشی غیرمعمول ممکن است نیاز به دستکاری داشته باشند. انجمن به سرعت در حال حرکت است، اما همه چیز دکمه فشاری نیست - هنوز.

یک تست در زندگی روزمره من یک کار ساده instruction-tuning راه‌اندازی کردم: QLoRA روی یک مدل به سبک Llama، GPU 24 گیگابایتی، چند هزار مثال از «سوال → پاسخ مفید» با لحن پشتیبانی مشتری. رویکرد Baseline: آداپتورهای 8 بیتی یا 16 بیتی، مربی استاندارد، انتظار حدود شش تا هشت ساعت. رویکرد Unsloth: QLoRA 4 بیتی با پشته بهینه‌سازی‌شده آن. تفاوت؟ اجرای Unsloth تقریباً در نصف زمان انجام شد، حافظه GPU از منطقه قرمز خارج ماند و خروجی‌ها اساساً برای این نوع کار قابل تشخیص نبودند. بزرگ‌ترین برد عملی کرونومتر نبود - آزادی انجام آزمایش‌های بیشتر در همان بعد از ظهر بود. من یک فرمت prompt کمی متفاوت را امتحان کردم، دوره‌های آموزشی را تغییر دادم و یک پیام سیستم غنی‌تر را آزمایش کردم. اجرای دوم لحن شادتری را بدون از دست دادن دقت تولید کرد.

چگونه Unsloth در یک گردش کار تیمی قرار می‌گیرد

افراد داده: مجموعه داده خود را به صورت جفت‌های به سبک instruction تمیز و فرمت کنید. شما در اینجا بیشترین سود کیفیت را خواهید برد - نه در آرگومان‌های مربی.

مهندسان ML: بیت‌های مربی Unsloth را برای حلقه PEFT معمول خود عوض کنید. ثبت و ارزیابی خود را یکسان نگه دارید تا بتوانید مقایسه سر به سر را ببینید.

افراد محصول: انتظار چرخه‌های تکرار سریع‌تر را داشته باشید. این تأثیر واقعی است - نه فقط یک نوار سریع‌تر، بلکه آزمایش‌های بیشتر در هر sprint.

Ops: مدل‌ها را به فرمت ارائه دهی که زیرساخت شما دوست دارد صادر کنید (GGUF برای CPU/Ollama یا یک زمان اجرای شتاب‌دهنده GPU). گزینه‌های صادرات Unsloth شما را در جایی که زندگی می‌کنید ملاقات می‌کند.

سازگاری و پشتیبانی مدل Unsloth به خوبی با مدل‌های باز معمول بازی می‌کند: خانواده Llama، Mistral، Phi و بسیاری دیگر. همچنین در جوامعی که با زمان‌های اجرای محلی و استقرارها حاشیه‌ای می‌سازند، محبوبیت پیدا کرده است. اگر پشته شما از قبل به مدل‌های Hugging Face و PEFT تکیه دارد، یک پرش کوتاه برای امتحان Unsloth است.

گوشه عیب‌یابی: مشکلات رایج و راه‌حل‌های سریع

CUDA out of memory؟ انباشت گرادیان، یک اندازه دسته‌ای کوچک‌تر را امتحان کنید یا QLoRA 4 بیتی را اعمال کنید. همچنین بررسی کنید که طول دنباله شما بیش از حد نباشد.

ضرر تکان نمی‌خورد؟ نرخ یادگیری شما ممکن است خاموش باشد. محدوده «در صورت تردید» را امتحان کنید: 1e-4 تا 2e-4 برای آداپتورهای LoRA، یا مراحل warmup که صفر نیستند.

خروجی‌ها رباتیک شدند؟ نمونه‌های instruction متنوع‌تری اضافه کنید یا مجموعه داده خود را متعادل کنید تا یک لحن را خیلی تهاجمی آموزش ندهد. یک ترفند داده کوچک اغلب آن را برطرف می‌کند.

استنتاج بعد از آموزش کند است: به یک فرمت مناسب استنتاج صادر کنید. در CPU، GGUF می‌تواند یک ناجی باشد. در GPU، کوانتیزاسیون و زمان اجرای خود را بررسی کنید.

ریاضیات هزینه: قسمتی که کیف پول شما به آن اهمیت می‌دهد سرعت فقط باعث صرفه‌جویی در یکشنبه شما نمی‌شود - بلکه باعث صرفه‌جویی در دلار می‌شود. اگر GPU ابری شما 2 تا 4 دلار در ساعت هزینه دارد، کاهش یک کار 10 ساعته به 5 ساعت پول واقعی است. آن را در ده‌ها آزمایش ضرب کنید و خواهید دید که پس‌انداز تقریباً برابر است با «هی، شاید بتوانیم یک GPU دوم بخریم» یا «فکر می‌کنم بالاخره می‌توانیم قهوه خوب را بخریم.»

امنیت و حریم خصوصی: با Unsloth چه تغییراتی می‌کند؟ Unsloth به اندازه زمان اجرای شما مشخصات ریسک شما را تغییر نمی‌دهد. عوامل بزرگ هنوز هم عبارتند از: جایی که آموزش می‌دهید (محلی در مقابل ابری)، چه داده‌هایی استفاده می‌کنید (PII؟ تنظیم شده؟) و چگونه ایست‌های بازرسی را ذخیره می‌کنید. اگر در حال رسیدگی به داده‌های حساس هستید، بهداشت استاندارد خود را انجام دهید: در صورت امکان ناشناس کنید، عملیات آموزشی خود را جدا کنید و گزارش‌های حسابرسی را نگه دارید. اگر مجبورید یک خط لوله fine-tuning را برای یک افسر انطباق توضیح دهید، Unsloth این مکالمه را سخت‌تر نمی‌کند. در واقع، fine-tuning محلی روی دستگاه خودتان گاهی اوقات می‌تواند آن را آسان‌تر کند.

این چگونه در برابر مظنونان معمول قرار می‌گیرد

PEFT + Transformers ساده: آشنا، به طور گسترده پشتیبانی می‌شود و عالی است - اما می‌تواند کندتر و بیشتر نیازمند حافظه باشد. Unsloth سرعت و تسکین VRAM را اضافه می‌کند.

Full-finetuning در 16 بیت: قدرتمند اما گران. زمانی استفاده کنید که واقعاً نیاز به تغییر دانش اصلی مدل دارید. در غیر این صورت، LoRA/QLoRA دوست شما هستند.

جایگزین‌های کارآمد پارامتر (به عنوان مثال، آداپتورها، پیشوندها): در همان خانواده LoRA. Unsloth می‌تواند از این رویکردها پشتیبانی کند و در عین حال عملکرد را سریع نگه دارد.

آیا مبتدیان باید Unsloth را امتحان کنند؟ بله - با چرخ‌های آموزشی. اگر هرگز چیزی را fine-tune نکرده‌اید، با یک مدل کوچک (7B)، یک مجموعه داده تمیز کوچک و QLoRA شروع کنید. اولین موفقیت شما بهترین معلم خواهد بود. مستندات Unsloth و نوت‌بوک‌های نمونه معمولاً دوستانه‌تر از دیوار معمولی hyperparameters هستند. و وقتی (نه اگر) زمین بخورید، انجمن کاملاً پاسخگو است.

کجا Sider.AI در این داستان قرار می‌گیرد اگر از آن دسته افرادی هستید که در مورد fine-tuning می‌خوانند و فکر می‌کنند: «آیا می‌توانم فقط در داخل مرورگرم کار کنم، لطفاً؟» - یک شگفتی دلپذیر وجود دارد. Sider.AI در مرورگر شما به عنوان نوعی دستیار هوش مصنوعی زندگی می‌کند: خلاصه‌سازی صفحات، پیش‌نویس ایمیل‌ها و کمک به شما در تحقیقات. این یک کتابخانه fine-tuning نیست، اما برای وسط نامرتب عالی است: جمع‌آوری مجموعه‌داده‌ها از محتوای وب، تولید promptsهای آموزشی مصنوعی و آزمایش سریع instructionها بر روی یک مدل یا API پیش‌نویس. از Sider.AI برای بارش فکری promptsها، استخراج جفت‌های پرسش و پاسخ از اسناد یا پیش‌نویس مثال‌های کنترل‌شده از نظر لحن استفاده کنید - سپس آنها را در اجرای Unsloth خود قرار دهید. سعی کنید Sider.AI را وادار به انجام پس انتشار کنید و روز بدی خواهید داشت. از آن برای ساختن داده‌های بهتر و حلقه‌های تکرار سریع‌تر استفاده کنید و احساس خواهید کرد که تقلب می‌کنید (به روش خوب).

یک آزمایش آخر که ارزش امتحان کردن را دارد قبل از انجام یک اجرای آموزشی بزرگ، این را امتحان کنید: یک مجموعه داده کوچک از 200-500 مثال با کیفیت بالا ایجاد کنید. برای چند دوره با Unsloth fine-tune کنید. خروجی‌ها را ارزیابی کنید و فقط در آن صورت مقیاس را افزایش دهید. آن تمرین کوچک ساعت‌ها در وقت شما صرفه‌جویی می‌کند - و در نهایت به یک مدل بهتر خواهید رسید زیرا پاس دوم شما هوشمندانه‌تر خواهد بود.

حرف آخر به زبان ساده Unsloth ریاضی جدیدی اختراع نمی‌کند، بلکه خانه را مرتب می‌کند: مبلمان را دوباره می‌چیند، کشوها را برچسب می‌زند و بی‌سروصدا یک دکمه توربو نصب می‌کند. برای هر کسی که تا به حال شاهد پخت یک GPU به مدت نیم روز بوده است، پس‌انداز زمان و VRAM مانند یک قدرت فوق‌العاده به نظر می‌رسد. این یک درمان کامل نیست - داده‌های بد بد باقی می‌مانند، مدل‌های عظیم عظیم باقی می‌مانند - اما fine-tuning بیشتری را در دسترس انسان‌های معمولی قرار می‌دهد. اگر هدف شما سفارشی‌سازی عملی روی سخت‌افزار واقع‌گرایانه است، Unsloth جایگاه خود را در جعبه ابزار شما به دست می‌آورد.

چک لیست شروع سریع

کوچک شروع کنید: مدل 7B، دنباله‌های کوتاه، مجموعه داده تمیز.

از QLoRA 4 بیتی استفاده کنید مگر اینکه دلیل محکمی برای عدم انجام این کار داشته باشید.

اندازه‌های دسته را متوسط نگه دارید. اجازه دهید انباشت گرادیان کارهای سنگین را انجام دهد.

همه چیز را ثبت کنید: نمونه‌های اعتبارسنجی، منحنی‌های از دست دادن و promptsهای دنیای واقعی.

زودتر به فرمتی صادر کنید که در واقع در آن ارائه خواهید داد (GGUF یا GPU-native) و تأخیر را آزمایش کنید.

قبل از hyperparameters روی داده‌ها تکرار کنید. مثال‌های بهتر ترفندهای هوشمندانه را شکست می‌دهند.

جمع‌بندی (و یک چشمک) Fine-tuning قبلاً مانند تمرین برای یک ماراتن با وزنه‌های مچ پا احساس می‌شد. Unsloth وزنه‌ها را باز می‌کند. شما هنوز هم باید بدوید، اما ناگهان فاصله... قابل مدیریت به نظر می‌رسد. و وقتی اولین مدل تنظیم‌شده خود را در یک بعد از ظهر به جای یک آخر هفته ارائه می‌دهید، ممکن است خودتان را در حال انجام کاری بیابید که من انجام دادم: بی‌سروصدا از GPU خود برای تمام نام‌هایی که صدا زدید عذرخواهی کنید.

سوالات متداول

س1: Unsloth به زبان ساده چیست؟ Unsloth یک کتابخانه است که fine-tuning مدل‌های زبانی بزرگ را سریع‌تر و کمتر نیازمند حافظه می‌کند. این بر QLoRA و سایر ترفندهای کارآمد متمرکز است تا بتوانید مدل‌های مفید را روی یک GPU 24 گیگابایتی بدون از دست دادن کیفیت آموزش دهید.

س2: آیا Unsloth برای QLoRA بهتر از PEFT استاندارد است؟ برای بسیاری از کارهای دنیای واقعی، بله - Unsloth معمولاً آموزش سریع‌تر و VRAM کمتری را ارائه می‌دهد و در عین حال دقت را حفظ می‌کند. شما همچنان از الگوهای آشنا استفاده می‌کنید، اما آزمایش‌های بیشتری را در همان زمان انجام خواهید داد.

س3: آیا می‌توانم از Unsloth برای fine-tuning یک مدل 70B روی یک GPU استفاده کنم؟ اغلب می‌توانید آن را با تنظیمات دقیق کار کنید، اما آسان نخواهد بود. Unsloth به سرعت و VRAM کمک می‌کند، با این حال مدل‌های بزرگ هنوز به صبر و اندازه‌های دسته، طول دنباله و کوانتیزاسیون دقیق نیاز دارند.

س4: آیا Unsloth در مقایسه با fine-tuning با دقت کامل به کیفیت مدل آسیب می‌رساند؟ با مجموعه‌داده‌های خوب و QLoRA، اکثر کاربران کیفیت مشابهی را برای کارهای رایج مانند پیروی از دستورالعمل‌ها یا خلاصه‌سازی مشاهده می‌کنند. برای تغییرات بسیار تخصصی یا دانش سنگین، fine-tuning با دقت کامل ممکن است همچنان بهتر عمل کند.

س5: Sider.AI اگر یک ابزار آموزشی نیست، چگونه کمک می‌کند؟ از Sider.AI برای جمع‌آوری و اصلاح داده‌های آموزشی خود استفاده کنید: خلاصه‌سازی اسناد، تولید prompts و پیش‌نویس مثال‌های متنوع. داده‌های بهتر باعث درخشش Unsloth می‌شود - Sider.AI را به عنوان سرآشپز آماده‌سازی در نظر بگیرید که آشپزخانه شما را سرعت می‌بخشد.