Which is faster for LLM fine-tuning: Unsloth or LLaMA‑Factory?

In many small‑to‑mid GPU setups, Unsloth’s low‑precision optimizations can shorten training time and reduce VRAM pressure, so it often feels faster in practice. LLaMA‑Factory can leverage accelerations too, but its superpower is orchestration and evaluation rather than raw speed.

Is LLaMA‑Factory good for beginners?

Yes. Its Web UI, zero‑code workflows, and built‑in evaluation make it beginner‑friendly, especially if you want a repeatable fine‑tuning pipeline without chasing scripts. It’s ideal for teams teaching or standardizing processes.

Can I export to GGUF or run with Ollama after fine‑tuning?

Unsloth’s Studio notebooks emphasize clean exports to GGUF and easy deployment with Ollama or vLLM, which is great for local or edge inference. With LLaMA‑Factory, check the docs for your base model’s supported export paths and plan ahead for the runtime you need.

Do Unsloth and LLaMA‑Factory support QLoRA?

Yes. Both support adapter‑based training like LoRA/QLoRA, letting you fine‑tune large models on smaller GPUs. The key is to balance sequence length, batch size, and adapters so you don’t blow past your VRAM budget.

Should I use Unsloth and LLaMA‑Factory together?

You can. Use LLaMA‑Factory for its UI, recipes, and evaluation, and tap acceleration under the hood where compatible. It’s a practical way to get both speed and simplicity without gluing together three different toolchains.

আনস্লোথ বনাম LLaMA-Factory: ফাইন-টিউনিংকে কোনটি কম কষ্টকর করে তোলে?

কখনো কি লার্জ ল্যাঙ্গুয়েজ মডেলকে ফাইন-টিউন করার চেষ্টা করে মনে হয়েছে যেন অন্ধকারে ট্রাম্পোলিন বানাচ্ছেন—স্ক্রু নেই, স্প্রিংগুলো উল্টো, এবং কেন এটা আপনাকে ঝোপঝাড়ের মধ্যে ছুঁড়ে ফেলছে তার কোনো ধারণাই নেই? আপনি একা নন। ওপেন-সোর্স এলএলএম-এর জোয়ার আমাদের দারুণ কাঁচামাল দিয়েছে—কিন্তু সেই মস্তিষ্কগুলোকে আপনার ব্যবহারের জন্য একটি ভদ্র, সহায়ক সহকারীতে পরিণত করা অনেকটা গোল্ডেন রিট্রিভারকে আপনার ট্যাক্স করতে শেখানোর মতো মনে হতে পারে।

এখানে দুটি জনপ্রিয় অপশন আছে যা ফাইন-টিউনিংকে সহজ, এমনকি দ্রুত করার প্রতিশ্রুতি দেয়: Unsloth এবং LLaMA-Factory। কাগজে-কলমে তারা উভয়ই বলে, “আমরা ফাইন-টিউনিংকে সহজ করে দেব।” বাস্তবে, তারা ভিন্ন দৃষ্টিকোণ থেকে সমস্যাটির কাছে আসে—একটি হল উচ্চ-অকটেন ইঞ্জিন আপগ্রেড; অন্যটি একটি বন্ধুত্বপূর্ণ কন্ট্রোল টাওয়ার যা আপনার প্রশিক্ষণ ফ্লাইটগুলিকে সমন্বিত করে। আপনি যদি ভাবছেন আপনার পরবর্তী প্রকল্পের জন্য কোনটি ব্যবহার করা উচিত, তাহলে বসুন এবং চলুন ঘুরে আসা যাক।

আমরা আসলে কী তুলনা করছি?

Unsloth: এটিকে প্রশিক্ষণের জন্য একটি টার্বোচার্জার হিসেবে ভাবুন। এটি একটি অপ্টিমাইজেশন টুলকিট, যার লক্ষ্য আপনার ফাইন-টিউনগুলিকে দ্রুত এবং সস্তা করা—এবং বিভিন্ন মডেল এবং ফরম্যাটের সাথে ভালোভাবে কাজ করা। GitHub-এর বক্তব্যটি সাহসী: এটি সম্পূর্ণ ফাইন-টিউনিং এবং নিম্ন-নির্ভুলতার কৌশলগুলি (4-বিট, 8-বিট, 16-বিট), মডেল পরিবারের বিভিন্নতা (শুধু চ্যাটি এলএলএম নয়) সমর্থন করে এবং সাধারণ রানটাইমগুলিতে পরিষ্কারভাবে স্থাপন করার জন্য এক্সপোর্ট করে। এছাড়াও একটি সহযোগী "Studio" রিপোজিটরি রয়েছে, যেখানে নতুনদের জন্য সহজ নোটবুক রয়েছে, যা ঝামেলা-মুক্ত শুরু এবং GGUF, Ollama, এবং vLLM-এ পরিষ্কার এক্সপোর্টের জন্য ডিজাইন করা হয়েছে।

LLaMA-Factory: ফাইন-টিউনিং এবং 100+ এলএলএম মূল্যায়নের জন্য একটি ওয়ান-স্টপ, জিরো-কোড স্টেশন কল্পনা করুন। এর বিশেষত্ব: একটি ওয়েব UI এবং CLI যা সেরা অনুশীলন প্রশিক্ষণ পদ্ধতি (LoRA/QLoRA, SFT, DPO, ORPO, এবং অন্যান্য), মাল্টি-ব্যাকেন্ড সমর্থন, বিল্ট-ইন মূল্যায়ন এবং জনপ্রিয় মডেল ও ডেটাসেটের জন্য একটি বড় ক্ষেত্র প্রদান করে। এমনকি উৎস কোডে না গিয়ে অপশনগুলি খুঁজে বের করার জন্য একটি ডেডিকেটেড ডকুমেন্টেশন প্রকল্পও রয়েছে।

আপনি যদি ইতিমধ্যে একটি অনুমান তৈরি করে থাকেন—“তাহলে Unsloth হল স্পিড বুস্টার এবং LLaMA-Factory হল বন্ধুত্বপূর্ণ ড্যাশবোর্ড?”—আপনি প্রায় কাছাকাছি পৌঁছে গেছেন। কিছু ওভারভিউ এমনকি উল্লেখ করে যে LLaMA-Factory সরাসরি প্রতিযোগিতা না করে বরং ত্বরণ সরঞ্জামগুলিকে একত্রিত করে, যা এই দুটি ইকোসিস্টেমের পরিপূরক প্রকৃতির ইঙ্গিত দেয়। এদিকে, তৃতীয় পক্ষের রাউন্ডআপগুলি LLaMA-Factory-কে ফাইন-টিউনিংয়ের জন্য একটি শীর্ষ ওপেন-সোর্স UI পদ্ধতি হিসাবে চিহ্নিত করে, যা অ-বিশেষজ্ঞদের জন্য জিনিসগুলিকে ক্লিক-এন্ড-গো করার লক্ষ্যের সাথে সঙ্গতিপূর্ণ। আপনি যদি বৈশিষ্ট্য ম্যাট্রিক্সের সাথে আপনার গবেষণা পছন্দ করেন তবে সেখানে একটি জন-তুলনার পৃষ্ঠাও রয়েছে।

“কম কষ্ট”-এর দুটি পথ: কোনটি আপনার মস্তিষ্কের সাথে খাপ খায়?

এখানে একটি দ্রুত ব্যক্তিত্ব পরীক্ষা দেওয়া হল। আপনি যদি প্রথম সেটের বেশিরভাগ প্রশ্নের উত্তর "হ্যাঁ" বলেন, তাহলে আপনি একজন Unsloth ব্যক্তি; যদি দ্বিতীয়টির উত্তর "হ্যাঁ" হয়, তাহলে LLaMA-Factory আপনার জন্য উপযুক্ত হতে পারে।

আপনি সম্ভবত Unsloth পছন্দ করবেন যদি:

আপনার GPU বাজেট কম থাকে এবং আপনি দ্রুততম, সস্তা প্রশিক্ষণ রান চান—বিশেষ করে সাধারণ কার্ডে।

আপনি ইতিমধ্যে আপনার প্রশিক্ষণ পদ্ধতি জানেন এবং নিম্ন-নির্ভুলতার কৌশল (QLoRA, 4-বিট, 8-বিট) এবং এক্সপোর্ট-রেডি আর্টিফ্যাক্টগুলির গুরুত্ব বোঝেন।

আপনি বিভিন্ন মডেল টাইপ (এলএলএম, এমনকি মাল্টিমোডাল বা BERT-এর মতো কাজ) নিয়ে কাজ করেন এবং একটি উচ্চ-কার্যকারিতা সম্পন্ন স্তর চান।

আপনি নোটবুক বা স্ক্রিপ্টে কাজ করতে স্বচ্ছন্দ এবং আপনার একটি সম্পূর্ণ অর্কেস্ট্রেশন UI-এর প্রয়োজন নেই।

আপনি সম্ভবত LLaMA-Factory পছন্দ করবেন যদি:

আপনি একটি নির্দেশিত অভিজ্ঞতা চান—ওয়েব UI, নো-কোড/লো-কোড ওয়ার্কফ্লো এবং ব্যাটারি-ইনক্লুডেড মূল্যায়ন।

আপনি একাধিক মডেল পরিবার এবং ডেটা ফরম্যাট নিয়ে কাজ করছেন এবং কাঁচা গতির চেয়ে ধারাবাহিকতাকে বেশি গুরুত্ব দেন।

আপনার একটি দলের জন্য স্ট্যান্ডার্ড, পুনরুৎপাদনযোগ্য প্রশিক্ষণ পাইপলাইন প্রয়োজন—এখন SFT, পরে DPO—আপনার স্ট্যাকটি পুনরায় না লিখে।

আপনি বিল্ট-ইন পরীক্ষামূলক ব্যবস্থাপনা পছন্দ করেন: একটি জায়গায় প্রশিক্ষণ, অনুমান এবং স্কোরিং।

বাস্তবে গল্প: “আমার কাছে একটি ডেটাসেট আছে। এখন কী করব?”

ধরুন আপনার কাছে 50,000 কাস্টমার-সাপোর্ট চ্যাট আছে এবং আপনি চান আপনার হেল্প ডেস্কের মতো শোনাতে একটি মডেল তৈরি করতে, তবে বিরতির সুরটি বাদ দিয়ে। আপনি ডেটা পরিষ্কার এবং লেবেল করেছেন (ধন্যবাদ আপনাকে)। CSV থেকে “হ্যালো! আমি কিভাবে আপনার পাসওয়ার্ড রিসেট করতে সাহায্য করতে পারি?”-তে যাওয়ার সবচেয়ে সহজ উপায় কী?

A উপায়: গতি এবং স্থাপনার জন্য Unsloth

Unsloth Studio-তে শুরু করুন: নতুনদের জন্য সহজ নোটবুকগুলি আপনাকে আপনার ডেটাসেট আনতে, Run All-এ ক্লিক করতে এবং অন্য দিক থেকে একটি ফাইন-টিউন করা মডেল পেতে ডিজাইন করা হয়েছে। এটাই এর বিশেষত্ব, এবং আমার প্রজেক্টের টেস্টিং স্টাইল অনুসারে, GGUF/Ollama/vLLM পাইপলাইনে এক্সপোর্ট করা বাস্তব স্থাপনার জন্য একটি বড় সুবিধা।

নিম্ন-নির্ভুলতার উপর নির্ভর করুন: আপনার GPU যদি একজন অতি-উৎসাহী কিশোর (যেমন, একটি 12-24 GB কার্ড) হয়, তাহলে 4-বিট QLoRA “ফিট হবে না” থেকে “বিকেলে চলবে”-তে পরিণত করতে পারে। Unsloth-এর মূল সুর হল আপনার নির্ভুলতাকে নষ্ট না করে "এটিকে ছোট, দ্রুত, সস্তা করুন"—যদিও আপনার এখনও একটি আলাদা সেটে যাচাই করা উচিত।

ফলাফল: আপনি সম্ভবত দ্রুত একটি পারফরম্যান্ট চেকপয়েন্ট পাবেন এবং স্থাপনার বিষয়টি পরিষ্কার—হালকা সার্ভার বা একটি প্রান্তিক বাক্সে স্থানান্তরিত করার জন্য উপযোগী।

B উপায়: অর্কেস্ট্রেশন এবং সুরক্ষার জন্য LLaMA-Factory

ওয়েব UI চালু করুন: আপনার বেস মডেল এবং ডেটাসেটের দিকে নির্দেশ করুন, আপনার পদ্ধতি নির্বাচন করুন (শুরু করার জন্য SFT; পরে রিইনফোর্সমেন্ট-ফ্লেভার্ড পরিমার্জন চাইলে DPO বা ORPO) এবং আপনার অ্যাডাপ্টারগুলি সেট করুন (LoRA/QLoRA)। এখানে লক্ষ্য হল "কোনো রহস্যময় স্ক্রিপ্ট নয়।"

বিল্ট-ইন মূল্যায়ন: এখানেই LLaMA-Factory উজ্জ্বল। এটি কেবল প্রশিক্ষণ সম্পর্কে নয়; এটি মূল্যায়ন কাজ এবং সারসংক্ষেপ ড্যাশবোর্ডের একটি প্যানেলের মাধ্যমে "এটি কি ভাল?" প্রশ্নের উত্তর দেওয়া সম্পর্কে। যখন আপনি এমন একজন স্টেকহোল্ডারের কাছে রিপোর্ট করছেন যিনি গোপনে বিশ্বাস করেন যে সমস্ত AI হল জাদু, তখন এটি অমূল্য।

ফলাফল: কম জটিলতা, আরও পুনরুৎপাদনযোগ্য রান এবং দলীয় গ্রহণের একটি মসৃণ পথ।

গতি বনাম সরলতা: ট্রেড-অফগুলি আপনি অনুভব করবেন

সেটআপের সময়: নতুনদের জন্য LLaMA-Factory জয়ী। আপনি গার্ডরেল, প্রিসেট এবং একটি ভিজ্যুয়াল "আমরা কি পৌঁছে গেছি?" পান।

পুনরাবৃত্তির গতি: বিশেষত যদি আপনার কাছে কম ক্ষমতার হার্ডওয়্যার থাকে এবং আপনি নিম্ন-নির্ভুলতার টুলচেইনের উপর নির্ভর করেন, তাহলে Unsloth প্রায়শই কাঁচা থ্রুপুটের জন্য জয়ী হয়। এটি সংকুচিত করার জন্য নির্মিত।

গভর্নেন্স এবং পুনরুৎপাদনযোগ্যতা: LLaMA-Factory-এর সমন্বিত মূল্যায়ন এবং জিরো-কোড পাইপলাইনগুলি ফলাফল শেয়ার করা, রান তুলনা করা এবং একটি দলের মধ্যে স্ট্যান্ডার্ডাইজ করা সহজ করে তোলে।

স্থাপনার পথ: আপনি যদি GGUF, Ollama বা vLLM-এর মতো স্থানীয় অনুমানের স্ট্যাকগুলিকে লক্ষ্য করে থাকেন, তাহলে Unsloth-এর এক্সপোর্ট অপশনগুলি দারুণভাবে বাস্তবসম্মত।

দুটি দলের গল্প

কম বাজেটের একটি স্টার্টআপ: তাদের কাছে দুটি 24-GB কার্ড, একটি সপ্তাহান্ত এবং সোমবার একটি ডেমো আছে। Unsloth তাদের QLoRA দিয়ে একটি নির্দেশ-টিউন করা চেকপয়েন্ট তৈরি করতে, প্রশিক্ষণের সময় কমাতে এবং একটি CPU-বান্ধব রানটাইমে চলে এমন একটি GGUF এক্সপোর্ট করতে সহায়তা করে। তারা GPU ফার্ম ভাড়া না নিয়েই ক্লায়েন্টকে মুগ্ধ করে।

এন্টারপ্রাইজ স্কোয়াড: তাদের একটি পুনরাবৃত্তিযোগ্য পাইপলাইন দরকার যা একজন ডেটা সায়েন্টিস্ট একজন ML ইঞ্জিনিয়ারের কাছে হস্তান্তর করতে পারে, যিনি একজন বিশ্লেষকের কাছে হস্তান্তর করেন—আচ্ছা, আপনি বুঝতেই পারছেন। LLaMA-Factory-এর UI, রেসিপি এবং মূল্যায়ন লুপ সবাইকে একই পৃষ্ঠায় রাখে। তারা হুডের নীচে অ্যাক্সিলারেটর যুক্ত করতে পারে, তবে অভিজ্ঞতাটি সামঞ্জস্যপূর্ণ থাকে।

মডেল মেনু সম্পর্কে কী?

উভয় পক্ষই মডেল পরিবারের একটি বিশাল অংশ সমর্থন করে। LLaMA-Factory ইউনিফাইড হ্যান্ডলিং সহ “100+ মডেল” বিজ্ঞাপন দেয়; যদি আপনার দল LLaMA, Mistral, Qwen এবং এর বাইরেও ঘোরাঘুরি করে তবে এটি খুব দরকারি। Unsloth-এর README “TTS, STT, মাল্টিমোডাল, BERT এবং আরও অনেক কিছু সহ সমস্ত মডেল” সমর্থন করতে পেরে গর্বিত, যা কেবল চ্যাট এলএলএম নয়, বিভিন্ন উপায়ে ত্বরণের স্তর হিসাবে এর ভূমিকাকে তুলে ধরে। যদি আপনার কাজ টেক্সট এবং অডিও উভয় ক্ষেত্রেই বিস্তৃত হয়, তাহলে Unsloth-এর পরিধি একটি নীরব সুপার পাওয়ার হতে পারে।

তারা কি একে অপরের সাথে ভালোভাবে কাজ করে?

এখানে একটি চমক আছে: আপনার অগত্যা বেছে নিতে হবে না। LLaMA-Factory একটি ইউনিফাইং UI/অর্কেস্ট্রেশন স্তর হওয়ার লক্ষ্য রাখে এবং কিছু মন্তব্য উল্লেখ করে যে এটি সরাসরি প্রতিদ্বন্দ্বিতা না করে বরং অ্যাক্সিলারেটরগুলিকে একত্রিত করে। অন্য কথায়, আপনি ভারী কাজের জন্য Unsloth-এর মতো অপ্টিমাইজেশনগুলির উপর নির্ভর করার সময় LLaMA-Factory-এর UI এবং মূল্যায়ন বৈশিষ্ট্যগুলি ব্যবহার করতে পারেন—যা উভয় বিশ্বের সেরা এবং কম ব্যথানাশক।

খরচ, লাইসেন্স এবং ছোট অক্ষর

প্রশিক্ষণের খরচ: Unsloth-এর অপ্টিমাইজেশনগুলি সাধারণত দেয়াল-ঘড়ির সময় এবং VRAM-এর প্রয়োজনীয়তা হ্রাস করে, যা প্রায়শই কম ক্লাউড বিল এবং সাধারণ GPU-তে আরও বেশি কার্যকর রানের দিকে পরিচালিত করে।

জটিলতার ঝুঁকি: LLaMA-Factory-এর সাথে, আপনি “জাস্ট ওয়ার্কস” অভিজ্ঞতার জন্য আন্ডার-দ্য-হুড অন্তর্দৃষ্টির কিছুটা ত্যাগ করছেন। এটি সাধারণত একটি জয়—তবে ডিফল্ট পরিবর্তন করলে আপনি কী কী নব ঘোরাচ্ছেন তা জেনে নিন।

সম্প্রদায় এবং ডকুমেন্টেশন: LLaMA-Factory-এর ডকুমেন্টেশন রিপো এবং ওয়েব UI অনবোর্ডিংয়ের জটিলতা হ্রাস করে। Unsloth কোড-কেন্দ্রিক ডকুমেন্টেশন এবং নোটবুক টিউটোরিয়ালের উপর নির্ভর করে, যা আরও "ডেভেলপার-ফরোয়ার্ড" মনে হতে পারে তবে সতেজভাবে সরাসরি।

সমস্যা এবং সমস্যা সমাধান: কঠিন অর্জিত জ্ঞান

VRAM-এর মরীচিকা: QLoRA ছোট GPU-তে বিশাল মডেলগুলিকে কার্যকর দেখাতে পারে... যতক্ষণ না আপনার সিকোয়েন্স দৈর্ঘ্য, ব্যাচ সাইজ এবং অ্যাডাপ্টাররা আপনার উপর একসাথে ঝাঁপিয়ে পড়ে। ছোট করে শুরু করুন, রিয়েল টাইমে মেমরি দেখুন এবং স্কেল আপ করুন।

ডেটা ডায়েট জাদুকরী ধুলোর চেয়ে বেশি গুরুত্বপূর্ণ: কোনও অপ্টিমাইজার একটি অগোছালো ডেটাসেট ঠিক করতে পারে না। পরিষ্কার বিন্যাস, সামঞ্জস্যপূর্ণ নির্দেশ-প্রতিক্রিয়া জোড়া এবং সাবধানে ডিডুপ্লিকেটিং যেকোনো অভিনব ফ্ল্যাগকে হার মানায়।

মূল্যায়ন কেরিয়ার বাঁচায়: আপনি আপনার বাস্তব কাজগুলিতে পরীক্ষা না করে কোনও মডেল প্রকাশ করবেন না। LLaMA-Factory-এর সমন্বিত মূল্যায়ন এই অভ্যাসটিকে ব্যথাহীন করে তোলে; আপনার নিজের মেট্রিক্স ড্যাশবোর্ডে ওয়্যারিং করে Unsloth-এর সাথে একই জিনিসটির প্রতিলিপি তৈরি করুন।

এক্সপোর্ট হল নীতি: গোপনীয়তা বা লেটেন্সির জন্য আপনার যদি স্থানীয় অনুমানের প্রয়োজন হয় তবে প্রথম দিনেই আপনার এক্সপোর্ট ফর্ম্যাটটি পরিকল্পনা করুন। GGUF/Ollama/vLLM-এর জন্য Unsloth-এর সুস্পষ্ট পথগুলি আপনি কোন বেস মডেল এবং অ্যাডাপ্টার নির্বাচন করেন তা প্রভাবিত করতে পারে।

একটি ঝটিকা শপিং গাইড

একজন GPU সহ একক নির্মাতা, গতি-ক্ষুধার্ত: Unsloth।

একটি স্ট্যান্ডার্ড, ঝামেলা-মুক্ত পাইপলাইন এবং ড্যাশবোর্ডের প্রয়োজন এমন দল: LLaMA-Factory।

মিশ্র-মোডালিটি বা অদ্ভুত স্থাপনার লক্ষ্য: Unsloth-এর সুবিধা রয়েছে।

একটি ক্লাস পড়ানো বা সহকর্মীদের অনবোর্ড করা: LLaMA-Factory-এর ওয়েব UI আপনাকে সাতটি Slack থ্রেড থেকে বাঁচাবে।

সিদ্ধান্ত নিতে পারছেন না? অর্কেস্ট্রেশন এবং পরীক্ষার ট্র্যাক করার জন্য LLaMA-Factory ব্যবহার করুন এবং যেখানে সমর্থিত সেখানে হুডের নীচে ত্বরণ আনুন।

কোথায় Sider.AI ফিট করে

আপনি যদি প্রম্পট নিয়ে কাজ করেন, উদাহরণ সংগ্রহ করেন, অথবা আপনার প্রশিক্ষণের পরীক্ষাগুলি নথিভুক্ত করেন, তাহলে আপনার অন্য কোনো জটিলতার দরকার নেই—আপনার একটি সাইডকিকের প্রয়োজন। Sider.AI আপনার ব্রাউজারে চলে এবং আপনাকে প্রম্পট তৈরি করতে, নির্দেশ-শৈলীর উদাহরণ তৈরি করতে এবং এমনকি প্লেইন ইংলিশে প্রশিক্ষণের লগগুলিকে সংক্ষিপ্ত করতে সহায়তা করতে পারে যাতে আপনার ভবিষ্যতের নিজের মনে প্রশ্ন না জাগে, "আমি কেন lr=2e-5 আবার সেট করেছি?" এটি কোনও ফাইন-টিউনিং ইঞ্জিন নয়, তবে এটি ওয়ার্কফ্লোর পরিকল্পনা এবং বিশ্লেষণের অংশগুলির জন্য একটি দুর্দান্ত চিন্তাভাবনার অংশীদার। এখানে কৌশলটি হল: এটিকে একটি প্রজেক্ট নোটবুকের মতো ব্যবহার করুন যা উত্তরও দেয়। এটিকে পাঁচটি গ্রাহক চ্যাটকে নির্দেশ-প্রতিক্রিয়া জোড়াতে পুনরায় লিখতে বা আপনার লক্ষ্য আচরণের উপর ভিত্তি করে একটি মূল্যায়ন চেকলিস্ট প্রস্তাব করতে বলুন। এটি আপনার ওজন বাড়াবে না, তবে এটি আপনার অগ্রগতি বাড়িয়ে দেবে।

একটি দ্রুত, বাস্তব-বিশ্ব ডেমো পরিস্থিতি

লক্ষ্য: বিলিং প্রশ্নের উত্তর ভদ্রভাবে এবং সংক্ষিপ্তভাবে দেওয়ার জন্য একটি 7B মডেল ফাইন-টিউন করা।

ডেটা: 10,000 কিউরেটেড প্রশ্নোত্তর জোড়া।

হার্ডওয়্যার: একটি 24-GB GPU।

অপশন 1: Unsloth

বেস মডেল লোড করুন, 4-বিট QLoRA সক্ষম করুন, ছোট সিকোয়েন্স (512) এবং একটি পরিমিত ব্যাচ সাইজ দিয়ে শুরু করুন। 2) কয়েকটি ইপোকের জন্য প্রশিক্ষণ দিন, GGUF-এ এক্সপোর্ট করুন। 3) লেটেন্সি-ফ্রি ডেমোর জন্য স্থানীয়ভাবে Ollama চালু করুন। 4) সহায়ক এবং নির্ভুলতা পরিমাপ করতে একটি ছোট বৈধতা সেট ব্যবহার করুন; আরও একবার পুনরাবৃত্তি করুন। দ্রুত, পরিপাটি, স্থাপনযোগ্য।

অপশন 2: LLaMA-Factory

ওয়েব UI-এর মাধ্যমে ক্লিক করুন: বেস মডেল, LoRA/QLoRA অ্যাডাপ্টার এবং SFT রেসিপি চয়ন করুন। 2) আপনার ডেটাসেটের দিকে নির্দেশ করুন; মূল্যায়ন কাজ সেট করুন। 3) ড্যাশবোর্ডে মেট্রিক্স চালান, নিরীক্ষণ করুন এবং পূর্ববর্তী চেকপয়েন্টের সাথে তুলনা করুন। 4) যদি স্বর সঠিক না হয়, তাহলে মানুষের পছন্দের লেবেল ব্যবহার করে একটি DPO রান অদলবদল করুন। কম ঝামেলা, আরও পর্যবেক্ষণযোগ্যতা।

তাহলে... আপনার কোনটি বেছে নেওয়া উচিত?

আপনি যদি কাঁচা গতি, কম VRAM ফুটপ্রিন্ট এবং এক্সপোর্ট-বান্ধব আর্টিফ্যাক্ট চান—এবং কোড এবং নোটবুকে থাকতে স্বচ্ছন্দ হন, তাহলে Unsloth বেছে নিন।

আপনি যদি বিল্ট-ইন মূল্যায়ন এবং একটি ওয়েব UI সহ একটি নির্দেশিত, পুনরুৎপাদনযোগ্য, দল-বান্ধব পাইপলাইন চান যা ফাইন-টিউনিংকে সার্জারির মতো মনে না করায়, তাহলে LLaMA-Factory বেছে নিন।

অথবা যেখানে উপযুক্ত সেখানে একসাথে ব্যবহার করুন। ইকোসিস্টেমগুলি শত্রু নয়; তারা পাজলের টুকরা।

শেষ কথা

ফাইন-টিউনিংকে অন্ধকারে ট্রাম্পোলিনের মতো অভিজ্ঞতা হতে হবে না। Unsloth হল সেই রেঞ্চ যা দ্রুত ঘোরে এবং শক্ত করে ধরে; LLaMA-Factory হল বড় ছবি এবং একটি সহায়ক সমস্যা সমাধানের পৃষ্ঠা সহ নির্দেশিকা ম্যানুয়াল। আপনি যদি আপনার রেসিপি এবং আপনার হার্ডওয়্যারের সীমা জানেন, তাহলে Unsloth আপনাকে দ্রুত একটি কঠিন চেকপয়েন্টে নিয়ে যায়, যেখানে এমন ফর্ম্যাটগুলিতে পরিষ্কার প্রস্থান রয়েছে যা আপনি আসলে চালাতে পারেন। আপনি যদি মানুষ, প্রকল্প এবং মডেল জুড়ে একটি ওয়ার্কফ্লো স্কেল করেন, তাহলে LLaMA-Factory আপনাকে গেজ ভর্তি একটি ককপিট দেয় যাতে আপনি ডানা থেকে ঝুলে থাকার পরিবর্তে বিমানটি চালাতে পারেন।

যাই হোক না কেন, সুখী ফাইন-টিউনিংয়ের তিনটি নিয়ম মনে রাখবেন: পরিচ্ছন্ন ডেটা চতুর ফ্ল্যাগকে হার মানায়, মূল্যায়ন ভাইবকে হার মানায় এবং এক্সপোর্ট তত্ত্বকে হার মানায়। এটি করুন, এবং আপনার পরবর্তী মডেলটি কেবল ফাইন-টিউন করা হবে না—এটি ফাইন হবে।

সাধারণ জিজ্ঞাসা

প্রশ্ন 1: LLM ফাইন-টিউনিংয়ের জন্য কোনটি দ্রুত: Unsloth নাকি LLaMA-Factory? অনেক ছোট থেকে মাঝারি GPU সেটআপে, Unsloth-এর নিম্ন-নির্ভুলতার অপ্টিমাইজেশনগুলি প্রশিক্ষণের সময়কে ছোট করতে এবং VRAM-এর চাপ কমাতে পারে, তাই এটি প্রায়শই বাস্তবে দ্রুত মনে হয়। LLaMA-Factory ত্বরণকেও কাজে লাগাতে পারে, তবে এর সুপার পাওয়ার হল কাঁচা গতির চেয়ে অর্কেস্ট্রেশন এবং মূল্যায়ন।

প্রশ্ন 2: LLaMA-Factory কি নতুনদের জন্য ভালো? হ্যাঁ। এর ওয়েব UI, জিরো-কোড ওয়ার্কফ্লো এবং বিল্ট-ইন মূল্যায়ন এটিকে নতুনদের জন্য বন্ধুত্বপূর্ণ করে তোলে, বিশেষ করে যদি আপনি স্ক্রিপ্টগুলি অনুসরণ না করে একটি পুনরাবৃত্তিযোগ্য ফাইন-টিউনিং পাইপলাইন চান। এটি দলগুলিকে শেখানো বা প্রক্রিয়াগুলিকে স্ট্যান্ডার্ডাইজ করার জন্য আদর্শ।

প্রশ্ন 3: ফাইন-টিউনিংয়ের পরে আমি কি GGUF-এ এক্সপোর্ট করতে বা Ollama-এর সাথে চালাতে পারি? Unsloth-এর Studio নোটবুকগুলি GGUF-এ পরিষ্কার এক্সপোর্ট এবং Ollama বা vLLM-এর সাথে সহজ স্থাপনার উপর জোর দেয়, যা স্থানীয় বা প্রান্তিক অনুমানের জন্য দুর্দান্ত। LLaMA-Factory-এর সাথে, আপনার বেস মডেলের সমর্থিত এক্সপোর্ট পথের জন্য ডকুমেন্টগুলি দেখুন এবং আপনার প্রয়োজনীয় রানটাইমের জন্য আগে থেকে পরিকল্পনা করুন।

প্রশ্ন 4: Unsloth এবং LLaMA-Factory কি QLoRA সমর্থন করে? হ্যাঁ। উভয়ই LoRA/QLoRA-এর মতো অ্যাডাপ্টার-ভিত্তিক প্রশিক্ষণ সমর্থন করে, যা আপনাকে ছোট GPU-তে বড় মডেল ফাইন-টিউন করতে দেয়। মূল বিষয় হল সিকোয়েন্সের দৈর্ঘ্য, ব্যাচ সাইজ এবং অ্যাডাপ্টারগুলির মধ্যে ভারসাম্য বজায় রাখা যাতে আপনি আপনার VRAM বাজেট অতিক্রম না করেন।

প্রশ্ন 5: আমার কি Unsloth এবং LLaMA-Factory একসাথে ব্যবহার করা উচিত? আপনি পারেন। এর UI, রেসিপি এবং মূল্যায়নের জন্য LLaMA-Factory ব্যবহার করুন এবং যেখানে সামঞ্জস্যপূর্ণ সেখানে হুডের নীচে ত্বরণ ব্যবহার করুন। তিনটি ভিন্ন টুলচেইনকে একসাথে যুক্ত না করে গতি এবং সরলতা উভয়ই পাওয়ার এটি একটি বাস্তবসম্মত উপায়।