क्या आपने कभी किसी बड़े भाषा मॉडल को मनगढ़ंत बातें बंद करने और आपके बहुत विशिष्ट, बहुत कम वेतन वाले सहायक की तरह व्यवहार करना शुरू करने के लिए मनाने की कोशिश की है? 2025 में फाइन-ट्यूनिंग ऐसा ही लगता है: पेरेंटिंग, लेकिन YAML के साथ। अच्छी खबर: LLaMA-Factory पूरे मामले को आश्चर्यजनक रूप से... बुरा नहीं बनाता है। और अच्छी खबर: मैंने सर्वश्रेष्ठ LLaMA-Factory ट्यूटोरियल खोजने के लिए एडेप्टर और टोकेनाइज़र पर ठोकर खाते हुए एक सप्ताह बिताया, ताकि आपको ऐसा न करना पड़े।
यहां सबसे अच्छे संसाधनों के लिए नो-बीएस, जोआना-शैली गाइड दी गई है, प्रत्येक का उपयोग कब करना है, और तीन सबसे आम फेसपाम क्षणों से कैसे बचें (स्पॉइलर: VRAM कोई सुझाव नहीं है, यह एक बजट है)।
आप यहां क्यों हैं (और आप वास्तव में क्या चाहते हैं)
- आप वितरित प्रशिक्षण पर एक शोध प्रबंध लिखे बिना Llama 2 या Llama 3 मॉडल को फाइन-ट्यून करना चाहते हैं।
- आपने सुना है कि LLaMA-Factory में WebUI और CLI और यहां तक कि Google Colab मैजिक भी है।
- आपको ऐसे ट्यूटोरियल चाहिए जो यह न मान लें कि आप क्लाउड GPU फ़ार्म के अंदर रहते हैं।
यह एक सर्वश्रेष्ठ/शीर्ष सूची है जिसमें कैसे-कैसे व्यावहारिक सलाह भी शामिल है। मैं स्पष्टता, आधुनिकता (Llama 3, QLoRA, 4-बिट, WebUI वर्कफ़्लो) और क्या वे आपको शून्य से "मेरा मॉडल वास्तव में चलता है" तक पहुंचाते हैं, के आधार पर ट्यूटोरियल को रैंक कर रहा हूं। चलिए चलते हैं।
शॉर्टलिस्ट: अभी सबसे अच्छे LLaMA-Factory ट्यूटोरियल
- दृश्य शिक्षार्थियों (और अधीर लोगों) के लिए YouTube क्रैश कोर्स
- YouTube पर “Anyone can Fine Tune LLMs using LLaMA Factory: End-to-End”। यदि आपकी ध्यान अवधि एक TikTok है और आपका GPU बजट एक कॉफ़ी है, तो यह आपके लिए ट्यूटोरियल है। यह सेटअप, डेटा तैयारी और LLaMA-Factory प्रवाह में एंड-टू-एंड रन के माध्यम से चलता है। यह शुरुआती-अनुकूल है, WebUI दिखाता है, और बताता है कि कौन से बटन क्लिक करने हैं और क्यों। प्रक्रिया को लाइव देखने और कमांड कॉपी करने के लिए हर 12 सेकंड में पॉज़ करने के लिए बढ़िया।
इसके लिए सर्वश्रेष्ठ: दृश्य शिक्षार्थी, सप्ताहांत परियोजनाएँ, “मुझे काम करने वाली चीज़ दिखाओ।”
इस पर ध्यान दें: सटीक संस्करण और फ़्लैग बदल सकते हैं—यदि आपको कोई त्रुटि आती है तो रेपो डिफ़ॉल्ट को दोबारा जांचें।
- पहली बार फाइन-ट्यूनर के लिए चरण-दर-चरण WebUI गाइड
- DataCamp से “LLaMA-Factory WebUI Beginner’s Guide: Fine-Tuning LLMs”। यह एक स्वच्छ, लिखित वॉकथ्रू है: इंस्टॉल करें, Llama 3 8B लोड करें, LoRA या QLoRA चुनें, एक डेटासेट फ़ीड करें, ट्रेन करें, मूल्यांकन करें, एक्सपोर्ट करें। आपको स्क्रीनशॉट, कॉन्फ़िग और संदर्भ मिलते हैं। यदि आपको कभी CLI द्वारा डांटा गया है, तो यह शोर-रद्द करने वाले हेडफ़ोन जैसा लगता है।
इसके लिए सर्वश्रेष्ठ: शुरुआती, जो संरचना चाहते हैं, docker-compose कंफ़ेटी से एलर्जी वाले किसी भी व्यक्ति के लिए।
इस पर ध्यान दें: क्लाउड सेटअप और VRAM ज़रूरतें सभी के लिए एक समान नहीं हैं—यदि आप उसी हार्डवेयर पर नहीं हैं तो बदलावों की अपेक्षा करें।
- Colab-अनुकूल, तेज़-शुरुआत रेसिपी
- Medium पर “Fine-Tuning Made Easy: Your Guide to LLaMA Factory”। यह एक व्यावहारिक Colab-आधारित ट्यूटोरियल है जो Llama 3 के साथ LoRA का उपयोग करता है। अच्छा है यदि आप स्थानीय इंस्टॉल से बचना चाहते हैं और केवल मुफ़्त/सस्ते GPU समय के साथ टेस्ट-ड्राइव करना चाहते हैं। नोटबुक कॉपी करें, एक डेटासेट पथ बदलें, और बूम: आपका पहला मॉडल बच्चा पैदा हुआ है। यह एक अच्छे तरीके से राय देने वाला है: LoRA, Colab और कम झंझट।
इसके लिए सर्वश्रेष्ठ: Colab उपयोगकर्ता, बजट GPU खोजकर्ता, “मैं बस एक घंटे में कुछ काम करना चाहता हूँ।”
इस पर ध्यान दें: मुफ़्त Colab आपको सीमित करता है। प्रशिक्षण समय समाप्त हो सकता है या थ्रॉटल हो सकता है। जल्दी और अक्सर चेकपॉइंट सहेजें।
ठीक है, लेकिन LLaMA-Factory वास्तव में मेरे लिए क्या कर रहा है?
LLaMA-Factory को फाइन-ट्यूनिंग के IKEA के रूप में सोचें: यह आपको सभी भाग देता है, उनमें से अधिकांश को लेबल करता है, और आपको एक छोटी एलन कुंजी (WebUI) सौंपता है ताकि आप अपना खुद का विनम्रतापूर्वक कॉन्फ़िगर किया हुआ LLM बना सकें। यह QLoRA क्वांटिज़ेशन, एडेप्टर, टोकेनाइज़र जैसे डरावने बिट्स को प्रीसेट और समझदारी भरे डिफ़ॉल्ट के पीछे सारगर्भित करता है। आपको अभी भी एक डेटासेट और शिष्टाचार के साथ एक GPU लाने की ज़रूरत है, लेकिन आपको कच्चे पेड़ों से सोफ़ा बनाने की ज़रूरत नहीं है।
अपने उपयोग के मामले के लिए सही ट्यूटोरियल कैसे चुनें
- मैंने अपने जीवन में कभी भी कुछ भी फाइन-ट्यून नहीं किया है: DataCamp WebUI गाइड से शुरुआत करें, फिर YouTube वॉकथ्रू देखें। एक आपको दिखाता है कि क्या क्लिक करना है, दूसरा आपको दिखाता है कि जब यह वास्तव में काम करता है तो यह कैसा दिखता है (और यह कहाँ शालीनता से विफल होता है)।
- मुझे बजट पर केवल एक त्वरित POC की आवश्यकता है: Colab ट्यूटोरियल का उपयोग करें। अपने डेटासेट को छोटा और अपनी उम्मीदों को छोटा रखें। फिर एडेप्टर एक्सपोर्ट करें और अपनी स्थानीय मशीन या सस्ते क्लाउड पर परीक्षण करें।
- मैं इसे एक वर्कस्टेशन या क्लाउड GPU पर "सही" करना चाहता हूँ: अवधारणाओं को सीखने के लिए WebUI ट्यूटोरियल से शुरुआत करें, फिर CLI पर जाएँ ताकि आप प्रयोगों को स्क्रिप्ट कर सकें और एक प्रो की तरह रन ट्रैक कर सकें। यदि आपका VRAM फ़्लेक्सिंग नहीं है तो 4-बिट दक्षता के लिए QLoRA में मिलाएं।
पांच मिनट का क्रैश कोर्स: LLaMA-Factory ज़रूरी बातें
- WebUI बनाम CLI: WebUI सीखना तेज़ है, पहली बार रन और सैनिटी चेक के लिए बढ़िया है। CLI वह तरीका है जिससे आप बिना अपने ट्रैकपैड को रोए बैच, ऑटोमेट और संस्करण प्रयोग करते हैं।
- LoRA बनाम QLoRA: LoRA हल्के एडेप्टर परतें जोड़ता है—तेज़ और कुशल। QLoRA क्वांटिज़ेशन जोड़ता है ताकि आप छोटे GPU पर बड़े मॉडल को फाइन-ट्यून कर सकें। यह प्रशिक्षण का IKEA पैक-फ़्लैट संस्करण है।
- डेटासेट: इसे टाइट और साफ़ रखें। यदि आपका डेटासेट आपके कॉलेज निबंध के ड्राफ्ट जैसा दिखता है, तो आपका मॉडल भी ऐसा ही होगा।
- चेकपॉइंट और मूल्यांकन: अक्सर सहेजें। जल्दी मूल्यांकन करें। हाँ, आपका मॉडल "सीख" रहा है, लेकिन क्या यह वह सीख रहा है जो आप सोचते हैं? मार्करों वाले बच्चे की तरह, पर्यवेक्षण महत्वपूर्ण है।
एक स्टर्न-शैली मिनी-सेटअप गाइड (किसी भी ट्यूटोरियल के साथ उपयोग करने के लिए)
- अपना मॉडल चुनें: Llama 3 8B एक दोस्ताना शुरुआत है। छोटा चाहिए? प्रशिक्षण दर्द को कम करने के लिए एक निर्देश-ट्यून किए गए 7–8B वैरिएंट को आज़माएँ।
- अपना बजट तय करें: 16GB से कम VRAM? QLoRA पर जाएँ। लगभग 24GB? LoRA आरामदायक है। 48GB+? आप फैंसी हैं; यदि आप जानते हैं कि आप क्या कर रहे हैं तो बड़े संदर्भ विंडो या पूर्ण फाइनट्यून पर विचार करें।
- डेटा तैयार करें: स्पष्ट प्रॉम्प्ट/प्रतिक्रिया फ़ील्ड के साथ JSON या CSV का उपयोग करें। स्केलिंग से पहले 2–10K उच्च-गुणवत्ता वाले उदाहरणों से शुरुआत करें।
- अपना रास्ता चुनें: WebUI (सबसे आसान) या CLI (बेहतर स्केल)। उपरोक्त ट्यूटोरियल दोनों शैलियों को दिखाते हैं: YouTube और DataCamp गाइड WebUI की ओर झुकते हैं; Medium का टुकड़ा नोटबुक/CLI हाइब्रिड की ओर झुकता है।
- स्मार्ट ट्रेन करें: छोटे से शुरुआत करें—कुछ युग, उच्च शिक्षण दर, छोटा सबसेट। यदि यह 10–20 मिनट में सुधार नहीं करता है, तो कुछ बदलें और पुनः प्रयास करें। पुनरावृत्ति अंधे विश्वास को हरा देती है।
- एक संशयवादी की तरह मूल्यांकन करें: वास्तविक उपयोग को दर्शाने वाला 50–100 उदाहरण परीक्षण सेट बनाएँ। कठिन प्रश्न पूछें। सच्चाई को पुरस्कृत करें, वाक्पटुता को नहीं।
सबसे अच्छे ट्यूटोरियल को रैंक करना (और क्यों)
- DataCamp का LLaMA-Factory WebUI गाइड—कुल मिलाकर सर्वश्रेष्ठ लिखित वॉकथ्रू
- यह क्यों बढ़िया है: यह हालिया है, यह Llama 3 का उपयोग करता है, और यह आपको सिद्धांत में नहीं दफन करता है। यह "एलन कुंजी के साथ इसे इकट्ठा करें" पाठ है जो आप वास्तव में चाहते हैं।
- इसे किसे उपयोग करना चाहिए: फाइन-ट्यूनिंग या WebUI में नए किसी भी व्यक्ति के लिए। यह वास्तविक आउटपुट के साथ आत्मविश्वास बढ़ाने वाला है।
- YouTube एंड-टू-एंड वीडियो—सर्वश्रेष्ठ दृश्य प्राइमर और गति बूस्टर
- यह क्यों बढ़िया है: आप प्रवाह, गति और त्रुटियाँ देखते हैं। यह आपके स्क्रीन पर एक दोस्त होने जैसा है जो आपके करने से पहले क्लिक कर रहा है।
- इसे किसे उपयोग करना चाहिए: दृश्य शिक्षार्थी, अधीर बिल्डर, सप्ताहांत के टिंकरर्स।
- Medium का Colab गाइड—शून्य-इंस्टॉल प्रयोगों के लिए सर्वश्रेष्ठ
- यह क्यों बढ़िया है: आपको अपने लैपटॉप पर PyTorch व्हील से लड़ने की ज़रूरत नहीं है। चलाएँ, देखें, एक्सपोर्ट करें।
- इसे किसे उपयोग करना चाहिए: पानी का परीक्षण करने वाले या स्थानीय CUDA ड्रामा से बचने वाले लोग।
ये ट्यूटोरियल क्या चूकते हैं (और अंतराल को कैसे भरें)
- संस्करण पिनिंग: टूलिंग तेज़ी से आगे बढ़ता है। यदि आपका रन टूट जाता है, तो ट्यूटोरियल में उपयोग किए गए LLaMA-Factory संस्करण और आपके द्वारा इंस्टॉल किए गए संस्करण की जाँच करें। उनका मिलान करें, या रेपो चेंजलॉग को एक प्लॉट ट्विस्ट की तरह पढ़ें।
- टोकेनाइज़र मिसमैच: यदि प्रतिक्रियाएँ वर्णमाला सूप की तरह दिखती हैं, तो सत्यापित करें कि टोकेनाइज़र आधार मॉडल से मेल खाता है। यह गलत उपशीर्षक के साथ एक ऑडियोबुक पढ़ने जैसा है।
- VRAM बजटिंग: ट्यूटोरियल अक्सर दिखाते हैं "मैंने इसे कैसे किया" न कि "इसे कैसे स्केल करें।" यदि आपको CUDA आउट-ऑफ़-मेमोरी त्रुटियाँ मिल रही हैं, तो बैच का आकार कम करें, ग्रेडिएंट चेकपॉइंटिंग का उपयोग करें और 4-बिट QLoRA चालू करें। आपका GPU आपको धन्यवाद देगा।
आपका पहला फाइन-ट्यून: एक टेम्प्लेट योजना जिसे आप वास्तव में चुरा सकते हैं
- लक्ष्य: ग्राहक-समर्थन शैली के चैटबॉट के लिए QLoRA के साथ Llama 3 8B को फाइन-ट्यून करें।
- हार्डवेयर: 16GB GPU (हाँ, वास्तव में), या एक क्लाउड T4/A10G/A100 यदि आप अधिक खर्च कर सकते हैं।
- डेटा: आपके डोमेन से 5,000 क्यूरेटेड प्रश्नोत्तर जोड़े। स्वच्छ, सुसंगत शैली। कोई डुप्लिकेट नहीं। सत्यापन के लिए 500 समर्पित करें।
- पर्यावरण और UI चलाने के लिए DataCamp WebUI ट्यूटोरियल का पालन करें।
- प्रशिक्षण सेटिंग्स के तहत, चुनें: बेस मॉडल = Llama 3 8B इंस्ट्रक्ट; विधि = QLoRA; 4-बिट में लोड करें; बैच का आकार छोटा (1–2); बड़े बैचों को अनुकरण करने के लिए ग्रेडिएंट संचय; 1–2 युग।
- 10% डेटा सबसेट से शुरुआत करें। यदि हानि घटती है और सत्यापन समझ में आता है, तो पूरे सेट में स्नातक हों।
- एडेप्टर एक्सपोर्ट करें और एक अनुमान स्क्रिप्ट में परीक्षण करें। यदि उत्तर बहुत अधिक शब्दशः हैं, तो सिस्टम प्रॉम्प्ट को ट्वीक करें और तापमान कम करें।
- धोएं और दोहराएं: सीखने की दर, युग गणना और कम-गुणवत्ता वाले उदाहरणों को काटें।
- सफलता जांच: आपका मॉडल डोमेन प्रश्नों का संक्षिप्त उत्तर देता है, सही शर्तों का संदर्भ देता है और नीतियों का आविष्कार नहीं करता है। यदि यह आपके रचनात्मक लेखन इंटर्न के रूप में रोलप्ले करता है, तो आपने ओवरफिट या अंडर-क्लीन किया है।
क्या GPU में समस्या आ रही है? इन्हें आजमाएं
- “CUDA OOM”: बैच का आकार कम करें, ग्रेडिएंट चेकपॉइंटिंग सक्षम करें या 4-बिट का उपयोग करें। यदि आप अभी भी फंसे हुए हैं, तो एक छोटे मॉडल पर स्विच करें या अंतिम युग के लिए एक बड़ा GPU किराए पर लें।
- “हानि नहीं बदलेगी”: खराब डेटा या बहुत छोटा। डेटा विविधता बढ़ाएँ, सीखने की दर कम करें, या जाँच करें कि क्या आपके LoRA रैंक बहुत छोटे हैं।
- “आउटपुट अशिष्ट/अजीब हैं”: निर्देश-ट्यून किए गए आधार मॉडल और आपके डेटासेट में एक सुसंगत प्रतिक्रिया प्रारूप के माध्यम से शैली संरेखित करें। मॉडल वही अनुकरण करते हैं जो वे देखते हैं—उस तरह से प्रशिक्षित करें जैसे आपका मतलब है।
तैनाती: लैब से लैपटॉप तक (और आगे)
- LoRA एडेप्टर एक्सपोर्ट करें और यदि आवश्यक हो तो मर्ज करें। एज डिवाइस के लिए, पोर्टेबिलिटी के लिए एडेप्टर को अलग रखें। सर्वर के लिए, सरलता और गति के लिए मर्ज करें।
- अनुमान के लिए मात्रा निर्धारित करें। यदि आपने 4-बिट पर प्रशिक्षित किया है, तो विलंबता और निष्ठा को संतुलित करने के लिए 4-, 5- और 8-बिट अनुमान का परीक्षण करें।
- गार्ड्रेल जोड़ें। उदाहरणों के साथ एक साधारण प्रॉम्प्ट रैपर अद्भुत काम करता है। या एक छोटा नियमसेट चेकर मॉडल का उपयोग करें जो आपके उपयोगकर्ताओं तक पहुँचने से पहले बकवास को फ़िल्टर करता है।
क्या आपको लंबी अवधि में WebUI या CLI चुनना चाहिए?
- WebUI आपका पसंदीदा कॉफ़ी शॉप है: आरामदायक, तेज़, कम घर्षण।
- CLI आपकी होम किचन है: अधिक नॉब, अधिक गड़बड़, अधिक नियंत्रण। यदि आप साप्ताहिक रूप से फाइन-ट्यूनिंग कर रहे हैं, तो अंततः आपको स्क्रिप्ट, प्रयोग ट्रैकर्स और पुनरुत्पादक कॉन्फ़िग चाहेंगे। WebUI में शुरुआत करें, CLI में स्नातक हों।
ध्यान देने योग्य: Sider.AI "मुझे यह इस तरह समझाओ जैसे मैं अपनी तीसरी एस्प्रेसो पर हूँ" क्षणों में मदद कर सकता है। यदि आप अपनी कॉन्फ़िग या लॉग को Sider.AI चैट में पेस्ट करते हैं, तो आप ट्वीक करने के लिए पैरामीटर, ट्यूटोरियल चरण जो आपने शायद छोड़ दिया है, और एक सैनिटी चेक के लिए त्वरित सुझाव प्राप्त कर सकते हैं, इससे पहले कि आप गलत सीखने की दर में दो घंटे डूब जाएँ। यह एक दोस्ताना TA रखने जैसा है जो आपको ग्रेड नहीं दे रहा है—बस आपको गति दे रहा है। त्वरित तुलना: कौन सा ट्यूटोरियल किस नौकरी के लिए जीतता है
- कुल शुरुआती लोगों के लिए सर्वश्रेष्ठ: DataCamp का WebUI गाइड (स्पष्ट चरण, आधुनिक मॉडल)।
- "मुझे अभी दिखाओ" के लिए सर्वश्रेष्ठ: YouTube एंड-टू-एंड (दृश्य प्रवाह, कॉपी-द-क्लिक)।
- बिना इंस्टॉल वाले प्रयोगों के लिए सर्वश्रेष्ठ: Medium का Colab गाइड (तेजी से चलाएँ, कम खर्च करें)।
उन्नत ऐड-ऑन (जब आप लेवल अप करने के लिए तैयार हों)
- LoRA से परे PEFT एडेप्टर: विभिन्न रैंक और अल्फा आज़माएँ। छोटे बदलाव, बड़े प्रभाव।
- पाठ्यक्रम फाइन-ट्यूनिंग: सामान्य निर्देश डेटा से शुरुआत करें, फिर संकीर्ण डोमेन डेटा पर जाएँ।
- मिश्रित परिशुद्धता और मेमोरी ट्रिक्स: यदि समर्थित है तो bf16; फ़्लैश ध्यान; अपने GPU को खर्राटे लेने दें।
- मूल्यांकन सूट: एक कस्टम मूल्यांकन सेट और कुछ सार्वजनिक कार्य बनाएँ। अपने वैल्यू सेट और डोमेन से बाहर के एक छोटे सेट के बीच विचलन की निगरानी करके ओवरफिटिंग को ट्रैक करें।
एक छोटी शब्दावली ताकि आपको सिर हिलाने और दिखावा करने की ज़रूरत न पड़े
- LoRA: हल्के एडेप्टर परतें जिन्हें आप पूरे विशाल मॉडल के बजाय प्रशिक्षित करते हैं। समय और VRAM बचाता है।
- QLoRA: LoRA की तरह, लेकिन प्रशिक्षण के दौरान बेस वज़न संपीड़ित (मात्रा निर्धारित) होते हैं। नमस्ते, 4-बिट।
- एडेप्टर मर्जिंग: सरल परिनियोजन के लिए आधार मॉडल के साथ एडेप्टर वज़न को मिलाएं।
- टोकेनाइज़र: वह चीज़ जो वाक्यों को टोकन में काटती है। गलत टोकेनाइज़र = तले हुए अंडे।
मेरा दृष्टिकोण: आपको किस ट्यूटोरियल से शुरुआत करनी चाहिए?
यदि आपका लक्ष्य पहली सफलता की गति है, तो DataCamp से शुरुआत करें। YouTube वॉकथ्रू के साथ इसे पेयर करें—देखें, क्लिक करें, जीतें। फिर, अपने दूसरे रन के लिए, एक और रास्ता देखने के लिए Colab गाइड स्पिन करें। आप एक विशाल थ्रेड पढ़ने की तुलना में दो छोटे रन करके अधिक सीखेंगे। और आपका GPU HR में शिकायत दर्ज नहीं करेगा।
स्टर्न का समापन: फाइन-ट्यूनिंग अब पूरी तरह से संभव है। LLaMA-Factory ने "निराशा की चट्टान" को हैंड्रिल वाली सीढ़ी में बदल दिया। एक ट्यूटोरियल चुनें, छोटा शुरू करें और पुनरावृति करें। आपका भविष्य का फाइन-ट्यून किया गया मॉडल आपकी धनवापसी नीति को मनगढ़ंत न बनाकर आपको धन्यवाद देगा।
लिंक जिनका आप वास्तव में उपयोग करेंगे
- YouTube: एंड-टू-एंड LLaMA-Factory फाइन-ट्यून वॉकथ्रू।
- DataCamp: LLaMA-Factory WebUI शुरुआती गाइड।
- Medium: Colab-आधारित LLaMA-Factory क्विकस्टार्ट।
90 सेकंड में कार्य योजना
- DataCamp गाइड चुनें और WebUI सेट करें।
- एक छोटा डेटासेट तैयार करें (500–1,000 जोड़े)। इसे साफ रखें।
- QLoRA, 4-बिट, छोटे बैचों के साथ प्रशिक्षित करें।
- 100 हाथ से चुने गए प्रश्नों पर मूल्यांकन करें।
- दो या तीन बार पुनरावृति करें। फिर लंबे रन और बड़े डेटा में स्नातक हों।
अब कुछ उपयोगी को फाइन-ट्यून करें। और याद रखें: यदि आपका GPU चिल्लाता है, तो यह केवल "बैच का आकार कम करें" कह रहा है।
FAQ
Q1: सच्चे शुरुआती लोगों के लिए सबसे अच्छा LLaMA-Factory ट्यूटोरियल क्या है?
DataCamp से LLaMA-Factory WebUI गाइड से शुरुआत करें—यह स्पष्ट, वर्तमान और Llama 3 का उपयोग करता है। सफलता कैसी दिखती है यह जानने के लिए YouTube एंड-टू-एंड वॉकथ्रू के साथ इसे पेयर करें ताकि ट्रेन पर क्लिक करने से पहले आपको पता चल जाए।
Q2: क्या मैं Google Colab पर LLaMA-Factory मॉडल को फाइन-ट्यून कर सकता हूँ?
हाँ, Colab-आधारित ट्यूटोरियल LLaMA-Factory फाइन-ट्यूनिंग को आश्चर्यजनक रूप से दर्द रहित बनाता है। बस अपने सत्र के समय और VRAM सीमा पर ध्यान दें, अक्सर चेकपॉइंट सहेजें, और अपने पहले रन के लिए डेटासेट को छोटा रखें।
Q3: क्या मुझे LLaMA-Factory के साथ LoRA या QLoRA का उपयोग करना चाहिए?
यदि आप VRAM पर सीमित हैं, तो QLoRA आपका दोस्त है—4-बिट प्रशिक्षण, छोटा मेमोरी फ़ुटप्रिंट। यदि आपके पास अधिक GPU हेडरूम है, तो मानक LoRA सरल है और फिर भी फाइन-ट्यूनिंग के लिए बहुत कुशल है।
Q4: प्रशिक्षण के दौरान मैं CUDA आउट-ऑफ़-मेमोरी त्रुटियों को कैसे ठीक करूँ?
अपने बैच का आकार कम करें, ग्रेडिएंट चेकपॉइंटिंग चालू करें और 4-बिट QLoRA का उपयोग करें। यदि वह अभी भी विफल रहता है, तो एक छोटा बेस मॉडल आज़माएँ या सबसे भारी चरण के लिए अधिक VRAM वाला GPU किराए पर लें।
Q5: मुझे कैसे पता चलेगा कि मेरा LLaMA-Factory फाइन-ट्यून वास्तव में काम कर गया?
एक छोटा, यथार्थवादी मूल्यांकन सेट बनाएँ और फाइन-ट्यूनिंग से पहले और बाद में आउटपुट की तुलना करें। यदि आपका मॉडल तेज़ी से, अधिक सटीक रूप से उत्तर देता है, और आपकी कंपनी की छुट्टी नीति को मनगढ़ंत नहीं बनाता है, तो आप सही रास्ते पर हैं।
