ഒരു വലിയ ഭാഷാ മോഡലിനെ (large language model) അതിന്റെ തോന്നിയപോലെ പ്രവർത്തിക്കുന്ന സ്വഭാവം നിർത്തി, നിങ്ങളുടെ പ്രത്യേക ആവശ്യങ്ങൾക്കനുസരിച്ച്, കുറഞ്ഞ ശമ്പളമുള്ള ഒരു സഹായിയെപ്പോലെ പ്രവർത്തിക്കാൻ പഠിപ്പിക്കാൻ ശ്രമിച്ചിട്ടുണ്ടോ? 2025-ൽ ഫൈൻ-ട്യൂണിംഗ് എന്നാൽ YAML-മായി കൂടുതൽ പരിചയമുള്ള ഒരാളായിരിക്കുന്നതുപോലെയാണ്. സന്തോഷകരമായ കാര്യം എന്തെന്നാൽ: LLaMA-Factory ഈ മുഴുവൻ പ്രക്രിയയെയും അത്ര മോശമല്ലാത്ത രീതിയിൽ കൈകാര്യം ചെയ്യാൻ സഹായിക്കുന്നു. ഇതിലും നല്ല വാർത്ത എന്തെന്നാൽ: മികച്ച LLaMA-Factory ട്യൂട്ടോറിയലുകൾ കണ്ടെത്താനായി ഞാൻ ഒരാഴ്ച അഡാപ്റ്ററുകളും ടോക്കണൈസറുകളും ഉപയോഗിച്ച് സമയം കളഞ്ഞു, അതിനാൽ നിങ്ങൾക്ക് ആ ബുദ്ധിമുട്ടുണ്ടാവില്ല.
ഇതാ ഏറ്റവും മികച്ച ഉറവിടങ്ങളിലേക്കുള്ള Joanna-യുടെ ശൈലിയിലുള്ള കൃത്യമായ മാർഗ്ഗനിർദ്ദേശങ്ങൾ, എപ്പോൾ ഏത് ഉപയോഗിക്കണം, എങ്ങനെ സാധാരണയായി സംഭവിക്കുന്ന അബദ്ധങ്ങൾ ഒഴിവാക്കാം (VRAM ഒരു നിർദ്ദേശമല്ല, അതൊരു ബഡ്ജറ്റാണ് എന്ന് ഓർക്കുക).
നിങ്ങൾ എന്തിനാണ് ഇവിടെയെത്തിയത് (നിങ്ങൾക്ക് എന്താണ് വേണ്ടത്)
- വിവിധതരം പരിശീലനങ്ങളെക്കുറിച്ച് ഒരു പ്രബന്ധം എഴുതാതെ തന്നെ Llama 2 അല്ലെങ്കിൽ Llama 3 മോഡലുകൾ ഫൈൻ-ട്യൂൺ ചെയ്യാൻ നിങ്ങൾ ആഗ്രഹിക്കുന്നു.
- LLaMA-Factory-ക്ക് ഒരു WebUI, CLI, Google Colab മാജിക് എന്നിവയുണ്ടെന്ന് നിങ്ങൾ കേട്ടിട്ടുണ്ട്.
- ഒരു ക്ലൗഡ് GPU ഫാമിലാണ് നിങ്ങൾ താമസിക്കുന്നതെന്ന ചിന്തയില്ലാത്ത ട്യൂട്ടോറിയലുകളാണ് നിങ്ങൾക്ക് വേണ്ടത്.
ഇതൊരു മികച്ച/മുൻനിര ലിസ്റ്റാണ്, കൂടാതെ പ്രായോഗികമായ ഉപദേശങ്ങളും ഇതിലുണ്ട്. വ്യക്തത, ആധുനികത (Llama 3, QLoRA, 4-bit, WebUI വർക്ക്ഫ്ലോകൾ), അതുപോലെ 'എന്റെ മോഡൽ ശരിയായി പ്രവർത്തിക്കുന്നുണ്ടോ' എന്നതിനെ അടിസ്ഥാനമാക്കി ട്യൂട്ടോറിയലുകൾ ഞാൻ റാങ്ക് ചെയ്യുന്നു. നമുക്ക് തുടങ്ങാം.
ഏറ്റവും പുതിയ LLaMA-Factory ട്യൂട്ടോറിയലുകൾ:
- കാഴ്ചയിൽ പഠിക്കാൻ താല്പര്യമുള്ളവർക്കുള്ള YouTube ക്രാഷ് കോഴ്സ് (കൂടാതെ ക്ഷമയില്ലാത്ത ആളുകൾക്കും)
- YouTube-ലെ “LLMs ഫൈൻ ട്യൂൺ ചെയ്യാൻ ആർക്കും LLaMA ഫാക്ടറി ഉപയോഗിക്കാം:End-to-End”. നിങ്ങളുടെ ശ്രദ്ധ ഒരു TikTok വീഡിയോയുടെത്രയും കുറവാണെങ്കിൽ, നിങ്ങളുടെ GPU ബഡ്ജറ്റ് ഒരു കാപ്പിയുടെ വിലയാണെങ്കിൽ, ഇതാണ് നിങ്ങൾക്ക് ഏറ്റവും നല്ല ട്യൂട്ടോറിയൽ. LLaMA-Factory ഫ്ലോയിൽ എങ്ങനെ ഇൻസ്റ്റാൾ ചെയ്യാമെന്നും, ഡാറ്റ തയ്യാറാക്കാമെന്നും, ഒരു എൻഡ്-ടു-എൻഡ് റൺ എങ്ങനെ നടത്താമെന്നും ഇതിൽ പറയുന്നു. ഇത് തുടക്കക്കാർക്ക് എളുപ്പത്തിൽ മനസ്സിലാക്കാവുന്നതാണ്. WebUI എങ്ങനെ ഉപയോഗിക്കാമെന്നും, ഏതൊക്കെ ബട്ടണുകൾ ക്ലിക്ക് ചെയ്യണമെന്നും, എന്തിനാണ് ഓരോ ബട്ടണുകളും ഉപയോഗിക്കുന്നതെന്നും ഇതിൽ വ്യക്തമാക്കുന്നു. ഓരോ കമാൻഡുകളും കോപ്പി ചെയ്യുന്നതിന്, താൽക്കാലികമായി നിർത്തി വീണ്ടും പ്ലേ ചെയ്ത് കാണുന്നതിന് ഇത് വളരെ നല്ലതാണ്.
ഇവയ്ക്ക് ഏറ്റവും ഉചിതം: കാഴ്ചയിൽ പഠിക്കാൻ താല്പര്യമുള്ളവർ, വാരാന്ത്യങ്ങളിൽ പഠിക്കാൻ ആഗ്രഹിക്കുന്നവർ, "എനിക്ക് പ്രവർത്തിക്കുന്നതെന്തെങ്കിലും കാണിച്ചു തരൂ" എന്ന് പറയുന്നവർ.
ശ്രദ്ധിക്കേണ്ട കാര്യങ്ങൾ: പതിപ്പുകളിലും ഫ്ലാഗുകളിലും മാറ്റങ്ങൾ വരാം - എന്തെങ്കിലും തെറ്റുകൾ സംഭവിച്ചാൽ റിപ്പോസിറ്ററി സ്ഥിരമായി പരിശോധിക്കുക.
- ആദ്യമായി ഫൈൻ-ട്യൂൺ ചെയ്യുന്നവർക്കുള്ള ഘട്ടം ഘട്ടമായുള്ള WebUI ഗൈഡ്
- DataCamp-ൽ നിന്നുള്ള “LLaMA-Factory WebUI തുടക്കക്കാർക്കുള്ള ഗൈഡ്: LLMs ഫൈൻ-ട്യൂണിംഗ്”. ഇൻസ്റ്റാൾ ചെയ്യുക, Llama 3 8B ലോഡ് ചെയ്യുക, LoRA അല്ലെങ്കിൽ QLoRA തിരഞ്ഞെടുക്കുക, ഡാറ്റാസെറ്റ് നൽകുക, പരിശീലിപ്പിക്കുക, വിലയിരുത്തുക, എക്സ്പോർട്ട് ചെയ്യുക - ഇത്രയും കാര്യങ്ങൾ ഉൾപ്പെടുന്ന ഒരു ശുദ്ധമായ, എഴുതിയ ട്യൂട്ടോറിയൽ ആണിത്. നിങ്ങൾക്ക് സ്ക്രീൻഷോട്ടുകളും കോൺഫിഗറേഷനുകളും കൂടുതൽ വിവരങ്ങളും ലഭിക്കും. CLI ഉപയോഗിച്ച് പ്രവർത്തിക്കുമ്പോൾ എന്തെങ്കിലും പ്രശ്നമുണ്ടെങ്കിൽ, ഈ ട്യൂട്ടോറിയൽ ഒരു നോയിസ്-കാൻസലിംഗ് ഹെഡ്ഫോൺ പോലെ നിങ്ങൾക്ക് അനുഭവപ്പെടും.
ഇവയ്ക്ക് ഏറ്റവും ഉചിതം: തുടക്കക്കാർ, ഘടന മനസ്സിലാക്കാൻ ആഗ്രഹിക്കുന്നവർ, docker-compose ഉപയോഗിച്ച് പ്രവർത്തിക്കാൻ ബുദ്ധിമുട്ടുള്ളവർ.
ശ്രദ്ധിക്കേണ്ട കാര്യങ്ങൾ: ക്ലൗഡ് സജ്ജീകരണത്തിനും VRAM ആവശ്യകതകൾക്കും ഒരേപോലെയുള്ള അളവുകളല്ല ഉള്ളത് - നിങ്ങളുടെ ഹാർഡ്വെയറിൽ മാറ്റങ്ങൾ വരുത്താൻ സാധ്യതയുണ്ട്.
- Colab-ന് അനുയോജ്യമായ, വേഗത്തിൽ ആരംഭിക്കാവുന്ന രീതി
- Medium-ലെ “എളുപ്പത്തിൽ ഫൈൻ-ട്യൂണിംഗ്: LLaMA ഫാക്ടറിലേക്കുള്ള നിങ്ങളുടെ ഗൈഡ്”. Llama 3-യോടൊപ്പം LoRA ഉപയോഗിക്കുന്ന Colab അടിസ്ഥാനമാക്കിയുള്ള ഒരു ട്യൂട്ടോറിയൽ ആണിത്. ലോക്കൽ ഇൻസ്റ്റാളേഷനുകൾ ഒഴിവാക്കാനും സൗജന്യ/ചെറിയ GPU സമയം ഉപയോഗിച്ച് പരീക്ഷണം നടത്താനും ഇത് നല്ലതാണ്. നോട്ട്ബുക്ക് കോപ്പി ചെയ്യുക, ഡാറ്റാസെറ്റ് പാത്ത് മാറ്റുക, അത്രയേയുള്ളൂ: നിങ്ങളുടെ ആദ്യ മോഡൽ തയ്യാറായിക്കഴിഞ്ഞു. LoRA, Colab, കുറഞ്ഞ തടസ്സങ്ങൾ എന്നിങ്ങനെ നല്ല രീതിയിലുള്ള അഭിപ്രായങ്ങൾ ഇതിലുണ്ട്.
ഇവയ്ക്ക് ഏറ്റവും ഉചിതം: Colab ഉപയോക്താക്കൾ, കുറഞ്ഞ GPU ഉപയോഗിക്കുന്നവർ, "എനിക്ക് ഒരു മണിക്കൂറിനുള്ളിൽ എന്തെങ്കിലും പ്രവർത്തിപ്പിക്കാൻ കിട്ടിയാൽ മതി" എന്ന് പറയുന്നവർ.
ശ്രദ്ധിക്കേണ്ട കാര്യങ്ങൾ: സൗജന്യ Colab-ന് പരിമിതികളുണ്ട്. പരിശീലനം കൃത്യ സമയത്ത് കഴിഞ്ഞില്ലെങ്കിൽ തടസ്സങ്ങൾ വരാൻ സാധ്യതയുണ്ട്. അതിനാൽ എത്രയും പെട്ടെന്ന് ചെക്ക്പോയിന്റുകൾ സേവ് ചെയ്യുക.
ശരി, LLaMA-Factory എനിക്കുവേണ്ടി എന്താണ് ചെയ്യുന്നത്?
LLaMA-Factory-യെ ഫൈൻ-ട്യൂണിംഗിന്റെ IKEA ആയി കണക്കാക്കാം: ഇത് നിങ്ങൾക്ക് എല്ലാ ഭാഗങ്ങളും നൽകുന്നു, മിക്കവയ്ക്കും ലേബലുകൾ നൽകുന്നു, കൂടാതെ ഒരു ചെറിയ Allen key (WebUI) നൽകുന്നു, അതുപയോഗിച്ച് നിങ്ങൾക്ക് മര്യാദയായി ക്രമീകരിച്ച ഒരു LLM കൂട്ടിച്ചേർക്കാൻ കഴിയും. ഇത് QLoRA ക്വാಂಟൈസേഷൻ, അഡാപ്റ്ററുകൾ, ടോക്കണൈസറുകൾ എന്നിവ പോലുള്ള കാര്യങ്ങൾ എളുപ്പത്തിൽ മനസ്സിലാക്കാവുന്ന രൂപത്തിലേക്ക് മാറ്റുന്നു. നിങ്ങൾക്ക് ഒരു ഡാറ്റാസെറ്റും നല്ലരീതിയിൽ പ്രവർത്തിക്കുന്ന ഒരു GPU-ഉം ആവശ്യമാണ്, എന്നാൽ നിങ്ങൾ മരങ്ങൾ വെട്ടി ഒരു കട്ടിൽ ഉണ്ടാക്കേണ്ടതില്ല.
നിങ്ങളുടെ ഉപയോഗത്തിനനുസരിച്ച് ശരിയായ ട്യൂട്ടോറിയൽ എങ്ങനെ തിരഞ്ഞെടുക്കാം
- ഞാൻ എന്റെ ജീവിതത്തിൽ ഇതുവരെ ഒന്നും ഫൈൻ-ട്യൂൺ ചെയ്തിട്ടില്ല: DataCamp WebUI ഗൈഡ് ഉപയോഗിച്ച് ആരംഭിക്കുക, തുടർന്ന് YouTube walkthrough കാണുക. ഒന്ന് എന്തൊക്കെ ക്ലിക്ക് ചെയ്യണമെന്ന് കാണിച്ചുതരുന്നു, മറ്റേത് അത് എങ്ങനെ ശരിയായി പ്രവർത്തിക്കുന്നുവെന്നും (എവിടെയാണ് പിഴവുകൾ സംഭവിക്കുന്നതെന്നും) കാണിച്ചുതരുന്നു.
- എനിക്ക് കുറഞ്ഞ ചിലവിൽ ഒരു POC വേണം: Colab ട്യൂട്ടോറിയൽ ഉപയോഗിക്കുക. നിങ്ങളുടെ ഡാറ്റാസെറ്റ് ചെറുതായും നിങ്ങളുടെ പ്രതീക്ഷകൾ അതിലും ചെറുതായും സൂക്ഷിക്കുക. തുടർന്ന് അഡാപ്റ്റർ എക്സ്പോർട്ട് ചെയ്ത് നിങ്ങളുടെ ലോക്കൽ മെഷീനിലോ കുറഞ്ഞ ചിലവിലുള്ള ക്ലൗഡിലോ ടെസ്റ്റ് ചെയ്യുക.
- ഒരു വർക്ക് സ്റ്റേഷനിലോ ക്ലൗഡ് GPU-ലോ ഇത് ശരിയായി ചെയ്യാൻ ഞാൻ ആഗ്രഹിക്കുന്നു: ആശയങ്ങൾ പഠിക്കാൻ WebUI ട്യൂട്ടോറിയൽ ഉപയോഗിച്ച് ആരംഭിക്കുക, തുടർന്ന് CLI-ലേക്ക് മാറുക, അതുവഴി നിങ്ങൾക്ക് പരീക്ഷണങ്ങൾ സ്ക്രിപ്റ്റ് ചെയ്യാനും ഒരു പ്രൊഫഷണലിനെപ്പോലെ റൺ ട്രാക്ക് ചെയ്യാനും കഴിയും. നിങ്ങളുടെ VRAM പ്രവർത്തിക്കുന്നില്ലെങ്കിൽ, 4-ബിറ്റ് കാര്യക്ഷമതയ്ക്കായി QLoRA ഉപയോഗിക്കുക.
അഞ്ച് മിനിറ്റിനുള്ളിൽ LLaMA-Factoryയുടെ പ്രധാന കാര്യങ്ങൾ
- WebUI vs. CLI: WebUI പഠിക്കാൻ എളുപ്പമാണ്, ആദ്യ റൺസുകൾക്കും പരിശോധനകൾക്കും മികച്ചതാണ്. നിങ്ങളുടെ ട്രാക്ക്പാഡ് കേടുവരാതെ പരീക്ഷണങ്ങൾ ബാച്ച് ചെയ്യാനും ഓട്ടോമേറ്റ് ചെയ്യാനും പതിപ്പ് നിയന്ത്രിക്കാനും CLI സഹായിക്കുന്നു.
- LoRA vs. QLoRA: LoRA ഭാരം കുറഞ്ഞ അഡാപ്റ്റർ ലെയറുകൾ ചേർക്കുന്നു - വേഗത്തിലും കാര്യക്ഷമമായും പ്രവർത്തിക്കുന്നു. ചെറിയ GPU-കളിൽ വലിയ മോഡലുകൾ ഫൈൻ-ട്യൂൺ ചെയ്യാൻ കഴിയുന്ന തരത്തിൽ QLoRA ക്വാಂಟൈസേഷൻ ചേർക്കുന്നു. ഇത് പരിശീലനത്തിന്റെ IKEA പായ്ക്ക്-ഫ്ലാറ്റ് പതിപ്പാണ്.
- ഡാറ്റാസെറ്റുകൾ: കൃത്യവും വ്യക്തവുമായി സൂക്ഷിക്കുക. നിങ്ങളുടെ ഡാറ്റാസെറ്റ് നിങ്ങളുടെ കോളേജ് ലേഖനം പോലെയാണെങ്കിൽ, നിങ്ങളുടെ മോഡലും അതുപോലെയാകും.
- ചെക്ക്പോയിന്റുകളും വിലയിരുത്തലും: പതിവായി സേവ് ചെയ്യുക. നേരത്തെ വിലയിരുത്തുക. നിങ്ങളുടെ മോഡൽ "പഠിക്കുന്നു", പക്ഷേ നിങ്ങൾ വിചാരിക്കുന്നത് പോലെയാണോ പഠിക്കുന്നത്? മാർക്കറുകളുള്ള ഒരു കൊച്ചുകുട്ടിയെപ്പോലെ, മേൽനോട്ടം പ്രധാനമാണ്.
Stern-ശൈലിയിലുള്ള മിനി-സജ്ജീകരണ ഗൈഡ് (ഏത് ട്യൂട്ടോറിയലിനോടൊപ്പം ഉപയോഗിക്കാനും സാധിക്കുന്ന ഒന്ന്)
- നിങ്ങളുടെ മോഡൽ തിരഞ്ഞെടുക്കുക: Llama 3 8B ഒരു നല്ല തുടക്കമാണ്. ചെറുതായി വേണമെങ്കിൽ? പരിശീലനത്തിലെ ബുദ്ധിമുട്ടുകൾ കുറയ്ക്കുന്നതിന് 7-8B വേരിയന്റ് ഉപയോഗിച്ച് തുടങ്ങുക.
- നിങ്ങളുടെ ബഡ്ജറ്റ് തീരുമാനിക്കുക: 16GB-ൽ കുറവാണോ VRAM? QLoRA ഉപയോഗിക്കുക. ഏകദേശം 24GB ഉണ്ടോ? LoRA നല്ലതാണ്. 48GB+ ഉണ്ടോ? നിങ്ങൾ ഒരുപാട് ഇഷ്ടപ്പെടുന്ന ഒരാളാണല്ലോ; വലിയ കോൺടെക്സ്റ്റ് വിൻഡോകളോ പൂർണ്ണമായ ഫൈൻട്യൂണുകളോ പരിഗണിക്കാവുന്നതാണ്, നിങ്ങൾ എന്താണ് ചെയ്യുന്നതെന്ന് നിങ്ങൾക്ക് അറിയാമെങ്കിൽ.
- ഡാറ്റ തയ്യാറാക്കുക: JSON അല്ലെങ്കിൽ CSV ഉപയോഗിച്ച് പ്രോംപ്റ്റ്/റെസ്പോൺസ് ഫീൽഡുകൾ വ്യക്തമാക്കുക. 2–10K ഉയർന്ന നിലവാരമുള്ള ഉദാഹരണങ്ങളിൽ നിന്ന് ആരംഭിച്ച് സ്കെയിലിംഗ് ചെയ്യുന്നതിന് മുൻഗണന നൽകുക.
- നിങ്ങളുടെ വഴി തിരഞ്ഞെടുക്കുക: WebUI (എളുപ്പം) അല്ലെങ്കിൽ CLI (നന്നായി സ്കെയിൽ ചെയ്യാൻ സാധിക്കും). മുകളിലുള്ള ട്യൂട്ടോറിയലുകൾ രണ്ട് ശൈലികളും കാണിക്കുന്നു: YouTube, DataCamp ഗൈഡുകൾ WebUI-യെക്കുറിച്ചും, Medium CLI ഹൈബ്രിഡിനെക്കുറിച്ചും പറയുന്നു.
- ബുദ്ധിപരമായി പരിശീലിപ്പിക്കുക: കുറഞ്ഞ എണ്ണം epoch-കളിൽ തുടങ്ങി, ഉയർന്ന ലേണിംഗ് നിരക്കും, ചെറിയൊരു ഡാറ്റാ സെറ്റും ഉപയോഗിച്ച് പരിശീലനം ആരംഭിക്കുക. 10–20 മിനിറ്റിനുള്ളിൽ പുരോഗതിയില്ലെങ്കിൽ, എന്തെങ്കിലും മാറ്റം വരുത്തി വീണ്ടും ശ്രമിക്കുക. അന്ധമായ വിശ്വാസത്തേക്കാൾ നല്ലത് ആവർത്തിച്ചുള്ള ശ്രമങ്ങളാണ്.
- ഒരു വിമർശകനെപ്പോലെ വിലയിരുത്തുക: നിങ്ങളുടെ ഉപയോഗത്തിനനുസരിച്ചുള്ള 50–100 ഉദാഹരണങ്ങളുള്ള ഒരു ടെസ്റ്റ് സെറ്റ് ഉണ്ടാക്കുക. ബുദ്ധിമുട്ടുള്ള ചോദ്യങ്ങൾ ചോദിക്കുക. സത്യസന്ധതയ്ക്ക് പ്രാധാന്യം നൽകുക.
മികച്ച ട്യൂട്ടോറിയലുകൾ റാങ്ക് ചെയ്യുന്നത് (എന്തുകൊണ്ട്)
- DataCamp-ന്റെ LLaMA-Factory WebUI ഗൈഡ് - ഏറ്റവും മികച്ച എഴുതിയ ട്യൂട്ടോറിയൽ
- ഇതെന്തുകൊണ്ട് മികച്ചതാണ്: ഇത് പുതിയതാണ്, Llama 3 ഉപയോഗിക്കുന്നു, നിങ്ങളെ സിദ്ധാന്തങ്ങളിൽ കുഴപ്പിക്കുന്നില്ല. Allen key ഉപയോഗിച്ച് കൂട്ടിച്ചേർക്കാൻ സഹായിക്കുന്ന ഒരു ട്യൂട്ടോറിയലാണ് ഇത്.
- ആരാണ് ഇത് ഉപയോഗിക്കേണ്ടത്: ഫൈൻ-ട്യൂണിംഗിൽ പുതിയ ആളുകൾക്കും WebUI ഉപയോഗിക്കുന്നവർക്കും ഇത് ഉപയോഗിക്കാം. ഇത് ആത്മവിശ്വാസം നൽകുന്നതും മികച്ച ഔട്ട്പുട്ട് തരുന്നതുമാണ്.
- YouTube End-to-End വീഡിയോ - മികച്ച വിഷ്വൽ പ്രൈമറും മോട്ടിവേഷനും
- ഇതെന്തുകൊണ്ട് മികച്ചതാണ്: നിങ്ങൾക്ക് പ്രവർത്തനരീതി, വേഗത, പിശകുകൾ എന്നിവ കാണാൻ സാധിക്കുന്നു. നിങ്ങൾ ചെയ്യുന്നതിന് മുമ്പ് ഒരു സുഹൃത്ത് സ്ക്രീനിൽ ക്ലിക്ക് ചെയ്യുന്നതുപോലെയുള്ള അനുഭവം നൽകുന്നു.
- ആരാണ് ഇത് ഉപയോഗിക്കേണ്ടത്: വിഷ്വൽ ആയി പഠിക്കുന്നവർക്കും, വാരാന്ത്യങ്ങളിൽ പരീക്ഷണം ചെയ്യുന്നവർക്കും ഇത് ഉപയോഗിക്കാം.
- Medium-ന്റെ Colab ഗൈഡ് - ഇൻസ്റ്റാളേഷൻ ഇല്ലാത്ത പരീക്ഷണങ്ങൾക്ക് ഏറ്റവും ഉചിതമായത്
- ഇതെന്തുകൊണ്ട് മികച്ചതാണ്: നിങ്ങളുടെ ലാപ്ടോപ്പിൽ PyTorch ഉപയോഗിച്ച് ബുദ്ധിമുട്ടേണ്ട ആവശ്യമില്ല. പ്രവർത്തിപ്പിക്കുക, കാണുക, എക്സ്പോർട്ട് ചെയ്യുക.
- ആരാണ് ഇത് ഉപയോഗിക്കേണ്ടത്: പഠിക്കാൻ താല്പര്യപ്പെടുന്നവർക്കും CUDA ഉപയോഗിക്കുമ്പോൾ ഉണ്ടാകുന്ന പ്രശ്നങ്ങൾ ഒഴിവാക്കാൻ ആഗ്രഹിക്കുന്നവർക്കും ഇത് ഉപയോഗിക്കാം.
ഈ ട്യൂട്ടോറിയലുകളിൽ എന്തൊക്കെ കുറവുകളുണ്ട് (അവ എങ്ങനെ പരിഹരിക്കാം)
- പതിപ്പ് ഉറപ്പുവരുത്തുക: ടൂളുകൾ വേഗത്തിൽ മാറിക്കൊണ്ടിരിക്കും. നിങ്ങളുടെ റൺ തകരാറിലാണെങ്കിൽ, ട്യൂട്ടോറിയലിൽ ഉപയോഗിച്ചിരിക്കുന്ന LLaMA-Factory പതിപ്പും നിങ്ങൾ ഇൻസ്റ്റാൾ ചെയ്തതും തമ്മിൽ ഒത്തുനോക്കുക. രണ്ടും ഒരുപോലെയാക്കുക, അല്ലെങ്കിൽ റിപ്പോസിറ്ററി മാറ്റങ്ങൾ ശ്രദ്ധിച്ച് വായിക്കുക.
- ടോക്കണൈസർ പൊരുത്തക്കേട്: പ്രതികരണങ്ങൾ ശരിയായ രീതിയിലല്ലെങ്കിൽ, ടോക്കണൈസർ അടിസ്ഥാന മോഡലുമായി പൊരുത്തപ്പെടുന്നുണ്ടോയെന്ന് ഉറപ്പാക്കുക. തെറ്റായ സബ്ടൈറ്റിലുകൾ ഉപയോഗിച്ച് ഒരു ഓഡിയോബുക്ക് വായിക്കാൻ ശ്രമിക്കുന്നതുപോലെയാണിത്.
- VRAM ബഡ്ജറ്റിംഗ്: ട്യൂട്ടോറിയലുകൾ പലപ്പോഴും “ഞാനിത് എങ്ങനെ ചെയ്തു” എന്ന് കാണിക്കുന്നു, അല്ലാതെ “ഇതെങ്ങനെ സ്കെയിൽ ചെയ്യാം” എന്നല്ല. നിങ്ങൾക്ക് CUDA മെമ്മറി പ്രശ്നങ്ങൾ ഉണ്ടാകുകയാണെങ്കിൽ, ബാച്ച് സൈസ് കുറയ്ക്കുക, ഗ്രേഡിയന്റ് ചെക്ക്പോയിന്റിംഗ് ഉപയോഗിക്കുക, 4-ബിറ്റ് QLoRA ഓണാക്കുക. നിങ്ങളുടെ GPU-ക്ക് ഇത് ഉപകാരപ്രദമാകും.
നിങ്ങളുടെ ആദ്യത്തെ ഫൈൻ-ട്യൂൺ: നിങ്ങൾക്ക് ഉപയോഗിക്കാൻ കഴിയുന്ന ഒരു ടെംപ്ലേറ്റ് പ്ലാൻ
- ലക്ഷ്യം: ഒരു കസ്റ്റമർ-സപ്പോർട്ട് ചാറ്റ്ബോട്ടിനായി QLoRA ഉപയോഗിച്ച് Llama 3 8B ഫൈൻ-ട്യൂൺ ചെയ്യുക.
- ഹാർഡ്വെയർ: 16GB GPU (ഉവ്വ്, ശരിക്കും), അല്ലെങ്കിൽ നിങ്ങൾക്ക് കൂടുതൽ താങ്ങാൻ കഴിയുമെങ്കിൽ ഒരു ക്ലൗഡ് T4/A10G/A100.
- ഡാറ്റ: നിങ്ങളുടെ ഡൊമെയ്നിൽ നിന്നുള്ള 5,000 ചോദ്യോത്തര ജോഡികൾ. വ്യക്തവും കൃത്യവുമായ ശൈലി. തനിപ്പകർപ്പുകൾ ഉണ്ടാകാൻ പാടില്ല. 500 എണ്ണം വാലിഡേഷനായി മാറ്റിവയ്ക്കുക.
- പരിസ്ഥിതിയും UI-യും പ്രവർത്തിപ്പിക്കാൻ DataCamp WebUI ട്യൂട്ടോറിയൽ പിന്തുടരുക.
- പരിശീലന ക്രമീകരണങ്ങളിൽ, ഇവ തിരഞ്ഞെടുക്കുക: അടിസ്ഥാന മോഡൽ = Llama 3 8B നിർദ്ദേശം; രീതി = QLoRA; 4-ബിറ്റിൽ ലോഡ് ചെയ്യുക; ബാച്ച് സൈസ് ചെറുതാക്കുക (1–2); വലിയ ബാച്ചുകൾ ഉണ്ടാക്കാൻ ഗ്രേഡിയന്റ് അക്യുമുലേഷൻ; 1–2 epoch.
- 10% ഡാറ്റാ ഉപവിഭാഗത്തിൽ നിന്ന് ആരംഭിക്കുക. നഷ്ടം കുറയുകയും വാലിഡേഷൻ ശരിയായി നടക്കുകയും ചെയ്യുകയാണെങ്കിൽ, മുഴുവൻ സെറ്റിലേക്കും മാറ്റുക.
- അഡാപ്റ്റർ എക്സ്പോർട്ട് ചെയ്ത് ഒരു ഇൻഫെറൻസ് സ്ക്രിപ്റ്റിൽ ടെസ്റ്റ് ചെയ്യുക. ഉത്തരങ്ങൾ വളരെയധികം വിശദീകരിക്കുന്ന രീതിയിലാണെങ്കിൽ, സിസ്റ്റം പ്രോംപ്റ്റുകൾ മാറ്റുക.
- വീണ്ടും ആവർത്തിക്കുക: ലേണിംഗ് നിരക്ക്, epoch എണ്ണം എന്നിവ ക്രമീകരിക്കുക, അതുപോലെ കുറഞ്ഞ നിലവാരമുള്ള ഉദാഹരണങ്ങൾ ഒഴിവാക്കുക.
- വിജയം ഉറപ്പാക്കുക: നിങ്ങളുടെ മോഡൽ ഡൊമെയ്ൻ ചോദ്യങ്ങൾക്ക് കൃത്യമായി ഉത്തരം നൽകുന്നുണ്ടോയെന്നും ശരിയായ കാര്യങ്ങൾ പറയുന്നുണ്ടോയെന്നും ശ്രദ്ധിക്കുക. നിങ്ങളുടെ കമ്പനിയുടെ നയങ്ങൾ തെറ്റായി പറയുകയാണെങ്കിൽ, അത് അമിതമായി പഠിച്ചതിന്റെയോ വേണ്ടത്ര ശ്രദ്ധിക്കാത്തതിന്റെയോ കാരണമാകാം.
GPU-ൽ പ്രശ്നങ്ങളുണ്ടെങ്കിൽ, താഴെ പറയുന്നവ ചെയ്തുനോക്കു:
- “CUDA OOM”: ബാച്ച് സൈസ് കുറയ്ക്കുക, ഗ്രേഡിയന്റ് ചെക്ക്പോയിന്റിംഗ് പ്രവർത്തനക്ഷമമാക്കുക, അല്ലെങ്കിൽ 4-ബിറ്റ് ഉപയോഗിക്കുക. ഇതൊന്നും ശരിയായില്ലെങ്കിൽ, ചെറിയ മോഡലിലേക്ക് മാറുക അല്ലെങ്കിൽ അവസാന epoch-നായി വലിയ GPU വാടകയ്ക്ക് എടുക്കുക.
- “നഷ്ടം സംഭവിക്കുന്നില്ല”: ഡാറ്റ മോശമായതോ വളരെ കുറഞ്ഞതോ ആകാം. ഡാറ്റാ വൈവിധ്യം വർദ്ധിപ്പിക്കുക, ലേണിംഗ് നിരക്ക് കുറയ്ക്കുക, അല്ലെങ്കിൽ നിങ്ങളുടെ LoRA റാങ്കുകൾ ചെറുതാണോയെന്ന് പരിശോധിക്കുക.
- “ഔട്ട്പുട്ടുകൾ മോശമാണ്”: നിർദ്ദേശങ്ങൾ നൽകി ശരിയായ രീതിയിലേക്ക് കൊണ്ടുവരിക. മോഡലുകൾ കാണുന്നത് അനുകരിക്കുന്നു - നന്നായി പരിശീലിപ്പിക്കുക.
വിന്യാസം: ലാബിൽ നിന്ന് ലാപ്ടോപ്പിലേക്ക് (തുടർന്നും)
- LoRA അഡാപ്റ്ററുകൾ എക്സ്പോർട്ട് ചെയ്യുക, ആവശ്യമെങ്കിൽ ലയിപ്പിക്കുക. പോർട്ടബിലിറ്റിക്കായി അഡാപ്റ്ററുകൾ എഡ്ജ് ഉപകരണങ്ങളിൽ നിന്ന് മാറ്റിസ്ഥാപിക്കുക. വേഗതയ്ക്കും എളുപ്പത്തിനുമായി സെർവറുകൾക്കായി ലയിപ്പിക്കുക.
- ഇൻഫെറൻസിനായി ക്വാണ്ടിസൈസ് ചെയ്യുക. നിങ്ങൾ 4-ബിറ്റിലാണ് പരിശീലിപ്പിച്ചതെങ്കിൽ, ലേറ്റൻസിയും വിശ്വാസ്യതയും സന്തുലിതമാക്കാൻ 4-, 5-, 8-ബിറ്റ് ഇൻഫെറൻസ് പരീക്ഷിക്കുക.
- ഗാർഡ് റെയിലുകൾ ചേർക്കുക. ഉദാഹരണങ്ങളുള്ള ഒരു ലളിതമായ പ്രോംപ്റ്റ് റാപ്പർ അത്ഭുതങ്ങൾ സൃഷ്ടിക്കും. അല്ലെങ്കിൽ നിങ്ങളുടെ ഉപയോക്താക്കളിലേക്ക് എത്തുന്നതിന് മുമ്പ് തെറ്റായ കാര്യങ്ങൾ ഫിൽട്ടർ ചെയ്യുന്ന ഒരു ചെറിയ റൂൾസെറ്റ് ചെക്കർ മോഡൽ ഉപയോഗിക്കുക.
ദീർഘകാലത്തേക്ക് WebUI അല്ലെങ്കിൽ CLI തിരഞ്ഞെടുക്കണോ?
- WebUI നിങ്ങളുടെ ഇഷ്ടപ്പെട്ട കോഫി ഷോപ്പ് പോലെയാണ്: എളുപ്പവും വേഗത്തിൽ കാര്യങ്ങൾ ചെയ്യാൻ സാധിക്കുന്നതും കുറഞ്ഞ ബുദ്ധിമുട്ടുള്ളതുമാണ്.
- CLI നിങ്ങളുടെ വീട്ടു അടുക്കള പോലെയാണ്: കൂടുതൽ നിയന്ത്രണങ്ങളും കൂടുതൽ സാധ്യതകളും ഉണ്ട്. നിങ്ങൾ ആഴ്ചയിൽ ഫൈൻ-ട്യൂണിംഗ് ചെയ്യാൻ പോകുകയാണെങ്കിൽ, നിങ്ങൾക്ക് സ്ക്രിപ്റ്റുകൾ, പരീക്ഷണ ട്രാക്കറുകൾ, കോൺഫിഗറേഷനുകൾ എന്നിവ ആവശ്യമായി വരും. WebUI-ൽ ആരംഭിച്ച്, പിന്നീട് CLI-ലേക്ക് മാറുക.
ശ്രദ്ധിക്കുക: Sider.AI-ക്ക് നിങ്ങളെ സഹായിക്കാൻ സാധിക്കും. നിങ്ങളുടെ കോൺഫിഗറേഷനോ ലോഗുകളോ Sider.AI ചാറ്റിലേക്ക് പേസ്റ്റ് ചെയ്താൽ, നിങ്ങൾക്ക് ഏതൊക്കെ പാരാമീറ്ററുകളാണ് മാറ്റേണ്ടതെന്നും, ഏത് ട്യൂട്ടോറിയൽ സ്റ്റെപ്പാണ് നിങ്ങൾ ഒഴിവാക്കിയതെന്നും അറിയാൻ സാധിക്കും. ഇത് നിങ്ങളെ സഹായിക്കുന്ന ഒരു സുഹൃത്തിനെപ്പോലെ പ്രവർത്തിക്കുന്നു. പെട്ടെന്നുള്ള താരതമ്യം: ഏത് ട്യൂട്ടോറിയലാണ് ഏത് ജോലിക്ക് നല്ലത്
- തുടക്കക്കാർക്ക് ഏറ്റവും നല്ലത്: DataCamp-ന്റെ WebUI ഗൈഡ് (വ്യക്തമായ ഘട്ടങ്ങൾ, ആധുനിക മോഡലുകൾ).
- "എനിക്കിപ്പോൾ കാണിച്ചു തരൂ" എന്ന് പറയുന്നവർക്ക് ഏറ്റവും നല്ലത്: YouTube End-to-End (കാഴ്ചയിൽ കാണാൻ സാധിക്കുന്ന രീതി, ക്ലിക്കുകൾ കോപ്പി ചെയ്യുക).
- ഇൻസ്റ്റാളേഷൻ ആവശ്യമില്ലാത്ത പരീക്ഷണങ്ങൾക്ക് ഏറ്റവും നല്ലത്: Medium-ന്റെ Colab ഗൈഡ് (വേഗത്തിൽ പ്രവർത്തിപ്പിക്കുക, കുറഞ്ഞ പണം ചിലവഴിക്കുക).
കൂടുതലായി ചേർക്കാൻ സാധിക്കുന്നവ (നിങ്ങൾ തയ്യാറാകുമ്പോൾ)
- LoRA-യ്ക്ക് അപ്പുറമുള്ള PEFT അഡാപ്റ്ററുകൾ: വ്യത്യസ്ത റാങ്കുകളും ആൽഫകളും പരീക്ഷിക്കുക. ചെറിയ മാറ്റങ്ങൾ, വലിയ ഫലങ്ങൾ.
- പാഠ്യപദ്ധതി ഫൈൻ-ട്യൂണിംഗ്: പൊതുവായ നിർദ്ദേശ ഡാറ്റയിൽ നിന്ന് ആരംഭിച്ച്, പ്രത്യേക ഡൊമെയ്ൻ ഡാറ്റയിലേക്ക് മാറുക.
- മിക്സഡ് പ്രിസിഷനും മെമ്മറി ട്രിക്കുകളും: bf16 പിന്തുണയ്ക്കുന്നുണ്ടെങ്കിൽ; ഫ്ലാഷ് അറ്റൻഷൻ; നിങ്ങളുടെ GPU-യെ സന്തോഷിപ്പിക്കുക.
- വിലയിരുത്തൽ സ്യൂട്ടുകൾ: ഇഷ്ടമുള്ള eval സെറ്റും കുറച്ച് പബ്ലിക് ടാസ്ക്കുകളും ഉണ്ടാക്കുക. നിങ്ങളുടെ വാലിഡേഷൻ സെറ്റും ഡൊമെയ്നില്ലാത്ത ഒരു ചെറിയ സെറ്റും തമ്മിലുള്ള വ്യത്യാസം ട്രാക്ക് ചെയ്തുകൊണ്ട് അമിത ഫിറ്റിംഗ് നിരീക്ഷിക്കുക.
നിങ്ങൾക്ക് മനസ്സിലാകാത്ത കുറച്ച് വാക്കുകൾ
- LoRA: മുഴുവൻ മോഡലിനും പകരം നിങ്ങൾ പരിശീലിപ്പിക്കുന്ന ഭാരം കുറഞ്ഞ അഡാപ്റ്റർ ലെയറുകൾ. ഇത് സമയം ലാഭിക്കുകയും VRAM കുറയ്ക്കുകയും ചെയ്യുന്നു.
- QLoRA: LoRA പോലെ തന്നെ, പക്ഷേ പരിശീലന സമയത്ത് അടിസ്ഥാന വെയ്റ്റുകൾ കംപ്രസ്സ് ചെയ്യുന്നു (ക്വാണ്ടിഫൈസ് ചെയ്യുന്നു).
- അഡാപ്റ്റർ ലയിപ്പിക്കൽ: ലളിതമായ വിന്യാസത്തിനായി അഡാപ്റ്റർ വെയ്റ്റുകൾ അടിസ്ഥാന മോഡലുമായി സംയോജിപ്പിക്കുക.
- ടോക്കണൈസർ: വാക്യങ്ങളെ ടോക്കണുകളായി മാറ്റുന്നത്. തെറ്റായ ടോക്കണൈസർ = പ്രശ്നങ്ങൾ ഉണ്ടാക്കുന്നു.
എന്റെ അഭിപ്രായം: ഏത് ട്യൂട്ടോറിയലാണ് നിങ്ങൾ ആദ്യം ഉപയോഗിക്കേണ്ടത്?
വേഗത്തിൽ വിജയിക്കാൻ നിങ്ങൾ ആഗ്രഹിക്കുന്നുണ്ടെങ്കിൽ, DataCamp ഉപയോഗിച്ച് ആരംഭിക്കുക. YouTube walkthrough-മായി ചേർത്ത് ഇത് ഉപയോഗിക്കുക - കാണുക, ക്ലിക്ക് ചെയ്യുക, വിജയിക്കുക. തുടർന്ന്, നിങ്ങളുടെ രണ്ടാമത്തെ റണ്ണിനായി Colab ഗൈഡ് ഉപയോഗിക്കുക. ഒരു വലിയ ത്രെഡ് വായിക്കുന്നതിനേക്കാൾ നല്ലത് രണ്ട് ചെറിയ റണ്ണുകൾ ചെയ്യുന്നത് വഴി കൂടുതൽ പഠിക്കാൻ സാധിക്കും.
Stern-ന്റെ ഉപസംഹാരം: ഫൈൻ-ട്യൂണിംഗ് ഇപ്പോൾ ചെയ്യാൻ സാധിക്കുന്ന ഒന്നാണ്. LLaMA-Factory ബുദ്ധിമുട്ടുകളെ ലഘൂകരിക്കുന്നു. ഒരു ട്യൂട്ടോറിയൽ തിരഞ്ഞെടുക്കുക, ചെറുതായി ആരംഭിച്ച് ആവർത്തിക്കുക. നിങ്ങളുടെ ഭാവിയിലെ ഫൈൻ-ട്യൂൺ ചെയ്ത മോഡൽ, നിങ്ങളുടെ റീഫണ്ട് പോളിസിയെക്കുറിച്ച് തെറ്റായി ധരിക്കാതിരിക്കാൻ സഹായിക്കും.
നിങ്ങൾ ഉപയോഗിക്കുന്ന ലിങ്കുകൾ
- YouTube: LLaMA-Factory ഫൈൻ-ട്യൂൺ walkthrough.
- DataCamp: LLaMA-Factory WebUI തുടക്കക്കാർക്കുള്ള ഗൈഡ്.
- Medium: Colab അടിസ്ഥാനമാക്കിയുള്ള LLaMA-Factory ക്വിക്ക്സ്റ്റാർട്ട്.
90 സെക്കൻഡിനുള്ളിൽ ചെയ്യേണ്ട കാര്യങ്ങൾ
- DataCamp ഗൈഡ് തിരഞ്ഞെടുത്ത് WebUI സജ്ജീകരിക്കുക.
- ചെറിയ ഡാറ്റാസെറ്റ് തയ്യാറാക്കുക (500–1,000 ജോഡികൾ). വ്യക്തമായി സൂക്ഷിക്കുക.
- QLoRA, 4-ബിറ്റ്, ചെറിയ ബാച്ചുകൾ എന്നിവ ഉപയോഗിച്ച് പരിശീലിപ്പിക്കുക.
- 100 ചോദ്യങ്ങൾ തിരഞ്ഞെടുത്ത് വിലയിരുത്തുക.
- രണ്ടോ മൂന്നോ തവണ ആവർത്തിക്കുക. തുടർന്ന് വലിയ റണ്ണുകളിലേക്കും വലിയ ഡാറ്റയിലേക്കും മാറുക.
ഇപ്പോൾ ഉപയോഗപ്രദമായ എന്തെങ്കിലും ഫൈൻ-ട്യൂൺ ചെയ്യുക. നിങ്ങളുടെ GPU ശബ്ദമുണ്ടാക്കുകയാണെങ്കിൽ, അതിന്റെ അർത്ഥം ബാച്ച് സൈസ് കുറയ്ക്കാനാണ്.
FAQ
Q1:തുടക്കക്കാർക്കുള്ള മികച്ച LLaMA-Factory ട്യൂട്ടോറിയൽ ഏതാണ്?
DataCamp-ൽ നിന്നുള്ള LLaMA-Factory WebUI ഗൈഡ് ഉപയോഗിച്ച് ആരംഭിക്കുക - ഇത് വ്യക്തവും പുതിയതുമാണ്, കൂടാതെ Llama 3 ഉപയോഗിക്കുന്നു. YouTube എൻഡ്-ടു-എൻഡ് walkthrough-മായി ചേർത്ത് ഉപയോഗിക്കുക.
Q2:Google Colab-ൽ LLaMA-Factory മോഡലുകൾ ഫൈൻ-ട്യൂൺ ചെയ്യാൻ സാധിക്കുമോ?
Colab അടിസ്ഥാനമാക്കിയുള്ള ട്യൂട്ടോറിയൽ ഉപയോഗിച്ച് LLaMA-Factory ഫൈൻ-ട്യൂണിംഗ് എളുപ്പത്തിൽ ചെയ്യാൻ സാധിക്കും. നിങ്ങളുടെ സെഷൻ സമയവും VRAM പരിധികളും ശ്രദ്ധിക്കുക.
Q3:LLaMA-Factory-യിൽ LoRA അല്ലെങ്കിൽ QLoRA ഉപയോഗിക്കണോ?
VRAM-ൽ പരിമിതികളുണ്ടെങ്കിൽ, QLoRA ഉപയോഗിക്കുന്നതാണ് നല്ലത്.
Q4:പരിശീലന സമയത്ത് CUDA മെമ്മറി പ്രശ്നങ്ങൾ എങ്ങനെ പരിഹരിക്കാം?
നിങ്ങളുടെ ബാച്ച് സൈസ് കുറയ്ക്കുക, ഗ്രേഡിയന്റ് ചെക്ക്പോയിന്റിംഗ് ഓണാക്കുക, 4-ബിറ്റ് QLoRA ഉപയോഗിക്കുക. ഇതൊന്നും നടന്നില്ലെങ്കിൽ, VRAM-ൽ കൂടുതൽ സ്പേസുള്ള GPU വാടകയ്ക്കെടുക്കുക.
Q5:എന്റെ LLaMA-Factory ഫൈൻ-ട്യൂൺ ശരിയായി പ്രവർത്തിച്ചോ എന്ന് എങ്ങനെ അറിയാം?
ചെറിയതും മികച്ചതുമായ ഒരു ഇവാലുവേഷൻ സെറ്റ് ഉണ്ടാക്കി ഫൈൻ-ട്യൂണിംഗിന് മുമ്പും ശേഷവുമുള്ള ഔട്ട്പുട്ടുകൾ താരതമ്യം ചെയ്യുക.