What’s the best LLaMA-Factory tutorial for true beginners?

Start with the LLaMA-Factory WebUI guide from DataCamp—it’s clear, current, and uses Llama 3. Pair it with the YouTube end-to-end walkthrough for a visual sanity check so you know what success looks like before you click train.

Can I fine-tune LLaMA-Factory models on Google Colab?

Yes, the Colab-based tutorial makes LLaMA-Factory fine-tuning surprisingly painless. Just watch your session time and VRAM limits, save checkpoints often, and keep datasets small for your first run.

Should I use LoRA or QLoRA with LLaMA-Factory?

If you’re limited on VRAM, QLoRA is your friend—4-bit training, smaller memory footprint. If you’ve got more GPU headroom, standard LoRA is simpler and still very efficient for fine-tuning.

How do I fix CUDA out-of-memory errors during training?

Lower your batch size, turn on gradient checkpointing, and use 4-bit QLoRA. If that still fails, try a smaller base model or rent a GPU with more VRAM for the heaviest step.

How do I know if my LLaMA-Factory fine-tune actually worked?

Build a small, realistic evaluation set and compare outputs before and after fine-tuning. If your model answers faster, more accurately, and doesn’t hallucinate your company’s vacation policy, you’re on the right track.

ಅತ್ಯುತ್ತಮ LLaMA-Factory ಟ್ಯುಟೋರಿಯಲ್‌ಗಳು: ನಾನು ಫೈನ್-ಟ್ಯೂನ್ ಮಾಡಿದ್ದೇನೆ, ಆದ್ದರಿಂದ ನೀವು ಮಾಡಬೇಕಾಗಿಲ್ಲ

ದೊಡ್ಡ ಭಾಷಾ ಮಾದರಿಯನ್ನು (large language model) ಭ್ರಮೆಗಳನ್ನು ನಿಲ್ಲಿಸಲು ಮತ್ತು ನಿಮ್ಮ ನಿರ್ದಿಷ್ಟ, ಕಡಿಮೆ ಸಂಬಳ ಪಡೆಯುವ ಸಹಾಯಕನಂತೆ ವರ್ತಿಸಲು ಮನವೊಲಿಸಲು ನೀವು ಎಂದಾದರೂ ಪ್ರಯತ್ನಿಸಿದ್ದೀರಾ? 2025 ರಲ್ಲಿ ಫೈನ್-ಟ್ಯೂನಿಂಗ್ (fine-tuning) ಹೇಗಿರುತ್ತದೆಂದರೆ, ಪೋಷಕರಾಗಿದ್ದಂತೆ, ಆದರೆ YAML ನೊಂದಿಗೆ. ಒಳ್ಳೆಯ ಸುದ್ದಿ ಏನೆಂದರೆ: LLaMA-Factory ಸಂಪೂರ್ಣ ಪ್ರಕ್ರಿಯೆಯನ್ನು ಆಶ್ಚರ್ಯಕರವಾಗಿ... ಕೆಟ್ಟದ್ದಲ್ಲದಂತೆ ಮಾಡುತ್ತದೆ. ಉತ್ತಮ ಸುದ್ದಿ: ನಾನು ಉತ್ತಮ LLaMA-Factory ಟ್ಯುಟೋರಿಯಲ್‌ಗಳನ್ನು ಹುಡುಕಲು ಅಡಾಪ್ಟರ್‌ಗಳು (adapters) ಮತ್ತು ಟೋಕನೈಜರ್‌ಗಳ(tokenizers) ಮೇಲೆ ಒಂದು ವಾರವನ್ನು ಕಳೆದಿದ್ದೇನೆ, ಆದ್ದರಿಂದ ನೀವು ಕಷ್ಟಪಡಬೇಕಾಗಿಲ್ಲ.

ಯಾವ ಸಂಪನ್ಮೂಲಗಳು ಉತ್ತಮ, ಯಾವಾಗ ಯಾವುದನ್ನು ಬಳಸಬೇಕು ಮತ್ತು ಮೂರು ಸಾಮಾನ್ಯ ಮುಖಭಂಗದ ಕ್ಷಣಗಳನ್ನು ಹೇಗೆ ತಪ್ಪಿಸುವುದು ಎಂಬುದರ ಕುರಿತು ಇಲ್ಲಿ ಯಾವುದೇ BS ಇಲ್ಲದ, Joanna-ಶೈಲಿಯ ಮಾರ್ಗದರ್ಶಿಯಿದೆ (ಸ್ಪಾಯ್ಲರ್: VRAM ಕೇವಲ ಸಲಹೆಯಲ್ಲ, ಅದು ಬಜೆಟ್).

ನೀವು ಇಲ್ಲಿಗೆ ಏಕೆ ಬಂದಿದ್ದೀರಿ (ಮತ್ತು ನೀವು ನಿಜವಾಗಿ ಏನು ಬಯಸುತ್ತೀರಿ)

ವಿತರಣಾ ತರಬೇತಿಯ(distributed training) ಕುರಿತು ಪ್ರಬಂಧವನ್ನು ಬರೆಯದೆ ನೀವು Llama 2 ಅಥವಾ Llama 3 ಮಾದರಿಗಳನ್ನು ಫೈನ್-ಟ್ಯೂನ್ (fine-tune) ಮಾಡಲು ಬಯಸುತ್ತೀರಿ.

LLaMA-Factory ವೆಬ್ UI (WebUI) ಮತ್ತು CLI ಮತ್ತು Google Colab ಮ್ಯಾಜಿಕ್ ಅನ್ನು ಹೊಂದಿದೆ ಎಂದು ನೀವು ಕೇಳಿದ್ದೀರಿ.

ನೀವು ಕ್ಲೌಡ್ GPU ಫಾರ್ಮ್‌ನಲ್ಲಿ (cloud GPU farm) ವಾಸಿಸುತ್ತೀರಿ ಎಂದು ಭಾವಿಸದ ಟ್ಯುಟೋರಿಯಲ್‌ಗಳನ್ನು ನೀವು ಬಯಸುತ್ತೀರಿ.

ಇದು ಹೇಗೆ-ಮಾಡಬೇಕೆಂಬುದರ ಕುರಿತು ಪ್ರಾಯೋಗಿಕ ಸಲಹೆಗಳೊಂದಿಗೆ ಉತ್ತಮ/ಉನ್ನತ ಪಟ್ಟಿಯಾಗಿದೆ. ನಾನು ಟ್ಯುಟೋರಿಯಲ್‌ಗಳನ್ನು ಸ್ಪಷ್ಟತೆ, ಆಧುನಿಕತೆ (Llama 3, QLoRA, 4-ಬಿಟ್, ವೆಬ್ UI ವರ್ಕ್‌ಫ್ಲೋಗಳು), ಮತ್ತು ಅವು ನಿಮ್ಮನ್ನು ಶೂನ್ಯದಿಂದ "ನನ್ನ ಮಾದರಿ ನಿಜವಾಗಿ ಕಾರ್ಯನಿರ್ವಹಿಸುತ್ತದೆ" ಎಂಬ ಹಂತಕ್ಕೆ ತಲುಪಿಸುತ್ತದೆಯೇ ಎಂಬುದರ ಆಧಾರದ ಮೇಲೆ ಶ್ರೇಣೀಕರಿಸುತ್ತಿದ್ದೇನೆ. ಪ್ರಾರಂಭಿಸೋಣ.

ಸದ್ಯಕ್ಕೆ ಇರುವ ಅತ್ಯುತ್ತಮ LLaMA-Factory ಟ್ಯುಟೋರಿಯಲ್‌ಗಳ ಕಿರುಪಟ್ಟಿ:

ದೃಶ್ಯ ಕಲಿಯುವವರಿಗೆ (ಮತ್ತು ಅವಸರದ ಜನರಿಗೆ) YouTube ಕ್ರ್ಯಾಶ್ ಕೋರ್ಸ್

YouTube ನಲ್ಲಿ "LLaMA Factory ಬಳಸಿ ಯಾರಾದರೂ LLM ಗಳನ್ನು ಫೈನ್ ಟ್ಯೂನ್ ಮಾಡಬಹುದು: ಪ್ರಾರಂಭದಿಂದ ಕೊನೆಯವರೆಗೆ". ನಿಮ್ಮ ಗಮನದ ಅವಧಿ TikTok ನಂತಿದ್ದರೆ ಮತ್ತು ನಿಮ್ಮ GPU ಬಜೆಟ್ ಕಾಫಿಯಂತಿದ್ದರೆ, ಇದು ನಿಮಗಾಗಿ ಇರುವ ಟ್ಯುಟೋರಿಯಲ್ ಆಗಿದೆ. ಇದು ಸೆಟಪ್(setup), ಡೇಟಾ ತಯಾರಿಕೆ ಮತ್ತು LLaMA-Factory ಫ್ಲೋದಲ್ಲಿ ಪ್ರಾರಂಭದಿಂದ ಕೊನೆಯವರೆಗೆ ಹೇಗೆ ಮಾಡಬೇಕೆಂದು ವಿವರಿಸುತ್ತದೆ. ಇದು ಆರಂಭಿಕರಿಗಾಗಿ ಸುಲಭವಾಗಿದೆ, ವೆಬ್ UI ಅನ್ನು ತೋರಿಸುತ್ತದೆ ಮತ್ತು ಯಾವ ಬಟನ್‌ಗಳನ್ನು ಕ್ಲಿಕ್ ಮಾಡಬೇಕು ಮತ್ತು ಏಕೆ ಎಂಬುದನ್ನು ಒಳಗೊಂಡಿದೆ. ಪ್ರಕ್ರಿಯೆಯನ್ನು ಲೈವ್ ಆಗಿ ನೋಡಲು ಮತ್ತು ಆಜ್ಞೆಯನ್ನು ನಕಲಿಸಲು ಪ್ರತಿ 12 ಸೆಕೆಂಡುಗಳಿಗೆ ವಿರಾಮಗೊಳಿಸಲು ಇದು ಅದ್ಭುತವಾಗಿದೆ.

ಇದು ಅತ್ಯುತ್ತಮವಾಗಿರುವುದು: ದೃಶ್ಯ ಕಲಿಯುವವರು, ವಾರಾಂತ್ಯದ ಯೋಜನೆಗಳು, "ನನಗೆ ಕೆಲಸ ಮಾಡುವ ವಿಷಯವನ್ನು ತೋರಿಸಿ". ಇದರಲ್ಲಿ ಗಮನಹರಿಸಬೇಕಾದದ್ದು: ನಿಖರವಾದ ಆವೃತ್ತಿಗಳು ಮತ್ತು ಫ್ಲ್ಯಾಗ್‌ಗಳು ಬದಲಾಗಿರಬಹುದು - ನೀವು ದೋಷವನ್ನು ಎದುರಿಸಿದರೆ ರೆಪೊ ಡಿಫಾಲ್ಟ್‌ಗಳನ್ನು (repo defaults) ಎರಡು ಬಾರಿ ಪರಿಶೀಲಿಸಿ.

ಮೊದಲ ಬಾರಿಗೆ ಫೈನ್-ಟ್ಯೂನರ್‌ಗಳಿಗಾಗಿ ಹಂತ-ಹಂತದ ವೆಬ್ UI ಮಾರ್ಗದರ್ಶಿ

DataCamp ನಿಂದ "LLaMA-Factory ವೆಬ್ UI ಬಿಗಿನರ್ಸ್ ಗೈಡ್: ಫೈನ್-ಟ್ಯೂನಿಂಗ್ LLM ಗಳು". ಇದು ಒಂದು ಸ್ವಚ್ಛವಾದ, ಲಿಖಿತ ವಿವರಣೆಯಾಗಿದೆ: ಇನ್‌ಸ್ಟಾಲ್(install), Llama 3 8B ಅನ್ನು ಲೋಡ್ ಮಾಡಿ, LoRA ಅಥವಾ QLoRA ಅನ್ನು ಆಯ್ಕೆಮಾಡಿ, ಡೇಟಾಸೆಟ್(dataset) ಅನ್ನು ಫೀಡ್ ಮಾಡಿ, ತರಬೇತಿ ನೀಡಿ, ಮೌಲ್ಯಮಾಪನ ಮಾಡಿ, ರಫ್ತು ಮಾಡಿ. ನೀವು ಸ್ಕ್ರೀನ್‌ಶಾಟ್‌ಗಳು(screenshots), ಕಾನ್ಫಿಗ್‌ಗಳು(configs) ಮತ್ತು ಸನ್ನಿವೇಶವನ್ನು ಪಡೆಯುತ್ತೀರಿ. ನೀವು CLI ನಿಂದ ಎಂದಾದರೂ ಕಿರುಚಲ್ಪಟ್ಟಿದ್ದರೆ, ಇದು ಶಬ್ದ-ರದ್ದತಿ ಹೆಡ್‌ಫೋನ್‌ಗಳಂತೆ ಭಾಸವಾಗುತ್ತದೆ.

ಇದು ಅತ್ಯುತ್ತಮವಾಗಿರುವುದು: ಆರಂಭಿಕರು, ರಚನೆಯನ್ನು ಬಯಸುವವರು, ಡಾಕರ್-ಕಂಪೋಸ್ ಕಾನ್ಫೆಟ್ಟಿಗೆ ಅಲರ್ಜಿಯಿರುವ ಯಾರಾದರೂ. ಇದರಲ್ಲಿ ಗಮನಹರಿಸಬೇಕಾದದ್ದು: ಕ್ಲೌಡ್ ಸೆಟಪ್(cloud setup) ಮತ್ತು VRAM ಅಗತ್ಯಗಳು ಎಲ್ಲರಿಗೂ ಒಂದೇ ಆಗಿರುವುದಿಲ್ಲ - ನೀವು ಅದೇ ಹಾರ್ಡ್‌ವೇರ್‌ನಲ್ಲಿ ಇಲ್ಲದಿದ್ದರೆ ಬದಲಾವಣೆಗಳನ್ನು ನಿರೀಕ್ಷಿಸಿ.

Colab-ಸ್ನೇಹಿ, ತ್ವರಿತ-ಪ್ರಾರಂಭದ ರೆಸಿಪಿ

Medium ನಲ್ಲಿ "ಫೈನ್-ಟ್ಯೂನಿಂಗ್ ಅನ್ನು ಸುಲಭಗೊಳಿಸಲಾಗಿದೆ: LLaMA ಫ್ಯಾಕ್ಟರಿಗೆ ನಿಮ್ಮ ಮಾರ್ಗದರ್ಶಿ". ಇದು Llama 3 ನೊಂದಿಗೆ LoRA ಅನ್ನು ಬಳಸುವ ಪ್ರಾಯೋಗಿಕ Colab ಆಧಾರಿತ ಟ್ಯುಟೋರಿಯಲ್ ಆಗಿದೆ. ನೀವು ಸ್ಥಳೀಯ ಇನ್‌ಸ್ಟಾಲ್‌ಗಳನ್ನು (local installs) ತಪ್ಪಿಸಲು ಮತ್ತು ಉಚಿತ/ಕಡಿಮೆ GPU ಸಮಯದೊಂದಿಗೆ ಪರೀಕ್ಷಿಸಲು ಬಯಸಿದರೆ ಇದು ಒಳ್ಳೆಯದು. ನೋಟ್‌ಬುಕ್ ಅನ್ನು ನಕಲಿಸಿ, ಡೇಟಾಸೆಟ್(dataset) ಮಾರ್ಗವನ್ನು ಬದಲಾಯಿಸಿ, ಮತ್ತು ಬೂಮ್: ನಿಮ್ಮ ಮೊದಲ ಮಾದರಿ ಮಗು ಜನಿಸುತ್ತದೆ. ಇದು ಒಂದು ಉತ್ತಮ ರೀತಿಯಲ್ಲಿ ಅಭಿಪ್ರಾಯಗಳನ್ನು ಹೊಂದಿದೆ: LoRA, Colab, ಮತ್ತು ಕನಿಷ್ಠ ಗದ್ದಲ.

ಇದು ಅತ್ಯುತ್ತಮವಾಗಿರುವುದು: Colab ಬಳಕೆದಾರರು, ಬಜೆಟ್ GPU ಪರಿಶೋಧಕರು, "ನನಗೆ ಒಂದು ಗಂಟೆಯಲ್ಲಿ ಕೆಲಸ ಮಾಡುವ ಏನಾದರೂ ಬೇಕು". ಇದರಲ್ಲಿ ಗಮನಹರಿಸಬೇಕಾದದ್ದು: ಉಚಿತ Colab ನಿಮ್ಮನ್ನು ಮಿತಿಗೊಳಿಸುತ್ತದೆ. ತರಬೇತಿ ಸಮಯ ಮೀರುತ್ತದೆ ಅಥವಾ ಥ್ರೊಟಲ್ ಆಗಬಹುದು. ಆದಷ್ಟು ಬೇಗ ಚೆಕ್‌ಪಾಯಿಂಟ್‌ಗಳನ್ನು (checkpoints) ಉಳಿಸಿ.

ಸರಿ, ಆದರೆ LLaMA-Factory ನಿಜವಾಗಿ ನನಗಾಗಿ ಏನು ಮಾಡುತ್ತಿದೆ? LLaMA-Factory ಯನ್ನು ಫೈನ್-ಟ್ಯೂನಿಂಗ್‌ನ IKEA ಎಂದು ಯೋಚಿಸಿ: ಇದು ನಿಮಗೆ ಎಲ್ಲಾ ಭಾಗಗಳನ್ನು ನೀಡುತ್ತದೆ, ಅವುಗಳಲ್ಲಿ ಹೆಚ್ಚಿನವುಗಳಿಗೆ ಲೇಬಲ್ ಮಾಡುತ್ತದೆ ಮತ್ತು ನಿಮ್ಮ ಸ್ವಂತ ಸಭ್ಯವಾಗಿ ಕಾನ್ಫಿಗರ್ ಮಾಡಲಾದ LLM ಅನ್ನು ಜೋಡಿಸಲು ನಿಮಗೆ ಒಂದು ಸಣ್ಣ ಅಲೆನ್ ಕೀಲಿಯನ್ನು (ವೆಬ್ UI) ನೀಡುತ್ತದೆ. ಇದು QLoRA ಕ್ವಾಂಟೈಸೇಶನ್(quantization), ಅಡಾಪ್ಟರ್‌ಗಳು (adapters), ಟೋಕನೈಜರ್‌ಗಳಂತಹ (tokenizers) ಭಯಾನಕ ಭಾಗಗಳನ್ನು ಪ್ರಿಸೆಟ್‌ಗಳು (presets) ಮತ್ತು ಸೂಕ್ತ ಡೀಫಾಲ್ಟ್‌ಗಳ ಹಿಂದೆ ಮರೆಮಾಡುತ್ತದೆ. ನಿಮಗೆ ಇನ್ನೂ ಡೇಟಾಸೆಟ್(dataset) ಮತ್ತು ಸಭ್ಯತೆಯುಳ್ಳ GPU ಅಗತ್ಯವಿದೆ, ಆದರೆ ನೀವು ಮರದ ದಿಮ್ಮಿಗಳಿಂದ ಸೋಫಾವನ್ನು ನಿರ್ಮಿಸುವ ಅಗತ್ಯವಿಲ್ಲ.

ನಿಮ್ಮ ಬಳಕೆಯ ಪ್ರಕರಣಕ್ಕೆ ಸರಿಯಾದ ಟ್ಯುಟೋರಿಯಲ್ ಅನ್ನು ಹೇಗೆ ಆರಿಸುವುದು

ನಾನು ನನ್ನ ಜೀವನದಲ್ಲಿ ಯಾವುದನ್ನೂ ಫೈನ್-ಟ್ಯೂನ್ (fine-tune) ಮಾಡಿಲ್ಲ: DataCamp ವೆಬ್ UI ಮಾರ್ಗದರ್ಶಿಯೊಂದಿಗೆ ಪ್ರಾರಂಭಿಸಿ, ನಂತರ YouTube ವಿವರಣೆಯನ್ನು ವೀಕ್ಷಿಸಿ. ಒಂದು ನಿಮಗೆ ಏನು ಕ್ಲಿಕ್ ಮಾಡಬೇಕೆಂದು ತೋರಿಸುತ್ತದೆ, ಇನ್ನೊಂದು ಅದು ನಿಜವಾಗಿ ಕೆಲಸ ಮಾಡುವಾಗ ಹೇಗಿರುತ್ತದೆ (ಮತ್ತು ಎಲ್ಲಿ ಅನುಗ್ರಹದಿಂದ ವಿಫಲಗೊಳ್ಳುತ್ತದೆ) ಎಂಬುದನ್ನು ತೋರಿಸುತ್ತದೆ.

ನನಗೆ ಬಜೆಟ್‌ನಲ್ಲಿ ತ್ವರಿತ POC ಅಗತ್ಯವಿದೆ: Colab ಟ್ಯುಟೋರಿಯಲ್ ಬಳಸಿ. ನಿಮ್ಮ ಡೇಟಾಸೆಟ್(dataset) ಅನ್ನು ಚಿಕ್ಕದಾಗಿ ಮತ್ತು ನಿಮ್ಮ ನಿರೀಕ್ಷೆಗಳನ್ನು ಕಡಿಮೆ ಇಟ್ಟುಕೊಳ್ಳಿ. ನಂತರ ಅಡಾಪ್ಟರ್ ಅನ್ನು ರಫ್ತು ಮಾಡಿ ಮತ್ತು ನಿಮ್ಮ ಸ್ಥಳೀಯ ಯಂತ್ರ ಅಥವಾ ಅಗ್ಗದ ಕ್ಲೌಡ್‌ನಲ್ಲಿ ಪರೀಕ್ಷಿಸಿ.

ನಾನು ಇದನ್ನು ವರ್ಕ್‌ಸ್ಟೇಷನ್(workstation) ಅಥವಾ ಕ್ಲೌಡ್ GPU ನಲ್ಲಿ "ಸರಿಯಾಗಿ" ಮಾಡಲು ಬಯಸುತ್ತೇನೆ: ಪರಿಕಲ್ಪನೆಗಳನ್ನು ಕಲಿಯಲು ವೆಬ್ UI ಟ್ಯುಟೋರಿಯಲ್‌ನೊಂದಿಗೆ ಪ್ರಾರಂಭಿಸಿ, ನಂತರ CLI ಗೆ ಸರಿಸಿ ಇದರಿಂದ ನೀವು ಪ್ರಯೋಗಗಳನ್ನು ಸ್ಕ್ರಿಪ್ಟ್ ಮಾಡಬಹುದು ಮತ್ತು ವೃತ್ತಿಪರರಂತೆ ರನ್‌ಗಳನ್ನು ಟ್ರ್ಯಾಕ್ ಮಾಡಬಹುದು. ನಿಮ್ಮ VRAM ಬಾಗದಿದ್ದರೆ 4-ಬಿಟ್ ದಕ್ಷತೆಗಾಗಿ QLoRA ಅನ್ನು ಬಳಸಿ.

ಐದು ನಿಮಿಷಗಳ ಕ್ರ್ಯಾಶ್ ಕೋರ್ಸ್: LLaMA-Factory ಅಗತ್ಯಗಳು

ವೆಬ್ UI ವಿರುದ್ಧ CLI: ವೆಬ್ UI ಕಲಿಯಲು ವೇಗವಾಗಿದೆ, ಮೊದಲ ರನ್‌ಗಳು ಮತ್ತು ಸರಿಯಾದ ಕ್ರಮಗಳಿಗಾಗಿ ಉತ್ತಮವಾಗಿದೆ. ನಿಮ್ಮ ಟ್ರ್ಯಾಕ್‌ಪ್ಯಾಡ್ ಅಳದೆ ಬ್ಯಾಚ್(batch), ಆಟೋಮೇಟ್ (automate) ಮತ್ತು ಆವೃತ್ತಿ ಪ್ರಯೋಗಗಳನ್ನು ಮಾಡಲು CLI ನಿಮಗೆ ಸಹಾಯ ಮಾಡುತ್ತದೆ.

LoRA ವಿರುದ್ಧ QLoRA: LoRA ಹಗುರವಾದ ಅಡಾಪ್ಟರ್ ಲೇಯರ್‌ಗಳನ್ನು (adapter layers) ಸೇರಿಸುತ್ತದೆ - ವೇಗ ಮತ್ತು ದಕ್ಷತೆ. QLoRA ಕ್ವಾಂಟೈಸೇಶನ್ (quantization) ಅನ್ನು ಸೇರಿಸುತ್ತದೆ ಆದ್ದರಿಂದ ನೀವು ಸಣ್ಣ GPU ಗಳಲ್ಲಿ ದೊಡ್ಡ ಮಾದರಿಗಳನ್ನು ಫೈನ್-ಟ್ಯೂನ್ (fine-tune) ಮಾಡಬಹುದು. ಇದು ತರಬೇತಿಯ IKEA ಪ್ಯಾಕ್-ಫ್ಲಾಟ್ ಆವೃತ್ತಿಯಾಗಿದೆ.

ಡೇಟಾಸೆಟ್‌ಗಳು (Datasets): ಅದನ್ನು ಕಟ್ಟುನಿಟ್ಟಾಗಿ ಮತ್ತು ಸ್ವಚ್ಛವಾಗಿ ಇರಿಸಿ. ನಿಮ್ಮ ಡೇಟಾಸೆಟ್(dataset) ನಿಮ್ಮ ಕಾಲೇಜು ಪ್ರಬಂಧ ಡ್ರಾಫ್ಟ್‌ಗಳಂತೆ ಕಾಣಿಸಿಕೊಂಡರೆ, ನಿಮ್ಮ ಮಾದರಿಯು ಸಹ ಹಾಗೆಯೇ ಆಗುತ್ತದೆ.

ಚೆಕ್‌ಪಾಯಿಂಟ್‌ಗಳು (Checkpoints) ಮತ್ತು ಮೌಲ್ಯಮಾಪನ: ಆಗಾಗ್ಗೆ ಉಳಿಸಿ. ಬೇಗನೆ ಮೌಲ್ಯಮಾಪನ ಮಾಡಿ. ಹೌದು, ನಿಮ್ಮ ಮಾದರಿಯು "ಕಲಿಯುತ್ತಿದೆ", ಆದರೆ ಅದು ನೀವು ಅಂದುಕೊಂಡದ್ದನ್ನು ಕಲಿಯುತ್ತಿದೆಯೇ? ಮಾರ್ಕರ್‌ಗಳಿರುವ ಮಗುವಿನಂತೆ, ಮೇಲ್ವಿಚಾರಣೆ ಮುಖ್ಯ.

ಸ್ಟರ್ನ್-ಶೈಲಿಯ ಮಿನಿ-ಸೆಟಪ್ ಮಾರ್ಗದರ್ಶಿ (ಯಾವುದೇ ಟ್ಯುಟೋರಿಯಲ್‌ನೊಂದಿಗೆ ಬಳಸಲು)

ನಿಮ್ಮ ಮಾದರಿಯನ್ನು ಆಯ್ಕೆಮಾಡಿ: Llama 3 8B ಸ್ನೇಹಪರ ಪ್ರಾರಂಭವಾಗಿದೆ. ಚಿಕ್ಕದನ್ನು ಬಯಸುತ್ತೀರಾ? ತರಬೇತಿ ನೋವನ್ನು ಕಡಿಮೆ ಮಾಡಲು ಸೂಚನಾ-ಟ್ಯೂನ್ಡ್ 7-8B ರೂಪಾಂತರವನ್ನು ಪ್ರಯತ್ನಿಸಿ.

ನಿಮ್ಮ ಬಜೆಟ್ ಅನ್ನು ನಿರ್ಧರಿಸಿ: 16GB VRAM ಗಿಂತ ಕಡಿಮೆ? QLoRA ಗೆ ಹೋಗಿ. ಸುಮಾರು 24GB? LoRA ಆರಾಮದಾಯಕವಾಗಿದೆ. 48GB+? ನೀವು ಅಲಂಕಾರಿಕವಾಗಿದ್ದೀರಿ; ನಿಮಗೆ ತಿಳಿದಿದ್ದರೆ ದೊಡ್ಡ ಸನ್ನಿವೇಶ ವಿಂಡೋಗಳನ್ನು ಅಥವಾ ಪೂರ್ಣ ಫೈನ್‌ಟ್ಯೂನ್‌ಗಳನ್ನು (finetunes) ಪರಿಗಣಿಸಿ.

ಡೇಟಾವನ್ನು ತಯಾರಿಸಿ: ಸ್ಪಷ್ಟ ಪ್ರಾಂಪ್ಟ್(prompt)/ರೆಸ್ಪಾನ್ಸ್ (response) ಕ್ಷೇತ್ರಗಳೊಂದಿಗೆ JSON ಅಥವಾ CSV ಬಳಸಿ. ಸ್ಕೇಲಿಂಗ್ ಮಾಡುವ ಮೊದಲು 2-10K ಉತ್ತಮ ಗುಣಮಟ್ಟದ ಉದಾಹರಣೆಗಳೊಂದಿಗೆ ಪ್ರಾರಂಭಿಸಿ.

ನಿಮ್ಮ ಮಾರ್ಗವನ್ನು ಆರಿಸಿ: ವೆಬ್ UI (ಸುಲಭವಾದದ್ದು) ಅಥವಾ CLI (ಉತ್ತಮವಾಗಿ ಸ್ಕೇಲ್ ಆಗುತ್ತದೆ). ಮೇಲಿನ ಟ್ಯುಟೋರಿಯಲ್‌ಗಳು ಎರಡೂ ಶೈಲಿಗಳನ್ನು ತೋರಿಸುತ್ತವೆ: YouTube ಮತ್ತು DataCamp ಮಾರ್ಗದರ್ಶಿಗಳು ವೆಬ್ UI ಕಡೆಗೆ ವಾಲುತ್ತವೆ; ಮಧ್ಯಮ ತುಣುಕು ನೋಟ್‌ಬುಕ್/CLI ಹೈಬ್ರಿಡ್ ಕಡೆಗೆ ವಾಲುತ್ತದೆ.

ಸ್ಮಾರ್ಟ್ ಆಗಿ ತರಬೇತಿ ನೀಡಿ: ಚಿಕ್ಕದಾಗಿ ಪ್ರಾರಂಭಿಸಿ - ಕೆಲವು ಎಪೋಕ್‌ಗಳು (epochs), ಹೆಚ್ಚಿನ ಕಲಿಕೆಯ ದರ, ಸಣ್ಣ ಉಪವಿಭಾಗ. 10-20 ನಿಮಿಷಗಳಲ್ಲಿ ಸುಧಾರಿಸದಿದ್ದರೆ, ಏನನ್ನಾದರೂ ಬದಲಾಯಿಸಿ ಮತ್ತು ಮರುಪ್ರಯತ್ನಿಸಿ. ಕುರುಡು ನಂಬಿಕೆಗಿಂತ ಪುನರಾವರ್ತನೆ ಉತ್ತಮ.

ಸಂಶಯವಾದಿಯಂತೆ ಮೌಲ್ಯಮಾಪನ ಮಾಡಿ: ನೈಜ ಬಳಕೆಯನ್ನು ಪ್ರತಿಬಿಂಬಿಸುವ 50-100 ಉದಾಹರಣೆಗಳ ಪರೀಕ್ಷಾ ಸೆಟ್ ಅನ್ನು ನಿರ್ಮಿಸಿ. ಕಠಿಣ ಪ್ರಶ್ನೆಗಳನ್ನು ಕೇಳಿ. ಸತ್ಯಕ್ಕೆ ಪ್ರತಿಫಲ ನೀಡಿ, ವಾಚಾಳಿತನಕ್ಕಲ್ಲ.

ಅತ್ಯುತ್ತಮ ಟ್ಯುಟೋರಿಯಲ್‌ಗಳನ್ನು ಶ್ರೇಣೀಕರಿಸುವುದು (ಮತ್ತು ಏಕೆ)

DataCamp ನ LLaMA-Factory ವೆಬ್ UI ಮಾರ್ಗದರ್ಶಿ - ಒಟ್ಟಾರೆ ಅತ್ಯುತ್ತಮ ಲಿಖಿತ ವಿವರಣೆ

ಇದು ಏಕೆ ಉತ್ತಮವಾಗಿದೆ: ಇದು ಇತ್ತೀಚಿನದು, ಇದು Llama 3 ಅನ್ನು ಬಳಸುತ್ತದೆ ಮತ್ತು ಅದು ನಿಮ್ಮನ್ನು ಸಿದ್ಧಾಂತದಲ್ಲಿ ಮುಳುಗಿಸುವುದಿಲ್ಲ. ಇದು ನೀವು ನಿಜವಾಗಿ ಬಯಸುವ "ಅಲೆನ್ ಕೀಲಿಯೊಂದಿಗೆ ಇದನ್ನು ಜೋಡಿಸಿ" ಪಾಠವಾಗಿದೆ.

ಯಾರು ಇದನ್ನು ಬಳಸಬೇಕು: ಫೈನ್-ಟ್ಯೂನಿಂಗ್‌ಗೆ (fine-tuning) ಅಥವಾ ವೆಬ್ UI ಗೆ ಹೊಸಬರಾಗಿರುವ ಯಾರಾದರೂ. ಇದು ನಿಜವಾದ ಔಟ್‌ಪುಟ್‌ನೊಂದಿಗೆ ಆತ್ಮವಿಶ್ವಾಸವನ್ನು ಹೆಚ್ಚಿಸುತ್ತದೆ.

YouTube ನ ಪ್ರಾರಂಭದಿಂದ ಕೊನೆಯವರೆಗಿನ ವೀಡಿಯೊ - ಅತ್ಯುತ್ತಮ ದೃಶ್ಯ ಪ್ರೈಮರ್(primer) ಮತ್ತು ವೇಗವರ್ಧಕ

ಇದು ಏಕೆ ಉತ್ತಮವಾಗಿದೆ: ನೀವು ಫ್ಲೋ (flow), ವೇಗ ಮತ್ತು ದೋಷಗಳನ್ನು ನೋಡುತ್ತೀರಿ. ನೀವು ಕ್ಲಿಕ್ ಮಾಡುವ ಮೊದಲು ಪರದೆಯ ಮೇಲೆ ಸ್ನೇಹಿತರಿರುವ ಹತ್ತಿರದ ವಿಷಯವಾಗಿದೆ.

ಯಾರು ಇದನ್ನು ಬಳಸಬೇಕು: ದೃಶ್ಯ ಕಲಿಯುವವರು, ಅವಸರದ ನಿರ್ಮಾತೃಗಳು, ವಾರಾಂತ್ಯದ ಟಿಂಕರ್‌ಗಳು.

Medium ನ Colab ಮಾರ್ಗದರ್ಶಿ - ಶೂನ್ಯ-ಇನ್‌ಸ್ಟಾಲ್ ಪ್ರಯೋಗಗಳಿಗೆ ಅತ್ಯುತ್ತಮ

ಇದು ಏಕೆ ಉತ್ತಮವಾಗಿದೆ: ನಿಮ್ಮ ಲ್ಯಾಪ್‌ಟಾಪ್‌ನಲ್ಲಿ ನೀವು PyTorch ವೀಲ್‌ಗಳೊಂದಿಗೆ ಹೋರಾಡಬೇಕಾಗಿಲ್ಲ. ರನ್ ಮಾಡಿ, ವೀಕ್ಷಿಸಿ, ರಫ್ತು ಮಾಡಿ.

ಯಾರು ಇದನ್ನು ಬಳಸಬೇಕು: ನೀರನ್ನು ಪರೀಕ್ಷಿಸುವ ಅಥವಾ ಸ್ಥಳೀಯ CUDA ನಾಟಕವನ್ನು ತಪ್ಪಿಸುವ ಜನರು.

ಈ ಟ್ಯುಟೋರಿಯಲ್‌ಗಳು ತಪ್ಪಿಸಿಕೊಳ್ಳುವುದು ಏನು (ಮತ್ತು ಅಂತರವನ್ನು ಹೇಗೆ ತುಂಬುವುದು)

ಆವೃತ್ತಿ ಪಿನ್ನಿಂಗ್ (Version pinning): ಟೂಲಿಂಗ್ ವೇಗವಾಗಿ ಚಲಿಸುತ್ತದೆ. ನಿಮ್ಮ ರನ್ ವಿಫಲವಾದರೆ, ಟ್ಯುಟೋರಿಯಲ್‌ನಲ್ಲಿ ಬಳಸಲಾದ LLaMA-Factory ಆವೃತ್ತಿಯನ್ನು ಮತ್ತು ನೀವು ಇನ್‌ಸ್ಟಾಲ್ (install) ಮಾಡಿದ ಆವೃತ್ತಿಯನ್ನು ಪರಿಶೀಲಿಸಿ. ಅವುಗಳನ್ನು ಹೊಂದಿಸಿ, ಅಥವಾ ರೆಪೊ ಚೇಂಜ್‌ಲಾಗ್ ಅನ್ನು(repo changelog) ಕಥಾವಸ್ತುವಿನ ತಿರುವಿನಂತೆ ಓದಿ.

ಟೋಕನೈಜರ್ ಹೊಂದಾಣಿಕೆಯಾಗದಿರುವುದು (Tokenizer mismatch): ಪ್ರತಿಕ್ರಿಯೆಗಳು ವರ್ಣಮಾಲೆಯ ಸೂಪ್‌ನಂತೆ ಕಾಣಿಸಿಕೊಂಡರೆ, ಟೋಕನೈಜರ್ ಮೂಲ ಮಾದರಿಗೆ ಹೊಂದಿಕೆಯಾಗುತ್ತದೆಯೇ ಎಂದು ಪರಿಶೀಲಿಸಿ. ಇದು ತಪ್ಪಾದ ಸಬ್‌ಟೈಟಲ್‌ಗಳೊಂದಿಗೆ ಆಡಿಯೊಬುಕ್ ಅನ್ನು ಓದಲು ಪ್ರಯತ್ನಿಸಿದಂತಿದೆ.

VRAM ಬಜೆಟ್(budget) ಮಾಡುವುದು: ಟ್ಯುಟೋರಿಯಲ್‌ಗಳು ಸಾಮಾನ್ಯವಾಗಿ "ನಾನು ಹೇಗೆ ಮಾಡಿದೆ" ಎಂದು ತೋರಿಸುತ್ತವೆ, ಆದರೆ "ಅದನ್ನು ಹೇಗೆ ಸ್ಕೇಲ್ ಮಾಡುವುದು" ಎಂದು ತೋರಿಸುವುದಿಲ್ಲ. ನೀವು CUDA ಔಟ್-ಆಫ್-ಮೆಮೊರಿ ದೋಷಗಳನ್ನು ಪಡೆಯುತ್ತಿದ್ದರೆ, ಬ್ಯಾಚ್(batch) ಗಾತ್ರವನ್ನು ಕಡಿಮೆ ಮಾಡಿ, ಗ್ರೇಡಿಯಂಟ್ ಚೆಕ್‌ಪಾಯಿಂಟಿಂಗ್(gradient checkpointing) ಬಳಸಿ ಮತ್ತು 4-ಬಿಟ್ QLoRA ಅನ್ನು ಆನ್ ಮಾಡಿ. ನಿಮ್ಮ GPU ನಿಮಗೆ ಧನ್ಯವಾದ ಹೇಳುತ್ತದೆ.

ನಿಮ್ಮ ಮೊದಲ ಫೈನ್-ಟ್ಯೂನ್ (fine-tune): ನೀವು ನಿಜವಾಗಿ ಕದಿಯಬಹುದಾದ ಟೆಂಪ್ಲೇಟ್ ಯೋಜನೆ

ಗುರಿ: ಗ್ರಾಹಕ-ಬೆಂಬಲ ಶೈಲಿಯ ಚಾಟ್‌ಬಾಟ್‌ಗಾಗಿ QLoRA ನೊಂದಿಗೆ Llama 3 8B ಅನ್ನು ಫೈನ್-ಟ್ಯೂನ್(fine-tune) ಮಾಡಿ.

ಹಾರ್ಡ್‌ವೇರ್ (Hardware): 16GB GPU (ಹೌದು, ನಿಜವಾಗಿಯೂ), ಅಥವಾ ನಿಮಗೆ ಹೆಚ್ಚು ನಿಭಾಯಿಸಲು ಸಾಧ್ಯವಾದರೆ ಕ್ಲೌಡ್ T4/A10G/A100.

ಡೇಟಾ: ನಿಮ್ಮ ಡೊಮೇನ್‌ನಿಂದ (domain) ಸಂಗ್ರಹಿಸಲಾದ 5,000 ಪ್ರಶ್ನೋತ್ತರ ಜೋಡಿಗಳು. ಸ್ವಚ್ಛ, ಸ್ಥಿರ ಶೈಲಿ. ಯಾವುದೇ ನಕಲುಗಳಿಲ್ಲ. ಮೌಲ್ಯಾಂಕನಕ್ಕಾಗಿ 500 ಅನ್ನು ಮೀಸಲಿಡಿ.

ಕ್ರಮಗಳು:

ಪರಿಸರ ಮತ್ತು UI ಅನ್ನು ರನ್ ಮಾಡಲು DataCamp ವೆಬ್ UI ಟ್ಯುಟೋರಿಯಲ್ ಅನ್ನು ಅನುಸರಿಸಿ.

ತರಬೇತಿ ಸೆಟ್ಟಿಂಗ್‌ಗಳ ಅಡಿಯಲ್ಲಿ, ಆಯ್ಕೆಮಾಡಿ: ಮೂಲ ಮಾದರಿ = Llama 3 8B ಬೋಧನೆ; ವಿಧಾನ = QLoRA; 4-ಬಿಟ್‌ನಲ್ಲಿ ಲೋಡ್ ಮಾಡಿ; ಬ್ಯಾಚ್(batch) ಗಾತ್ರ ಸಣ್ಣದು (1-2); ದೊಡ್ಡ ಬ್ಯಾಚ್‌ಗಳನ್ನು ಅನುಕರಿಸಲು ಗ್ರೇಡಿಯಂಟ್ ಸಂಗ್ರಹಣೆ; 1-2 ಎಪೋಕ್‌ಗಳು (epochs).

10% ಡೇಟಾ ಉಪವಿಭಾಗದೊಂದಿಗೆ ಪ್ರಾರಂಭಿಸಿ. ನಷ್ಟ ಕಡಿಮೆಯಾದರೆ ಮತ್ತು ಮೌಲ್ಯಾಂಕನವು ಅರ್ಥಪೂರ್ಣವಾಗಿದ್ದರೆ, ಪೂರ್ಣ ಸೆಟ್‌ಗೆ ಪದವಿ ಪಡೆಯಿರಿ.

ಅಡಾಪ್ಟರ್ ಅನ್ನು ರಫ್ತು ಮಾಡಿ ಮತ್ತು ಇನ್‌ಫರೆನ್ಸ್ ಸ್ಕ್ರಿಪ್ಟ್‌ನಲ್ಲಿ(inference script) ಪರೀಕ್ಷಿಸಿ. ಉತ್ತರಗಳು ತುಂಬಾ ದೊಡ್ಡದಾಗಿದ್ದರೆ, ಸಿಸ್ಟಮ್ ಪ್ರಾಂಪ್ಟ್‌ಗಳನ್ನು(system prompts) ಟ್ವೀಕ್ ಮಾಡಿ ಮತ್ತು ತಾಪಮಾನವನ್ನು ಕಡಿಮೆ ಮಾಡಿ.

ತೊಳೆಯಿರಿ ಮತ್ತು ಪುನರಾವರ್ತಿಸಿ: ಕಲಿಕೆಯ ದರ, ಎಪೋಕ್(epoch) ಎಣಿಕೆ ಮತ್ತು ಕಡಿಮೆ-ಗುಣಮಟ್ಟದ ಉದಾಹರಣೆಗಳನ್ನು ಕತ್ತರಿಸಿ.

ಯಶಸ್ಸಿನ ಪರಿಶೀಲನೆ: ನಿಮ್ಮ ಮಾದರಿಯು ಡೊಮೇನ್ (domain) ಪ್ರಶ್ನೆಗಳಿಗೆ ಸಂಕ್ಷಿಪ್ತವಾಗಿ ಉತ್ತರಿಸುತ್ತದೆ, ಸರಿಯಾದ ಪದಗಳನ್ನು ಉಲ್ಲೇಖಿಸುತ್ತದೆ ಮತ್ತು ನೀತಿಗಳನ್ನು ಕಂಡುಹಿಡಿಯುವುದಿಲ್ಲ. ಅದು ನಿಮ್ಮ ಕ್ರಿಯೇಟಿವ್ ರೈಟಿಂಗ್ (creative writing) ಇಂಟರ್ನ್‌ನಂತೆ ನಟಿಸಿದರೆ, ನೀವು ಅತಿಯಾಗಿ ಫಿಟ್ (overfit) ಆಗಿದ್ದೀರಿ ಅಥವಾ ಅಡಿಯಲ್ಲಿ ಸ್ವಚ್ಛಗೊಳಿಸಿದ್ದೀರಿ.

ನಿಮ್ಮ GPU ನಲ್ಲಿ ತೊಂದರೆಗಳು ಬಡಿದರೆ? ಇವುಗಳನ್ನು ಪ್ರಯತ್ನಿಸಿ

"CUDA OOM": ಬ್ಯಾಚ್(batch) ಗಾತ್ರವನ್ನು ಕುಗ್ಗಿಸಿ, ಗ್ರೇಡಿಯಂಟ್ ಚೆಕ್‌ಪಾಯಿಂಟಿಂಗ್(gradient checkpointing) ಅನ್ನು ಸಕ್ರಿಯಗೊಳಿಸಿ ಅಥವಾ 4-ಬಿಟ್ ಬಳಸಿ. ನೀವು ಇನ್ನೂ ಸಿಲುಕಿಕೊಂಡಿದ್ದರೆ, ಚಿಕ್ಕ ಮಾದರಿಗೆ ಬದಲಿಸಿ ಅಥವಾ ಅಂತಿಮ ಎಪೋಕ್‌ಗಾಗಿ(epoch) ದೊಡ್ಡ GPU ಅನ್ನು ಬಾಡಿಗೆಗೆ ಪಡೆಯಿರಿ.

"ನಷ್ಟವು ಚಲಿಸುವುದಿಲ್ಲ": ಕೆಟ್ಟ ಡೇಟಾ ಅಥವಾ ತುಂಬಾ ಚಿಕ್ಕದು. ಡೇಟಾ ವೈವಿಧ್ಯತೆಯನ್ನು ಹೆಚ್ಚಿಸಿ, ಕಲಿಕೆಯ ದರವನ್ನು ಕಡಿಮೆ ಮಾಡಿ, ಅಥವಾ ನಿಮ್ಮ LoRA ಶ್ರೇಣಿಗಳು ತುಂಬಾ ಚಿಕ್ಕದಾಗಿದೆಯೇ ಎಂದು ಪರಿಶೀಲಿಸಿ.

"ಔಟ್‌ಪುಟ್‌ಗಳು ಒರಟು/ವಿಚಿತ್ರವಾಗಿವೆ": ಬೋಧನಾ-ಟ್ಯೂನ್ಡ್ (instruction-tuned) ಮೂಲ ಮಾದರಿಗಳು ಮತ್ತು ನಿಮ್ಮ ಡೇಟಾಸೆಟ್‌ನಲ್ಲಿ ಸ್ಥಿರವಾದ ಪ್ರತಿಕ್ರಿಯೆ ಸ್ವರೂಪದ ಮೂಲಕ ಶೈಲಿಯನ್ನು ಹೊಂದಿಸಿ. ಮಾದರಿಗಳು ಅವರು ನೋಡುವುದನ್ನು ಅನುಕರಿಸುತ್ತವೆ - ನೀವು ಅರ್ಥೈಸಿಕೊಂಡಂತೆ ತರಬೇತಿ ನೀಡಿ.

ನಿಯೋಜನೆ: ಲ್ಯಾಬ್‌ನಿಂದ ಲ್ಯಾಪ್‌ಟಾಪ್‌ಗೆ (ಮತ್ತು ಮೀರಿ)

LoRA ಅಡಾಪ್ಟರ್‌ಗಳನ್ನು (adapters) ರಫ್ತು ಮಾಡಿ ಮತ್ತು ಅಗತ್ಯವಿದ್ದರೆ ವಿಲೀನಗೊಳಿಸಿ. ಎಡ್ಜ್ ಸಾಧನಗಳಿಗಾಗಿ(edge devices), ಪೋರ್ಟಬಿಲಿಟಿಗಾಗಿ (portability) ಅಡಾಪ್ಟರ್‌ಗಳನ್ನು (adapters) ಪ್ರತ್ಯೇಕವಾಗಿ ಇರಿಸಿ. ಸರ್ವರ್‌ಗಳಿಗಾಗಿ, ಸರಳತೆ ಮತ್ತು ವೇಗಕ್ಕಾಗಿ ವಿಲೀನಗೊಳಿಸಿ.

ಇನ್‌ಫರೆನ್ಸ್‌ಗಾಗಿ (inference) ಕ್ವಾಂಟೈಜ್ (quantize) ಮಾಡಿ. ನೀವು 4-ಬಿಟ್‌ನಲ್ಲಿ ತರಬೇತಿ ನೀಡಿದರೆ, ಲೇಟೆನ್ಸಿ(latency) ಮತ್ತು ಫಿಡೆಲಿಟಿ(fidelity) ಅನ್ನು ಸಮತೋಲನಗೊಳಿಸಲು 4-, 5- ಮತ್ತು 8-ಬಿಟ್ ಇನ್‌ಫರೆನ್ಸ್‌ ಅನ್ನು (inference) ಪರೀಕ್ಷಿಸಿ.

ಗಾರ್ಡ್‌ರೈಲ್‌ಗಳನ್ನು(guardrails) ಸೇರಿಸಿ. ಉದಾಹರಣೆಗಳೊಂದಿಗೆ ಸರಳ ಪ್ರಾಂಪ್ಟ್(prompt) ರ‌್ಯಾಪರ್(wrapper) ಅದ್ಭುತಗಳನ್ನು ಮಾಡುತ್ತದೆ. ಅಥವಾ ನಿಮ್ಮ ಬಳಕೆದಾರರನ್ನು ತಲುಪುವ ಮೊದಲು ಅರ್ಥಹೀನತೆಯನ್ನು ಫಿಲ್ಟರ್ ಮಾಡುವ ಸಣ್ಣ ನಿಯಮ ಸೆಟ್(ruleset) ಪರೀಕ್ಷಕ ಮಾದರಿಯನ್ನು ಬಳಸಿ.

ನೀವು ದೀರ್ಘಾವಧಿಯಲ್ಲಿ ವೆಬ್ UI ಅಥವಾ CLI ಅನ್ನು ಆರಿಸಬೇಕೇ?

ವೆಬ್ UI ನಿಮ್ಮ ನೆಚ್ಚಿನ ಕಾಫಿ ಶಾಪ್ ಆಗಿದೆ: ಆರಾಮದಾಯಕ, ತ್ವರಿತ, ಕಡಿಮೆ ಘರ್ಷಣೆ.

CLI ನಿಮ್ಮ ಮನೆಯ ಅಡುಗೆಮನೆಯಾಗಿದೆ: ಹೆಚ್ಚಿನ ನಾಬ್‌ಗಳು (knobs), ಹೆಚ್ಚಿನ ಗದ್ದಲ, ಹೆಚ್ಚಿನ ನಿಯಂತ್ರಣ. ನೀವು ವಾರಕ್ಕೊಮ್ಮೆ ಫೈನ್-ಟ್ಯೂನ್ (fine-tune) ಮಾಡುತ್ತಿದ್ದರೆ, ಅಂತಿಮವಾಗಿ ನೀವು ಸ್ಕ್ರಿಪ್ಟ್‌ಗಳು, ಪ್ರಯೋಗ ಟ್ರ್ಯಾಕರ್‌ಗಳು ಮತ್ತು ಪುನರುತ್ಪಾದಿಸಬಹುದಾದ ಕಾನ್ಫಿಗ್‌ಗಳನ್ನು(configs) ಬಯಸುತ್ತೀರಿ. ವೆಬ್ UI ನಲ್ಲಿ ಪ್ರಾರಂಭಿಸಿ, CLI ಗೆ ಪದವಿ ಪಡೆಯಿರಿ.

ಗಮನಿಸಬೇಕಾದ ಅಂಶ: Sider.AI "ನಾನು ನನ್ನ ಮೂರನೇ ಎಸ್‌ಪ್ರೆಸೊದಲ್ಲಿದ್ದಂತೆ ಇದನ್ನು ನನಗೆ ವಿವರಿಸಿ" ಕ್ಷಣಗಳಲ್ಲಿ ಸಹಾಯ ಮಾಡುತ್ತದೆ. ನಿಮ್ಮ ಕಾನ್ಫಿಗ್(config) ಅಥವಾ ಲಾಗ್‌ಗಳನ್ನು Sider.AI ಚಾಟ್‌ಗೆ ಅಂಟಿಸಿದರೆ, ಟ್ವೀಕ್ ಮಾಡಲು ಪ್ಯಾರಾಮೀಟರ್‌ಗಳಿಗಾಗಿ (parameters), ನೀವು ಯಾವ ಟ್ಯುಟೋರಿಯಲ್ ಹಂತವನ್ನು ಬಹುಶಃ ತಪ್ಪಿಸಿಕೊಂಡಿದ್ದೀರಿ ಮತ್ತು ನೀವು ಎರಡು ಗಂಟೆಗಳ ಕಾಲ ತಪ್ಪಾದ ಕಲಿಕೆಯ ದರದಲ್ಲಿ ಮುಳುಗಿಸುವ ಮೊದಲು ಸರಿಯಾದ ಕ್ರಮಗಳನ್ನು ಪರೀಕ್ಷಿಸಲು ತ್ವರಿತ ಸಲಹೆಗಳನ್ನು ಪಡೆಯಬಹುದು. ಇದು ನಿಮ್ಮನ್ನು ಶ್ರೇಣೀಕರಿಸದ ಸ್ನೇಹಪರ TA ಅನ್ನು ಹೊಂದಿರುವಂತಿದೆ - ನಿಮ್ಮನ್ನು ವೇಗಗೊಳಿಸುತ್ತದೆ ಅಷ್ಟೇ.

ತ್ವರಿತ ಹೋಲಿಕೆ: ಯಾವ ಟ್ಯುಟೋರಿಯಲ್ ಯಾವ ಕೆಲಸಕ್ಕೆ ಗೆಲ್ಲುತ್ತದೆ

ಸಂಪೂರ್ಣ ಆರಂಭಿಕರಿಗಾಗಿ ಅತ್ಯುತ್ತಮ: DataCamp ನ ವೆಬ್ UI ಮಾರ್ಗದರ್ಶಿ (ಸ್ಪಷ್ಟ ಕ್ರಮಗಳು, ಆಧುನಿಕ ಮಾದರಿಗಳು).

"ನನಗೆ ಈಗಲೇ ತೋರಿಸಿ" ಎಂಬುದಕ್ಕೆ ಅತ್ಯುತ್ತಮ: YouTube ನ ಪ್ರಾರಂಭದಿಂದ ಕೊನೆಯವರೆಗೆ (ದೃಶ್ಯ ಫ್ಲೋ, ಕ್ಲಿಕ್‌ಗಳನ್ನು ನಕಲಿಸಿ).

ಇನ್‌ಸ್ಟಾಲ್ (install) ಮಾಡದ ಪ್ರಯೋಗಗಳಿಗೆ ಅತ್ಯುತ್ತಮ: Medium ನ Colab ಮಾರ್ಗದರ್ಶಿ (ವೇಗವಾಗಿ ರನ್ ಮಾಡಿ, ಕಡಿಮೆ ಖರ್ಚು ಮಾಡಿ).

ಸುಧಾರಿತ ಆಡ್-ಆನ್‌ಗಳು (ನೀವು ಮೇಲಕ್ಕೆ ಹೋಗಲು ಸಿದ್ಧರಾದಾಗ)

LoRA ಮೀರಿ PEFT ಅಡಾಪ್ಟರ್‌ಗಳು (adapters): ವಿವಿಧ ಶ್ರೇಣಿಗಳು ಮತ್ತು ಆಲ್ಫಾಗಳನ್ನು(alphas) ಪ್ರಯತ್ನಿಸಿ. ಸಣ್ಣ ಬದಲಾವಣೆಗಳು, ದೊಡ್ಡ ಪರಿಣಾಮಗಳು.

ಪಠ್ಯಕ್ರಮ ಫೈನ್-ಟ್ಯೂನಿಂಗ್ (Curriculum fine-tuning): ಸಾಮಾನ್ಯ ಬೋಧನಾ ಡೇಟಾದೊಂದಿಗೆ ಪ್ರಾರಂಭಿಸಿ, ನಂತರ ಕಿರಿದಾದ ಡೊಮೇನ್(domain) ಡೇಟಾಕ್ಕೆ ಸರಿಸಿ.

ಮಿಶ್ರ ನಿಖರತೆ ಮತ್ತು ಮೆಮೊರಿ ತಂತ್ರಗಳು: bf16 ಬೆಂಬಲಿತವಾಗಿದ್ದರೆ; ಫ್ಲ್ಯಾಶ್ ಅಟೆನ್ಷನ್ (flash attention); ನಿಮ್ಮ GPU ಅನ್ನು ಗೊಣಗುವಂತೆ ಮಾಡಿ.

ಮೌಲ್ಯಮಾಪನ ಸೂಟ್‌ಗಳು: ಕಸ್ಟಮ್ (custom) ಇವಾಲ್ ಸೆಟ್(eval set) ಜೊತೆಗೆ ಕೆಲವು ಸಾರ್ವಜನಿಕ ಕಾರ್ಯಗಳನ್ನು ನಿರ್ಮಿಸಿ. ನಿಮ್ಮ ವ್ಯಾಲ್ ಸೆಟ್(val set) ಮತ್ತು ಸಣ್ಣ ಡೊಮೇನ್‌ನಿಂದ ಹೊರಗಿರುವ ಸೆಟ್ ನಡುವಿನ ವ್ಯತ್ಯಾಸವನ್ನು ಮೇಲ್ವಿಚಾರಣೆ ಮಾಡುವ ಮೂಲಕ ಅತಿಯಾಗಿ ಫಿಟ್ ಆಗುವುದನ್ನು (overfitting) ಟ್ರ್ಯಾಕ್ ಮಾಡಿ.

ನೀವು ತಲೆ ಅಲ್ಲಾಡಿಸಿ ನಟಿಸದಂತೆ ಒಂದು ಸಣ್ಣ ಗ್ಲಾಸರಿ

LoRA: ಸಂಪೂರ್ಣ ದೈತ್ಯ ಮಾದರಿಯ ಬದಲು ನೀವು ತರಬೇತಿ ನೀಡುವ ಹಗುರವಾದ ಅಡಾಪ್ಟರ್ ಲೇಯರ್‌ಗಳು (adapter layers). ಸಮಯ ಮತ್ತು VRAM ಅನ್ನು ಉಳಿಸುತ್ತದೆ.

QLoRA: LoRA ನಂತೆ, ಆದರೆ ತರಬೇತಿಯ ಸಮಯದಲ್ಲಿ ಮೂಲ ತೂಕಗಳನ್ನು ಸಂಕುಚಿತಗೊಳಿಸಲಾಗುತ್ತದೆ (ಕ್ವಾಂಟೈಜ್ (quantized) ಮಾಡಲಾಗುತ್ತದೆ). ಹಲೋ, 4-ಬಿಟ್.

ಅಡಾಪ್ಟರ್ ವಿಲೀನ: ಸರಳ ನಿಯೋಜನೆಗಾಗಿ ಅಡಾಪ್ಟರ್ ತೂಕವನ್ನು ಮೂಲ ಮಾದರಿಯೊಂದಿಗೆ ಸಂಯೋಜಿಸಿ.

ಟೋಕನೈಜರ್ (Tokenizer): ವಾಕ್ಯಗಳನ್ನು ಟೋಕನ್‌ಗಳಾಗಿ ಕತ್ತರಿಸುವ ವಿಷಯ. ತಪ್ಪಾದ ಟೋಕನೈಜರ್ = ಗೊಂದಲಮಯ ಮೊಟ್ಟೆಗಳು.

ನನ್ನ ಅಭಿಪ್ರಾಯ: ನೀವು ಯಾವ ಟ್ಯುಟೋರಿಯಲ್‌ನೊಂದಿಗೆ ಪ್ರಾರಂಭಿಸಬೇಕು? ನಿಮ್ಮ ಗುರಿ ಮೊದಲ ಯಶಸ್ಸಿಗೆ ವೇಗವಾಗಿದ್ದರೆ, DataCamp ನೊಂದಿಗೆ ಪ್ರಾರಂಭಿಸಿ. YouTube ವಿವರಣೆಯೊಂದಿಗೆ ಜೋಡಿಸಿ - ವೀಕ್ಷಿಸಿ, ಕ್ಲಿಕ್ ಮಾಡಿ, ಗೆಲ್ಲಿರಿ. ನಂತರ, ನಿಮ್ಮ ಎರಡನೇ ರನ್‌ಗಾಗಿ, ಇನ್ನೊಂದು ಮಾರ್ಗವನ್ನು ನೋಡಲು Colab ಮಾರ್ಗದರ್ಶಿಯನ್ನು ತಿರುಗಿಸಿ. ಒಂದು ದೊಡ್ಡ ಥ್ರೆಡ್ ಅನ್ನು ಓದುವುದಕ್ಕಿಂತ ಎರಡು ಸಣ್ಣ ರನ್‌ಗಳನ್ನು ಮಾಡುವುದರಿಂದ ನೀವು ಹೆಚ್ಚು ಕಲಿಯುವಿರಿ. ಮತ್ತು ನಿಮ್ಮ GPU HR ನಲ್ಲಿ ದೂರು ದಾಖಲಿಸುವುದಿಲ್ಲ.

ಸ್ಟರ್ನ್ ಮುಕ್ತಾಯ: ಫೈನ್-ಟ್ಯೂನಿಂಗ್ (fine-tuning) ಈಗ ಸಂಪೂರ್ಣವಾಗಿ ಮಾಡಬಹುದಾಗಿದೆ. LLaMA-Factory "ನಿರಾಶೆಯ ಕಂದರವನ್ನು" ಕೈಪಿಡಿಗಳೊಂದಿಗೆ ಮೆಟ್ಟಿಲುಗಳಾಗಿ ಪರಿವರ್ತಿಸಿದೆ. ಟ್ಯುಟೋರಿಯಲ್ ಅನ್ನು ಆರಿಸಿ, ಚಿಕ್ಕದಾಗಿ ಪ್ರಾರಂಭಿಸಿ ಮತ್ತು ಪುನರಾವರ್ತಿಸಿ. ನಿಮ್ಮ ಭವಿಷ್ಯದ ಫೈನ್-ಟ್ಯೂನ್ಡ್ (fine-tuned) ಮಾದರಿಯು ನಿಮ್ಮ ಮರುಪಾವತಿ ನೀತಿಯನ್ನು ಭ್ರಮೆಗೊಳಿಸದ ಮೂಲಕ ನಿಮಗೆ ಧನ್ಯವಾದಗಳನ್ನು ಹೇಳುತ್ತದೆ.

ನೀವು ನಿಜವಾಗಿ ಬಳಸುವ ಲಿಂಕ್‌ಗಳು

YouTube: ಪ್ರಾರಂಭದಿಂದ ಕೊನೆಯವರೆಗೆ LLaMA-Factory ಫೈನ್-ಟ್ಯೂನ್ (fine-tune) ವಿವರಣೆ.

DataCamp: LLaMA-Factory ವೆಬ್ UI ಬಿಗಿನರ್ಸ್ ಗೈಡ್.

Medium: Colab ಆಧಾರಿತ LLaMA-Factory ತ್ವರಿತ ಪ್ರಾರಂಭ.

90 ಸೆಕೆಂಡುಗಳಲ್ಲಿ ಕ್ರಿಯಾ ಯೋಜನೆ

DataCamp ಮಾರ್ಗದರ್ಶಿಯನ್ನು ಆರಿಸಿ ಮತ್ತು ವೆಬ್ UI ಅನ್ನು ಹೊಂದಿಸಿ.

ಸಣ್ಣ ಡೇಟಾಸೆಟ್(dataset) ಅನ್ನು ತಯಾರಿಸಿ (500-1,000 ಜೋಡಿಗಳು). ಅದನ್ನು ಸ್ವಚ್ಛವಾಗಿಡಿ.

QLoRA, 4-ಬಿಟ್, ಸಣ್ಣ ಬ್ಯಾಚ್‌ಗಳೊಂದಿಗೆ ತರಬೇತಿ ನೀಡಿ.

ಕೈಯಿಂದ ಆರಿಸಿದ 100 ಪ್ರಶ್ನೆಗಳ ಮೇಲೆ ಮೌಲ್ಯಮಾಪನ ಮಾಡಿ.

ಎರಡು ಅಥವಾ ಮೂರು ಬಾರಿ ಪುನರಾವರ್ತಿಸಿ. ನಂತರ ದೀರ್ಘ ರನ್‌ಗಳು ಮತ್ತು ದೊಡ್ಡ ಡೇಟಾಗೆ ಪದವಿ ಪಡೆಯಿರಿ.

ಈಗ ಉಪಯುಕ್ತವಾದ ಯಾವುದನ್ನಾದರೂ ಫೈನ್-ಟ್ಯೂನ್ (fine-tune) ಮಾಡಿ. ಮತ್ತು ನೆನಪಿಡಿ: ನಿಮ್ಮ GPU ಕಿರುಚಿದರೆ, ಅದು ಕೇವಲ "ಬ್ಯಾಚ್(batch) ಗಾತ್ರವನ್ನು ಕಡಿಮೆ ಮಾಡಿ" ಎಂದು ಹೇಳುತ್ತಿದೆ.

FAQ

Q1:ನಿಜವಾದ ಆರಂಭಿಕರಿಗಾಗಿ ಅತ್ಯುತ್ತಮ LLaMA-Factory ಟ್ಯುಟೋರಿಯಲ್ ಯಾವುದು? DataCamp ನಿಂದ LLaMA-Factory ವೆಬ್ UI ಮಾರ್ಗದರ್ಶಿಯೊಂದಿಗೆ ಪ್ರಾರಂಭಿಸಿ - ಇದು ಸ್ಪಷ್ಟವಾಗಿದೆ, ಪ್ರಸ್ತುತವಾಗಿದೆ ಮತ್ತು Llama 3 ಅನ್ನು ಬಳಸುತ್ತದೆ. ಯಶಸ್ಸು ಹೇಗಿರುತ್ತದೆ ಎಂದು ನಿಮಗೆ ತಿಳಿಯಲು YouTube ನ ಪ್ರಾರಂಭದಿಂದ ಕೊನೆಯವರೆಗಿನ ವಿವರಣೆಯೊಂದಿಗೆ ಜೋಡಿಸಿ, ತರಬೇತಿಯನ್ನು ಕ್ಲಿಕ್ ಮಾಡುವ ಮೊದಲು ದೃಶ್ಯ ಪರೀಕ್ಷೆಯನ್ನು ಮಾಡಿ.

Q2: Google Colab ನಲ್ಲಿ ನಾನು LLaMA-Factory ಮಾದರಿಗಳನ್ನು ಫೈನ್-ಟ್ಯೂನ್ (fine-tune) ಮಾಡಬಹುದೇ? ಹೌದು, Colab ಆಧಾರಿತ ಟ್ಯುಟೋರಿಯಲ್ LLaMA-Factory ಫೈನ್-ಟ್ಯೂನಿಂಗ್ ಅನ್ನು (fine-tuning) ಆಶ್ಚರ್ಯಕರವಾಗಿ ನೋವುರಹಿತವಾಗಿಸುತ್ತದೆ. ನಿಮ್ಮ ಸೆಷನ್ ಸಮಯ ಮತ್ತು VRAM ಮಿತಿಗಳನ್ನು ವೀಕ್ಷಿಸಿ, ಆಗಾಗ್ಗೆ ಚೆಕ್‌ಪಾಯಿಂಟ್‌ಗಳನ್ನು (checkpoints) ಉಳಿಸಿ ಮತ್ತು ನಿಮ್ಮ ಮೊದಲ ರನ್‌ಗಾಗಿ ಡೇಟಾಸೆಟ್‌ಗಳನ್ನು (datasets) ಚಿಕ್ಕದಾಗಿ ಇರಿಸಿ.

Q3:LLaMA-Factory ಯೊಂದಿಗೆ ನಾನು LoRA ಅಥವಾ QLoRA ಅನ್ನು ಬಳಸಬೇಕೇ? ನೀವು VRAM ನಲ್ಲಿ ಸೀಮಿತವಾಗಿದ್ದರೆ, QLoRA ನಿಮ್ಮ ಸ್ನೇಹಿತ - 4-ಬಿಟ್ ತರಬೇತಿ, ಸಣ್ಣ ಮೆಮೊರಿ ಹೆಜ್ಜೆಗುರುತು. ನೀವು ಹೆಚ್ಚು GPU ಹೆಡ್‌ರೂಮ್ ಹೊಂದಿದ್ದರೆ, ಪ್ರಮಾಣಿತ LoRA ಸರಳವಾಗಿದೆ ಮತ್ತು ಫೈನ್-ಟ್ಯೂನಿಂಗ್‌ಗೆ (fine-tuning) ಇನ್ನೂ ತುಂಬಾ ಪರಿಣಾಮಕಾರಿಯಾಗಿದೆ.

Q4:ತರಬೇತಿಯ ಸಮಯದಲ್ಲಿ ನಾನು CUDA ಔಟ್-ಆಫ್-ಮೆಮೊರಿ ದೋಷಗಳನ್ನು ಹೇಗೆ ಸರಿಪಡಿಸುವುದು? ನಿಮ್ಮ ಬ್ಯಾಚ್(batch) ಗಾತ್ರವನ್ನು ಕಡಿಮೆ ಮಾಡಿ, ಗ್ರೇಡಿಯಂಟ್ ಚೆಕ್‌ಪಾಯಿಂಟಿಂಗ್(gradient checkpointing) ಅನ್ನು ಆನ್ ಮಾಡಿ ಮತ್ತು 4-ಬಿಟ್ QLoRA ಬಳಸಿ. ಅದು ಇನ್ನೂ ವಿಫಲವಾದರೆ, ಚಿಕ್ಕ ಮೂಲ ಮಾದರಿಯನ್ನು ಪ್ರಯತ್ನಿಸಿ ಅಥವಾ ಭಾರವಾದ ಹಂತಕ್ಕಾಗಿ ಹೆಚ್ಚು VRAM ಹೊಂದಿರುವ GPU ಅನ್ನು ಬಾಡಿಗೆಗೆ ಪಡೆಯಿರಿ.

Q5:ನನ್ನ LLaMA-Factory ಫೈನ್-ಟ್ಯೂನ್ (fine-tune) ನಿಜವಾಗಿ ಕೆಲಸ ಮಾಡಿದೆಯೇ ಎಂದು ನನಗೆ ಹೇಗೆ ಗೊತ್ತು? ಸಣ್ಣ, ವಾಸ್ತವಿಕ ಮೌಲ್ಯಮಾಪನ ಸೆಟ್ ಅನ್ನು ನಿರ್ಮಿಸಿ ಮತ್ತು ಫೈನ್-ಟ್ಯೂನಿಂಗ್(fine-tuning) ಮೊದಲು ಮತ್ತು ನಂತರ ಔಟ್‌ಪುಟ್‌ಗಳನ್ನು ಹೋಲಿಕೆ ಮಾಡಿ. ನಿಮ್ಮ ಮಾದರಿಯು ವೇಗವಾಗಿ, ಹೆಚ್ಚು ನಿಖರವಾಗಿ ಉತ್ತರಿಸಿದರೆ ಮತ್ತು ನಿಮ್ಮ ಕಂಪನಿಯ ರಜಾ ನೀತಿಯನ್ನು ಭ್ರಮೆಗೊಳಿಸದಿದ್ದರೆ, ನೀವು ಸರಿಯಾದ ಹಾದಿಯಲ್ಲಿದ್ದೀರಿ.