Which is faster for LLM fine-tuning: Unsloth or LLaMA‑Factory?

In many small‑to‑mid GPU setups, Unsloth’s low‑precision optimizations can shorten training time and reduce VRAM pressure, so it often feels faster in practice. LLaMA‑Factory can leverage accelerations too, but its superpower is orchestration and evaluation rather than raw speed.

Is LLaMA‑Factory good for beginners?

Yes. Its Web UI, zero‑code workflows, and built‑in evaluation make it beginner‑friendly, especially if you want a repeatable fine‑tuning pipeline without chasing scripts. It’s ideal for teams teaching or standardizing processes.

Can I export to GGUF or run with Ollama after fine‑tuning?

Unsloth’s Studio notebooks emphasize clean exports to GGUF and easy deployment with Ollama or vLLM, which is great for local or edge inference. With LLaMA‑Factory, check the docs for your base model’s supported export paths and plan ahead for the runtime you need.

Do Unsloth and LLaMA‑Factory support QLoRA?

Yes. Both support adapter‑based training like LoRA/QLoRA, letting you fine‑tune large models on smaller GPUs. The key is to balance sequence length, batch size, and adapters so you don’t blow past your VRAM budget.

Should I use Unsloth and LLaMA‑Factory together?

You can. Use LLaMA‑Factory for its UI, recipes, and evaluation, and tap acceleration under the hood where compatible. It’s a practical way to get both speed and simplicity without gluing together three different toolchains.

Unsloth vs. LLaMA-Factory: ಯಾವುದು ಫೈನ್-ಟ್ಯೂನಿಂಗ್ ಅನ್ನು ಕಡಿಮೆ ಕಷ್ಟಕರವಾಗಿಸುತ್ತದೆ?

ದೊಡ್ಡ ಭಾಷಾ ಮಾದರಿಯನ್ನು (large language model) ಉತ್ತಮಗೊಳಿಸಲು ಪ್ರಯತ್ನಿಸಿ, ಕತ್ತಲೆಯಲ್ಲಿ ಟ್ರ್ಯಾಂಪೊಲೀನ್ ಜೋಡಿಸುವಂತೆ ಭಾಸವಾಗಿದೆಯೇ - ಬೋಲ್ಟ್‌ಗಳು ಕಾಣೆಯಾಗಿವೆ, ಸ್ಪ್ರಿಂಗ್‌ಗಳು ತಲೆಕೆಳಗಾಗಿವೆ ಮತ್ತು ಅದು ನಿಮ್ಮನ್ನು ಪೊದೆಗೆ ಏಕೆ ಎಸೆಯುತ್ತಿದೆ ಎಂದು ಖಚಿತವಿಲ್ಲವೇ? ನೀವು ಒಬ್ಬಂಟಿಗರಲ್ಲ. ಓಪನ್ ಸೋರ್ಸ್ LLM ಗಳ ಏರಿಕೆಯು ನಮಗೆ ಅದ್ಭುತವಾದ ಕಚ್ಚಾ ಬುದ್ಧಿಶಕ್ತಿಯನ್ನು ನೀಡಿದೆ - ಆದರೆ ಆ ಬುದ್ಧಿಮತ್ತೆಯನ್ನು ನಿಮ್ಮ ಬಳಕೆಯ ಸಂದರ್ಭಕ್ಕೆ ಸಭ್ಯ ಮತ್ತು ಸಹಾಯಕವಾಗುವಂತೆ ಪರಿವರ್ತಿಸುವುದು ನಿಮ್ಮ ತೆರಿಗೆಗಳನ್ನು ಮಾಡಲು ಗೋಲ್ಡನ್ ರಿಟ್ರೈವರ್‌ಗೆ ಕಲಿಸುವಂತೆ ಭಾಸವಾಗಬಹುದು.

ಉತ್ತಮಗೊಳಿಸುವಿಕೆಯನ್ನು ವಿವೇಚನೆಯಿಂದ, ವೇಗವಾಗಿ ಮಾಡಲು ಭರವಸೆ ನೀಡುವ ಇಬ್ಬರು ಜನಪ್ರಿಯ ಸ್ಪರ್ಧಿಗಳು ಇಲ್ಲಿದ್ದಾರೆ: Unsloth ಮತ್ತು LLaMA-Factory. ಕಾಗದದ ಮೇಲೆ, ಅವರಿಬ್ಬರೂ “ನಾವು ಉತ್ತಮಗೊಳಿಸುವಿಕೆಯನ್ನು ಸುಲಭಗೊಳಿಸುತ್ತೇವೆ” ಎನ್ನುತ್ತಾರೆ. ಪ್ರಾಯೋಗಿಕವಾಗಿ, ಅವರು ಸಮಸ್ಯೆಯನ್ನು ಬೇರೆ ಬೇರೆ ಕೋನಗಳಿಂದ ಸಮೀಪಿಸುತ್ತಾರೆ - ಒಂದು ಹೆಚ್ಚಿನ-ಆಕ್ಟೇನ್ ಎಂಜಿನ್ ಅಪ್‌ಗ್ರೇಡ್; ಇನ್ನೊಂದು ನಿಮ್ಮ ತರಬೇತಿ ವಿಮಾನಗಳನ್ನು ಸಂಯೋಜಿಸುವ ಸ್ನೇಹಪರ ನಿಯಂತ್ರಣ ಗೋಪುರ. ನಿಮ್ಮ ಮುಂದಿನ ಯೋಜನೆಗೆ ನೀವು ಯಾವುದನ್ನು ಬಳಸಬೇಕು ಎಂದು ನೀವು ಯೋಚಿಸುತ್ತಿದ್ದರೆ, ಕುರ್ಚಿಯನ್ನು ಎಳೆಯಿರಿ ಮತ್ತು ಒಂದು ಸುತ್ತು ಹಾಕೋಣ.

ನಾವು ನಿಖರವಾಗಿ ಏನು ಹೋಲಿಸುತ್ತಿದ್ದೇವೆ?

Unsloth: ತರಬೇತಿಗಾಗಿ ಟರ್ಬೋಚಾರ್ಜರ್ ಎಂದು ಭಾವಿಸಿ. ಇದು ನಿಮ್ಮ ಉತ್ತಮಗೊಳಿಸುವಿಕೆಯನ್ನು ವೇಗವಾಗಿ ಮತ್ತು ಅಗ್ಗವಾಗಿಸಲು ಗುರಿಯಿಟ್ಟುಕೊಂಡಿರುವ ಒಂದು ಆಪ್ಟಿಮೈಸೇಶನ್ ಟೂಲ್‌ಕಿಟ್ - ಮತ್ತು ಇದು ವ್ಯಾಪಕವಾದ ಮಾದರಿಗಳು ಮತ್ತು ಫಾರ್ಮ್ಯಾಟ್‌ಗಳೊಂದಿಗೆ ಚೆನ್ನಾಗಿ ಕಾರ್ಯನಿರ್ವಹಿಸುತ್ತದೆ. GitHub ನ ಮುಖ್ಯ ಆಶಯವು ಧೈರ್ಯವಾಗಿದೆ: ಪೂರ್ಣ ಪ್ರಮಾಣದ ಉತ್ತಮಗೊಳಿಸುವಿಕೆ ಮತ್ತು ಕಡಿಮೆ-ನಿಖರತೆಯ ತಂತ್ರಗಳನ್ನು (4-ಬಿಟ್, 8-ಬಿಟ್, 16-ಬಿಟ್), ಬಹಳಷ್ಟು ಮಾದರಿ ಕುಟುಂಬಗಳನ್ನು (ಕೇವಲ LLM ಗಳಲ್ಲ) ಬೆಂಬಲಿಸುತ್ತದೆ, ಮತ್ತು ಸಾಮಾನ್ಯ ರನ್‌ಟೈಮ್‌ಗಳಿಗೆ ಸ್ವಚ್ಛವಾಗಿ ನಿಯೋಜಿಸುವ ರಫ್ತುಗಳನ್ನು ಹೊಂದಿದೆ. ಸುಲಭವಾಗಿ ಪ್ರಾರಂಭಿಸಲು ಮತ್ತು GGUF, Ollama, ಮತ್ತು vLLM ಗೆ ಸ್ವಚ್ಛವಾದ ರಫ್ತುಗಳಿಗಾಗಿ ವಿನ್ಯಾಸಗೊಳಿಸಲಾದ ಆರಂಭಿಕರಿಗಾಗಿ ಸ್ನೇಹಪರ ನೋಟ್‌ಬುಕ್‌ಗಳೊಂದಿಗೆ ಒಂದು ಜೊತೆಗೂಡಿದ “Studio” ರೆಪೊಸಿಟರಿಯೂ ಇದೆ.

LLaMA-Factory: 100+ LLM ಗಳನ್ನು ಉತ್ತಮಗೊಳಿಸಲು ಮತ್ತು ಮೌಲ್ಯಮಾಪನ ಮಾಡಲು ಒಂದು-ನಿಲುಗಡೆ, ಶೂನ್ಯ-ಕೋಡ್ ಕೇಂದ್ರವನ್ನು ಕಲ್ಪಿಸಿಕೊಳ್ಳಿ. ಇದರ ಪ್ರಮುಖ ಅಂಶವೆಂದರೆ: ಅತ್ಯುತ್ತಮ-ಅಭ್ಯಾಸ ತರಬೇತಿ ವಿಧಾನಗಳನ್ನು (LoRA/QLoRA, SFT, DPO, ORPO, ಮತ್ತು ಸ್ನೇಹಿತರು), ಬಹು-ಬ್ಯಾಕೆಂಡ್ ಬೆಂಬಲ, ಅಂತರ್ನಿರ್ಮಿತ ಮೌಲ್ಯಮಾಪನ, ಮತ್ತು ಜನಪ್ರಿಯ ಮಾದರಿಗಳು ಮತ್ತು ಡೇಟಾಸೆಟ್‌ಗಳಿಗಾಗಿ ಒಂದು ದೊಡ್ಡ ವೇದಿಕೆಯನ್ನು ಸುತ್ತುವರೆಯುವ ಒಂದು ವೆಬ್ UI ಮತ್ತು CLI. ಮೂಲದಲ್ಲಿ ಅಡಗಿರುವ ಅಪಾಯಗಳನ್ನು ತಪ್ಪಿಸಲು ಆಯ್ಕೆಗಳನ್ನು ನ್ಯಾವಿಗೇಟ್ ಮಾಡಲು ಸಹಾಯ ಮಾಡಲು ಮೀಸಲಾದ ದಸ್ತಾವೇಜು ಯೋಜನೆಯೂ ಇದೆ.

ನೀವು ಈಗಾಗಲೇ ಒಂದು ಊಹೆಯನ್ನು ರೂಪಿಸುತ್ತಿದ್ದರೆ - “ಹಾಗಾದರೆ Unsloth ಎಂಬುದು ಸ್ಪೀಡ್ ಬೂಸ್ಟರ್ ಮತ್ತು LLaMA-Factory ಸ್ನೇಹಪರ ಡ್ಯಾಶ್‌ಬೋರ್ಡ್ ಆಗಿದೆಯೇ?” - ನೀವು ಬಹುತೇಕ ಸರಿಯಾಗಿದ್ದೀರಿ. LLaMA-Factory ಇತರರಿಗಿಂತ ಬಲಶಾಲಿಯಾಗಲು ಪ್ರಯತ್ನಿಸುವ ಬದಲು ವೇಗವರ್ಧಕ ಸಾಧನಗಳನ್ನು ಸಂಯೋಜಿಸುತ್ತದೆ ಎಂದು ಕೆಲವು ಅವಲೋಕನಗಳು ಗಮನಿಸುತ್ತವೆ, ಇದು ಈ ಎರಡು ಪರಿಸರ ವ್ಯವಸ್ಥೆಗಳ ಪೂರಕ ಸ್ವರೂಪವನ್ನು ಸೂಚಿಸುತ್ತದೆ. ಏತನ್ಮಧ್ಯೆ, ಮೂರನೇ ವ್ಯಕ್ತಿಯ ಸುತ್ತೋಲೆಗಳು ಉತ್ತಮಗೊಳಿಸುವಿಕೆಗಾಗಿ LLaMA-Factory ಅನ್ನು ಉನ್ನತ ಓಪನ್-ಸೋರ್ಸ್ UI ವಿಧಾನವೆಂದು ಗುರುತಿಸುತ್ತವೆ, ಇದು ಮಾಂತ್ರಿಕರಲ್ಲದವರಿಗೂ ವಿಷಯಗಳನ್ನು ಸುಲಭಗೊಳಿಸುವ ಅದರ ಉದ್ದೇಶದೊಂದಿಗೆ ಹೊಂದಾಣಿಕೆಯಾಗುತ್ತದೆ. ನೀವು ವೈಶಿಷ್ಟ್ಯದ ಮ್ಯಾಟ್ರಿಕ್ಸ್‌ನೊಂದಿಗೆ ನಿಮ್ಮ ಸಂಶೋಧನೆಯನ್ನು ಇಷ್ಟಪಟ್ಟರೆ, ಅಲ್ಲಿ ಜನಸಂದಣಿಯ ಹೋಲಿಕೆ ಪುಟವೂ ಇದೆ.

“ಕಡಿಮೆ ನೋವು”ಗೆ ಎರಡು ಮಾರ್ಗಗಳು: ನಿಮ್ಮ ಮನಸ್ಸಿಗೆ ಯಾವುದು ಸರಿಹೊಂದುತ್ತದೆ?

ಇಲ್ಲಿ ತ್ವರಿತ ವ್ಯಕ್ತಿತ್ವ ಪರೀಕ್ಷೆ ಇದೆ. ಮೊದಲ ಗುಂಪಿಗೆ ನೀವು ಹೆಚ್ಚಾಗಿ “ಹೌದು” ಎಂದು ಉತ್ತರಿಸಿದರೆ, ನೀವು Unsloth ವ್ಯಕ್ತಿ; ಅದು ಎರಡನೆಯದಾದರೆ, LLaMA-Factory ನಿಮ್ಮ ಸಂತೋಷದ ತಾಣವಾಗಿರಬಹುದು.

ನೀವು Unsloth ಅನ್ನು ಇಷ್ಟಪಡಬಹುದು:

ನಿಮ್ಮ GPU ಬಜೆಟ್ ಬಿಗಿಯಾಗಿದ್ದರೆ ಮತ್ತು ನೀವು ಸಾಧ್ಯವಾದಷ್ಟು ಕಡಿಮೆ, ಅಗ್ಗದ ತರಬೇತಿ ರನ್ ಅನ್ನು ಬಯಸಿದರೆ - ವಿಶೇಷವಾಗಿ ಗ್ರಾಹಕ ಕಾರ್ಡ್‌ಗಳಲ್ಲಿ.

ನಿಮ್ಮ ತರಬೇತಿ ವಿಧಾನವು ನಿಮಗೆ ಈಗಾಗಲೇ ತಿಳಿದಿದ್ದರೆ ಮತ್ತು ನೀವು ಕಡಿಮೆ-ನಿಖರತೆಯ ಮ್ಯಾಜಿಕ್ (QLoRA, 4-ಬಿಟ್, 8-ಬಿಟ್) ಮತ್ತು ರಫ್ತು ಮಾಡಲು ಸಿದ್ಧವಾಗಿರುವ ಕಲಾಕೃತಿಗಳನ್ನು ಗೌರವಿಸುತ್ತಿದ್ದರೆ.

ನೀವು ಮಾದರಿ ಪ್ರಕಾರಗಳಲ್ಲಿ (LLM ಗಳು, ಬಹುಶಃ ಮಲ್ಟಿಮೋಡಲ್ ಅಥವಾ BERT-ರೀತಿಯ ಕಾರ್ಯಗಳು) ಬದಲಾವಣೆಗಳನ್ನು ಮಾಡುತ್ತಿದ್ದರೆ ಮತ್ತು ಹೆಚ್ಚಿನ ಕಾರ್ಯಕ್ಷಮತೆಯ ತಲಾಧಾರವನ್ನು ಬಯಸಿದರೆ.

ನೀವು ನೋಟ್‌ಬುಕ್‌ಗಳು ಅಥವಾ ಸ್ಕ್ರಿಪ್ಟ್‌ಗಳಲ್ಲಿ ಕೆಲಸ ಮಾಡಲು ಆರಾಮದಾಯಕರಾಗಿದ್ದರೆ ಮತ್ತು ನಿಮಗೆ ಪೂರ್ಣ ಆರ್ಕೆಸ್ಟ್ರೇಶನ್ UI ಅಗತ್ಯವಿಲ್ಲದಿದ್ದರೆ.

ನೀವು LLaMA-Factory ಅನ್ನು ಇಷ್ಟಪಡಬಹುದು:

ನೀವು ಮಾರ್ಗದರ್ಶಿತ ಅನುಭವವನ್ನು ಬಯಸಿದರೆ - ವೆಬ್ UI, ಯಾವುದೇ-ಕೋಡ್/ಕಡಿಮೆ-ಕೋಡ್ ಕಾರ್ಯವಿಧಾನಗಳು ಮತ್ತು ಬ್ಯಾಟರಿಗಳು-ಸೇರಿದ ಮೌಲ್ಯಮಾಪನ.

ನೀವು ಬಹು ಮಾದರಿ ಕುಟುಂಬಗಳು ಮತ್ತು ಡೇಟಾ ಫಾರ್ಮ್ಯಾಟ್‌ಗಳನ್ನು ನಿಭಾಯಿಸುತ್ತಿದ್ದರೆ ಮತ್ತು ಕಚ್ಚಾ ವೇಗಕ್ಕಿಂತ ಹೆಚ್ಚಾಗಿ ಸ್ಥಿರತೆಯನ್ನು ಬಯಸಿದರೆ.

ನಿಮ್ಮ ಸ್ಟಾಕ್ ಅನ್ನು ಪುನಃ ಬರೆಯದೆ ಒಂದು ತಂಡಕ್ಕಾಗಿ ನಿಮಗೆ ಪ್ರಮಾಣಿತ, ಪುನರುತ್ಪಾದಿಸಬಹುದಾದ ತರಬೇತಿ ಪೈಪ್‌ಲೈನ್‌ಗಳು ಬೇಕಾದರೆ - ಈಗ SFT, ನಂತರ DPO.

ನೀವು ಅಂತರ್ನಿರ್ಮಿತ ಪ್ರಯೋಗ ನಿರ್ವಹಣೆಯನ್ನು ಇಷ್ಟಪಟ್ಟರೆ: ಒಂದು ಸ್ಥಳದಲ್ಲಿ ತರಬೇತಿ, ಅನುಮಾನ ಮತ್ತು ಸ್ಕೋರಿಂಗ್.

ಪ್ರಾಯೋಗಿಕವಾಗಿ ಕಥೆ: “ನನ್ನ ಬಳಿ ಡೇಟಾಸೆಟ್ ಇದೆ. ಈಗ ಏನು?”

ನಿಮ್ಮಲ್ಲಿ 50,000 ಗ್ರಾಹಕ-ಬೆಂಬಲ ಚಾಟ್‌ಗಳಿವೆ ಎಂದು ಭಾವಿಸೋಣ ಮತ್ತು ಸಹಾಯ ಕೇಂದ್ರದಂತೆಯೇ ನಿಮ್ಮ ಮಾದರಿ ಧ್ವನಿಸಬೇಕೆಂದು ನೀವು ಬಯಸುತ್ತೀರಿ, ಅದರಲ್ಲಿ ಹಿಡಿದಿಟ್ಟುಕೊಳ್ಳುವ ಸಂಗೀತವಿಲ್ಲ. ನೀವು ಡೇಟಾವನ್ನು ಸ್ವಚ್ಛಗೊಳಿಸಿ ಮತ್ತು ಲೇಬಲ್ ಮಾಡಿದ್ದೀರಿ (ದೇವರು ನಿಮ್ಮನ್ನು ಹರಸಲಿ). CSV ಯಿಂದ “ನಮಸ್ಕಾರ! ಆ ಪಾಸ್‌ವರ್ಡ್ ಅನ್ನು ಮರುಹೊಂದಿಸಲು ನಾನು ನಿಮಗೆ ಹೇಗೆ ಸಹಾಯ ಮಾಡಬಹುದು?” ಗೆ ಹೋಗಲು ಕನಿಷ್ಠ ನೋವಿನ ಮಾರ್ಗ ಯಾವುದು?

ಮಾರ್ಗ A: ವೇಗ ಮತ್ತು ನಿಯೋಜನೆ ಸಿದ್ಧತೆಗಾಗಿ Unsloth

Unsloth Studio ದಲ್ಲಿ ಪ್ರಾರಂಭಿಸಿ: ನಿಮ್ಮ ಡೇಟಾಸೆಟ್ ಅನ್ನು ತರಲು, ರನ್ ಆಲ್ ಅನ್ನು ಒತ್ತಿ ಮತ್ತು ಉತ್ತಮಗೊಳಿಸಿದ ಮಾದರಿಯನ್ನು ಇನ್ನೊಂದು ಬದಿಯಲ್ಲಿ ಪಡೆಯಲು ಆರಂಭಿಕರಿಗಾಗಿ ಸ್ನೇಹಪರ ನೋಟ್‌ಬುಕ್‌ಗಳನ್ನು ವಿನ್ಯಾಸಗೊಳಿಸಲಾಗಿದೆ. ಇದು ಮುಖ್ಯ ಆಶಯ, ಮತ್ತು ನನ್ನ ಪರೀಕ್ಷಾ ಶೈಲಿಯ ಯೋಜನೆಗಳಲ್ಲಿ, GGUF/Ollama/vLLM ಪೈಪ್‌ಲೈನ್‌ಗಳಿಗೆ ರಫ್ತುಗಳು ಪ್ರಾಯೋಗಿಕ ನಿಯೋಜನೆಗೆ ದೊಡ್ಡ ಅನುಕೂಲವಾಗಿದೆ.

ಕಡಿಮೆ-ನಿಖರತೆಯ ಮೇಲೆ ಒಲವು: ನಿಮ್ಮ GPU ಅತಿಯಾಗಿ ಸಾಧಿಸುವ ಹದಿಹರೆಯದವರಾಗಿದ್ದರೆ (ಉದಾಹರಣೆಗೆ, 12–24 GB ಕಾರ್ಡ್), 4-ಬಿಟ್ QLoRA “ಹೊಂದಿಕೆಯಾಗುವುದಿಲ್ಲ” ಎಂಬುದನ್ನು “ಮಧ್ಯಾಹ್ನದ ವೇಳೆಗೆ ಚಾಲನೆಯಾಗುತ್ತದೆ” ಆಗಿ ಪರಿವರ್ತಿಸಬಹುದು. Unsloth ನ ಸಂಪೂರ್ಣ ವೈಬ್ ನಿಮ್ಮ ನಿಖರತೆಯನ್ನು ಹಾಳುಮಾಡದೆ “ಅದನ್ನು ಚಿಕ್ಕದಾಗಿ, ವೇಗವಾಗಿ, ಅಗ್ಗವಾಗಿಸಿ” ಎಂಬುದಾಗಿದೆ - ಆದರೂ ನೀವು ಬಿಟ್ಟುಕೊಟ್ಟ ಸೆಟ್‌ನಲ್ಲಿ ಮೌಲ್ಯೀಕರಿಸಬೇಕು.

ಫಲಿತಾಂಶ: ನೀವು ಶೀಘ್ರದಲ್ಲೇ ಕಾರ್ಯಕ್ಷಮತೆಯ ತಪಾಸಣಾ ಪಟ್ಟಿಯನ್ನು ಪಡೆಯುತ್ತೀರಿ ಮತ್ತು ನಿಯೋಜನೆಯ ಕಥೆ ಸ್ಪಷ್ಟವಾಗಿರುತ್ತದೆ - ಹಗುರವಾದ ಸರ್ವರ್ ಅಥವಾ ಎಡ್ಜ್ ಬಾಕ್ಸ್‌ಗೆ ಚಲಿಸಲು ಸೂಕ್ತವಾಗಿದೆ.

ಮಾರ್ಗ B: ಆರ್ಕೆಸ್ಟ್ರೇಶನ್ ಮತ್ತು ವಿವೇಚನೆಗಾಗಿ LLaMA-Factory

ವೆಬ್ UI ಅನ್ನು ಪ್ರಾರಂಭಿಸಿ: ನಿಮ್ಮ ಮೂಲ ಮಾದರಿ ಮತ್ತು ಡೇಟಾಸೆಟ್‌ನಲ್ಲಿ ಸೂಚಿಸಿ, ನಿಮ್ಮ ವಿಧಾನವನ್ನು ಆರಿಸಿ (ಪ್ರಾರಂಭಿಸಲು SFT; ನಂತರ ನೀವು ಬಲವರ್ಧನೆ-ಸುವಾಸನೆಯ ಪರಿಷ್ಕರಣೆಯನ್ನು ಬಯಸಿದರೆ DPO ಅಥವಾ ORPO) ಮತ್ತು ನಿಮ್ಮ ಅಡಾಪ್ಟರ್‌ಗಳನ್ನು ಹೊಂದಿಸಿ (LoRA/QLoRA). ಇಲ್ಲಿ ಉದ್ದೇಶ “ಯಾವುದೇ ನಿಗೂಢ ಸ್ಕ್ರಿಪ್ಟ್‌ಗಳಿಲ್ಲ.”

ಅಂತರ್ನಿರ್ಮಿತ ಮೌಲ್ಯಮಾಪನ: LLaMA-Factory ಇಲ್ಲಿ ಪ್ರಕಾಶಿಸುತ್ತದೆ. ಇದು ಕೇವಲ ತರಬೇತಿಯ ಬಗ್ಗೆ ಅಲ್ಲ; ಇದು ಮೌಲ್ಯಮಾಪನ ಕಾರ್ಯಗಳು ಮತ್ತು ಸಾರಾಂಶ ಡ್ಯಾಶ್‌ಬೋರ್ಡ್‌ಗಳ ಫಲಕದೊಂದಿಗೆ “ಇದು ಉತ್ತಮವಾಗಿದೆಯೇ?” ಎಂದು ಉತ್ತರಿಸುವ ಬಗ್ಗೆ. ಎಲ್ಲಾ AI ಮಾಟಮಂತ್ರ ಎಂದು ರಹಸ್ಯವಾಗಿ ನಂಬುವ ಪಾಲುದಾರರಿಗೆ ನೀವು ವರದಿ ಮಾಡುವಾಗ ಅದು ಅಮೂಲ್ಯವಾದುದು.

ಫಲಿತಾಂಶ: ಕಡಿಮೆ ತಲೆನೋವು, ಹೆಚ್ಚು ಪುನರುತ್ಪಾದಿಸಬಹುದಾದ ರನ್ ಮತ್ತು ತಂಡದ ಅಳವಡಿಕೆಗೆ ಸುಗಮ ಮಾರ್ಗ.

ವೇಗ vs. ಸರಳತೆ: ನೀವು ಅನುಭವಿಸುವ ವಿನಿಮಯಗಳು

ಸೆಟಪ್ ಸಮಯ: ಹೊಸಬರಿಗೆ LLaMA-Factory ಗೆಲುವು ಸಾಧಿಸುತ್ತದೆ. ನಿಮಗೆ ರಕ್ಷಣೆ, ಪ್ರಿಸೆಟ್‌ಗಳು ಮತ್ತು ದೃಶ್ಯ “ನಾವು ಇನ್ನೂ ತಲುಪಿಲ್ಲವೇ?” ಸಿಗುತ್ತದೆ.

ಪುನರಾವರ್ತನೆಯ ವೇಗ: ವಿಶೇಷವಾಗಿ ನೀವು ಸಾಧಾರಣ ಹಾರ್ಡ್‌ವೇರ್ ಹೊಂದಿದ್ದರೆ ಮತ್ತು ನೀವು ಕಡಿಮೆ-ನಿಖರತೆಯ ಟೂಲ್‌ಚೈನ್ ಅನ್ನು ಅವಲಂಬಿಸಿದರೆ, Unsloth ಸಾಮಾನ್ಯವಾಗಿ ಕಚ್ಚಾ ಥ್ರೋಪುಟ್‌ಗೆ ಗೆಲುವು ಸಾಧಿಸುತ್ತದೆ. ಅದನ್ನು ಹಿಂಡುವಂತೆ ನಿರ್ಮಿಸಲಾಗಿದೆ.

ಆಡಳಿತ ಮತ್ತು ಪುನರುತ್ಪಾದನೆ: LLaMA-Factory ನ ಸಂಯೋಜಿತ ಮೌಲ್ಯಮಾಪನ ಮತ್ತು ಶೂನ್ಯ-ಕೋಡ್ ಪೈಪ್‌ಲೈನ್‌ಗಳು ಫಲಿತಾಂಶಗಳನ್ನು ಹಂಚಿಕೊಳ್ಳಲು, ರನ್‌ಗಳನ್ನು ಹೋಲಿಸಲು ಮತ್ತು ತಂಡದಾದ್ಯಂತ ಪ್ರಮಾಣೀಕರಿಸಲು ಸುಲಭವಾಗಿಸುತ್ತದೆ.

ನಿಯೋಜನೆ ಮಾರ್ಗ: ನೀವು GGUF, Ollama ಅಥವಾ vLLM ನಂತಹ ಸ್ಥಳೀಯ ಅನುಮಾನ ಸ್ಟಾಕ್‌ಗಳನ್ನು ಗುರಿಯಾಗಿಸಿಕೊಂಡಿದ್ದರೆ Unsloth ನ ರಫ್ತು ಆಯ್ಕೆಗಳು ಅದ್ಭುತವಾಗಿ ಪ್ರಾಯೋಗಿಕವಾಗಿವೆ.

ಎರಡು ತಂಡಗಳ ಕಥೆ

ಬಜೆಟ್‌ನಲ್ಲಿರುವ ಸ್ಟಾರ್ಟ್‌ಅಪ್: ಅವರ ಬಳಿ ಎರಡು 24-GB ಕಾರ್ಡ್‌ಗಳಿವೆ, ಒಂದು ವಾರಾಂತ್ಯ ಮತ್ತು ಸೋಮವಾರ ಪ್ರದರ್ಶನವಿದೆ. QLoRA ನೊಂದಿಗೆ ಬೋಧನೆ-ಉತ್ತಮಗೊಳಿಸಿದ ತಪಾಸಣಾ ಪಟ್ಟಿಯನ್ನು ತಯಾರಿಸಲು, ತರಬೇತಿ ಸಮಯವನ್ನು ಕಡಿಮೆ ಮಾಡಲು ಮತ್ತು CPU-ಸ್ನೇಹಿ ರನ್‌ಟೈಮ್‌ನಲ್ಲಿ ಚಲಿಸುವ GGUF ಅನ್ನು ರಫ್ತು ಮಾಡಲು Unsloth ಅವರಿಗೆ ಸಹಾಯ ಮಾಡುತ್ತದೆ. ಅವರು GPU ಫಾರ್ಮ್ ಅನ್ನು ಬಾಡಿಗೆಗೆ ಪಡೆಯದೆ ಗ್ರಾಹಕರನ್ನು ಬೆರಗುಗೊಳಿಸುತ್ತಾರೆ.

ಉದ್ಯಮ ತಂಡ: ಡೇಟಾ ವಿಜ್ಞಾನಿ ML ಇಂಜಿನಿಯರ್‌ಗೆ ಮತ್ತು ML ಇಂಜಿನಿಯರ್ ವಿಶ್ಲೇಷಕರಿಗೆ ಹಸ್ತಾಂತರಿಸಬಹುದಾದ ಪುನರಾವರ್ತಿತ ಪೈಪ್‌ಲೈನ್ ಅವರಿಗೆ ಬೇಕು - ಸರಿ, ನಿಮಗೆ ಅರ್ಥವಾಗುತ್ತದೆ. LLaMA-Factory ನ UI, ವಿಧಾನಗಳು ಮತ್ತು ಮೌಲ್ಯಮಾಪನ ಲೂಪ್ ಎಲ್ಲರನ್ನು ಒಂದೇ ಪುಟದಲ್ಲಿ ಇರಿಸುತ್ತದೆ. ಅವರು ಹುಡ್ ಅಡಿಯಲ್ಲಿ ವೇಗವರ್ಧಕಗಳನ್ನು ಜೋಡಿಸಬಹುದು, ಆದರೆ ಅನುಭವವು ಸ್ಥಿರವಾಗಿರುತ್ತದೆ.

ಮಾದರಿ ಮೆನು ಬಗ್ಗೆ ಏನು?

ಎರಡೂ ಗುಂಪುಗಳು ಮಾದರಿ ಕುಟುಂಬಗಳ ವ್ಯಾಪಕ ವ್ಯಾಪ್ತಿಯನ್ನು ಬೆಂಬಲಿಸುತ್ತವೆ. LLaMA-Factory ಏಕೀಕೃತ ನಿರ್ವಹಣೆಯೊಂದಿಗೆ “100+ ಮಾದರಿಗಳನ್ನು” ಜಾಹೀರಾತು ಮಾಡುತ್ತದೆ; ನಿಮ್ಮ ತಂಡವು LLaMA, Mistral, Qwen ಮತ್ತು ಮೀರಿ ಬದಲಾಯಿಸಿದರೆ ಅದು ದೊಡ್ಡ ವಿಷಯವಾಗಿದೆ. Unsloth ನ README “TTS, STT, ಮಲ್ಟಿಮೋಡಲ್, BERT ಮತ್ತು ಹೆಚ್ಚಿನವುಗಳನ್ನು ಒಳಗೊಂಡಂತೆ ಎಲ್ಲಾ ಮಾದರಿಗಳನ್ನು” ಬೆಂಬಲಿಸುವುದನ್ನು ಹೆಮ್ಮೆಯಿಂದ ಹೇಳುತ್ತದೆ, ಇದು ಚಾಟ್ LLM ಗಳಲ್ಲದೆ ವಿಧಾನಗಳಾದ್ಯಂತ ವೇಗವರ್ಧನೆಗೆ ತಲಾಧಾರವಾಗಿ ಅದರ ಪಾತ್ರವನ್ನು ಒತ್ತಿಹೇಳುತ್ತದೆ. ನಿಮ್ಮ ಕೆಲಸವು ಪಠ್ಯ ಮತ್ತು ಆಡಿಯೊವನ್ನು ವ್ಯಾಪಿಸಿದರೆ, Unsloth ನ ಅಗಲವು ಮೌನವಾದ ಸೂಪರ್‌ಪವರ್ ಆಗಿರಬಹುದು.

ಅವರು ಪರಸ್ಪರ ಚೆನ್ನಾಗಿ ಆಡುತ್ತಾರೆಯೇ?

ಇಲ್ಲಿ ಒಂದು ತಿರುವು ಇದೆ: ನೀವು ಅಗತ್ಯವಾಗಿ ಆಯ್ಕೆ ಮಾಡಬೇಕಾಗಿಲ್ಲ. LLaMA-Factory ಏಕೀಕರಿಸುವ UI/ಆರ್ಕೆಸ್ಟ್ರೇಶನ್ ಪದರವಾಗಿರಲು ಗುರಿಯನ್ನು ಹೊಂದಿದೆ ಮತ್ತು ಕೆಲವು ವ್ಯಾಖ್ಯಾನಗಳು ಅದು ನೇರವಾಗಿ ಸ್ಪರ್ಧಿಸುವ ಬದಲು ವೇಗವರ್ಧಕಗಳನ್ನು ಸಂಯೋಜಿಸುತ್ತದೆ ಎಂದು ಸೂಚಿಸುತ್ತದೆ. ಬೇರೆ ರೀತಿಯಲ್ಲಿ ಹೇಳುವುದಾದರೆ, ನೀವು Unsloth-ರೀತಿಯ ಆಪ್ಟಿಮೈಸೇಶನ್‌ಗಳನ್ನು ಕಠಿಣ ಪರಿಶ್ರಮಕ್ಕಾಗಿ ಅವಲಂಬಿಸಿರುವಾಗ LLaMA-Factory ನ UI ಮತ್ತು ಮೌಲ್ಯಮಾಪನ ವೈಶಿಷ್ಟ್ಯಗಳನ್ನು ಬಳಸಬಹುದು - ಎರಡೂ ಪ್ರಪಂಚಗಳ ಅತ್ಯುತ್ತಮ, ಕಡಿಮೆ ಐಬುಪ್ರೊಫೇನ್.

ವೆಚ್ಚಗಳು, ಪರವಾನಗಿಗಳು ಮತ್ತು ಸಣ್ಣ ಮುದ್ರಣ

ತರಬೇತಿಯ ವೆಚ್ಚ: Unsloth ನ ಆಪ್ಟಿಮೈಸೇಶನ್‌ಗಳು ಗೋಡೆಯ-ಗಡಿಯಾರದ ಸಮಯ ಮತ್ತು VRAM ಅಗತ್ಯಗಳನ್ನು ಕಡಿಮೆ ಮಾಡಲು ಒಲವು ತೋರುತ್ತವೆ, ಇದು ಸಾಮಾನ್ಯವಾಗಿ ಕಡಿಮೆ ಕ್ಲೌಡ್ ಬಿಲ್‌ಗಳಿಗೆ ಕಾರಣವಾಗುತ್ತದೆ - ಮತ್ತು ಸರಕು GPU ಗಳಲ್ಲಿ ಹೆಚ್ಚು ಕಾರ್ಯಸಾಧ್ಯವಾದ ರನ್‌ಗಳು.

ಸಂಕೀರ್ಣತೆಯ ಅಪಾಯ: LLaMA-Factory ನೊಂದಿಗೆ, ನೀವು “ಕೆಲಸ ಮಾಡುತ್ತದೆ” ಅನುಭವಕ್ಕಾಗಿ ಹುಡ್ ಒಳಗೆ ಸ್ವಲ್ಪ ಒಳನೋಟವನ್ನು ವಿನಿಮಯ ಮಾಡಿಕೊಳ್ಳುತ್ತಿದ್ದೀರಿ. ಅದು ಸಾಮಾನ್ಯವಾಗಿ ಗೆಲುವು - ಆದರೆ ನೀವು ಡೀಫಾಲ್ಟ್‌ಗಳನ್ನು ಬದಲಾಯಿಸಿದರೆ ನೀವು ಯಾವ ನಾಬ್‌ಗಳನ್ನು ತಿರುಗಿಸುತ್ತಿದ್ದೀರಿ ಎಂದು ತಿಳಿದಿರಲಿ.

ಸಮುದಾಯ ಮತ್ತು ಡಾಕ್ಸ್: LLaMA-Factory ನ ಡಾಕ್ಸ್ ರೆಪೊ ಮತ್ತು ವೆಬ್ UI ಆನ್‌ಬೋರ್ಡಿಂಗ್ ಘರ್ಷಣೆಯನ್ನು ಕಡಿಮೆ ಮಾಡುತ್ತದೆ. Unsloth ಕೋಡ್-ಕೇಂದ್ರಿತ ಡಾಕ್ಸ್ ಮತ್ತು ನೋಟ್‌ಬುಕ್ ಟ್ಯುಟೋರಿಯಲ್‌ಗಳನ್ನು ಅವಲಂಬಿಸಿದೆ, ಇದು ಹೆಚ್ಚು “ಡೆವಲಪರ್-ಫಾರ್ವರ್ಡ್” ಎಂದು ಅನಿಸಬಹುದು ಆದರೆ ನೇರವಾಗಿರುತ್ತದೆ.

ತೊಂದರೆಗಳು ಮತ್ತು ದೋಷನಿವಾರಣೆ: ಕಷ್ಟಪಟ್ಟು ಗಳಿಸಿದ ಜ್ಞಾನ

VRAM ಮರೀಚಿಕೆ: QLoRA ಸಣ್ಣ GPU ಗಳಲ್ಲಿ ದೊಡ್ಡ ಮಾದರಿಗಳನ್ನು ಕಾರ್ಯಸಾಧ್ಯವಾಗುವಂತೆ ಮಾಡಬಹುದು... ನಿಮ್ಮ ಅನುಕ್ರಮ ಉದ್ದ, ಬ್ಯಾಚ್ ಗಾತ್ರ ಮತ್ತು ಅಡಾಪ್ಟರ್‌ಗಳು ನಿಮ್ಮ ಮೇಲೆ ಒಟ್ಟಾಗಿ ದಾಳಿ ಮಾಡುವವರೆಗೆ. ಚಿಕ್ಕದಾಗಿ ಪ್ರಾರಂಭಿಸಿ, ನೈಜ ಸಮಯದಲ್ಲಿ ಮೆಮೊರಿಯನ್ನು ವೀಕ್ಷಿಸಿ ಮತ್ತು ಸ್ಕೇಲ್ ಮಾಡಿ.

ಡೇಟಾ ಆಹಾರವು ಮ್ಯಾಜಿಕ್ ಧೂಳಿಗಿಂತ ಮುಖ್ಯವಾಗಿದೆ: ಯಾವುದೇ ಆಪ್ಟಿಮೈಜರ್ ಗೊಂದಲಮಯ ಡೇಟಾಸೆಟ್ ಅನ್ನು ಸರಿಪಡಿಸಲು ಸಾಧ್ಯವಿಲ್ಲ. ಸ್ವಚ್ಛವಾದ ಫಾರ್ಮ್ಯಾಟಿಂಗ್, ಸ್ಥಿರವಾದ ಬೋಧನೆ-ಪ್ರತಿಕ್ರಿಯೆ ಜೋಡಿಗಳು ಮತ್ತು ಎಚ್ಚರಿಕೆಯ ಡಿಡುಪಿಂಗ್ ಯಾವುದೇ ಅಲಂಕಾರಿಕ ಧ್ವಜವನ್ನು ಸೋಲಿಸುತ್ತದೆ.

ಮೌಲ್ಯಮಾಪನವು ವೃತ್ತಿಜೀವನವನ್ನು ಉಳಿಸುತ್ತದೆ: ನಿಮ್ಮ ನೈಜ ಕಾರ್ಯಗಳಲ್ಲಿ ನೀವು ಪರೀಕ್ಷಿಸದ ಮಾದರಿಯನ್ನು ರವಾನಿಸಬೇಡಿ. LLaMA-Factory ನ ಸಂಯೋಜಿತ ಮೌಲ್ಯಮಾಪನವು ಈ ಅಭ್ಯಾಸವನ್ನು ನೋವುರಹಿತವಾಗಿಸುತ್ತದೆ; ನಿಮ್ಮ ಸ್ವಂತ ಮೆಟ್ರಿಕ್ ಡ್ಯಾಶ್‌ಬೋರ್ಡ್‌ಗೆ ವೈರ್ ಮಾಡುವ ಮೂಲಕ Unsloth ನೊಂದಿಗೆ ಅದೇ ರೀತಿ ಮಾಡಿ.

ರಫ್ತುಗಳು ನೀತಿ: ಗೌಪ್ಯತೆ ಅಥವಾ ಸುಪ್ತತೆಗಾಗಿ ನಿಮಗೆ ಸ್ಥಳೀಯ ಅನುಮಾನ ಅಗತ್ಯವಿದ್ದರೆ, ಮೊದಲ ದಿನದಂದು ನಿಮ್ಮ ರಫ್ತು ಸ್ವರೂಪವನ್ನು ಯೋಜಿಸಿ. GGUF/Ollama/vLLM ಗೆ Unsloth ನ ಸ್ಪಷ್ಟ ಮಾರ್ಗಗಳು ನೀವು ಆಯ್ಕೆ ಮಾಡುವ ಮೂಲ ಮಾದರಿಗಳು ಮತ್ತು ಅಡಾಪ್ಟರ್‌ಗಳ ಮೇಲೆ ಪರಿಣಾಮ ಬೀರಬಹುದು.

ಮಿಂಚಿನ ಶಾಪಿಂಗ್ ಮಾರ್ಗದರ್ಶಿ

ಒಂದು GPU ಹೊಂದಿರುವ ಏಕಾಂಗಿ ನಿರ್ಮಾಪಕ, ವೇಗ-ಹಸಿದ: Unsloth.

ಪ್ರಮಾಣಿತ, ಯಾವುದೇ-ನಾಟಕ ಪೈಪ್‌ಲೈನ್ ಮತ್ತು ಡ್ಯಾಶ್‌ಬೋರ್ಡ್‌ಗಳ ಅಗತ್ಯವಿರುವ ತಂಡ: LLaMA-Factory.

ಮಿಶ್ರ-ವಿಧಾನ ಅಥವಾ ವಿಚಿತ್ರ ನಿಯೋಜನೆ ಗುರಿಗಳು: Unsloth ಒಂದು ಹೆಜ್ಜೆ ಮುಂದಿದೆ.

ತರಗತಿಯನ್ನು ಬೋಧಿಸುವುದು ಅಥವಾ ಸಹೋದ್ಯೋಗಿಗಳನ್ನು ಆನ್‌ಬೋರ್ಡ್ ಮಾಡುವುದು: LLaMA-Factory ನ ವೆಬ್ UI ಏಳು ಸ್ಲ್ಯಾಕ್ ಥ್ರೆಡ್‌ಗಳನ್ನು ಉಳಿಸುತ್ತದೆ.

ನಿರ್ಧರಿಸಲು ಸಾಧ್ಯವಿಲ್ಲವೇ? ಆರ್ಕೆಸ್ಟ್ರೇಶನ್ ಮತ್ತು ಪ್ರಯೋಗ ಟ್ರ್ಯಾಕಿಂಗ್‌ಗಾಗಿ LLaMA-Factory ಅನ್ನು ಬಳಸಿ ಮತ್ತು ಬೆಂಬಲಿತವಾಗಿರುವಲ್ಲಿ ಹುಡ್ ಅಡಿಯಲ್ಲಿ ವೇಗವರ್ಧನೆಯನ್ನು ತನ್ನಿ.

Sider.AI ಎಲ್ಲಿ ಹೊಂದಿಕೊಳ್ಳುತ್ತದೆ

ನೀವು ಪ್ರಾಂಪ್ಟ್‌ಗಳನ್ನು ಕುಶಲತೆಯಿಂದ ನಿರ್ವಹಿಸುತ್ತಿದ್ದರೆ, ಉದಾಹರಣೆಗಳನ್ನು ಸಂಗ್ರಹಿಸುತ್ತಿದ್ದರೆ ಅಥವಾ ನಿಮ್ಮ ತರಬೇತಿ ಪ್ರಯೋಗಗಳನ್ನು ದಾಖಲಿಸುತ್ತಿದ್ದರೆ, ನಿಮಗೆ ಮತ್ತೊಂದು ತಲೆನೋವು ಬೇಡ - ನಿಮಗೆ ಜೊತೆಗಾರ ಬೇಕು. Sider.AI ನಿಮ್ಮ ಬ್ರೌಸರ್‌ನಲ್ಲಿ ಚಲಿಸುತ್ತದೆ ಮತ್ತು ಪ್ರಾಂಪ್ಟ್‌ಗಳನ್ನು ರಚಿಸಲು, ಬೋಧನೆ-ಶೈಲಿಯ ಉದಾಹರಣೆಗಳನ್ನು ಉತ್ಪಾದಿಸಲು ಮತ್ತು ನಿಮ್ಮ ಭವಿಷ್ಯದ ಸ್ವಯಂ “ನಾನು ಏಕೆ lr=2e-5 ಅನ್ನು ಮತ್ತೆ ಹೊಂದಿಸಿದೆ?” ಎಂದು ಆಶ್ಚರ್ಯಪಡದಂತೆ ತರಬೇತಿ ಲಾಗ್‌ಗಳನ್ನು ಸರಳ ಇಂಗ್ಲಿಷ್‌ಗೆ ಸಂಕ್ಷಿಪ್ತಗೊಳಿಸಲು ಸಹ ನಿಮಗೆ ಸಹಾಯ ಮಾಡುತ್ತದೆ. ಇದು ಉತ್ತಮಗೊಳಿಸುವ ಎಂಜಿನ್ ಅಲ್ಲ, ಆದರೆ ಕಾರ್ಯವಿಧಾನದ ಯೋಜನೆ ಮತ್ತು ವಿಶ್ಲೇಷಣೆ ಭಾಗಗಳಿಗೆ ಇದು ಅದ್ಭುತ ಚಿಂತನಾ ಪಾಲುದಾರ. ಇಲ್ಲಿ ಒಂದು ಟ್ರಿಕ್ ಇದೆ: ಅದನ್ನು ಹಿಂದಿರುಗಿಸುವ ಪ್ರಾಜೆಕ್ಟ್ ನೋಟ್‌ಬುಕ್‌ನಂತೆ ಪರಿಗಣಿಸಿ. ಐದು ಗ್ರಾಹಕ ಚಾಟ್‌ಗಳನ್ನು ಬೋಧನೆ-ಪ್ರತಿಕ್ರಿಯೆ ಜೋಡಿಗಳಾಗಿ ಪುನಃ ಬರೆಯಲು ಅಥವಾ ನಿಮ್ಮ ಗುರಿ ನಡವಳಿಕೆಗಳ ಆಧಾರದ ಮೇಲೆ ಮೌಲ್ಯಮಾಪನ ಪರಿಶೀಲನಾಪಟ್ಟಿಯನ್ನು ಪ್ರಸ್ತಾಪಿಸಲು ಅದನ್ನು ಕೇಳಿ. ಅದು ನಿಮ್ಮ ತೂಕವನ್ನು ಹೆಚ್ಚಿಸುವುದಿಲ್ಲ, ಆದರೆ ಅದು ನಿಮ್ಮ ಪ್ರಗತಿಯನ್ನು ಹೆಚ್ಚಿಸುತ್ತದೆ.

ತ್ವರಿತ, ನೈಜ-ಪ್ರಪಂಚದ ಡೆಮೊ ಸನ್ನಿವೇಶ

ಗುರಿ: ಬಿಲ್ಲಿಂಗ್ ಪ್ರಶ್ನೆಗಳಿಗೆ ಸಭ್ಯವಾಗಿ ಮತ್ತು ಸಂಕ್ಷಿಪ್ತವಾಗಿ ಉತ್ತರಿಸಲು 7B ಮಾದರಿಯನ್ನು ಉತ್ತಮಗೊಳಿಸಿ.

ಡೇಟಾ: 10,000 ಕ್ಯುರೇಟೆಡ್ ಪ್ರಶ್ನೆ ಮತ್ತು ಉತ್ತರ ಜೋಡಿಗಳು.

ಹಾರ್ಡ್‌ವೇರ್: ಒಂದು 24-GB GPU.

ಆಯ್ಕೆ 1: Unsloth

ಮೂಲ ಮಾದರಿಯನ್ನು ಲೋಡ್ ಮಾಡಿ, 4-ಬಿಟ್ QLoRA ಅನ್ನು ಸಕ್ರಿಯಗೊಳಿಸಿ, ಸಣ್ಣ ಅನುಕ್ರಮಗಳೊಂದಿಗೆ (512) ಮತ್ತು ಸಾಧಾರಣ ಬ್ಯಾಚ್ ಗಾತ್ರದೊಂದಿಗೆ ಪ್ರಾರಂಭಿಸಿ. 2) ಕೆಲವು ಯುಗಗಳಿಗೆ ತರಬೇತಿ ನೀಡಿ, GGUF ಗೆ ರಫ್ತು ಮಾಡಿ. 3) ಸುಪ್ತತೆ-ಮುಕ್ತ ಡೆಮೊಗಳಿಗಾಗಿ Ollama ಅನ್ನು ಸ್ಥಳೀಯವಾಗಿ ಪ್ರಾರಂಭಿಸಿ. 4) ಸಹಾಯಕತೆ ಮತ್ತು ನಿಖರತೆಯನ್ನು ಅಳೆಯಲು ಸಣ್ಣ ಮೌಲ್ಯಮಾಪನ ಸೆಟ್ ಅನ್ನು ಬಳಸಿ; ಮತ್ತೊಮ್ಮೆ ಪುನರಾವರ್ತಿಸಿ. ವೇಗವಾಗಿ, ಅಚ್ಚುಕಟ್ಟಾಗಿ, ನಿಯೋಜಿಸಬಹುದಾಗಿದೆ.

ಆಯ್ಕೆ 2: LLaMA-Factory

ವೆಬ್ UI ಮೂಲಕ ನಿಮ್ಮ ದಾರಿಯನ್ನು ಕ್ಲಿಕ್ ಮಾಡಿ: ಮೂಲ ಮಾದರಿ, LoRA/QLoRA ಅಡಾಪ್ಟರ್‌ಗಳು ಮತ್ತು SFT ವಿಧಾನವನ್ನು ಆರಿಸಿ. 2) ನಿಮ್ಮ ಡೇಟಾಸೆಟ್ ಅನ್ನು ಸೂಚಿಸಿ; ಮೌಲ್ಯಮಾಪನ ಕಾರ್ಯಗಳನ್ನು ಹೊಂದಿಸಿ. 3) ಡ್ಯಾಶ್‌ಬೋರ್ಡ್‌ನಲ್ಲಿ ಮೆಟ್ರಿಕ್‌ಗಳನ್ನು ರನ್ ಮಾಡಿ, ಮಾನಿಟರ್ ಮಾಡಿ ಮತ್ತು ಹಿಂದಿನ ತಪಾಸಣಾ ಪಟ್ಟಿಗೆ ಹೋಲಿಕೆ ಮಾಡಿ. 4) ಟೋನ್ ಸರಿಯಾಗಿಲ್ಲದಿದ್ದರೆ, ಮಾನವ-ಆದ್ಯತೆಯ ಲೇಬಲ್‌ಗಳನ್ನು ಬಳಸಿಕೊಂಡು DPO ರನ್‌ನಲ್ಲಿ ಬದಲಾಯಿಸಿ. ಕಡಿಮೆ ಗದ್ದಲ, ಹೆಚ್ಚು ವೀಕ್ಷಣೆ.

ಹಾಗಾದರೆ... ನೀವು ಯಾವುದನ್ನು ಆರಿಸಬೇಕು?

ನೀವು ಕಚ್ಚಾ ವೇಗ, ಕಡಿಮೆ VRAM ಹೆಜ್ಜೆಗುರುತುಗಳು ಮತ್ತು ರಫ್ತು-ಸ್ನೇಹಿ ಕಲಾಕೃತಿಗಳನ್ನು ಬಯಸಿದರೆ Unsloth ಅನ್ನು ಆರಿಸಿ - ಮತ್ತು ನೀವು ಕೋಡ್ ಮತ್ತು ನೋಟ್‌ಬುಕ್‌ಗಳಲ್ಲಿ ವಾಸಿಸಲು ಆರಾಮದಾಯಕರಾಗಿದ್ದೀರಿ.

ನೀವು ಮಾರ್ಗದರ್ಶಿತ, ಪುನರುತ್ಪಾದಿಸಬಹುದಾದ, ತಂಡ-ಸ್ನೇಹಿ ಪೈಪ್‌ಲೈನ್ ಅನ್ನು ಅಂತರ್ನಿರ್ಮಿತ ಮೌಲ್ಯಮಾಪನ ಮತ್ತು ವೆಬ್ UI ನೊಂದಿಗೆ ಬಯಸಿದರೆ LLaMA-Factory ಅನ್ನು ಆರಿಸಿ, ಅದು ಉತ್ತಮಗೊಳಿಸುವಿಕೆಯನ್ನು ಶಸ್ತ್ರಚಿಕಿತ್ಸೆಯಂತೆ ಕಡಿಮೆ ಮಾಡುತ್ತದೆ.

ಅಥವಾ ಅರ್ಥವಾಗುವಲ್ಲಿ ಅವುಗಳನ್ನು ಒಟ್ಟಿಗೆ ಬಳಸಿ. ಪರಿಸರ ವ್ಯವಸ್ಥೆಗಳು ಶತ್ರುಗಳಲ್ಲ; ಅವು ಒಗಟು ತುಣುಕುಗಳು.

ಬಾಟಮ್ ಲೈನ್

ಉತ್ತಮಗೊಳಿಸುವಿಕೆಯು ಕತ್ತಲೆಯಲ್ಲಿ ಟ್ರ್ಯಾಂಪೊಲೀನ್ ಅನುಭವವಾಗಿರಬೇಕಾಗಿಲ್ಲ. Unsloth ಎಂಬುದು ವೇಗವಾಗಿ ತಿರುಗುವ ಮತ್ತು ಗಟ್ಟಿಯಾಗಿ ಕಚ್ಚುವ ವ್ರೆಂಚ್; LLaMA-Factory ಎಂಬುದು ದೊಡ್ಡ ಚಿತ್ರಗಳು ಮತ್ತು ಸಹಾಯಕ ದೋಷನಿವಾರಣೆ ಪುಟವನ್ನು ಹೊಂದಿರುವ ಸೂಚನಾ ಕೈಪಿಡಿಯಾಗಿದೆ. ನಿಮ್ಮ ವಿಧಾನ ಮತ್ತು ನಿಮ್ಮ ಹಾರ್ಡ್‌ವೇರ್ ಮಿತಿಗಳು ನಿಮಗೆ ತಿಳಿದಿದ್ದರೆ, Unsloth ನೀವು ನಿಜವಾಗಿ ಚಲಾಯಿಸಬಹುದಾದ ಫಾರ್ಮ್ಯಾಟ್‌ಗಳಿಗೆ ಸ್ವಚ್ಛವಾದ ನಿರ್ಗಮನಗಳೊಂದಿಗೆ ಘನ ತಪಾಸಣಾ ಪಟ್ಟಿಗೆ ನಿಮ್ಮನ್ನು ವೇಗವಾಗಿ ತಲುಪಿಸುತ್ತದೆ. ನೀವು ಜನರು, ಯೋಜನೆಗಳು ಮತ್ತು ಮಾದರಿಗಳಾದ್ಯಂತ ಕಾರ್ಯವಿಧಾನವನ್ನು ಸ್ಕೇಲ್ ಮಾಡುತ್ತಿದ್ದರೆ, LLaMA-Factory ನಿಮಗೆ ಗೇಜ್‌ಗಳಿಂದ ತುಂಬಿದ ಕಾಕ್‌ಪಿಟ್ ಅನ್ನು ನೀಡುತ್ತದೆ ಆದ್ದರಿಂದ ನೀವು ರೆಕ್ಕೆಗೆ ನೇತಾಡುವ ಬದಲು ವಿಮಾನವನ್ನು ಹಾರಿಸಬಹುದು.

ಯಾವುದೇ ರೀತಿಯಲ್ಲಿ, ಸಂತೋಷದ ಉತ್ತಮಗೊಳಿಸುವಿಕೆಯ ಮೂರು ನಿಯಮಗಳನ್ನು ನೆನಪಿಡಿ: ಸ್ವಚ್ಛವಾದ ಡೇಟಾ ಚತುರ ಧ್ವಜಗಳನ್ನು ಸೋಲಿಸುತ್ತದೆ, ಮೌಲ್ಯಮಾಪನವು ಕಂಪನಗಳನ್ನು ಸೋಲಿಸುತ್ತದೆ ಮತ್ತು ರಫ್ತುಗಳು ಸಿದ್ಧಾಂತವನ್ನು ಸೋಲಿಸುತ್ತವೆ. ಅದನ್ನು ಮಾಡಿ, ಮತ್ತು ನಿಮ್ಮ ಮುಂದಿನ ಮಾದರಿಯನ್ನು ಕೇವಲ ಉತ್ತಮಗೊಳಿಸುವುದಿಲ್ಲ - ಅದು ಉತ್ತಮವಾಗಿರುತ್ತದೆ.

FAQ

Q1: LLM ಉತ್ತಮಗೊಳಿಸುವಿಕೆಗೆ ಯಾವುದು ವೇಗವಾಗಿದೆ: Unsloth ಅಥವಾ LLaMA-Factory? ಅನೇಕ ಸಣ್ಣ-ಮಧ್ಯಮ GPU ಸೆಟಪ್‌ಗಳಲ್ಲಿ, Unsloth ನ ಕಡಿಮೆ-ನಿಖರತೆಯ ಆಪ್ಟಿಮೈಸೇಶನ್‌ಗಳು ತರಬೇತಿ ಸಮಯವನ್ನು ಕಡಿಮೆ ಮಾಡಬಹುದು ಮತ್ತು VRAM ಒತ್ತಡವನ್ನು ಕಡಿಮೆ ಮಾಡಬಹುದು, ಆದ್ದರಿಂದ ಇದು ಪ್ರಾಯೋಗಿಕವಾಗಿ ವೇಗವಾಗಿ ಅನುಭವವಾಗುತ್ತದೆ. LLaMA-Factory ವೇಗವರ್ಧನೆಗಳನ್ನು ಸಹ ಬಳಸಿಕೊಳ್ಳಬಹುದು, ಆದರೆ ಅದರ ಸೂಪರ್‌ಪವರ್ ಕಚ್ಚಾ ವೇಗಕ್ಕಿಂತ ಹೆಚ್ಚಾಗಿ ಆರ್ಕೆಸ್ಟ್ರೇಶನ್ ಮತ್ತು ಮೌಲ್ಯಮಾಪನವಾಗಿದೆ.

Q2: LLaMA-Factory ಆರಂಭಿಕರಿಗಾಗಿ ಒಳ್ಳೆಯದೇ? ಹೌದು. ಅದರ ವೆಬ್ UI, ಶೂನ್ಯ-ಕೋಡ್ ಕಾರ್ಯವಿಧಾನಗಳು ಮತ್ತು ಅಂತರ್ನಿರ್ಮಿತ ಮೌಲ್ಯಮಾಪನವು ಅದನ್ನು ಆರಂಭಿಕರಿಗಾಗಿ ಸ್ನೇಹಿಯನ್ನಾಗಿ ಮಾಡುತ್ತದೆ, ವಿಶೇಷವಾಗಿ ನೀವು ಸ್ಕ್ರಿಪ್ಟ್‌ಗಳನ್ನು ಬೆನ್ನಟ್ಟದೆ ಪುನರಾವರ್ತಿತ ಉತ್ತಮಗೊಳಿಸುವಿಕೆಯ ಪೈಪ್‌ಲೈನ್ ಅನ್ನು ಬಯಸಿದರೆ. ಇದು ಪ್ರಕ್ರಿಯೆಗಳನ್ನು ಕಲಿಸಲು ಅಥವಾ ಪ್ರಮಾಣೀಕರಿಸುವ ತಂಡಗಳಿಗೆ ಸೂಕ್ತವಾಗಿದೆ.

Q3: ಉತ್ತಮಗೊಳಿಸಿದ ನಂತರ ನಾನು GGUF ಗೆ ರಫ್ತು ಮಾಡಬಹುದೇ ಅಥವಾ Ollama ನೊಂದಿಗೆ ಚಲಾಯಿಸಬಹುದೇ? Unsloth ನ ಸ್ಟುಡಿಯೋ ನೋಟ್‌ಬುಕ್‌ಗಳು GGUF ಗೆ ಸ್ವಚ್ಛವಾದ ರಫ್ತುಗಳು ಮತ್ತು Ollama ಅಥವಾ vLLM ನೊಂದಿಗೆ ಸುಲಭವಾದ ನಿಯೋಜನೆಯನ್ನು ಒತ್ತಿಹೇಳುತ್ತವೆ, ಇದು ಸ್ಥಳೀಯ ಅಥವಾ ಎಡ್ಜ್ ಅನುಮಾನಕ್ಕೆ ಉತ್ತಮವಾಗಿದೆ. LLaMA-Factory ನೊಂದಿಗೆ, ನಿಮ್ಮ ಮೂಲ ಮಾದರಿಯ ಬೆಂಬಲಿತ ರಫ್ತು ಮಾರ್ಗಗಳಿಗಾಗಿ ಡಾಕ್ಸ್ ಅನ್ನು ಪರಿಶೀಲಿಸಿ ಮತ್ತು ನಿಮಗೆ ಅಗತ್ಯವಿರುವ ರನ್‌ಟೈಮ್‌ಗಾಗಿ ಮುಂಚಿತವಾಗಿ ಯೋಜಿಸಿ.

Q4: Unsloth ಮತ್ತು LLaMA-Factory QLoRA ಅನ್ನು ಬೆಂಬಲಿಸುತ್ತದೆಯೇ? ಹೌದು. ಎರಡೂ LoRA/QLoRA ನಂತಹ ಅಡಾಪ್ಟರ್-ಆಧಾರಿತ ತರಬೇತಿಯನ್ನು ಬೆಂಬಲಿಸುತ್ತವೆ, ಇದು ಸಣ್ಣ GPU ಗಳಲ್ಲಿ ದೊಡ್ಡ ಮಾದರಿಗಳನ್ನು ಉತ್ತಮಗೊಳಿಸಲು ನಿಮಗೆ ಅನುವು ಮಾಡಿಕೊಡುತ್ತದೆ. ಅನುಕ್ರಮ ಉದ್ದ, ಬ್ಯಾಚ್ ಗಾತ್ರ ಮತ್ತು ಅಡಾಪ್ಟರ್‌ಗಳನ್ನು ಸಮತೋಲನಗೊಳಿಸುವುದು ಮುಖ್ಯವಾಗಿದೆ ಆದ್ದರಿಂದ ನೀವು ನಿಮ್ಮ VRAM ಬಜೆಟ್ ಅನ್ನು ಮೀರಿ ಹೋಗಬೇಡಿ.

Q5: ನಾನು Unsloth ಮತ್ತು LLaMA-Factory ಅನ್ನು ಒಟ್ಟಿಗೆ ಬಳಸಬೇಕೇ? ನೀವು ಮಾಡಬಹುದು. ಅದರ UI, ವಿಧಾನಗಳು ಮತ್ತು ಮೌಲ್ಯಮಾಪನಕ್ಕಾಗಿ LLaMA-Factory ಅನ್ನು ಬಳಸಿ ಮತ್ತು ಹೊಂದಾಣಿಕೆಯಾಗುವಲ್ಲಿ ಹುಡ್ ಅಡಿಯಲ್ಲಿ ವೇಗವರ್ಧನೆಯನ್ನು ಟ್ಯಾಪ್ ಮಾಡಿ. ಮೂರು ವಿಭಿನ್ನ ಟೂಲ್‌ಚೈನ್‌ಗಳನ್ನು ಒಟ್ಟಿಗೆ ಅಂಟಿಸದೆ ವೇಗ ಮತ್ತು ಸರಳತೆ ಎರಡನ್ನೂ ಪಡೆಯಲು ಇದು ಪ್ರಾಯೋಗಿಕ ಮಾರ್ಗವಾಗಿದೆ.