What is Unsloth, in simple terms?

Unsloth is a library that makes fine-tuning large language models faster and less memory-hungry. It focuses on QLoRA and other efficiency tricks so you can train useful models on a single 24GB GPU without losing quality.

Is Unsloth better than standard PEFT for QLoRA?

For many real-world tasks, yes—Unsloth typically delivers faster training and lower VRAM while maintaining accuracy. You still use familiar patterns, but you’ll get more experiments done in the same time.

Can I use Unsloth to fine-tune a 70B model on one GPU?

You can often make it work with careful settings, but it won’t be effortless. Unsloth helps with speed and VRAM, yet big models still demand patience and careful batch sizes, sequence lengths, and quantization.

Does Unsloth hurt model quality compared to full-precision finetuning?

With good datasets and QLoRA, most users see similar quality for common tasks like instruction following or summarization. For highly specialized or knowledge-heavy changes, full-precision finetuning may still outperform.

How does [Sider.AI](https://sider.ai) help if it’s not a training tool?

Use [Sider.AI](https://sider.ai) to gather and refine your training data: summarize docs, generate prompts, and draft diverse examples. Better data makes Unsloth shine—think of [Sider.AI](https://sider.ai) as the prep cook that speeds up your kitchen.

Unsloth ವಿಮರ್ಶೆ: ದೊಡ್ಡ AI ಅನ್ನು (ದೊಡ್ಡ GPU ಇಲ್ಲದೆ) ವೇಗವಾಗಿ ಫೈನ್-ಟ್ಯೂನ್ ಮಾಡುವ ಅಚ್ಚರಿಯ ಮಾರ್ಗ

ಒಂದು ಸಾಮಾನ್ಯ GPU ನಲ್ಲಿ ದೊಡ್ಡ ಭಾಷಾ ಮಾದರಿಯನ್ನು ಫೈನ್-ಟ್ಯೂನ್ ಮಾಡುವುದು ಟೋಸ್ಟರ್ ಓವನ್‌ನಲ್ಲಿ ಮದುವೆಯ ಕೇಕ್ ತಯಾರಿಸಲು ಪ್ರಯತ್ನಿಸಿದಂತಿದೆ. ನೀವು ಡೇಟಾವನ್ನು ಲೋಡ್ ಮಾಡಿ, ಓವನ್ ಆನ್ ಮಾಡಿ, ನಂತರ... ನೀವು ಕಾಯುತ್ತೀರಿ. ಮತ್ತೆ ಕಾಯಿರಿ. ನಿಮ್ಮ ಫ್ಯಾನ್ ಜೋರಾಗಿ ಶಬ್ದ ಮಾಡುತ್ತದೆ. ನಿಮ್ಮ ಕಾಫಿ ತಣ್ಣಗಾಗುತ್ತದೆ. ನಿಮ್ಮ ವಾರಾಂತ್ಯ ಮಾಯವಾಗುತ್ತದೆ. Unsloth ಅನ್ನು ನಮೂದಿಸಿ, ಇದು ಮೂಲಭೂತವಾಗಿ "ಟೋಸ್ಟರ್ ಓವನ್‌ಗೆ ಟರ್ಬೊ ಮೋಡ್ ಇದ್ದರೆ ಏನು?" ಎಂದು ಹೇಳುವ ಒಂದು ಓಪನ್ ಸೋರ್ಸ್ ಲೈಬ್ರರಿಯಾಗಿದೆ. ಈ Unsloth ವಿಮರ್ಶೆಯಲ್ಲಿ, ಅದು ಏನು, ಅದು ಏನು ಮಾಡುತ್ತದೆ, ಅದು ನಿಮಗೆ ಹೇಗೆ ಸಮಯ ಮತ್ತು VRAM ಅನ್ನು ಉಳಿಸುತ್ತದೆ ಮತ್ತು ಅದು ಎಲ್ಲಿ ತಡಕಾಡುತ್ತದೆ ಎಂದು ನಾನು ನಿಮಗೆ ಹೇಳುತ್ತೇನೆ.

Unsloth ಎಂದರೇನು ಮತ್ತು ಜನರು ಏಕೆ ಆಸಕ್ತಿ ಹೊಂದಿದ್ದಾರೆ? Unsloth ದೊಡ್ಡ ಭಾಷಾ ಮಾದರಿಗಳನ್ನು ಫೈನ್-ಟ್ಯೂನ್ ಮಾಡಲು ಒಂದು ಪೈಥಾನ್ ಲೈಬ್ರರಿಯಾಗಿದೆ - Llama, Mistral ಮತ್ತು ಗೆಳೆಯರಂತೆ - ವೇಗವಾಗಿ ಮತ್ತು ಮೆಮೊರಿ-ಸಮರ್ಥವಾಗಿ ವಿನ್ಯಾಸಗೊಳಿಸಲಾಗಿದೆ. ಇದರ ಮಾರಾಟದ ಪ್ರಸ್ತಾಪ ಸರಳವಾಗಿದೆ: ಅದೇ ಗುಣಮಟ್ಟ, ಆದರೆ ವೇಗವಾದ ತರಬೇತಿ ಮತ್ತು ಕಡಿಮೆ VRAM ಬಳಕೆ. ನೀವು LoRA ಅಥವಾ QLoRA ಜೊತೆ ಹೋರಾಡಿದ್ದರೆ, ನಿಮಗೆ ತಿಳಿದಿದೆ: ನೀವು 24GB ಕಾರ್ಡ್‌ನಲ್ಲಿ ಫೈನ್-ಟ್ಯೂನ್ ಮಾಡಬಹುದು, ಆದರೆ ಅದು ಬಿಗಿಯಾಗಿರುತ್ತದೆ ಮತ್ತು ಅದು ನಿಖರವಾಗಿ ಚುರುಕಾಗಿಲ್ಲ. Unsloth ನ ತಂತ್ರವೆಂದರೆ ಇಂಜಿನಿಯರಿಂಗ್ ಟ್ವೀಕ್‌ಗಳ ಒಂದು ಸಂಗ್ರಹ - ಕಸ್ಟಮ್ ಕರ್ನಲ್‌ಗಳು, ಆಪ್ಟಿಮೈಜರ್ ಆಯ್ಕೆಗಳು, ಕ್ವಾಂಟೈಸೇಶನ್ ಸ್ಮಾರ್ಟ್ಸ್ ಮತ್ತು ಚತುರ ಮೆಮೊರಿ ಪ್ಲಂಬಿಂಗ್ - ಆದ್ದರಿಂದ ನೀವು ಒಂದೇ ಸಮಯದಲ್ಲಿ ಹೆಚ್ಚಿನದನ್ನು ತರಬೇತಿ ಮಾಡಬಹುದು (ಅಥವಾ ಕಡಿಮೆ ಸಮಯದಲ್ಲಿ ಒಂದೇ ವಿಷಯವನ್ನು ಮಾಡಬಹುದು).

Unsloth ನಿಮ್ಮ ಸಾಮಾನ್ಯ ಸ್ಟಾಕ್ ಅನ್ನು ಬದಲಾಯಿಸುತ್ತದೆಯೇ? ಖಚಿತವಾಗಿ ಇಲ್ಲ. ನೀವು Hugging Face Transformers, PEFT ಮತ್ತು bitsandbytes ಅನ್ನು ಬಳಸುತ್ತಿದ್ದರೆ, ನಿಮ್ಮ ಚಾರ್ಜಿಂಗ್ ಕೇಬಲ್‌ಗಳು ನಿಮ್ಮ ಮೇಲೆ ಮೂರನೇ ಬಾರಿಗೆ ದಾಳಿ ಮಾಡಿದ ನಂತರ ನೀವು ಖರೀದಿಸುವಂತಹ ಚತುರ ಪ್ಲಗ್-ಇನ್ ಆರ್ಗನೈಸರ್‌ಗಳಲ್ಲಿ ಒಂದರಂತೆ Unsloth ಸ್ಲಾಟ್ ಆಗುತ್ತದೆ. ನೀವು ಇನ್ನೂ ಪರಿಚಿತ ಮಾದರಿಗಳನ್ನು ಬಳಸುತ್ತೀರಿ (ಡೇಟಾಸೆಟ್‌ಗಳು, ತರಬೇತಿ ಲೂಪ್‌ಗಳು), ಆದರೆ ಬೇಸರದ ಭಾಗಗಳು - VRAM ಜಗ್ಲಿಂಗ್, ಸ್ಪೀಡ್ ಟ್ವೀಕ್‌ಗಳು - ಸ್ವಯಂಚಾಲಿತ ನವೀಕರಣವನ್ನು ಪಡೆಯುತ್ತವೆ.

Unsloth ಯಾರಿಗೆ?

"ನಾನು ಒಂದು 24GB GPU ಮತ್ತು ಒಂದು ಕನಸನ್ನು ಹೊಂದಿದ್ದೇನೆ" ಎನ್ನುವ ಗುಂಪಿಗಾಗಿ.

CFO ಮತ್ತು ಶಾಮಕವನ್ನು(sedative) ಬೇಡುವ ಕ್ಲೌಡ್ ಬಿಲ್ ಇಲ್ಲದೆ ತ್ವರಿತವಾಗಿ ಮಾದರಿಗಳನ್ನು ಸಾಗಿಸಬೇಕಾದ ಸಣ್ಣ ತಂಡಗಳಿಗೆ.

ತಮ್ಮ VRAM ಅನ್ನು ಸ್ಫೋಟಿಸದೆ QLoRA ಅನ್ನು ಮತ್ತಷ್ಟು ತಳ್ಳುವುದನ್ನು ಆನಂದಿಸುವ ಕುಶಲಕರ್ಮಿಗಳಿಗೆ.

ಶಿಕ್ಷಕರು ಮತ್ತು ವಿದ್ಯಾರ್ಥಿಗಳಿಗೆ ತರಗತಿಯಲ್ಲಿ ಫೈನ್-ಟ್ಯೂನಿಂಗ್ ಅನ್ನು ತೋರಿಸಲು ಬಯಸುತ್ತಾರೆ, ಅಲ್ಲಿ ಅತ್ಯಂತ ಅಲಂಕಾರಿಕ ಯಂತ್ರವು ಪ್ರೊಫೆಸರ್‌ನ ಗೇಮಿಂಗ್ ಲ್ಯಾಪ್‌ಟಾಪ್ ಆಗಿದೆ.

ಕೈಯಿಂದ ಮಾಡುವ ವಾಕ್-ಥ್ರೂ: Unsloth ನೊಂದಿಗೆ ಫೈನ್-ಟ್ಯೂನಿಂಗ್ ನೀವು Unsloth ನೊಂದಿಗೆ ಫೈನ್-ಟ್ಯೂನ್ ಮಾಡಿದಾಗ ಇಲ್ಲಿ ಒಂದು ವೈಬ್ ಇದೆ:

ನೀವು ಬೇಸ್ ಮಾದರಿಯನ್ನು ಆಯ್ಕೆ ಮಾಡುತ್ತೀರಿ (ಉದಾಹರಣೆಗೆ, Llama 3 ಅಥವಾ Mistral), ಕ್ವಾಂಟೈಸೇಶನ್ ಅನ್ನು ಆರಿಸಿಕೊಳ್ಳಿ (4-ಬಿಟ್ QLoRA ಜನರನ್ನು ಮೆಚ್ಚಿಸುವಂತಿದೆ), ಮತ್ತು ನಿಮ್ಮ ಡೇಟಾಸೆಟ್ ಅನ್ನು ಸೂಚಿಸಿ.

ನಿಮ್ಮ ತರಬೇತಿ ಸ್ಕ್ರಿಪ್ಟ್‌ನಲ್ಲಿ Unsloth ಬಿಟ್‌ಗಳನ್ನು ನೀವು ಸಕ್ರಿಯಗೊಳಿಸುತ್ತೀರಿ - ಸಾಮಾನ್ಯವಾಗಿ ಕೆಲವು ಆಮದುಗಳು ಮತ್ತು ಫ್ಲ್ಯಾಗ್‌ಗಳು.

ನೀವು ಟ್ರೈನ್ ಅನ್ನು ಒತ್ತಿ ಮತ್ತು ನಿಮ್ಮ GPU ಬಳಕೆಯು ತನ್ನ ಜೀವನ ಆಯ್ಕೆಗಳನ್ನು ಅರ್ಥಮಾಡಿಕೊಳ್ಳುವುದನ್ನು ವೀಕ್ಷಿಸುತ್ತೀರಿ. ನೀವು ಹೆಚ್ಚಾಗಿ ಹೆಚ್ಚಿನ ಥ್ರೋಪುಟ್, ಕಡಿಮೆ VRAM ಸ್ಪೈಕ್‌ಗಳು ಮತ್ತು ಕಡಿಮೆ "CUDA ಮೆಮೊರಿಯಿಂದ ಹೊರಗಿದೆ" ತಾಪತ್ರಯಗಳನ್ನು ನೋಡುತ್ತೀರಿ.

ನಿಮ್ಮ ರನ್‌ಟೈಮ್ ಇಷ್ಟಪಡುವ ಫಾರ್ಮ್ಯಾಟ್‌ಗಳಿಗೆ ಫಲಿತಾಂಶದ ಮಾದರಿಯನ್ನು ನೀವು ರಫ್ತು ಮಾಡುತ್ತೀರಿ - CPU/Ollama ಗಾಗಿ GGUF, ಅಥವಾ GPU ಗಳಿಗಾಗಿ ಸ್ಟ್ಯಾಂಡರ್ಡ್ ಸೇಫ್ಟಿನ್ಸರ್‌ಗಳು.

ನೀವು ಅದನ್ನು ನೀಡುತ್ತೀರಿ. ನಗುತ್ತೀರಿ. ಒಂದು ರೌಂಡ್ ಹಾಕಿ.

ಇದು ಸಾಮಾನ್ಯ ಡೆವಲಪರ್ ಕಥೆ. ಆದರೆ ನಮ್ಮಲ್ಲಿ ಉಳಿದವರಿಗೆ: ವೇಗವಾಗಿ ಎಂದರೆ ನಿಜವಾಗಿಯೂ ಏನು? ಮಾನವ ಪದಗಳಲ್ಲಿ, ನಿಮ್ಮ ಮೂಲ ಫೈನ್-ಟ್ಯೂನ್ ಎಂಟು ಗಂಟೆಗಳನ್ನು ತೆಗೆದುಕೊಂಡರೆ, Unsloth ನ ಆಪ್ಟಿಮೈಸೇಶನ್‌ಗಳು ಮಾದರಿ, ಹೈಪರ್‌ಪ್ಯಾರಾಮೀಟರ್‌ಗಳು ಮತ್ತು ಹಾರ್ಡ್‌ವೇರ್ ಅನ್ನು ಅವಲಂಬಿಸಿ ನಾಲ್ಕು ಗಂಟೆಗಳ ಹತ್ತಿರಕ್ಕೆ ಕಡಿತಗೊಳಿಸಬಹುದು. ಉಳಿತಾಯಗಳು ಸೇರಿಕೊಳ್ಳುತ್ತವೆ: ವೇಗವಾದ ಎಪಾಕ್‌ಗಳು, ಕಡಿಮೆ ಮರುಪ್ರಾರಂಭಗಳು ಮತ್ತು ಬಿಗಿಯಾದ VRAM ಬಜೆಟ್‌ಗಳಲ್ಲಿ ಹೆಚ್ಚು ಸ್ಥಿರವಾದ ತರಬೇತಿ. ಇದು ಟೆಲಿಪೋರ್ಟೇಶನ್ ಸಾಧನವಲ್ಲ - ಯಾರೂ 70B ಮಾದರಿಯನ್ನು ಎರಡು ನಿಮಿಷಗಳ ಕೆಲಸವಾಗಿ ಪರಿವರ್ತಿಸುವುದಿಲ್ಲ. ಆದರೆ ನಿಮಗೆ ಹಣ ನೀಡಬೇಕೆಂದು ನೀವು ಪ್ರೋಗ್ರೆಸ್ ಬಾರ್ ಅನ್ನು ನೋಡಲು ಬಳಸಿದರೆ, ನಿಮಗೆ ವ್ಯತ್ಯಾಸವು ತಿಳಿಯುತ್ತದೆ.

ವೇಗ ಎಲ್ಲಿಂದ ಬರುತ್ತದೆ (PhD ಇಲ್ಲದೆ)

ಸ್ಮಾರ್ಟ್ ಮೆಮೊರಿ ಬಳಕೆ: ಎಲ್ಲವನ್ನೂ ಸಡಿಲವಾಗಿ ಎಸೆಯುವ ಬದಲು ಕಂಪ್ರೆಷನ್ ಕ್ಯೂಬ್‌ಗಳೊಂದಿಗೆ ಪ್ರವಾಸಕ್ಕೆ ಪ್ಯಾಕಿಂಗ್ ಮಾಡುವಂತೆ ಯೋಚಿಸಿ. ನೀವು ಇನ್ನೂ ಅದೇ ವಾರ್ಡ್ರೋಬ್ ಅನ್ನು ತರುತ್ತೀರಿ, ಆದರೆ ಸೂಟ್‌ಕೇಸ್ ನಿಜವಾಗಿ ಮುಚ್ಚುತ್ತದೆ.

ಕ್ವಾಂಟೈಸೇಶನ್ ಬ್ಯಾಲೆನ್ಸ್: QLoRA ಹೆಚ್ಚಿನ ತೂಕಕ್ಕಾಗಿ 4-ಬಿಟ್ ಪ್ರಾತಿನಿಧ್ಯಗಳನ್ನು ಬಳಸುತ್ತದೆ, ಇದು VRAM ಅನ್ನು ಬಹಳಷ್ಟು ಕಡಿತಗೊಳಿಸುತ್ತದೆ. ನಿಖರತೆಯನ್ನು ಕಡಿಮೆ ಮಾಡದೆಯೇ Unsloth ಅದಕ್ಕೆ (ಮತ್ತು ಇತರ ತಂತ್ರಗಳಿಗೆ) ಒಲವು ತೋರುತ್ತದೆ.

ಕರ್ನಲ್ ವಿಝಾರ್ಡ್ರಿ: ಒಳಗಿನಿಂದ, ಕಸ್ಟಮ್ GPU ಕರ್ನಲ್‌ಗಳು ಸಾಮಾನ್ಯ ತರಬೇತಿ ಹಂತಗಳನ್ನು ವೇಗಗೊಳಿಸುತ್ತವೆ. ನಿಮಗೆ, ಇದರರ್ಥ ಕಡಿಮೆ ಕಾಯುವುದು.

ಲೈಟ್‌ವೈಟ್ ಅಡಾಪ್ಟರ್‌ಗಳು: LoRA ಸಣ್ಣ ತರಬೇತಿ ನೀಡಬಹುದಾದ "ಅಡಾಪ್ಟರ್‌ಗಳನ್ನು" ಮಾತ್ರ ಇರಿಸುತ್ತದೆ, ಪೂರ್ಣ ದೊಡ್ಡ ಮಾದರಿಯನ್ನು ಅಲ್ಲ. ನೀವು DNA ವನ್ನು ಅಲ್ಲ, ವ್ಯಕ್ತಿತ್ವವನ್ನು ಫೈನ್-ಟ್ಯೂನ್ ಮಾಡುತ್ತೀರಿ.

ಗುಣಮಟ್ಟ ಮತ್ತು ನಿಖರತೆ: ಸರ್ವರ್ ಕೋಣೆಯಲ್ಲಿರುವ ಆನೆ ಇಲ್ಲಿ ಒಂದು ಅನುಮಾನಾಸ್ಪದ ಭಾಗವಿದೆ. ಯಾರಾದರೂ "ಅದೇ ಗುಣಮಟ್ಟ, ವೇಗವಾಗಿ" ಎಂದು ಭರವಸೆ ನೀಡಿದಾಗಲೆಲ್ಲಾ, ನಾನು ಕಣ್ಣು ಮಿಟುಕಿಸಲು ಪ್ರಾರಂಭಿಸುತ್ತೇನೆ. ವಾಸ್ತವವಾಗಿ, QLoRA ಮತ್ತು ಯೋಗ್ಯವಾದ ಡೇಟಾಸೆಟ್‌ಗಳೊಂದಿಗೆ, ನೀವು ಹೆಚ್ಚಿನ ಅನ್ವಯಿಕ ಕಾರ್ಯಗಳಲ್ಲಿ ಪೂರ್ಣ-ನಿಖರತೆಯ ಫಲಿತಾಂಶಗಳಿಗೆ ಬಹಳ ಹತ್ತಿರವಾಗಬಹುದು: ಸೂಚನೆಗಳನ್ನು ಅನುಸರಿಸುವುದು, ಸಾರಾಂಶ, ಗ್ರಾಹಕ ಬೆಂಬಲ ಶೈಲಿಯ ಟೋನ್-ಅಪ್, ಲೈಟ್‌ವೈಟ್ ಡೊಮೇನ್ ಅಳವಡಿಕೆ. ನಿಮ್ಮ ಬಳಕೆಯ ಸಂದರ್ಭವು "ಒಂದು ಪಿಕ್ಸೆಲ್‌ನಿಂದ ಟಾರ್ಡಿಗ್ರೇಡ್‌ನ ಜೀವನ ಕಥೆಯನ್ನು ಗುರುತಿಸುವುದು" ಆಗಿದ್ದರೆ, ಫೈನ್-ಟ್ಯೂನಿಂಗ್ ಶಾರ್ಟ್‌ಕಟ್‌ಗಳು ನಿಮ್ಮನ್ನು ಉಳಿಸುವುದಿಲ್ಲ. ಆದರೆ ನೀವು ಸಾಮಾನ್ಯ ಭಾಷಾ ಗ್ರಾಹಕೀಕರಣವನ್ನು ಮಾಡುತ್ತಿದ್ದರೆ, Unsloth ನಿರೀಕ್ಷೆಯಂತೆ ಕಾರ್ಯಕ್ಷಮತೆಯನ್ನು ಸರಿಯಾಗಿ ಇರಿಸುತ್ತದೆ, ಆದರೆ ನೀವು ಸಮಯ ಮತ್ತು VRAM ಉಳಿತಾಯವನ್ನು ಪಡೆಯುತ್ತೀರಿ.

ಇದು ಯಾವುದರಲ್ಲಿ ಉತ್ತಮವಾಗಿದೆ

ದೊಡ್ಡ ಮಾದರಿಗಳನ್ನು ಸಾಧಾರಣ ಹಾರ್ಡ್‌ವೇರ್‌ಗೆ ತರುವುದು. ಹಿಂದೆ ಕ್ಲೌಡ್ ಬಾಡಿಗೆ ಮತ್ತು ಪ್ರಾರ್ಥನೆಯ ಅಗತ್ಯವಿದ್ದ ತರಬೇತಿ ಸೆಟಪ್‌ಗಳನ್ನು ಒಂದು 24GB ಕಾರ್ಡ್ ನಿರ್ವಹಿಸಬಲ್ಲದು.

ತ್ವರಿತವಾಗಿ ಪುನರಾವರ್ತನೆ ಮಾಡುವುದು. ನೀವು ಒಂದೇ ದಿನದಲ್ಲಿ ಹೆಚ್ಚಿನ ರನ್‌ಗಳು, ಹೆಚ್ಚಿನ ಪ್ರಾಂಪ್ಟ್‌ಗಳು, ಹೆಚ್ಚಿನ ಡೇಟಾಸೆಟ್‌ಗಳನ್ನು ಪ್ರಯತ್ನಿಸಬಹುದು. ಇದು ಸಾಮಾನ್ಯವಾಗಿ ಉತ್ತಮ ಫಲಿತಾಂಶಗಳಿಗೆ ಕಾರಣವಾಗುತ್ತದೆ - ಏಕೆಂದರೆ ನೀವು ಹೆಚ್ಚು ಪ್ರಯೋಗಗಳನ್ನು ಮಾಡುತ್ತಿದ್ದೀರಿ.

ತರಗತಿ ಮತ್ತು ಕಾರ್ಯಾಗಾರ ಪ್ರದರ್ಶನಗಳು. ಸೂಪರ್‌ಕಂಪ್ಯೂಟರ್ ಅಲ್ಲದ ಹಾರ್ಡ್‌ವೇರ್‌ನಲ್ಲಿ ಸರಿಯಾದ ಫೈನ್-ಟ್ಯೂನ್ ಅನ್ನು ಚಾಲನೆ ಮಾಡುವ "ವಾವ್" ಅಂಶವು ನಿಜವಾಗಿದೆ.

ಪ್ರಾಯೋಗಿಕ, ಮಧ್ಯಮ ಗಾತ್ರದ ಮಾದರಿಗಳನ್ನು ವೇಗವಾಗಿ ಸಾಗಿಸುವುದು. ನಿಮ್ಮ ಉತ್ಪನ್ನವು ನಿಮ್ಮ ಬ್ರ್ಯಾಂಡ್ ಟೋನ್‌ಗೆ ಟ್ಯೂನ್ ಮಾಡಿದ ಚಾಟ್ ಸಹಾಯಕ ಅಥವಾ ನಿಮ್ಮ ರೆಪೊಗಳಿಗೆ ಟ್ಯೂನ್ ಮಾಡಿದ ಕೋಡ್ ಸಹಾಯಕರನ್ನು ಬಯಸಿದರೆ, Unsloth ನೀವು ಅಲ್ಲಿಗೆ ಬೇಗನೆ ಹೋಗಲು ಸಹಾಯ ಮಾಡುತ್ತದೆ.

ಇದು ಎಲ್ಲಿ ಮ್ಯಾಜಿಕ್ ಅಲ್ಲ

ಮೆಗಾ-ದೈತ್ಯರು ಇನ್ನೂ ನೋವುಂಟು ಮಾಡುತ್ತಾರೆ. ನೀವು 70B ಮಾದರಿಯನ್ನು ಫೈನ್-ಟ್ಯೂನ್ ಮಾಡುತ್ತಿದ್ದರೆ, ನೀವು ಇನ್ನೂ "ತಿಂಡಿಗಳನ್ನು ತನ್ನಿ" ಪ್ರದೇಶದಲ್ಲಿದ್ದೀರಿ. Unsloth ಅದನ್ನು ಬದುಕಲು ಸಾಧ್ಯವಾಗಿಸುತ್ತದೆ, ಕ್ಷುಲ್ಲಕವಲ್ಲ.

ಡೇಟಾ ಗುಣಮಟ್ಟವು ಇನ್ನೂ ಮುಖ್ಯವಾಗಿದೆ. ಕಸದ ಡೇಟಾದಲ್ಲಿ ಮಿಂಚಿನ ವೇಗದ ರನ್ ನಿಮಗೆ ಬಹಳ ವೇಗವಾಗಿ ಕೆಟ್ಟ ಮಾದರಿಯನ್ನು ನೀಡುತ್ತದೆ. ಯಾವುದೇ ಲೈಬ್ರರಿ ಗೊಂದಲಮಯ ಡೇಟಾಸೆಟ್ ಅನ್ನು ಸ್ವಚ್ಛಗೊಳಿಸಲು ಸಾಧ್ಯವಿಲ್ಲ.

ಎಡ್ಜ್ ಕೇಸ್‌ಗಳಿಗೆ ಕಾಳಜಿ ಬೇಕು. ಕೆಲವು ಸುಧಾರಿತ ವೈಶಿಷ್ಟ್ಯಗಳು, ವಿಲಕ್ಷಣ ವಾಸ್ತುಶಿಲ್ಪಗಳು ಮತ್ತು ವಿಚಿತ್ರವಾದ ತರಬೇತಿ ಲೂಪ್‌ಗಳಿಗೆ ಟಿಂಕರಿಂಗ್ ಅಗತ್ಯವಾಗಬಹುದು. ಸಮುದಾಯವು ವೇಗವಾಗಿ ಚಲಿಸುತ್ತದೆ, ಆದರೆ ಎಲ್ಲವೂ ಪುಶ್-ಬಟನ್ ಅಲ್ಲ - ಇನ್ನೂ.

ಒಂದು ದಿನದ ಜೀವನ ಪರೀಕ್ಷಾ ಡ್ರೈವ್ ನಾನು ಒಂದು ಸರಳವಾದ ಸೂಚನಾ-ಟ್ಯೂನಿಂಗ್ ಕೆಲಸವನ್ನು ಸ್ಥಾಪಿಸಿದೆ: Llama-ಶೈಲಿಯ ಮಾದರಿಯಲ್ಲಿ QLoRA, 24GB GPU, ಗ್ರಾಹಕ-ಬೆಂಬಲ ಟೋನ್‌ನಲ್ಲಿ ಕೆಲವು ಸಾವಿರ "ಪ್ರಶ್ನೆ → ಸಹಾಯಕವಾದ ಉತ್ತರ" ಉದಾಹರಣೆಗಳು. ಮೂಲಭೂತ ವಿಧಾನ: 8-ಬಿಟ್ ಅಥವಾ 16-ಬಿಟ್ ಅಡಾಪ್ಟರ್‌ಗಳು, ಪ್ರಮಾಣಿತ ತರಬೇತುದಾರ, ಸುಮಾರು ಆರು ರಿಂದ ಎಂಟು ಗಂಟೆಗಳ ನಿರೀಕ್ಷೆ. Unsloth ವಿಧಾನ: ಅದರ ಆಪ್ಟಿಮೈಸ್ಡ್ ಸ್ಟಾಕ್‌ನೊಂದಿಗೆ 4-ಬಿಟ್ QLoRA. ವ್ಯತ್ಯಾಸವೇನು? Unsloth ರನ್ ಸರಿಸುಮಾರು ಅರ್ಧ ಸಮಯದಲ್ಲೇ ಮುಗಿದಿತ್ತು, GPU ಮೆಮೊರಿಯು ಕೆಂಪು ವಲಯದಿಂದ ಹೊರಗೆ ಉಳಿಯಿತು, ಮತ್ತು ಔಟ್‌ಪುಟ್‌ಗಳು ಈ ರೀತಿಯ ಕಾರ್ಯಕ್ಕೆ ಮೂಲಭೂತವಾಗಿ ಬೇರ್ಪಡಿಸಲಾಗದವು. ಅತಿದೊಡ್ಡ ಪ್ರಾಯೋಗಿಕ ಗೆಲುವು ಸ್ಟಾಪ್‌ವಾಚ್ ಆಗಿರಲಿಲ್ಲ - ಅದು ಅದೇ ಮಧ್ಯಾಹ್ನ ಹೆಚ್ಚಿನ ಪ್ರಯೋಗಗಳನ್ನು ಮಾಡುವ ಸ್ವಾತಂತ್ರ್ಯವಾಗಿತ್ತು. ನಾನು ಸ್ವಲ್ಪ ವಿಭಿನ್ನವಾದ ಪ್ರಾಂಪ್ಟ್ ಫಾರ್ಮ್ಯಾಟ್ ಅನ್ನು ಪ್ರಯತ್ನಿಸಿದೆ, ತರಬೇತಿ ಎಪಾಕ್‌ಗಳನ್ನು ಬದಲಾಯಿಸಿದೆ ಮತ್ತು ಶ್ರೀಮಂತ ಸಿಸ್ಟಮ್ ಸಂದೇಶವನ್ನು ಪರೀಕ್ಷಿಸಿದೆ. ಎರಡನೇ ರನ್ ನಿಖರತೆಯನ್ನು ಕಳೆದುಕೊಳ್ಳದೆ ಅಳೆಯಬಹುದಾದಷ್ಟು ಹರ್ಷಚಿತ್ತದಿಂದ ಕೂಡಿದ ಟೋನ್ ಅನ್ನು ಉತ್ಪಾದಿಸಿತು.

Unsloth ಒಂದು ತಂಡದ ಕೆಲಸದ ಹರಿವಿಗೆ ಹೇಗೆ ಹೊಂದಿಕೊಳ್ಳುತ್ತದೆ

ಡೇಟಾ ಜನರು: ನಿಮ್ಮ ಡೇಟಾಸೆಟ್ ಅನ್ನು ಸೂಚನಾ-ಶೈಲಿಯ ಜೋಡಿಗಳಾಗಿ ಸ್ವಚ್ಛಗೊಳಿಸಿ ಮತ್ತು ಫಾರ್ಮ್ಯಾಟ್ ಮಾಡಿ. ನೀವು ಇಲ್ಲಿ ದೊಡ್ಡ ಗುಣಮಟ್ಟದ ಲಾಭಗಳನ್ನು ಪಡೆಯುತ್ತೀರಿ - ತರಬೇತುದಾರ ವಾದಗಳಲ್ಲಿ ಅಲ್ಲ.

ML ಇಂಜಿನಿಯರ್‌ಗಳು: ನಿಮ್ಮ ಸಾಮಾನ್ಯ PEFT ಲೂಪ್‌ಗಾಗಿ Unsloth ನ ತರಬೇತುದಾರ ಬಿಟ್‌ಗಳನ್ನು ಬದಲಿಸಿ. ನಿಮ್ಮ ಲಾಗಿಂಗ್ ಅನ್ನು ಇರಿಸಿ ಮತ್ತು ಅದೇ ಮೌಲ್ಯಮಾಪನ ಮಾಡಿ, ಆದ್ದರಿಂದ ನೀವು ಒಂದೇ ರೀತಿಯ ಹೋಲಿಕೆಗಳನ್ನು ನೋಡಬಹುದು.

ಉತ್ಪನ್ನ ಜನರು: ವೇಗವಾದ ಪುನರಾವರ್ತನೆ ಚಕ್ರಗಳನ್ನು ನಿರೀಕ್ಷಿಸಿ. ಅದು ನಿಜವಾದ ಪರಿಣಾಮ - ಕೇವಲ ವೇಗವಾದ ಬಾರ್ ಅಲ್ಲ, ಆದರೆ ಪ್ರತಿ ಸ್ಪ್ರಿಂಟ್‌ಗೆ ಹೆಚ್ಚಿನ ಪ್ರಯೋಗಗಳು.

Ops: ನಿಮ್ಮ ಇನ್ಫ್ರಾ ಇಷ್ಟಪಡುವ ಸೇವೆ ಮಾಡುವ ಫಾರ್ಮ್ಯಾಟ್‌ಗೆ ಮಾದರಿಗಳನ್ನು ರಫ್ತು ಮಾಡಿ (CPU/Ollama ಗಾಗಿ GGUF ಅಥವಾ GPU-ವೇಗವರ್ಧಿತ ರನ್‌ಟೈಮ್). Unsloth ನ ರಫ್ತು ಆಯ್ಕೆಗಳು ನೀವು ವಾಸಿಸುವ ಸ್ಥಳದಲ್ಲಿ ನಿಮ್ಮನ್ನು ಭೇಟಿಯಾಗುತ್ತವೆ.

ಹೊಂದಾಣಿಕೆ ಮತ್ತು ಮಾದರಿ ಬೆಂಬಲ Unsloth ಸಾಮಾನ್ಯ ಓಪನ್ ಮಾದರಿಗಳೊಂದಿಗೆ ಚೆನ್ನಾಗಿ ಕಾರ್ಯನಿರ್ವಹಿಸುತ್ತದೆ: Llama-ಕುಟುಂಬ, Mistral, Phi ಮತ್ತು ಇತರ ಹಲವು. ಇದು ಸ್ಥಳೀಯ ರನ್‌ಟೈಮ್‌ಗಳು ಮತ್ತು ಎಡ್ಜ್ ನಿಯೋಜನೆಗಳೊಂದಿಗೆ ನಿರ್ಮಿಸುವ ಸಮುದಾಯಗಳಲ್ಲಿಯೂ ಸಹ ಆಕರ್ಷಣೆಯನ್ನು ಗಳಿಸಿದೆ. ನಿಮ್ಮ ಸ್ಟಾಕ್ ಈಗಾಗಲೇ Hugging Face ಮಾದರಿಗಳು ಮತ್ತು PEFT ಅನ್ನು ಅವಲಂಬಿಸಿದ್ದರೆ, Unsloth ಅನ್ನು ಪ್ರಯತ್ನಿಸಲು ಇದು ಒಂದು ಸಣ್ಣ ಹೆಜ್ಜೆಯಾಗಿದೆ.

ನಿವಾರಣೆ ಮಾಡುವ ಮೂಲೆ: ಸಾಮಾನ್ಯ ಸಮಸ್ಯೆಗಳು ಮತ್ತು ತ್ವರಿತ ಪರಿಹಾರಗಳು

CUDA ಮೆಮೊರಿಯಿಂದ ಹೊರಗಿದೆಯೇ? ಗ್ರೇಡಿಯಂಟ್ ಸಂಗ್ರಹಣೆ, ಸಣ್ಣ ಬ್ಯಾಚ್ ಗಾತ್ರವನ್ನು ಪ್ರಯತ್ನಿಸಿ ಅಥವಾ 4-ಬಿಟ್ QLoRA ಅನ್ನು ಜಾರಿಗೊಳಿಸಿ. ನಿಮ್ಮ ಸೀಕ್ವೆನ್ಸ್ ಉದ್ದವು ಅತಿಯಾಗಿಲ್ಲ ಎಂದು ಸಹ ಪರಿಶೀಲಿಸಿ.

ನಷ್ಟವು ಚಲಿಸುವುದಿಲ್ಲವೇ? ನಿಮ್ಮ ಕಲಿಕೆಯ ದರವು ತಪ್ಪಾಗಿರಬಹುದು. "ಸಂಶಯ ಬಂದಾಗ" ವ್ಯಾಪ್ತಿಯನ್ನು ಪ್ರಯತ್ನಿಸಿ: LoRA ಅಡಾಪ್ಟರ್‌ಗಳಿಗಾಗಿ 1e-4 ರಿಂದ 2e-4, ಅಥವಾ ಶೂನ್ಯವಲ್ಲದ ವಾರ್ಮ್‌ಅಪ್ ಹಂತಗಳು.

ಔಟ್‌ಪುಟ್‌ಗಳು ರೋಬೋಟಿಕ್ ಆಗಿವೆಯೇ? ಹೆಚ್ಚು ವೈವಿಧ್ಯಮಯ ಸೂಚನಾ ಉದಾಹರಣೆಗಳನ್ನು ಸೇರಿಸಿ ಅಥವಾ ನಿಮ್ಮ ಡೇಟಾಸೆಟ್ ಅನ್ನು ಸಮತೋಲನಗೊಳಿಸಿ ಆದ್ದರಿಂದ ಅದು ಒಂದು ಟೋನ್ ಅನ್ನು ತುಂಬಾ ಆಕ್ರಮಣಕಾರಿಯಾಗಿ ಕಲಿಸುವುದಿಲ್ಲ. ಒಂದು ಸಣ್ಣ ಡೇಟಾ ಟ್ವೀಕ್ ಅದನ್ನು ಸರಿಪಡಿಸುತ್ತದೆ.

ತರಬೇತಿಯ ನಂತರ ಅನುಮಾನ ನಿಧಾನವಾಗಿದೆಯೇ: ಅನುಮಾನ-ಸ್ನೇಹಿ ಫಾರ್ಮ್ಯಾಟ್‌ಗೆ ರಫ್ತು ಮಾಡಿ. CPU ನಲ್ಲಿ, GGUF ಜೀವ ಉಳಿಸುವಂತಾಗುತ್ತದೆ. GPU ನಲ್ಲಿ, ನಿಮ್ಮ ಕ್ವಾಂಟೈಸೇಶನ್ ಮತ್ತು ರನ್‌ಟೈಮ್ ಅನ್ನು ಪರಿಶೀಲಿಸಿ.

ವೆಚ್ಚದ ಲೆಕ್ಕಾಚಾರ: ನಿಮ್ಮ ವ್ಯಾಲೆಟ್ ಕಾಳಜಿವಹಿಸುವ ಭಾಗ ವೇಗವು ನಿಮ್ಮ ಭಾನುವಾರವನ್ನು ಉಳಿಸುವುದಿಲ್ಲ - ಅದು ಡಾಲರ್‌ಗಳನ್ನು ಉಳಿಸುತ್ತದೆ. ನಿಮ್ಮ ಕ್ಲೌಡ್ GPU ಗೆ ಗಂಟೆಗೆ $2-$4 ವೆಚ್ಚವಾದರೆ, 10-ಗಂಟೆಗಳ ಕೆಲಸವನ್ನು 5 ಗಂಟೆಗಳಿಗೆ ಕಡಿತಗೊಳಿಸುವುದು ನಿಜವಾದ ಹಣವಾಗಿದೆ. ಅದನ್ನು ಡಜನ್ಗಟ್ಟಲೆ ಪ್ರಯೋಗಗಳ ಮೇಲೆ ಗುಣಿಸಿ ಮತ್ತು ಉಳಿತಾಯವು ಸರಿಸುಮಾರು "ಹೇ, ಬಹುಶಃ ನಾವು ಎರಡನೇ GPU ಅನ್ನು ಖರೀದಿಸಲು ಸಾಧ್ಯವಾಗುತ್ತದೆ" ಅಥವಾ "ಕೊನೆಗೂ ನಾವು ಉತ್ತಮ ಕಾಫಿಯನ್ನು ಖರೀದಿಸಬಹುದು ಎಂದು ನಾನು ಭಾವಿಸುತ್ತೇನೆ" ಗೆ ಸಮಾನವಾಗಿರುತ್ತದೆ.

ಭದ್ರತೆ ಮತ್ತು ಗೌಪ್ಯತೆ: Unsloth ನೊಂದಿಗೆ ಏನು ಬದಲಾಗುತ್ತದೆ? Unsloth ನಿಮ್ಮ ರಿಸ್ಕ್ ಪ್ರೊಫೈಲ್ ಅನ್ನು ನಿಮ್ಮ ರನ್‌ಟೈಮ್ ಮಾಡುವಷ್ಟು ಬದಲಾಯಿಸುವುದಿಲ್ಲ. ದೊಡ್ಡ ಅಂಶಗಳು ಇನ್ನೂ: ನೀವು ಎಲ್ಲಿ ತರಬೇತಿ ನೀಡುತ್ತೀರಿ (ಸ್ಥಳೀಯ vs. ಕ್ಲೌಡ್), ನೀವು ಯಾವ ಡೇಟಾವನ್ನು ಬಳಸುತ್ತೀರಿ (PII? ನಿಯಂತ್ರಿತ?), ಮತ್ತು ನೀವು ಚೆಕ್‌ಪಾಯಿಂಟ್‌ಗಳನ್ನು ಹೇಗೆ ಸಂಗ್ರಹಿಸುತ್ತೀರಿ. ನೀವು ಸೂಕ್ಷ್ಮ ಡೇಟಾವನ್ನು ನಿರ್ವಹಿಸುತ್ತಿದ್ದರೆ, ನಿಮ್ಮ ಪ್ರಮಾಣಿತ ನೈರ್ಮಲ್ಯವನ್ನು ಮಾಡಿ: ಸಾಧ್ಯವಾದಲ್ಲೆಲ್ಲಾ ಅನಾಮಧೇಯಗೊಳಿಸಿ, ನಿಮ್ಮ ತರಬೇತಿ ಕಾರ್ಯಾಚರಣೆಗಳನ್ನು ಪ್ರತ್ಯೇಕಿಸಿ ಮತ್ತು ಆಡಿಟ್ ಲಾಗ್‌ಗಳನ್ನು ಇರಿಸಿ. ನೀವು ಅನುಸರಣಾ ಅಧಿಕಾರಿಗೆ ಫೈನ್-ಟ್ಯೂನಿಂಗ್ ಪೈಪ್‌ಲೈನ್ ಅನ್ನು ವಿವರಿಸಬೇಕಾದರೆ, Unsloth ಆ ಸಂಭಾಷಣೆಯನ್ನು ಕಷ್ಟಕರವಾಗಿಸುವುದಿಲ್ಲ. ವಾಸ್ತವವಾಗಿ, ನಿಮ್ಮ ಸ್ವಂತ ಯಂತ್ರದಲ್ಲಿ ಸ್ಥಳೀಯ ಫೈನ್-ಟ್ಯೂನಿಂಗ್ ಕೆಲವೊಮ್ಮೆ ಅದನ್ನು ಸುಲಭಗೊಳಿಸುತ್ತದೆ.

ಇದು ಸಾಮಾನ್ಯ ಅನುಮಾನಾಸ್ಪದರ ವಿರುದ್ಧ ಹೇಗೆ ನಿಲ್ಲುತ್ತದೆ

ಸರಳ PEFT + Transformers: ಪರಿಚಿತ, ವ್ಯಾಪಕವಾಗಿ ಬೆಂಬಲಿತ, ಮತ್ತು ಉತ್ತಮ - ಆದರೆ ನಿಧಾನವಾಗಿ ಮತ್ತು ಹೆಚ್ಚು ಮೆಮೊರಿಯನ್ನು ಬಳಸುವಂತಿರಬಹುದು. Unsloth ವೇಗ ಮತ್ತು VRAM ಪರಿಹಾರವನ್ನು ಸೇರಿಸುತ್ತದೆ.

16-ಬಿಟ್‌ನಲ್ಲಿ ಪೂರ್ಣ-ಫೈನ್‌ಟ್ಯೂನಿಂಗ್: ಪ್ರಬಲ ಆದರೆ ದುಬಾರಿ. ಮಾದರಿಯ ಮೂಲ ಜ್ಞಾನವನ್ನು ನೀವು ನಿಜವಾಗಿಯೂ ಬದಲಾಯಿಸಬೇಕಾದಾಗ ಬಳಸಿ. ಇಲ್ಲದಿದ್ದರೆ, LoRA/QLoRA ನಿಮ್ಮ ಸ್ನೇಹಿತ.

ಪ್ಯಾರಾಮೀಟರ್-ಸಮರ್ಥ ಪರ್ಯಾಯಗಳು (ಉದಾ., ಅಡಾಪ್ಟರ್‌ಗಳು, ಪೂರ್ವಪ್ರತ್ಯಯಗಳು): LoRA ನಂತೆಯೇ. ಕಾರ್ಯಕ್ಷಮತೆಯನ್ನು ಚುರುಕಾಗಿರಿಸುವಾಗ Unsloth ಈ ವಿಧಾನಗಳನ್ನು ಬೆಂಬಲಿಸುತ್ತದೆ.

ಆರಂಭಿಕರು Unsloth ಅನ್ನು ಪ್ರಯತ್ನಿಸಬೇಕೇ? ಹೌದು - ತರಬೇತಿ ಚಕ್ರಗಳೊಂದಿಗೆ. ನೀವು ಏನನ್ನೂ ಫೈನ್-ಟ್ಯೂನ್ ಮಾಡದಿದ್ದರೆ, ಸಣ್ಣ ಮಾದರಿ (7B), ಸಣ್ಣ ಶುದ್ಧ ಡೇಟಾಸೆಟ್ ಮತ್ತು QLoRA ನೊಂದಿಗೆ ಪ್ರಾರಂಭಿಸಿ. ನಿಮ್ಮ ಮೊದಲ ಯಶಸ್ಸು ಅತ್ಯುತ್ತಮ ಶಿಕ್ಷಕವಾಗಿರುತ್ತದೆ. Unsloth ದಾಖಲಾತಿ ಮತ್ತು ಉದಾಹರಣೆ ನೋಟ್‌ಬುಕ್‌ಗಳು ಹೈಪರ್‌ಪ್ಯಾರಾಮೀಟರ್‌ಗಳ ಸಾಮಾನ್ಯ ಗೋಡೆಗಿಂತ ಸ್ನೇಹಪರವಾಗಿರುತ್ತವೆ. ಮತ್ತು ನೀವು ಎಡವಿದಾಗ (ಯಾವಾಗಲ್ಲ) ಸಮುದಾಯವು ಸಾಕಷ್ಟು ಸ್ಪಂದಿಸುತ್ತದೆ.

ಈ ಕಥೆಯಲ್ಲಿ Sider.AI ಎಲ್ಲಿ ಹೊಂದಿಕೊಳ್ಳುತ್ತದೆ ನೀವು ಫೈನ್-ಟ್ಯೂನಿಂಗ್ ಬಗ್ಗೆ ಓದುವ ರೀತಿಯವರಾಗಿದ್ದರೆ ಮತ್ತು "ನಾನು ನನ್ನ ಬ್ರೌಸರ್‌ನಲ್ಲಿಯೇ ಕೆಲಸ ಮಾಡಬಹುದೇ?" ಎಂದು ಯೋಚಿಸುತ್ತಿದ್ದರೆ - ಒಂದು ಆಹ್ಲಾದಕರ ಆಶ್ಚರ್ಯವಿದೆ. Sider.AI ಒಂದು ರೀತಿಯ AI ಪಕ್ಕಾಮಿತ್ರನಾಗಿ ನಿಮ್ಮ ಬ್ರೌಸರ್‌ನಲ್ಲಿ ವಾಸಿಸುತ್ತದೆ: ಪುಟಗಳನ್ನು ಸಾರಾಂಶಗೊಳಿಸುತ್ತದೆ, ಇಮೇಲ್‌ಗಳನ್ನು ರಚಿಸುತ್ತದೆ ಮತ್ತು ಸಂಶೋಧನೆಯನ್ನು ನಿಭಾಯಿಸಲು ನಿಮಗೆ ಸಹಾಯ ಮಾಡುತ್ತದೆ. ಇದು ಫೈನ್-ಟ್ಯೂನಿಂಗ್ ಲೈಬ್ರರಿಯಲ್ಲ, ಆದರೆ ಇದು ಗೊಂದಲಮಯ ಮಧ್ಯದಲ್ಲಿ ಅದ್ಭುತವಾಗಿದೆ: ವೆಬ್ ವಿಷಯದಿಂದ ಡೇಟಾಸೆಟ್‌ಗಳನ್ನು ಸಂಗ್ರಹಿಸುವುದು, ಸಿಂಥೆಟಿಕ್ ತರಬೇತಿ ಪ್ರಾಂಪ್ಟ್‌ಗಳನ್ನು ರಚಿಸುವುದು ಮತ್ತು ಡ್ರಾಫ್ಟ್ ಮಾದರಿ ಅಥವಾ API ನಲ್ಲಿ ಸೂಚನೆಗಳನ್ನು ತ್ವರಿತವಾಗಿ ಪರೀಕ್ಷಿಸುವುದು. ಪ್ರಾಂಪ್ಟ್‌ಗಳನ್ನು ಚರ್ಚಿಸಲು, ಡಾಕ್ಸ್‌ನಿಂದ ಪ್ರಶ್ನೆ ಮತ್ತು ಉತ್ತರ ಜೋಡಿಗಳನ್ನು ಹೊರತೆಗೆಯಲು ಅಥವಾ ಟೋನ್-ನಿಯಂತ್ರಿತ ಉದಾಹರಣೆಗಳನ್ನು ರಚಿಸಲು Sider.AI ಅನ್ನು ಬಳಸಿ - ನಂತರ ಅವುಗಳನ್ನು ನಿಮ್ಮ Unsloth ರನ್‌ಗೆ ನೀಡಿ. Sider.AI ಬ್ಯಾಕ್‌ಪ್ರೊಪಗೇಶನ್ ಮಾಡಲು ಪ್ರಯತ್ನಿಸಿ ಮತ್ತು ನೀವು ಕೆಟ್ಟ ದಿನವನ್ನು ಹೊಂದಿರುತ್ತೀರಿ. ಉತ್ತಮ ಡೇಟಾ ಮತ್ತು ವೇಗವಾದ ಪುನರಾವರ್ತನೆ ಲೂಪ್‌ಗಳನ್ನು ನಿರ್ಮಿಸಲು ಅದನ್ನು ಬಳಸಿ ಮತ್ತು ನೀವು ಮೋಸ ಮಾಡುತ್ತಿರುವಂತೆ ನಿಮಗೆ ಅನಿಸುತ್ತದೆ (ಒಳ್ಳೆಯ ರೀತಿಯಲ್ಲಿ).

ಪ್ರಯತ್ನಿಸಲು ಯೋಗ್ಯವಾದ ಒಂದು ಕೊನೆಯ ಪ್ರಯೋಗ ನೀವು ದೊಡ್ಡ ತರಬೇತಿ ರನ್ ಮಾಡುವ ಮೊದಲು, ಇದನ್ನು ಪ್ರಯತ್ನಿಸಿ: 200-500 ಉತ್ತಮ ಗುಣಮಟ್ಟದ ಉದಾಹರಣೆಗಳ ಮಿನಿ-ಡೇಟಾಸೆಟ್ ಅನ್ನು ರಚಿಸಿ. Unsloth ನೊಂದಿಗೆ ಕೆಲವು ಎಪಾಕ್‌ಗಳಿಗಾಗಿ ಫೈನ್-ಟ್ಯೂನ್ ಮಾಡಿ. ಔಟ್‌ಪುಟ್‌ಗಳನ್ನು ಮೌಲ್ಯಮಾಪನ ಮಾಡಿ ಮತ್ತು ನಂತರ ಮಾತ್ರ ಪ್ರಮಾಣವನ್ನು ಹೆಚ್ಚಿಸಿ. ಆ ಸಣ್ಣ ರಿಹರ್ಸಲ್ ನಿಮಗೆ ಗಂಟೆಗಳನ್ನು ಉಳಿಸುತ್ತದೆ - ಮತ್ತು ನಿಮ್ಮ ಎರಡನೇ ಪಾಸ್ ಸ್ಮಾರ್ಟ್ ಆಗಿರುವುದರಿಂದ ನೀವು ಉತ್ತಮ ಮಾದರಿಯೊಂದಿಗೆ ಕೊನೆಗೊಳ್ಳುತ್ತೀರಿ.

ಸರಳ ಇಂಗ್ಲಿಷ್‌ನಲ್ಲಿ ಬಾಟಮ್ ಲೈನ್ Unsloth ಹೊಸ ಗಣಿತವನ್ನು ಕಂಡುಹಿಡಿಯುವುದಿಲ್ಲ, ಅದು ಮನೆಯನ್ನು ಸ್ವಚ್ಛಗೊಳಿಸುತ್ತದೆ: ಇದು ಪೀಠೋಪಕರಣಗಳನ್ನು ಮರುಹೊಂದಿಸುತ್ತದೆ, ಡ್ರಾಯರ್‌ಗಳನ್ನು ಲೇಬಲ್ ಮಾಡುತ್ತದೆ ಮತ್ತು ಟರ್ಬೊ ಬಟನ್ ಅನ್ನು ಸದ್ದಿಲ್ಲದೆ ಸ್ಥಾಪಿಸುತ್ತದೆ. ಅರ್ಧ ದಿನ GPU ಬೇಯಿಸುವುದನ್ನು ನೋಡಿದ ಯಾರಿಗಾದರೂ, ಸಮಯ ಮತ್ತು VRAM ಉಳಿತಾಯವು ಒಂದು ಸೂಪರ್ ಪವರ್‌ನಂತೆ ಭಾಸವಾಗುತ್ತದೆ. ಇದು ಎಲ್ಲಾ ರೋಗಗಳಿಗೂ ರಾಮಬಾಣವಲ್ಲ - ಕೆಟ್ಟ ಡೇಟಾ ಕೆಟ್ಟದಾಗಿ ಉಳಿಯುತ್ತದೆ, ದೊಡ್ಡ ಮಾದರಿಗಳು ದೊಡ್ಡದಾಗಿ ಉಳಿಯುತ್ತವೆ - ಆದರೆ ಇದು ಸಾಮಾನ್ಯ ಮನುಷ್ಯರ ವ್ಯಾಪ್ತಿಯೊಳಗೆ ಹೆಚ್ಚಿನ ಫೈನ್-ಟ್ಯೂನಿಂಗ್ ಅನ್ನು ಇರಿಸುತ್ತದೆ. ನಿಮ್ಮ ಗುರಿ ವಾಸ್ತವಿಕ ಹಾರ್ಡ್‌ವೇರ್‌ನಲ್ಲಿ ಪ್ರಾಯೋಗಿಕ ಗ್ರಾಹಕೀಕರಣವಾಗಿದ್ದರೆ, Unsloth ನಿಮ್ಮ ಟೂಲ್‌ಕಿಟ್‌ನಲ್ಲಿ ತನ್ನ ಸ್ಥಾನವನ್ನು ಗಳಿಸುತ್ತದೆ.

ತ್ವರಿತ-ಪ್ರಾರಂಭದ ಪರಿಶೀಲನಾಪಟ್ಟಿ

ಸಣ್ಣದಾಗಿ ಪ್ರಾರಂಭಿಸಿ: 7B ಮಾದರಿ, ಸಣ್ಣ ಸೀಕ್ವೆನ್ಸ್‌ಗಳು, ಶುದ್ಧ ಡೇಟಾಸೆಟ್.

ನೀವು ಬಲವಾದ ಕಾರಣವನ್ನು ಹೊಂದಿರದ ಹೊರತು QLoRA 4-ಬಿಟ್ ಅನ್ನು ಬಳಸಿ.

ಬ್ಯಾಚ್ ಗಾತ್ರಗಳನ್ನು ಸಾಧಾರಣವಾಗಿ ಇರಿಸಿ; ಗ್ರೇಡಿಯಂಟ್ ಸಂಗ್ರಹಣೆಯನ್ನು ಹೆಚ್ಚಿನ ಭಾರವನ್ನು ಎತ್ತಲು ಬಿಡಿ.

ಎಲ್ಲವನ್ನೂ ಲಾಗ್ ಮಾಡಿ: ಮೌಲ್ಯಮಾಪನ ಮಾದರಿಗಳು, ನಷ್ಟದ ರೇಖೆಗಳು ಮತ್ತು ನೈಜ-ಪ್ರಪಂಚದ ಪ್ರಾಂಪ್ಟ್‌ಗಳು.

ನೀವು ನಿಜವಾಗಿ ಸೇವೆ ಮಾಡುವ ಫಾರ್ಮ್ಯಾಟ್‌ಗೆ (GGUF ಅಥವಾ GPU-ಸ್ಥಳೀಯ) ಬೇಗನೆ ರಫ್ತು ಮಾಡಿ ಮತ್ತು ಲೇಟೆನ್ಸಿಯನ್ನು ಪರೀಕ್ಷಿಸಿ.

ಹೈಪರ್‌ಪ್ಯಾರಾಮ್‌ಗಳ ಮೊದಲು ಡೇಟಾದ ಮೇಲೆ ಪುನರಾವರ್ತಿಸಿ; ಉತ್ತಮ ಉದಾಹರಣೆಗಳು ಚತುರ ತಂತ್ರಗಳನ್ನು ಸೋಲಿಸುತ್ತವೆ.

ಸಂಗ್ರಹಣೆ (ಮತ್ತು ಒಂದು ಕಣ್ಣು ಹೊಡೆತ) ಫೈನ್-ಟ್ಯೂನಿಂಗ್ ಮೊದಲು ಕಣಕಾಲು ತೂಕದೊಂದಿಗೆ ಮ್ಯಾರಥಾನ್‌ಗೆ ತರಬೇತಿ ನೀಡಿದಂತೆ ಭಾಸವಾಗುತ್ತಿತ್ತು. Unsloth ತೂಕವನ್ನು ಸಡಿಲಿಸುತ್ತದೆ. ನೀವು ಇನ್ನೂ ಓಡಬೇಕಾಗುತ್ತದೆ, ಆದರೆ ಇದ್ದಕ್ಕಿದ್ದಂತೆ ದೂರವು... ನಿರ್ವಹಿಸಬಹುದಾದಂತೆ ಕಾಣುತ್ತದೆ. ಮತ್ತು ನೀವು ವಾರಾಂತ್ಯದ ಬದಲಿಗೆ ಮಧ್ಯಾಹ್ನ ನಿಮ್ಮ ಮೊದಲ ಟ್ಯೂನ್ ಮಾಡಿದ ಮಾದರಿಯನ್ನು ಸಾಗಿಸಿದಾಗ, ನೀವು ಏನು ಮಾಡಿದ್ದೀರಿ ಎಂಬುದನ್ನು ನೀವು ಕಾಣಬಹುದು: ನೀವು ಕರೆದ ಎಲ್ಲಾ ಹೆಸರುಗಳಿಗಾಗಿ ನಿಮ್ಮ GPU ಗೆ ಸದ್ದಿಲ್ಲದೆ ಕ್ಷಮಿಸಿ.

FAQ

Q1:ಸರಳ ಪದಗಳಲ್ಲಿ Unsloth ಎಂದರೇನು? Unsloth ಒಂದು ಲೈಬ್ರರಿಯಾಗಿದ್ದು ಅದು ದೊಡ್ಡ ಭಾಷಾ ಮಾದರಿಗಳನ್ನು ವೇಗವಾಗಿ ಮತ್ತು ಕಡಿಮೆ ಮೆಮೊರಿಯನ್ನು ಬಳಸುವಂತೆ ಫೈನ್-ಟ್ಯೂನ್ ಮಾಡುತ್ತದೆ. ಗುಣಮಟ್ಟವನ್ನು ಕಳೆದುಕೊಳ್ಳದೆ ಒಂದೇ 24GB GPU ನಲ್ಲಿ ಉಪಯುಕ್ತ ಮಾದರಿಗಳನ್ನು ತರಬೇತಿ ಮಾಡಲು ನೀವು QLoRA ಮತ್ತು ಇತರ ದಕ್ಷತೆಯ ತಂತ್ರಗಳ ಮೇಲೆ ಕೇಂದ್ರೀಕರಿಸುತ್ತೀರಿ.

Q2:QLoRA ಗಾಗಿ ಪ್ರಮಾಣಿತ PEFT ಗಿಂತ Unsloth ಉತ್ತಮವಾಗಿದೆಯೇ? ಅನೇಕ ನೈಜ-ಪ್ರಪಂಚದ ಕಾರ್ಯಗಳಿಗೆ, ಹೌದು - Unsloth ಸಾಮಾನ್ಯವಾಗಿ ವೇಗವಾದ ತರಬೇತಿ ಮತ್ತು ಕಡಿಮೆ VRAM ಅನ್ನು ನಿಖರತೆಯನ್ನು ಕಾಪಾಡಿಕೊಳ್ಳುವಾಗ ನೀಡುತ್ತದೆ. ನೀವು ಇನ್ನೂ ಪರಿಚಿತ ಮಾದರಿಗಳನ್ನು ಬಳಸುತ್ತೀರಿ, ಆದರೆ ನೀವು ಒಂದೇ ಸಮಯದಲ್ಲಿ ಹೆಚ್ಚಿನ ಪ್ರಯೋಗಗಳನ್ನು ಮಾಡುತ್ತೀರಿ.

Q3:ಒಂದು GPU ನಲ್ಲಿ 70B ಮಾದರಿಯನ್ನು ಫೈನ್-ಟ್ಯೂನ್ ಮಾಡಲು ನಾನು Unsloth ಅನ್ನು ಬಳಸಬಹುದೇ? ನೀವು ಎಚ್ಚರಿಕೆಯ ಸೆಟ್ಟಿಂಗ್‌ಗಳೊಂದಿಗೆ ಅದನ್ನು ಕಾರ್ಯಗತಗೊಳಿಸಬಹುದು, ಆದರೆ ಅದು ಪ್ರಯತ್ನವಿಲ್ಲದ ಕೆಲಸವಾಗುವುದಿಲ್ಲ. Unsloth ವೇಗ ಮತ್ತು VRAM ಗೆ ಸಹಾಯ ಮಾಡುತ್ತದೆ, ಆದರೆ ದೊಡ್ಡ ಮಾದರಿಗಳಿಗೆ ಇನ್ನೂ ತಾಳ್ಮೆ ಮತ್ತು ಎಚ್ಚರಿಕೆಯ ಬ್ಯಾಚ್ ಗಾತ್ರಗಳು, ಸೀಕ್ವೆನ್ಸ್ ಉದ್ದಗಳು ಮತ್ತು ಕ್ವಾಂಟೈಸೇಶನ್ ಅಗತ್ಯವಿರುತ್ತದೆ.

Q4:Unsloth ಪೂರ್ಣ-ನಿಖರತೆಯ ಫೈನ್‌ಟ್ಯೂನಿಂಗ್‌ಗೆ ಹೋಲಿಸಿದರೆ ಮಾದರಿ ಗುಣಮಟ್ಟವನ್ನು ಕುಗ್ಗಿಸುತ್ತದೆಯೇ? ಉತ್ತಮ ಡೇಟಾಸೆಟ್‌ಗಳು ಮತ್ತು QLoRA ನೊಂದಿಗೆ, ಹೆಚ್ಚಿನ ಬಳಕೆದಾರರು ಸೂಚನೆಗಳನ್ನು ಅನುಸರಿಸುವುದು ಅಥವಾ ಸಾರಾಂಶದಂತಹ ಸಾಮಾನ್ಯ ಕಾರ್ಯಗಳಿಗೆ ಹೋಲುವ ಗುಣಮಟ್ಟವನ್ನು ನೋಡುತ್ತಾರೆ. ಹೆಚ್ಚು ವಿಶೇಷವಾದ ಅಥವಾ ಜ್ಞಾನ-ಭರಿತ ಬದಲಾವಣೆಗಳಿಗಾಗಿ, ಪೂರ್ಣ-ನಿಖರತೆಯ ಫೈನ್‌ಟ್ಯೂನಿಂಗ್ ಇನ್ನೂ ಉತ್ತಮವಾಗಿ ಕಾರ್ಯನಿರ್ವಹಿಸಬಹುದು.

Q5:Sider.AI ತರಬೇತಿ ಸಾಧನವಲ್ಲದಿದ್ದರೆ ಹೇಗೆ ಸಹಾಯ ಮಾಡುತ್ತದೆ? ನಿಮ್ಮ ತರಬೇತಿ ಡೇಟಾವನ್ನು ಸಂಗ್ರಹಿಸಲು ಮತ್ತು ಪರಿಷ್ಕರಿಸಲು Sider.AI ಅನ್ನು ಬಳಸಿ: ಡಾಕ್ಸ್ ಅನ್ನು ಸಾರಾಂಶಗೊಳಿಸಿ, ಪ್ರಾಂಪ್ಟ್‌ಗಳನ್ನು ರಚಿಸಿ ಮತ್ತು ವೈವಿಧ್ಯಮಯ ಉದಾಹರಣೆಗಳನ್ನು ರಚಿಸಿ. ಉತ್ತಮ ಡೇಟಾ Unsloth ಅನ್ನು ಬೆಳಗಿಸುತ್ತದೆ - Sider.AI ಅನ್ನು ನಿಮ್ಮ ಅಡುಗೆಮನೆಯನ್ನು ವೇಗಗೊಳಿಸುವ ಪ್ರೆಪ್ ಕುಕ್ ಎಂದು ಭಾವಿಸಿ.