ಪರಿಚಯ: ವಾರಾಂತ್ಯದಲ್ಲಿ ನಾನು ನನ್ನ ಲ್ಯಾಪ್ಟಾಪ್ನ್ನು ಚಿಂತನ ಮುದ್ದೊಂದನ್ನು ಕಲಿಸಲು ಪ್ರಯತ್ನಿಸಿದ ಸಮಯ
ಒಪ್ಪುದು ಸಮಯ: ನಾನು ಒಂದು ಶನಿವಾರ ನನ್ನ ಲ್ಯಾಪ್ಟಾಪ್ನಲ್ಲಿ ದೊಡ್ಡ ಭಾಷಾ ಮಾದರಿಯನ್ನು ಓಡಿಸಲು ಪ್ರಯತ್ನಿಸುತ್ತಿದ್ದೆನು. ನನ್ನ ಕೈಯಲ್ಲಿ ಕಾಫಿ ಹಿಡಿದು, ಟರ್ಮಿನಲ್ ವಿಂಡೋವಿಗೆ ಪ್ರೋತ್ಸಾಹದ ಮಾತುಗಳನ್ನು ಹೇಳುತ್ತಾ ಇದ್ದೆ, ನಾಯಿ மாவಿಗಾಗಿ ಹಾಯ್ದಂತೆ: “ಬನ್ನಿ, ನೀನು ಇದು ಮಾಡಬಲ್ಲೆ.” ನೀವು Ollama ಎಂಬ ಸ್ನೇಹಪೂರಿತ, ಎಲ್ಲವನ್ನೂ ಒಳಗೊಂಡಿರುವ, ನಿಮ್ಮ ಮನೆಯಲ್ಲಿ AI ಮಾದರಿಗಳನ್ನು ಚಲಿಸುವ ಮೂಲಕ ಆಟವಾಡಿದ್ದರೆ, ನೀವು ಮನೆಯಲ್ಲಿ ಉಪಯೋಗಿಸುವ AI ಯ ಸಂತೋಷವನ್ನು ಅನುಭವಿಸಿದ್ದೀರಿ. ಆದರೆ ನೀವು ಬೇರೆ ರುಚಿಯನ್ನು ಬಯಸಿದರೆ: ಮನೋಹರ ಇಂಟರ್ಫೇಸ್, ವೇಗವರ್ಧನೆ, ಉತ್ತಮ GPU ಬೆಂಬಲ, ಅಥವಾ ಸೂಕ್ಷ್ಮ ನಿಯಂತ್ರಣ?
ಚೆನ್ನ Nachrichten: Ollama ಮಾತ್ರವೇ ಅಲ್ಲ. 2025 ರಲ್ಲಿ, ಮನೆಯಲ್ಲಿ LLM ಚಾಲಕರ, GUIs ಮತ್ತು ಮಾದರಿ ಸರ್ವರ್ಗಳ ತೀವ್ರ ಬಂದಾರು ಇದೆ, ಇದು ನಿಮ್ಮ ಕಂಪ್ಯೂಟರ್ ಅನ್ನು ಕಾಲಪ್ರವಾಸ ಟೈಪ್ರೈಟರ್ ಆಗಿ ರೂಪಿಸಬಹುದು. ಇವತ್ತಿಗೇ ನಾವು ಉತ್ತಮ Ollama ಬದಲಾವಣೆಗಳನ್ನು ಪರಿಕ್ರಮಿಸುತ್ತೇವೆ — ಅವುಗಳು ಯಾವಲ್ಲಿ ವಿವೇಕಿ, ಎಲ್ಲಲ್ಲಿ ದೋಷ Peek, ಮತ್ತು ಯಾವುದು ನಿಮ್ಮ ವ್ಯವಸ್ಥೆಗೆ ಸೂಕ್ತ — ನೀವೇ ಸಾಂದರ್ಭಿಕ ತಜ್ಞರಾಗಿದ್ದರೆ ಅಥವಾ ನಿಮ್ಮ ಕುಟುಂಬದ CTO ಆಗಿದ್ದರೆ.
ಹೇಳಿದರೆ, ನಾನು ಸ್ಥಳೀಯ AI ದೃಶ್ಯದಲ್ಲಿ ಯಾವಲ್ಲಿ ಹಾಟ್ ಮತ್ತು ಯಾವಲ್ಲಿ ಹೈಪ್ ಇದೆ ಎಂಬುದನ್ನು ಪರಿಶೀಲಿಸಿದ್ದೇನೆ, ಸ್ಥಳೀಯ LLM ಸಾಧನಗಳ ಸಮೀಕ್ಷೆ ಮತ್ತು ಹೋಲಿಕೆಗಳನ್ನು ಸೇರಿಸಿಕೊಂಡು. ನೀವು ಉಲ್ಲೇಖಗಳನ್ನು ಓದುತ್ತಾ ಕಾಣುವಿರಿ. ಮತ್ತು ನಾನು Sider.AI ಬ್ಲಾಗ್ ಜಗತ್ತಿನಲ್ಲಿ ಪ್ರಮಾಣಪತ್ರಗಳನ್ನು ನೋಡಿದೆ, ಜೆಲ್ಲಿ AI ನೊಂದಿಗೆ ಪ್ರತಿದಿನ ಸಂಶೋಧನೆಯು ಮತ್ತು ಬರದವರು ಮೊದಲು ಸೇರಲು ಏನು ಅನಿಸುತ್ತದೆ ಎಂದು. ಇದಕ್ಕಾಗಿ ಯಾರು (ಮತ್ತು ಯಾರು ಸುರಕ್ಷಿತವಾಗಿ ಸ್ಕ್ರೋಲ್ ಮಾಡಬಹುದು)
- ನೀವು ಗುಪ್ತತೆ, ವೇಗ ಅಥವಾ ನಿಮ್ಮ ವೈ-ಫೈ ತಗಲಿಸದಿರಲು AI ಮಾದರಿಗಳನ್ನು ಸ್ಥಳೀಯವಾಗಿ ಚಾಲನೆ ಮಾಡಬೇಕು ಎಂದು ಬಯಸುತ್ತಾರೆ.
- ನೀವು Ollama ಅನ್ನು ಪ್ರಯತ್ನಿಸಿದ್ದೀರಾ ಅಥವಾ ಕೇಳಿದ್ದೀರಾ ಮತ್ತು ಕೇಳುತ್ತಿದ್ದೀರಾ: ನನ್ನ GPU, ಕಾರ್ಯವಿಧಾನಗಳು, ಅಥವಾ ಮಾನಸಿಕ ಶಾಂತಿಯು ಉತ್ತಮ ಬದಲಾವಣೆ ಇಲ್ಲವೇ?
- ನೀವು ಸ್ನೇಹಪೂರ್ವಕ ಬಟನ್ಗಳನ್ನು ಕಾಮಂಡ್ ಲೈನ್ಗಿಂತ ಪ್ರೀತಿಸುತ್ತೀರಾ — ಅಥವಾ ಅದರ ವಿರುದ್ಧ. ನಾವು ಇವಿಬ್ಬರೂ ಇದ್ದೇವೆ.
ನೀವು AI ಜೊತೆ ಬ್ರೌಸರ್ನಲ್ಲಿ ಮಾತ್ರ ಚಾಟ್ ಮಾಡಲು ಬಯಸುತ್ತೀರಾ ಮತ್ತು ಸೆಟ್ಟಿಂಗ್ಗಳನ್ನು ಸ್ಪರ್ಶಿಸಲಾರದು ಎಂದು ಬಯಸಿದರೆ, ಇದು ಕೈಗಾರಿಕೆಗೆ ಹೆಚ್ಚು ಆಗಬಹುದು. ಉಳಿದವರಿಗೆ: ಮುನ್ನಡೆ.
ಚಿಕ್ಕ ಪಟ್ಟಿಕೆ: ವ್ಯಕ್ತಿತ್ವದ ಪ್ರಕಾರ ಉತ್ತಮ Ollama ಬದಲಿ
- LM Studio: ಸ್ಥಳೀಯ ಮಾದರಿಗಳಿಗೆ “ಆಪ್ ಸ್ಟೋರ್” ವಾತಾವರಣ, ಚುರುಕಾದ GUI ಮತ್ತು ಸುಲಭ ಡೌನ್ಲೋಡ್ಗಳೊಂದಿಗೆ. ತುಂಬಾ ಸುಲಭವಾಗಿದ್ದು ಪ್ರಾರಂಭಿಸಲು ಉತ್ತಮ.
- Text Generation WebUI (oobabooga): ಸ್ವಿಸ್ ಆರ್ಮಿ ವೆಬ್ ಆಪ್ — ಹಾಡಿಗಳು, ವಿಸ್ತರಣೆಗಳು, ಪಾತ್ರಗಳನ್ನು ಸ್ಥಾಪಿಸಬಹುದಾದ ವೇದಿಕೆ. ಶಕ್ತಿಶಾಲಿ ಬಳಕೆದಾರರ ಪರದಿನ.
- OpenWebUI: ಸ್ವಚ್ಛ, ಆಧುನಿಕ ಚಾಟ್ ಇಂಟರ್ಫೇಸ್, ಸ್ಥಳೀಯ ಬ್ಯಾಕೆಂಡ್ಗಳಿಗೆ ತಯಾರಾಗುತ್ತದೆ. TGWUI ಗಿಂತ ಕಡಿಮೆ ತೊಂದರೆಯುಳ್ಳದು, ಇನ್ನೂ ಯೋಗ್ಯತೆ ಹೊಂದಿದೆ.
- llama.cpp (ಮತ್ತು ಗೆಳೆಯರು): ಹಲವಾರು ಉಪಕರಣಗಳ ಕೆಳಮಟ್ಟದ ಎಂಜಿನ್. ತೂಕಕ್ಕೆ ತಗ್ಗು, CPU/GPU ಬೆಂಬಲ ಲಭ್ಯವಿದೆ, ಎम्बೆಡ್ಡೆಡ್ ತಂಡಗಳು ಅಥವಾ ಕನಿಷ್ಟ ವ್ಯವಸ್ಥೆಗಳಿಗೆ ಉತ್ತಮ.
- vLLM: ನೀವು ಎಲ್ಲಾ ಬಳಕೆದಾರರಿಗೆ ಸೇವೆ ನೀಡಲು ಮತ್ತು ಹೆಚ್ಚು ವೇಗವನ್ನು ಬಯಸಿದರೆ — ಪ್ರಯೋಗಾಲಯಗಳು, ತಂಡಗಳು ಅಥವಾ ಗಂಭೀರ ಪ್ರಯೋಗಗಳಿಗೆ — vLLM ನಿಮ್ಮ ವೇಗದ ಮಾರ್ಗ.
- KoboldCpp / KoboldAI: ಕಥೆಗಳ ಬರವಣಿಗೆ ಕಾರ್ಯವಿಧಾನ, ಪಾತ್ರ ನಟನೆ, ಮತ್ತು ದೀರ್ಘಾವಧಿ ಸೃಜನಶೀಲ ಸೆಷನ್ಗಳಿಗೆ ಉತ್ತಮ; ಸ್ಮೃತಿ ಮತ್ತು ಪಾತ್ರ ಸಾಧನಗಳೊಂದಿಗೆ.
- LMDeploy ಮತ್ತು ಇತರ ಇನ್ಫರೆನ್ಸ್/ಸರ್ವಿಂಗ್ ತಂತ್ರಜಾಲಗಳು: “ನನಗೆ ನನ್ನ GPU ನಲ್ಲಿ ಗರಿಷ್ಠ ಕಾರ್ಯಕ್ಷಮತೆ ಬೇಕು” ಎಂದು ಬಯಸುವವರಿಗೆ; ಹೆಚ್ಚು ಸಂರಚನೆ, ಹೆಚ್ಚು ವೇಗ.
ಆಯ್ಕೆ ನಕ್ಷೆ: ನೀವು ನಿಜವಾಗಿಯೂ ಏನು ಬೇಕು?
- “ನಾನು ಹೊಸಬನು. ದಯವಿಟ್ಟು ಧ್ವಜಗಳನ್ನು ನೆನಪಿಸಲು ಬಯಸುವುದಿಲ್ಲ.” LM Studio ಅಥವಾ OpenWebUI. ಸ್ನೇಹಪೂರಿತ ಇಂಟರ್ಫೇಸ್ ಮತ್ತು ಕಡಿಮೆ ಕಾನ್ಫಿಗರೇಷನ್ ಇದ್ದರೆ ಇಲ್ಲಿ ಪ್ರಾರಂಭಿಸಿ.
- “ನನಗೆ ಎಲ್ಲಾ ನೋಬ್ ಮತ್ತು ಲೆವರ್ ಬೇಕು.” Text Generation WebUI. ನೀವು ಶೆಡ್ಯೂಲಿಂಗ್ ನಿಯಂತ್ರಣಗಳು, ಪ್ರಾಂಪ್ಟ್ ಟೆಂಪ್ಲೇಟ್ಗಳು, ಪ್ಲಾಗಿನ್ಗಳನ್ನು ಪಡೆಯುತ್ತೀರಿ.
- “ನನ್ನ ಲ್ಯಾಪ್ಟಾಪ್ ಮಿಡ್-ಟಿಯರ್ ಆದರೆ ನಾನು ಹಠಾತ್.” llama.cpp. ತೂಕವahang, ಪರಿಣಾಮಕಾರಿ, ಸರಳ ಸಾಧನದ ಮೇಲೆ ಅಚ್ಚರಿಯ ತುಂಬಿದ.
- “ನನಗೆ ನನ್ನ ತಂಡಕ್ಕೆ ಮಾದರಿಗಳನ್ನು ಸೇವೆ ಮಾಡಲು ಬೇಕು.” vLLM ಅಥವಾ ಹೋಲುವ ಸೇವರ್ ಸ್ಟಾಕ್. ಇಲ್ಲಿ ವೇಗ ಮತ್ತು ಸಮಕಾಲೀನತೆ ಮುಖ್ಯವಾದವು.
- “ನಾನು ಕಾದಂಬರಿಯನ್ನು ಬರೆದು ದೀರ್ಘಾವಧಿ ಸ್ಮೃತಿಯನ್ನು ಕಾಳಜಿ ವಹಿಸುತ್ತೇನೆ.” ಕಥನ AI ಗಾಗಿ Kobold ವೀಕ್ಷಣೆ ಸಾಧನಗಳು ಉತ್ತಮ.
ಏಕೆ ನೇರವಾಗಿ Ollama ನಲ್ಲೇ ಇರಬಾರದು?
Ollama ಹಗುರವಾದ, ಸರಳ ಮಾದರಿ ಡೌನ್ಲೋಡ್ ಮತ್ತು ಒನ್-ಲೈನರ್ ಇನ್ಸ್ಟಾಲ್ ಸೌಲಭ್ಯ ನೀಡುತ್ತದೆ. ಆದರೆ ಅದು ತನ್ನದೇ ಆದ ಮಾದರಿ ಫಾರ್ಮೆಟ್, ರಿಜಿಸ್ಟ್ರಿ, ರನ್ಟೈಮ್ ಅನ್ನು ಬಳಸುತ್ತದೆ. ನಿಮಗೆ ಮನೋಹರ GUI, ಬಹು-ಬಳಕೆದಾರ ಸೇವಾ ಸಮರ್ಥನೆ ಅಥವಾ ಸೂಕ್ಷ್ಮ GPU ಆಪ್ಟಿಮೈಜೇಶನ್ ಬೇಕಾದರೆ, ನೀವು ಬೇರೆಡೆ ಹೆಚ್ಚು ಸಂತೋಷವಾಗಬಹುದು. ಮತ್ತು ನೀವು ಈಗಾಗಲೇ ಪ್ರಿಯವಾದ ಫ್ರಂಟ್ಎಂಡ್ (OpenWebUI ಉದಾ.) ಇದ್ದರೆ, ಅದಕ್ಕೆ ಒತ್ತೊಂದು ಬ್ಯಾಕೆಂಡ್ ಬೇಕಾಗಬಹುದು.
ಬದಲಾವಣೆಗಳ ಕೊಡುಗೆ, Pogue-ಶೈಲಿಯಲ್ಲಿ
LM Studio: ಸ್ಥಳೀಯ ಮಾದರಿಗಳ ಆರಾಮದಾಯಕ ಕಾಫಿ ಅಂಗಡಿ
Ollama ಡ್ರೈವ್-ಮೂಲವಿದ್ದರೆ, LM Studio ಸೋಫಾಗೆ ಜಾರುವ ಕಾಫೆ. ನೀವು ಆಪ್ ಡೌನ್ಲೋಡ್ ಮಾಡಿ, ಮಾದರಿಗಳ ಕ್ಯಾಟಲಾಗ್ ನೋಡಬಹುದು ಮತ್ತು ಕ್ಲಿಕ್ ಮಾಡುತ್ತಾ ಇನ್ಸ್ಟಾಲ್ ಮಾಡಬಹುದು. ಚಾಟ್ ಮಾಡಿರಿ, ಪ್ರಯೋಗ ಮಾಡಿರಿ, ಮಾದರಿಗಳನ್ನು ಬದಲಾಯಿಸಿರಿ — ಕಮಾಂಡ್ ಲೈನ್ಗೆ ತರಬೇತಿ ಪಡೆಯದೆ. ಇದ್ದರೂ API ಇಲ್ಲ, YAML ಕಲಿಯಬೇಕಾದಿಲ್ಲ. ಹೆಚ್ಚಿನವರಿಗೆ ಇದು “ಸ್ಥಳೀಯ AI ಅದು ಸಾಮಾನ್ಯ ಆಪ್ಗಳಂತೆ” ಎಂಬ ಭಾವನೆ ನೀಡುತ್ತದೆ, ಹಾಗಾಗಿ ಇದು ಉತ್ತಮ ಪಟ್ಟಿ ಕಾದ ಕುಮ/
ಕಾರಿ
- ಅತ್ಯುತ್ತಮ GUI ಮತ್ತು ಮಾದರಿ ಅನ್ವೇಷಣೆ
- ಹೊಸಬರಿಗೆ ವೇಗದ ಪ್ರವೇಶದ ದಾರಿ
ಹಾನಿ
- ಖಚಿತವಾಗಿ ಅನುಕೂಲಕರ ಸಂರಚನೆ ಇಲ್ಲ
- ಕಾರ್ಯಕ್ಷಮತೆ ನಿಮ್ಮ ಹಾರ್ಡ್ವೇರ್ ಮತ್ತು ಆರಿಸಿಕೊಂಡ ಮಾದರಿಯ ಮೇಲೆ ನಿರಭರವಾಗಿರುವದು
ಸಂಪುಟ: ಸಂರಚನೆ ಕಡಿಮೆ ಇಷ್ಟಪಡುವ ವೈದ್ಯಕೀಯ ಸಹೋದರರು ಮತ್ತು ಕುತೂಹಲಿಗಳಿಗಾಗಿದ್ದು.
Text Generation WebUI (oobabooga): ನಿಮ್ಮ AI ನ ನಿಯಂತ್ರಣ ಕೋಣೆ
ಇದು ಸ್ಥಳೀಯವಾಗಿ ಓಡುವ ವೆಬ್ ಅನ್ವಯ. ನೀವು ಯಂತ್ರ ನಿಯಂತ್ರಣ ಕೋಣೆಗೆ ಹೋದಂತೆ: ಬಟನ್ಗಳು, ಸ್ಲೈಡರ್ಗಳು, ಪಾತ್ರದ ಪ್ರೀಸೆಟ್ಗಳು, ಸ್ಮೃತಿ ಸೆಟ್ಟಿಂಗ್ಸ್, ವೀಸನ್, TTS ಮತ್ತು ಇತರ ಪ್ಲಗಿನ್ಗಳೊಂದಿಗೆ. ನೀವು ಬರೆಯುವ, ಪ್ರಾಂಪ್ಟ್ಗಳನ್ನು ರಚಿಸುವ ಅಥವಾ ಪಾತ್ರ ನಟಿಸುವವರು ಆಗಿದ್ದರೆ, TGWUI ವಾಸನಾಶಾಸ್ತ್ರದ ಅಂಗಡಿ. ನೀವು ಮೀರಿದ ಬ್ಯಾಕೆಂಡ್ಗಳು—llama.cpp, exllama, CUDA—ನೀವು GPU ಮತ್ತು ಮಾದರಿ ಆಯ್ಕೆಗೆ ತಕ್ಕಂತೆ ಸೇರಿಸಬಹುದು. ಇದು ಅಭಿಮಾನಿಗಳಿಗೆ ಉಪಕರಣ, ಆದರೆ ನೀವು ಇದರ ಜೊತೆ ಪರಿಚಯರಾದ ಮೇಲೆ ಸ್ನೇಹಪೂರಿತವಾಗಿದೆ.
ಕಾರಿ
- ದೊಡ್ಡ ಕಸ್ಟಮೈಜೇಶನ್ ಮತ್ತು ಪ್ಲಗಿನ್ ಪರಿಸರ
- ದೀರ್ಘ ಬರವಣಿಗೆ ಮತ್ತು ದೃಶ್ಯಪಟ ಪರೀಕ್ಷೆಗೆ ಉತ್ತಮ
- ಬಹು ಬ್ಯಾಕೆಂಡ್ ಮತ್ತು ಫಾರ್ಮೆಟ್ಗಳಿಗೆ ಹೊಂದಾಣಿಕೆ
ಹಾನಿ
- ಸಂರಚನೆ ಇನ್ಸ್ಟಾಲ್ ಮತ್ತು ಓಡಿಸಲು ಹ extranj farið ರಾತ್ರಿ ಅಂತ ವಳಯ.
- ಅತಿಶಯ ಆರ್ರ್ನಿಯಿಂದ ಹೊಸಬರಿಗೆ ಒತ್ತಡವಿರಬಹುದು
ಸಂಪುಟ: ಶಕ್ತಿಶಾಲಿ ಬಳಕೆದಾರರು, ಬರಹಗಾರರು ಮತ್ತು ಹವ್ಯಾಸಿಗಳು, ಮೈದಾನಕ್ಕಾಗಿ ಕೇಂದ್ರವಾಗುತ್ತಾರೆ.
OpenWebUI: ನಿಮ್ಮ ಮಾದರಿಗಳೊಂದಿಗೆ ಸ್ವಚ್ಛ, ಆಧುನಿಕ ಚಾಟ್
ಸ್ಲೀಕ್ ಚಾಟ್ ಆಪ್ ಕಲ್ಪಿಸಿರಿ, ಆದರೆ ಅದು ನಿಮ್ಮ ಸ್ಥಳೀಯ AI ಆಫ್ ಹೇಳುತ್ತದೆ. ಅದು TGWUI ಗಿಂತ ಕಡಿಮೆ ಸೆಟ್ಟಿಂಗ್ಸ್ ಹೊಂದಿದೆ, ಆದರೆ ಸಾಮಾನ್ಯ ಬ್ಯಾಕೆಂಡ್ಗಳೊಂದಿಗೆ ಚೆನ್ನಾಗಿ ಜೋಡಣೆಯಾಗುತ್ತದೆ. ಇದು “ಹೆಸರಿಗಿಂತ ಕಡಿಮೆ ಜಂಜಾಳ, ಹೆಚ್ಚು ಸ್ನೇಹಪೂರಿತ” ಎಂಬಂತೆ, ತಂಡಗಳಿಗೆ ಮನಃಪೂರ್ವಕವಾಗಿರುವುದು.
ಕಾರಿ
- ಬಹು ಬ್ಯಾಕೆಂಡ್ಗಳೊಂದಿಗೆ ಕಾರ್ಯನಿರ್ವಹಿಸುತ್ತದೆ
- ಮನೆಯ ನೆಟ್ವರ್ಕ್ ಅಥವಾ ಸಣ್ಣ ತಂಡದೊಂದಿಗೆ ಹಂಚಿಕೊಳ್ಳಲು ಸುಲಭ
ಹಾನಿ
- TGWUI ಗಿಂತ ಕಡಿಮೆ ನಿಕಟ ನಿಯಂತ್ರಣಗಳು
- ಬ್ಯಾಕೆಂಡ್ ಹೊಂದಾಣಿಕೆ ನಿಮ್ಮ ವೈಶಿಷ್ಟ್ಯಗಳನ್ನು ನಿಶ್ಚಯಿಸುತ್ತದೆ
ಸಂಪುಟ: ಸ್ಪಷ್ಟತೆ ಮತ್ತು ಸರಳತೆ ಇಚ್ಛಿಸುವವರು, ಆದರೆ ಸ್ಥಳೀಯ ನಿಯಂತ್ರಣ ಇರಬೇಕಾದ್ರೆ.
llama.cpp: ಚಿಕ್ಕ ಎಂಜಿನ್ ಆದರೆ ಶಕ್ತಿಶಾಲಿ
ತಂತ್ರಜ್ಞಾನ ಹಿಂದೆ ತಂತ್ರಜ್ಞಾನ. llama.cpp C/C++ ಇನ್ಫರೆನ್ಸ್ ಎಂಜಿನ್, CPU ಮತ್ತು GPU ಮೇಲೆ ಕಂಪ್ಯೂಟರ್ ಮಾಡಲಾದ ಮಾದರಿಗಳನ್ನು ಪರಿಣಾಮಕಾರಿಯಾಗಿ ಓಡಿಸಲು. ಅರ್ಥ: “ AI ನ್ನು ಕುಡಿಯುವ ಕಡಲಾಯಿಯಿಂದ ದಾಟಿಸಿದರೆ ಕೂಡ ಕಾರ್ಯನಿರ್ವಹಿಸುತ್ತದೆ?” ಇದೊಂದು ಲಘು ಯಂತ್ರಗಳಿಗೆ ಉತ್ತಮ—ಮ್ಯಾಕ್ಬುಕ್ಗಳು, ಮಿನಿ-ಪಿಸಿ, ಮತ್ತು ರಾಮ್ ಆಗು Raspberry Pi ವ್ಯವಸ್ಥೆಗಳಿಗಾಗಿ, ಮತ್ತು ಹಲವು ಉಪಕರಣಗಳ ಹಿಂದಿನ ಮೈಲಿಗಲ್ಲು.
ಕಾರಿ
- ತೀವ್ರ ಪರಿಣಾಮಕಾರಿ; ಸಾಮಾನ್ಯ ಸಲಕರಣೆಗಳ ಮೇಲೂ ಕೆಲಸಮಾಡುತ್ತದೆ
- ಎಂಬೆಡ್ಡೆಡ್ ಅಥವಾ ಆಫ್ಲೈನ್ ವ್ಯವಸ್ಥೆಗಳಿಗೆ ಉತ್ತಮ
- ಸ್ಥಿರ ಮತ್ತು ವ್ಯಾಪಕ ಬೆಂಬಲ ಹೊಂದಿದೆ
ಹಾನಿ
- ಸ್ವಂತ ಆಪ್ ಅಲ್ಲ; GUI ಅಥವಾ ವ್ಯಾಖ್ಯಾನಕ ಬೇಕಾಗುತ್ತದೆ
- ಮಹತ್ವದ ಮಾದರಿಗಳ ಮೇಲೆ ಭಾರೀ GPU ಆಪ್ಟಿಮೈಜ್ಡ್ ಸರ್ವರ್ಗಳಿಗಿಂತ ಕಾರ್ಮಿಕವಾಗಬಹುದು
ಸಂಪುಟ: ಸಣ್ಣದು, ವೇಗಿ, ಸ್ಥಳೀಯವನ್ನು ಇಷ್ಟಪಡುವ ಎದುರು ಸಾರ್ವಜನಿಕರು.
vLLM: ಜೋರಾಗಿ ಕಾರ್ಮಿಕರಿಗಾಗಿ ಹೆದ್ದಾರಿ
ನೀವು ಸೇವಾ ವೇಗ ಮತ್ತು ಸಮಕಾಲೀನತೆ ಕುರಿತಂತೆ ಜಾಗ್ರತೆ ಹೊಂದಿದ್ದರೆ, vLLM ಬೆರಗಿ ಬರುತ್ತದೆ. ಬಹು ಬಳಕೆದಾರರು, ಅನೇಕ ವಿನಂತಿಗಳು ಅಥವಾ ಸಮಯ-ಸ್ಪರ್ಶಿ ಅನ್ವಯಕ್ಕೆ ಇದು ಶಕ್ತಿ-ಪೂರ್ಣ ಇನ್ಫರೆನ್ಸ್ ಸರ್ವರ್. ನೀವು ತಂಡಕ್ಕೆ ಮಾದರಿ ಸರ್ವರ್ ಮಾಡಲು ನಿಮ್ಮ ಯಂತ್ರವನ್ನು ತಯಾರಿಸುತ್ತಿದ್ದರೆ ಅಥವಾ ಬ್ಯಾಚ್ಮಾರ್ಕಿಂಗ್ ನೀವು ಹೃದಯವಾಯು ಎಂದು ಮಾಡಿದರೆ, vLLM ನೋಡಿ.
ಕಾರಿ
- ತೀವ್ರ ಕೊಂಡ ಪರ್ಫಾರ್ಮನ್ ಮತ್ತು ಸಂರಕ್ಷಿತ ಸ್ಮೃತಿ ಬಳಕೆ
- ಬಹು ಬಳಕೆದಾರರು ಅಥವಾ ಉತ್ಪಾದನಾ ಶೈಲಿ ವ್ಯವಸ್ಥೆಗಳಿಗಾಗಿ ಸೂಕ್ತ
- ಜನಪ್ರಿಯ ಫ್ರೇಮ್ವರ್ಕ್ಗಳೊಂದಿಗೆ ಚೆನ್ನಾಗಿ ಕೆಲಸ ಮಾಡುತ್ತದೆ
ಹಾನಿ
- ಹೆಚ್ಚಿನ ಸಂರಚನೆ ಮತ್ತು ಕಾರ್ಯಾಚರಣೆ ಜ್ಞಾನ ಅಗತ್ಯವಿದೆ
- ಒಬ್ಬೊಬ್ಬ ಚಾಟ್-ಓಡು ಮನೋಜ್ಞಾನಕ್ಕೆ ಹೆಚ್ಚಿನದು
ಸಂಪುಟ: ಡೆವ್ಗಳು, ಪ್ರಯೋಗಾಲಯಗಳು, ಅಥವಾ ಸಣ್ಣ ಕಂಪನಿಗಳು ನಿಜವಾದ ಕಾರ್ಯಭಾರ ಸಿಕ್ಕಾಗ ಮಾದರಿ ಹೊಂದಿರುವವರು.
KoboldCpp / KoboldAI: ಕಥೆಗಾರರ ಉಪಕರಣಗಳು
ಕಥಾ ಬರವಣಿಗೆ ಮತ್ತು ಪಾತ್ರ ನಟನೆಯಿಗೆ Kobold ರುಚಿಯ ಸಾಧನಗಳು ಕೇಂದ್ರಗೊಂಡಿವೆ: ದೀರ್ಘಾವಧಿ ಸ್ಮೃತಿ, ಪಾತ್ರದ ಪಟ್ಟಿಗಳು, ಜಗತ್ತಿನ ಟಿಪ್ಪಣಿಗಳು ಮತ್ತು ಸാന್ನಿಧ್ಯ ಕೌಶಲ್ಯಗಳು. ನೀವು ನಿಮ್ಮ ಸ್ಫೂರ್ತಿಯೊಂದಿಗೆ ಮಾತನಾಡುತ್ತಾ ಇದ್ದೀರಾ; ಅದು ನಿಮ್ಮ ಜಗತ್ತನ್ನು ನೆನಪಿಸುತ್ತದೆ. ನೀವು AI ಗೆ ಮಾಡಿ ಯಾರಲ್ಲ ವಿಲನ್ ಎಂದಿಲ್ಲದಿರಿಪ್ಪುದಕ್ಕೆ ಹಾಕಿ, ಇದು ನಿಮ್ಮ ಕಾಯಹಿತ.
ಕಾರ್ಯಗಳು
- ಕಾದಂಬರಿ ಮತ್ತು ಪಾತ್ರ ನಟನೆಗೆ ಗುರಿ
- ದೀರ್ಘ ಸ್ಮೃತಿ ಮತ್ತು ವ್ಯಕ್ತಿತ್ವ ಸಾಧನಗಳು
ಹಾನಿಗಳು
- ಇತರ ಬಳಕೆದಾರ ಇಂಟರ್ಫೇಸ್ಗಳಿಗಿಂತ ಕಡಿಮೆ ಸಾಮಾನ್ಯ ಉದ್ದೇಶ
- ಉತ್ತಮ ಫಲಿತಾಂಶಕ್ಕಾಗಿ ಸ್ವಲ್ಪ ಸಂರಚನೆ ಮತ್ತು ಮಾದರಿ ಆಯ್ಕೆ ಬೇಕಾಗುತ್ತದೆ
ಸಂಪುಟ: ಬರಹಗಾರರು, ಸ್ಥಳೀಯ AI ನೆನಪಿನೊಳಗೆ ಹೆಚ್ಚು ಇದಾಗಿದ್ದರೆ.
LMDeploy ಮತ್ತು ಕಾರ್ಯಕ್ಷಮತೆ-ಕೇಂದ್ರಿತ ಸ್ಟ್ಯಾಕ್ಗಳು: ವೇಗವೇ ಕರ್ತವ್ಯವಾಗಿದ್ದಾಗ
LMDeploy ಮತ್ತು ಸಮಾನ ಸ್ಟ್ಯಾಕ್ಗಳು ಪೈಪ್ಲೈನ್ ದಕ್ಷತೆ, ಕಾಂಟಿಕೋಷನ್ ತಂತ್ರಗಳು ಮತ್ತು GPU ಆಪ್ಟಿಮೈಜೇಷನ್ಗಳ ಮೇಲೆ ಕೇಂದ್ರೀಕೃತವಾಗಿವೆ. ನೀವು ಫ್ರೇಮ್-ಪ್ರತಿ ಸೆಕೆಂಡ್ ಗರಿಷ್ಠಗೊಳಿಸಲು ಹಾಸುಬಡಿಸಿದ್ದರೆ, ಈ ಸಾಧನಗಳು ನಿಮ್ಮ GPU ನಿಂದ ಹೆಚ್ಚು ಪಡೆದು ಕೊಳ್ಳಲು ಸಹಾಯ ಮಾಡಬಹುದು—ಇದಕ್ಕೆ ಹೆಚ್ಚು ಸಂರಚನಾ ಸಮಯ ಬೇಕು.
ಕಾರಿ
- ಗಂಭೀರ ಯಂತ್ರಗಳಿಗೆ ಸಂಯೋಜಿಸಿ ಕಾರ್ಯಕ್ಷಮತೆ
- ನಿರಿಕ್ಷಣ ಮತ್ತು ನಿಮ್ಮ GPU ನಿಂದ ಹೆಚ್ಚು ಪಡೆಯಲು ಉತ್ತಮ
ಹಾನಿ
- ಸಂರಚನೆ “ಹೆಲ್ಮೆಟ್ ತರಲು” ಬೇಕಾಗುವ ಮಟ್ಟದದ್ದು
- ಸಾಮಾನ್ಯ ಬಳಕೆದಾರರಿಗೆ ಸ್ನೇಹಪೂರಿತ ಆಯ್ಕೆ ಅಲ್ಲ
ಸಂಪುಟ: ಕಾರ್ಯಕ್ಷಮತೆ ಒತ್ತಡಗಳು ಮತ್ತು ಸಂಶೋಧಕರು ಇಷ್ಟಪಡುತ್ತಾರೆ.
ಸ್ಥಳೀಯ AI ಬಗ್ಗೆ ಒಂದು ವೇಗದ ಸತ್ಯ ಪರಿಶೀಲನೆ
ಸ್ಥಳೀಯ ಎಂದರೆ ಸ್ವಯಂ-“100% ಖಾಸಗಿ” ಅಂದರೆ ಅಲ್ಲ. ಕೆಲವು ಆ್ಯಪ್ಗಳು ಇಂಟರ್ನೆಟ್ನಿಂದ ಮಾದರಿಗಳನ್ನು ತೆರವಾಗಬಹುದು, ವೀಸುವ ಅಪ್ಡೇಟ್ಗಳನ್ನು ಕೊಂಡೊಯ್ಯಬಹುದು ಅಥವಾ ಧ್ವನಿ, ದೃಶ್ಯ ಅಥವಾ ಅಂಕೆಗಳಿಗಾಗಿ ಹೊರಗಿನ API ಗಳನ್ನು ಕರೆ ಮಾಡಬಹುದು. ನೀವು ಗೌಪ್ಯತೆಯ ಮೇಲೆ ಕೇಂದ್ರೀಕರಿಸಿದರೆ, ಪರೀಕ್ಷೆ ವೇಳೆ ವಿಮಾನ ಮೋಡ್ ಇಡಿ, ಆಫ್ಲೈನ್ ಮಾದರಿಗಳನ್ನು ಉಪಯೋಗಿಸಿ ಮತ್ತು ಸೆಟ್ಟಿಂಗ್ಗಳನ್ನು ಮорт ಗಮಿಸಿ. ಈ ಸಾಧನಗಳ ಬಹುತೆಕವೊ ಆಫ್ಲೈನ್ನಲ್ಲಿ ಚೆನ್ನಾಗಿವೆ — ಆದರೆ ನೀವು ಸಂಪೂರ್ಣವಾಗಿ ಆಫ್ಲೈನ್ ಆಗಿದ್ದ ಮಾತ್ರಕ.
ಮಾದರಿಗಳನ್ನು ಆರಿಸುವುದು: ಮೂವರು ತಾಯಂದಿರು ನಿಯಮ
- ದೊಡ್ಡ ಮಾದರಿಗಳು (70B+): ಹೆಚ್ಚು ಸಾಮರ್ಥ್ಯ, ಹೆಚ್ಚಿನ RAM/GPU VRAM ಅವಶ್ಯಕತೆ, ನಿಮ್ಮ ಟೋಸ್ಟರ್ ಗಿಂತ ಹೆಚ್ಚು ಬಿಸಿ.
- ಮಧ್ಯಮ ಗಾತ್ರ (7B–13B): ಲ್ಯಾಪ್ಟಾಪ್ಗಳಿಗನುವು ತಕ್ಕ, ಉತ್ತಮ ಸಾಮಾನ್ಯ ಕಾರ್ಯಕ್ಷಮತೆ.
- ಸಣ್ಣ (3B–4B): ಸಾಧಾರಣ ಸಾಧನದ ಮೇಲೆ ವೇಗವಾಗಿವೆ, ಕೆಲವು ಕಾರ್ಯಗಳಿಗೆ ಅಚ್ಚರಿಯ ಕನಸು, ಆದರೆ ಕೆಲವೇಳೆ ನಿಮ್ಮ ನಾಯಿಯ ಮಧ್ಯದ ಹೆಸರನ್ನು ಕೂಡ ಮಿಸ್ ಮಾಡಬಹುದು.
ಸಂದೇಹವಿದ್ದರೆ, ಚಿಕ್ಕದರಿಂದ ಆರಂಭಿಸಿ. 7B ಮಾದರಿಯೊಂದಿಗೆ ಯಶಸ್ಸು ಸಾಧಿಸಿ, ನಂತರ ನಿಮ್ಮ ಫ್ಯಾನ್ಗಳು ಟೆಕರೋ ಸಾಂಗ್ ಒದಗಿಸುವವರೆಗೆ ವಿಸ್ತರಿಸಿ.
ಹಾರ್ಡ್ವೇರ್ ವಾಸ್ತವತೆ: ಮೌನ ಹತ್ರ
- GPU VRAM ರಾಜ. ನಿಮ್ಮ GPU 8GB ಇದ್ದರೆ, ನೀವು ಕುಶಲತೆಯೊಂದಿಗೆ 13B ಮಾದರಿ ಮಾಪಿತ ಮಾಡಬಹುದು.
- ಮಾದರಿ ಲೋಡಿಂಗ್ ಗಾಗಿ RAM ಮುಖ್ಯ, ಆದರೆ VRAM ಸ್ಪಂದನೆಯಲ್ಲಿ ತಡೆಗಟ್ಟುವದು.
- CPUs ಯನ್ನು llama.cpp ಮೂಲಕ ಕುಶಲತೆಯೊಂದಿಗೆ ಚಾಲನೆ ಮಾಡಬಹುದು, ಆದರೆ ರಾಕೆಟ್ ಹಡಗಿನ ನಿರೀಕ್ಷೆ ಮಾಡಬೇಡಿ. ಇದು ಒಳ್ಳೆಯ ಕ್ರೂಸ್.
ಎರಡು ವ್ಯವಸ್ಥೆಗಳ ಕಥೆ: ನಿಜ ಜೀವನದ ದೃಶ್ಯಗಳು
ಸಾಮಾನ್ಯ ಸೃಜನಶೀಲ
- ಗುರಿ: ನ್ಯೂಸ್ಲೇಟರ್ ಗಳ ರಚನೆ, ಯೂಟ್ಯೂಬ್ ಸ್ಕ್ರಿಪ್ಟ್ ಗಳ ಕುರಿತ ಕಲ್ಪನೆ, ಹೊರವಿವರಣೆಗಳು — ಸ್ಥಳೀಯವಾಗಿ.
- ಆಯ್ಕೆ: ಸ್ನೇಹಪೂರಿತ ಮುಂಭಾಗಕ್ಕಾಗಿ LM Studio ಅಥವಾ OpenWebUI.
- ಮಾದರಿ: ವೇಗಕ್ಕಾಗಿ 4-ಬಿಟ್ ಸಿಂತೋಷಣದ 7B ಸಾಮಾನ್ಯ ಮಾದರಿ.
- ಟಿಪ್: ನಿಮ್ಮ ಪ್ರಾಂಪ್ಟ್ಗಳನ್ನು ಚುಟುಕು ಮತ್ತು ನಿಖರವಾಗಿಡಿ. ಸ್ವರಿಯಲ್ಲಿ ಅಸಮಂಜಸಣ ಆಗಿದ್ದರೆ ಮಾದರಿಗಳನ್ನು ಬದಲಾಯಿಸಿರಿ. ಇದು ಬೇರೆ ಹಾಡಿಗೆ ಗಿಟಾರ್ ಬದಲಾಯಿಸುವಂತಿದೆ.
ಹೊಂ ಲ್ಯಾಬ್ ಹೀರೋ
- ಗುರಿ: ಹಲವಾರು ಬಳಕೆದಾರರು; ಬಹುಶಃ ಕುಟುಂಬ ವಿಕಿ ಅಥವಾ ಕೋಡಿಂಗ್ ಸಹಾಯಕ.
- ಆಯ್ಕೆ: ಬ್ಯಾಕೆಂಡ್ ಸರ್ವರ್ ಗೆ vLLM; ಚಾಟ್ ಮುಂಭಾಗಕ್ಕೆ OpenWebUI.
- ಮಾದರಿ: ಸಮತೋಲನಕ್ಕಾಗಿ ಮಧ್ಯಮ ಗಾತ್ರದ ಒಂದು. ಡೆವ್ ಕಾರ್ಯಗಳಿಗೆ ವಿಶಿಷ್ಟ ಕೋಡಿಂಗ್ ಮಾದರಿ ಪರಿಗಣಿಸಿ.
- ಟಿಪ್: ಸಿಂತೋಷಣಗಳೊಂದಿಗೆ ಮತ್ತು ಇಲ್ಲದೆ ಬ್ಯಾಚ್ಮಾರ್ಕ್ ಮಾಡಿ ನಿಮ್ಮ ಪ್ರತಿಸ್ಪಂದನೆಯನ್ನು ತಿಳಿಯಿರಿ.
ಕಾದಂಬರಿ ಲೇಖಕ
- ಗುರಿ: ದೀರ್ಘಾವಧಿ ಸಾದೃಶ್ಯತೆ ಮತ್ತು ಪಾತ್ರ ಸ್ಮೃತಿ.
- ಆಯ್ಕೆ: KoboldAI/KoboldCpp ಅಥವಾ TGWUI ಸ್ಮೃತಿ ವಿಸ್ತರಣೆಗಳೊಂದಿಗೆ.
- ಮಾದರಿ: ಕಥಕರು ಪೂರಕವಾದ ಮಾದರಿ; ವೇಗದ ಸಂಚಿಕೆಯಿಗಾಗಿ ಸಣ್ಣ ಗಾತ್ರಗಳ ಪ್ರಯತ್ನಿಸಿ.
- ಟಿಪ್: ಜಗತ್ತಿನ ಟಿಪ್ಪಣಿಗಳನ್ನು ಮತ್ತು ಪಾತ್ರದ ಕಾರ್ಡ್ಗಳನ್ನು ಬಳಸಿ. ನಿಮ್ಮ AI ಬಹು耐ೃಷ್ಠ improv ಸಂಗಾತಿ.
ಬಹುಮಾಧ್ಯಮ: ಪಠ್ಯ, ಚಿತ್ರಗಳು ಮತ್ತು ಧ್ವನಿ ಬಗ್ಗೆ ಏನು?
ಸ್ಥಳೀಯ ಪರಿಸರವು ವಾರದಿಂದ ವಾರವು ಹೆಚ್ಚಿನ ಬಹುಮಾಧ್ಯಮಕ್ಕೆ ಬರುತ್ತಿದೆ. ಕೆಲ UI ಗಳಲ್ಲಿ ಚಿತ್ರ ಅರ್ಥಮಾಡಿಕೊಳ್ಳುವಿಕೆ, TTS ಅಥವಾ STT ಘಟಕಗಳನ್ನು ಸೇರಿಸಬಹುದು. ಇದು ಬ್ಯಾಂಡ್ಗೆ ಹೊಸ ವಾದ್ಯಗಳನ್ನು ಸೇರಿಸುವಂತಿದೆ—ಒಂದು ಸಮಯಕ್ಕೆ ಒಂದನ್ನು ಪರೀಕ್ಷಿಸಿ ಯಾವ ಪ್ಲಗಿನ್ ಗಾಯನ ಹಾಳುಮಾಡಿದೆಯೋ ತಿಳಿಯಿರಿ. r/LocalLLaMA ಮುಂತಾದ ಸಮುದಾಯಗಳು ಪಠ್ಯ, ಧ್ವನಿ ಮತ್ತು ಚಿತ್ರ ರಚನೆಯನ್ನು ಮಿಶ್ರಣಮಾಡುವ ಸಾಧನಗಳನ್ನು ತುಂಬಿದ್ದವು, ನಿಜವಾದ “AI ಸ್ಟೂಡಿಯೋ” ನಿಮ್ಮ ಡೆಸ್ಕ್ ಮೇಲೆ.
Sider.AI ಮಿಶ್ರಣದಲ್ಲಿ: ಬ್ರೌಸರ್-ಪಕ್ಕದ ಸಹಾಯಕ ಹೇಗೆ ಸಹಾಯಮಾಡುತ್ತದೆ ಇದು ಅಚ್ಚರಿ: Sider.AI (ಹೌದು, ಈ ಬ್ಲಾಗ್ ಹೊತ್ತಿರುವವರೇ) ತಾವು ಸಂಶೋಧನೆ, ರಚನೆ ಮತ್ತು ಐಡಿಯಾ ಸಂಘಟಿಸುವಾಗ ಬ್ರೌಸರ್ನಲ್ಲಿದೆ ಅತ್ಯುತ್ತಮ. ಇದು ಸ್ಥಳೀಯ ಮಾದರಿ ಚಾಲಕವಲ್ಲ — ಎಲ್ಲ Ollama ಬದಲಾವಣೆಯೇ ಅದೇ ಮಾಡುತ್ತವೆ — ಆದರೆ ಇದು ನೀವು ಮೂಲಗಳನ್ನು ಸಂಗ್ರಹಿಸಿ, ತುಣುಕನ್ನು ಗುಳಿಗೆಯಾದ ಪಠ್ಯಕ್ಕೆ ಪರಿವರ್ತಿಸುವಾಗ ಉತ್ತಮ ಬೆಂಬಲ ವಿಧವಾಗಿರುತ್ತದೆ. ನೀವು ಸಂಶೋಧನೆಗೆ ಸಹಾಯಕವಾಗಿ ನೋಡಿಕೊಳ್ಳಬಹುದು, ನಿಮ್ಮ ಸ್ಥಳೀಯ ಮಾದರಿ ಹಿಂಭಾಗದಲ್ಲಿ ನರದಾನ ಮಾಡುತ್ತದೆ. ಅಭಿವೃದ್ಧಿ ಏಜೆಂಟುಗಳ ಮತ್ತು ಜ್ಞಾನ ಚಟುವಟಿಕೆಗಳ ಬದಲಾವಣೆಗಳ ಕುರಿತು ಅವರಿಗೆ ಕವರೆಜ್ ಇತ್ತೀಚೆಗೆ ಸಾಕಷ್ಟು ಮಾಡಿದೆ. ಸಂಧಿಗಳು ಮತ್ತು ಅವುಗಳನ್ನು ತಪ್ಪಿಸುವ ಮಾರ್ಗಗಳು
- ಮಾದರಿ ಸೂಪ್: ವಿಭಿನ್ನ ಫಾರ್ಮೆಟ್ಗಳು (GGUF, Safetensors ಮುಂತಾದವು) ಮತ್ತು ಸಿಂತೋಷಣ ಮಟ್ಟಗಳು ಭ್ರಾಂತಿಪಡಿಸಬಹುದು. ಚೆನ್ನಾಗಿ ದಾಖಲಿಸಿದ ಮಾದರಿ ಪತ್ರವನ್ನು ಪ್ರಾರಂಭಿಸಿ ಮತ್ತು ಸಾಧನದ ಶಿಫಾರಸು ಮಾಡಿದ ಫಾರ್ಮೆಟ್ ಅನುಸರಿಸಿ.
- VRAM ಭ್ರಮೆ: ಮಾದರಿ ಸರಾಗವಾಗಿ ಲೋಡ್ ಆಗಲ್ಪಟ್ಟರೂ ಸಹ, ಚಾಟ್ ಮಾಡುತ್ತಿದ್ದಾಗ ಐದೂ ನಿಮಿಷಗಳಲ್ಲಿ ಸಡಿಲಲ್ಪಡುವುದು ಸಂಭವನೀಯ. VRAM ಅಗತ್ಯವನ್ನು ಪರಿಶೀಲಿಸಿ ಮತ್ತು ದೊಡ್ಡ ಜಾಗ ಉಳಿಸಿ.
- ಪ್ಲಗಿನ್ ಹೆಚ್ಚುತೀತಿ: ಒಂದು ವಿಸ್ತರಣೆ ಒಂದು ವೇಳೆ ಸೇರಿಸಿ. ಅದು ಕಾರ್ಯಕ್ಷಮತೆಯನ್ನು ಕುಸಿತಕ್ಕೆ ಕಾರಣವಾಗಿದೆಯೇ ಎಂದು ತಿಳಿಯಲು ಸಹಾಯವಾಗುತ್ತದೆ.
- ಆಪ್ಡೇಟ್ ಗ್ರೀಮ್ಲಿನ್ಗಳು: ಬ್ಯಾಕೆಂಡ್ ಮತ್ತು UI ಗಳ ನಡುವೆ ಆವೃತ್ತಿ ಭಿನ್ನತೆಗಳು ರಹಸ್ಯ ದೋಷಗಳನ್ನಂಟು ಮಾಡಬಹುದು. ಸ್ಥಿರ ವ್ಯವಸ್ಥೆಯನ್ನು ಹೊಂದಿದ್ದಾಗ ಆವೃತ್ತಿಗಳನ್ನು ಸ್ಥಗಿತಗೊಳಿಸಿ.
ಪ್ರಾಯೋಗಿಕ ಸಣ್ಣ ಮಾರ್ಗದರ್ಶಿ: Ollama ನಿಂದ ಬದಿಗೆ ಮರೆತುವ ಕೈಗೆತ್ತಿಕೆ
ಪರಿಸ್ಥಿತಿ: ನೀವು Ollama ಬಳಸಿ ನೋಡಿ, ಆದರೆ ಸ್ನೇಹಪೂರ್ಣ GUI ಮತ್ತು ಹೆಚ್ಚು ನಿಯಂತ್ರಣವನ್ನು ಬಯಸುತ್ತೀರಿ.
- ನಿಮ್ಮ OS ಗೆ ಆಪ್ ಡೌನ್ಲೋಡ್ ಮಾಡಿ.
- ಮಾದರಿಗಳನ್ನು ಬ್ರೌಸ್ ಮಾಡಿ ಮತ್ತು 7B ಮೂಲಕ ಪ್ರಾರಂಭಿಸಿ.
- ಚಾಟ್ ಮಾಡಿ ಮತ್ತು ಸ್ಯಾಂಪ್ಲಿಂಗ್ ನಿಯತಾಂಕಗಳನ್ನು ಸ್ಲೈಡರ್ಗಳಲ್ಲಿ ಹೊಂದಿಸಿ (ತೆಂಪರೇಚರ್, ಟಾಪ್-ಪಿ).
- API ಪ್ರವೇಶ ಬೇಕಾದರೆ, ಸರ್ವರ್ ಮೋಡ್ ಸಕ್ರಿಯ ಮಾಡಿ ಮತ್ತು ಕ್ಲೈಂಟ್ ಅನ್ನು localhost ಗೆ ಕೇಂದ್ರೀಕರಿಸಿ.
- ಅಥವಾ OpenWebUI + llama.cpp ಪ್ರಯತ್ನಿಸಿ
- ನಿಮ್ಮ ವೇದಿಕೆಗಾಗಿ llama.cpp ನಿರ್ಮಾಣ ಇನ್ಸ್ಟಾಲ್ ಮಾಡಿ.
- GGUF ಮಾದರಿ ಪಡೆಯಿರಿ (7B, 4-ಬಿಟ್ ನಿಂದ ಪ್ರಾರಂಭಿಸಿ).
- OpenWebUI ಓಡಿಸಿ ಮತ್ತು ಬ್ಯಾಕೆಂಡ್ ಆಗಿ llama.cpp ಹೊಂದಿಸಿ.
- ಮಾದರಿ ಬದಲಾವಣೆ ಮತ್ತು ಸ್ವಚ್ಛವಾದ ಚಾಟ್ ಇಂಟರ್ಫೇಸ್ ಅನುಭವಿಸಿ.
- ಅಥವಾ ಪೂರ್ಣ ಶಕ್ತಿ ನಿಮ್ಮದಾಗಿಸು: TGWUI
- Text Generation WebUI ಇನ್ಸ್ಟಾಲ್ ಮಾಡಿ (ರೆಪೋ ಸೂಚನೆಗಳನ್ನು ಅನುಸರಿಸಿ; ಶ್ವಾಸ ಹೊತ್ತುಕೊಳ್ಳಿ).
- ನಿಮ್ಮ GPU ಗೆ ತಕ್ಕ ಬ್ಯಾಕೆಂಡ್ (CUDA, ROCm, Metal) ಆಯ್ಕೆಮಾಡಿ.
- ಸ್ಮೃತಿ, ಪ್ರಾಂಪ್ಟ್ ಮತ್ತು ಬಹುಮಾಧ್ಯಮ ವಿಸ್ತರಣೆಗಳ ವಿಸ್ತಾರಗಳನ್ನು ಅನ್ವೇಷಿಸಿ.
ಅನುಭವ ಹೋಲಿಕೆ: ಭಾವನೆ, ವೇಗ ಮತ್ತು ನಿಯಂತ್ರಣ
- ಭಾವನೆ (UX): LM Studio ಮತ್ತು OpenWebUI ಸ್ನೇಹಪೂರಿತವೆ. TGWUI ಆಳವಾದದು, ಆದರೆ ತೊಡಕು ಇರುತ್ತದೆ.
- ವೇಗ: vLLM ಮತ್ತು exllama/LLMDeploy ಮುಂತಾದ ಬ್ಯಾಕೆಂಡ್ಗಳು ಸೂಕ್ತ ಹಾರ್ಡ್ವೇರ್ ಮೇಲೆ ಜೋರು ಬಾಗುತ್ತವೆ.
- ನಿಯಂತ್ರಣ: TGWUI ಮತ್ತು Kobold-ಕೇಂದ್ರಿತ ಸಾಧನಗಳು ನಿಮಗೆ ಅನೇಕ ನಿಯಂತ್ರಣಗಳನ್ನು ಕೊಡುತ್ತವೆ. llama.cpp ನಿಮಗೆ ಸರಳತೆ ಮತ್ತು ಹೊಂದಾಣಿಕೆ ನೀಡುತ್ತದೆ.
Roundups ಏನು ಹೇಳುತ್ತದೆ (ಮತ್ತು ಎಲ್ಲಿ ಎಚ್ಚರಿಕೆಯಿಂದಿರಬೇಕು)
Roundups Ollama, LM Studio, TGWUI ಮತ್ತು vLLM ಅನ್ನು ಮುಖ್ಯ ಸಾಧನಗಳಾಗಿ ಮೆಚ್ಚಿದೆ, llama.cpp ದಕ್ಷತೆಗೆ ಮತ್ತು Kobold ಸಾಧನಗಳು ಬರಹಗಾರರಿಗೆ ಶ್ರೇಯೋಭಿವೃದ್ಧಿ ನೀಡುತ್ತವೆ. ಆದರೆ ಒಂದೇ ಗಾತ್ರದ ಎಲ್ಲಾ-ಕೆಲವು ಎಂಬ ತೀರ್ಮಾನಗಳಿಂದ ಎಚ್ಚರಿಕೆಯಾಗಿರಿ — ಹಾರ್ಡ್ವೇರ್, ಮಾದರಿಗಳು ಮತ್ತು ನೀವು ಹೊಂದಿರುವ ಸ್ಥಾಪನೆಗೆ ಜಿಜ್ಞಾಸೆ ಪ್ರಮುಖವಾಗಿವೆ. 24GB GPU ನಲ್ಲಿ ಹಾರುವುದನ್ನು MacBook Air ನಲ್ಲಿ ಕುಕ್ಕುವುದು ಬೇರೆ. ಸರಿಯಾದ ಸಿಂತೋಷಣಗಳು ಆಯ ಮಗದು.
ನನ್ನ ಅಭಿಪ್ರಾಯ: ಸ್ನೇಹಪೂರಿತ ಶಿಫಾರಸು ಶ್ರೇಣಿಗೊಳಿಸುವಿಕೆ
- ಆರಂಭಿಸಿ: LM Studio ಅಥವಾ OpenWebUI. ವೇಗದ ಗೆಲುವು ಪಡೆಯಿರಿ.
- ಆಮೇಲೆ: TGWUI ಪ್ರಯತ್ನಿಸಿ ನೀವು ಹೆಚ್ಚು ನಿಯಂತ್ರಣ ಮತ್ತು ಪ್ಲಗಿನ್ ಬಯಸಿದರೆ.
- ಮುಂದೆ: ಸುರಳಿರಿದ್ದರೆ ಮತ್ತು ಬೋನಾಯಿಸಲು llama.cpp ಪ್ರಯತ್ನಿಸಿ.
- ತಂಡಗಳಿಗಾಗಿ: ನೀವು ಸಖತ್ ಸಂಯೋಜನೆ ಬೇಕಾದರೆ vLLM ಅಥವಾ ಹೋಲುವ ಸರ್ವರ್ ಪ್ರಾರಂಭಿಸಿ.
- ಬರಹಗಾರರಿಗೆ: ಸ್ಮೃತಿ ಅರ್ಹತೆಗಳೊಂದಿಗೆ Kobold-ರುಚಿ ಸಾಧನಗಳು.
ಒಂದು ಕೊನೆಯ ವಿಷಯ... (ಏಕೆಂದರೆ ಯಾವಾಗಲೂ ಇದೆ)
ಸ್ಥಳೀಯ AI ಹೌದು ಹಿಮ್ಮಕ್ಕಳ ತೋಟಗಾರಿಕೆಯಂತೆ. ಮೊದಲ ಬೆಳ್ಳಿ ಲೋಟಿಗಳು ಚಿಕ್ಕದಾಗಲಿದೆ, ಆದರೆ ನೀವು ಒಂದು ರೀತಿಯಲ್ಲಿ ಹೆಮ್ಮೆಪಡುವಿರಿ. ನೀವೇನು ಮಣ್ಣು (ಸಿಂತೋಷಣೆ), ಬೆಳಕು (VRAM), ಮತ್ತು ನೀರು (ಸ್ಯಾಂಪ್ಲಿಂಗ್ ನಿಯತಾಂಕ) ಸಾಂತmisu. ಮತ್ತು ಒಂದು ದಿನ, ನೀವು ನಿಮ್ಮ ಯಂತ್ರದಿಂದ ಖಾಸಗಿ, ತೀವ್ರ ವೇಗದ ಚಾಟ್ಬಾಟ್ ಅನ್ನು ತೆಗೆದು, ಎಂದಿಗೂ ಹಿಂದಕ್ಕೆ ಹೋಗದು ಎಂದು ಗ್ರಹಿಸಲಿದ್ದಾರೆ.
ಮುಖ್ಯ ಪಾಠಗಳ ಸೋಜಿಗೊಳಿಸುವಿಕೆ
- Ollama ಉತ್ತಮ, ಆದರೆ ಬದಲಾವಣೆಗಳು GUI ಗಳ (LM Studio, OpenWebUI), ಶಕ್ತಿ ಮತ್ತು ಪ್ಲಗಿನ್ (TGWUI), ವೇಗ/ಸರ್ವಿಂಗ್ (vLLM), ದಕ್ಷತೆ (llama.cpp) ಮತ್ತು ಕಥಾ ಬರವಣಿಗೆ (Kobold ಸಾಧನಗಳು) ಯಲ್ಲಿ ಮಿಂಚುಹೊಡೆಯುತ್ತವೆ.
- ಆಯ್ಕೆಮಾಡಿ ನಿಮ್ಮ ಹಾರ್ಡ್ವೇರ್ ಮತ್ತು ಗುರಿಗಳನ್ನು; ಚಿಕ್ಕದರಿಂದ ಪ್ರಾರಂಭಿಸಿ ನಂತರ ವಿಸ್ತರಿಸಿ.
- ಮಾದರಿ ಕಾರ್ಡ್ಗಳನ್ನು ಓದಿ; VRAM ಗಮನಿಸಿ; ಧೀರವಾಗಿ ಪ್ಲಗಿನ್ ಸೇರಿಸಿ.
- ಸಂಶೋಧನೆ ಮತ್ತು ಪ್ರಬಂಧ ಸಂಗ್ರಹಣೆಗಾಗಿ ಬ್ರೌಸರ್ನಲ್ಲಿ Sider.AI ಅನ್ನು ನಿಮ್ಮ ಸಹಾಯಕನಾಗಿಯೂ ಉಪಯೋಗಿಸಿ — ಸ್ಥಳೀಯ ಚಾಲಕರು ಇನ್ಫರೆನ್ಸ್ ಮಾಡುತ್ತವೆ, Sider.AI ನಿಮ್ಮ ಪದಗಳನ್ನು ವ್ಯವಸ್ಥೆಗೊಳಿಸಲು ಸಹಾಯ ಮಾಡುತ್ತದೆ.
ಆಪ್ತ ಪ್ರಶ್ನೋತ್ತರ
ಪ್ರ1: ಹೊಸಬರಿಗೆ ಅತ್ಯುತ್ತಮ Ollama ಬದಲಾವಣೆ ಯಾವುವು?
LM Studio ಮತ್ತು OpenWebUI ಅತ್ಯಂತ ಸ್ನೇಹಪೂರಿತವು. ಇದು ನಿಮಗೆ ಸ್ವಚ್ಛ ಇಂಟರ್ಫೇಸ್, ಸುಲಭ ಮಾದರಿ ಬ್ರೌಸಿಂಗ್ ಮತ್ತು ಸಿಗುವ ಗೆಲುವುಗಳನ್ನು ನೀಡುತ್ತದೆ ಕಮಾಂಡ್ ಲೈನ್ ಹುಡುಕಾಟವಿಲ್ಲದೇ.
ಪ್ರ2: ಬಹು-ಬಳಕೆದಾರರಿಗೆ ತ್ವರಿತ ಸೇವೆಯನ್ನು ನೀಡುವ Ollama ಬದಲಾವಣೆ ಯಾವುದು?
vLLM ದೊಡ್ಡ ವೇಗ ಮತ್ತು ಸಮಕಾಲೀನತೆಯನ್ನು ಉದ್ದೇಶಿಸಿ ನಿರ್ಮಿಸಲಾಗಿದೆ, ತಂಡದ ಅಥವಾ ಬಹು-ಬಳಕೆದಾರ ಸಂದರ್ಭಗಳಿಗೆ ಮುಖ್ಯ ಆಯ್ಕೆ. ಅದು ಒನ್-ಕ್ಲಿಕ್ ಆಪ್ಗಿಂತ ಹೆಚ್ಚು ಸಂರಚನೆ ಪಡೆಯುತ್ತದೆ, ಆದರೆ ಕಾರ್ಯಕ್ಷಮತೆ ಲಾಭವೇನೋ ನಿಖರವಾಗಿದೆ.
ಪ್ರಶ್ನೆ 3: ನನ್ನ ಬಳಿ ಸಾಧಾರಣ ಲ್ಯಾಪ್ಟಾಪ್ ಇದ್ದರೆ, ನಾನು ಮೊದಲು ಯಾವ ಟೂಲ್ ಅನ್ನು ಪ್ರಯತ್ನಿಸಬೇಕು?
OpenWebUI ಅಥವಾ LM Studio ನಂತಹ ಸರಳ ಫ್ರಂಟ್ ಎಂಡ್ ಮೂಲಕ llama.cpp ನೊಂದಿಗೆ ಪ್ರಾರಂಭಿಸಿ. ನಿಮ್ಮ ಫ್ಯಾನ್ಗಳನ್ನು ಸುಡದೆ ವಿಷಯಗಳನ್ನು ಚುರುಕಾಗಿಡಲು ಸಣ್ಣ, 4-ಬಿಟ್ ಕ್ವಾಂಟೈಸ್ಡ್ 7B ಮಾದರಿಯನ್ನು ಬಳಸಿ.
ಪ್ರಶ್ನೆ 4: ನಾನು ಬರಹಗಾರ—ದೀರ್ಘ-ರೂಪದ ಕಥೆಗಳಿಗೆ ಉತ್ತಮವಾದ ಲೋಕಲ್ ಸೆಟಪ್ ಯಾವುದು?
ಮೆಮೊರಿ ವೈಶಿಷ್ಟ್ಯಗಳು ಮತ್ತು ಕ್ಯಾರೆಕ್ಟರ್ ಟೂಲ್ಸ್ಗೆ ಧನ್ಯವಾದಗಳು, ಕಥೆ ಹೇಳಲು KoboldCpp ಅಥವಾ KoboldAI ಉತ್ತಮವಾಗಿವೆ. ನೀವು ಹೆಚ್ಚುವರಿ ಪ್ಲಗಿನ್ಗಳು ಮತ್ತು ಡೀಪ್ ಟ್ಯೂನಿಂಗ್ ಬಯಸಿದರೆ Text Generation WebUI ಮತ್ತೊಂದು ಬಲವಾದ ಆಯ್ಕೆಯಾಗಿದೆ.
ಪ್ರಶ್ನೆ 5: ನಾನು ಸ್ನೇಹಪರ UI ಅನ್ನು ಹೆಚ್ಚಿನ ಕಾರ್ಯಕ್ಷಮತೆಯ ಬ್ಯಾಕೆಂಡ್ನೊಂದಿಗೆ ಸಂಯೋಜಿಸಬಹುದೇ?
ಖಂಡಿತವಾಗಿಯೂ. OpenWebUI ಅಥವಾ TGWUI ಅನ್ನು vLLM ಅಥವಾ llama.cpp ನಂತಹ ಬ್ಯಾಕೆಂಡ್ನೊಂದಿಗೆ ಜೋಡಿಸಿ. ಭಾರೀ ಕೆಲಸಗಳು ತೆರೆಮರೆಯಲ್ಲಿ ನಡೆಯುವಾಗ ನೀವು ಆರಾಮದಾಯಕ ಚಾಟ್ ಇಂಟರ್ಫೇಸ್ ಅನ್ನು ಪಡೆಯುತ್ತೀರಿ.
