ಚಿಕ್ಕ ಅಲೆನ್ ಕೀಯಿಲ್ಲದೆ IKEA ಪೀಠೋಪಕರಣಗಳನ್ನು ಜೋಡಿಸಲು ಎಂದಾದರೂ ಪ್ರಯತ್ನಿಸಿದ್ದೀರಾ? ಸರಿಯಾದ ಅಪ್ಲಿಕೇಶನ್ ಇಲ್ಲದೆ ಲೋಕಲ್ AI ಅನ್ನು ರನ್ ಮಾಡುವುದು ಹಾಗೆಯೇ ಇರುತ್ತದೆ. ನಿಮ್ಮ ಬಳಿ ಮಾದರಿ (ಶೆಲ್ಫ್) ಇದೆ, ಲ್ಯಾಪ್ಟಾಪ್ (ಲಿವಿಂಗ್ ರೂಮ್) ಇದೆ, ಆದರೆ ಟೂಲ್ಸ್ ಬರುವವರೆಗೆ ಯಾವುದೂ ಕ್ಲಿಕ್ ಆಗುವುದಿಲ್ಲ. ಇಂದಿನ ಟೂಲ್ಸ್: Ollama vs LM Studio. ನಿಮ್ಮ ಮೆದುಳು ಅಥವಾ ನಿಮ್ಮ ಡೇಟಾವನ್ನು ಕ್ಲೌಡ್ಗೆ ಕಳುಹಿಸದೆ ನಿಮ್ಮ ಯಂತ್ರದಲ್ಲಿ ದೊಡ್ಡ ಭಾಷಾ ಮಾದರಿಗಳನ್ನು (large language models) ರನ್ ಮಾಡಲು ಎರಡು ಜನಪ್ರಿಯ ವಿಧಾನಗಳು. ಸೋಫಾದ ಕೆಳಗೆ ತಕ್ಷಣ ಕಳೆದುಹೋಗದ ಅಲೆನ್ ಕೀ ಯಾವುದು?
ನಾವು ಪ್ರಾಯೋಗಿಕವಾಗಿ ನೋಡೋಣ. ನಾನು ವರ್ಕ್ಹಾರ್ಸ್ ಲ್ಯಾಪ್ಟಾಪ್ನಲ್ಲಿ ಎರಡನ್ನೂ ಇನ್ಸ್ಟಾಲ್ ಮಾಡಿದ್ದೇನೆ, ಸಾಮಾನ್ಯ ಪ್ರಾಂಪ್ಟ್ಗಳನ್ನು ಪ್ರಯತ್ನಿಸಿದೆ (ಲೇಖನವನ್ನು ಸಾರಾಂಶ ಮಾಡಿ, ಇಮೇಲ್ ಡ್ರಾಫ್ಟ್ ಮಾಡಿ, "ನಾನು ಬೆಕ್ಕಿನಂತಿದ್ದರೆ ಕ್ವಾಂಟಮ್ ಕಂಪ್ಯೂಟಿಂಗ್ ಅನ್ನು ವಿವರಿಸಿ"), ಮತ್ತು ದೊಡ್ಡ ಮಾದರಿಗಳು ಮತ್ತು ಪುನರಾವರ್ತಿತ ಕಾರ್ಯಗಳೊಂದಿಗೆ ಅವುಗಳನ್ನು ಪರೀಕ್ಷಿಸಿದೆ. ನಾನು ಕೆಲವು ಡೆವಲಪರ್ ಸ್ನೇಹಿತರು, AI ಬಗ್ಗೆ ಕುತೂಹಲ ಹೊಂದಿರುವ ಒಂದಿಬ್ಬರು ಬರಹಗಾರರು ಮತ್ತು "ಲಾಗಿನ್ ಇರುವ ಯಾವುದನ್ನೂ ನಾನು ನಂಬುವುದಿಲ್ಲ" ಎಂದು ಪಟ್ಟುಹಿಡಿಯುವ ಒಬ್ಬ ವ್ಯಕ್ತಿಯೊಂದಿಗೆ ಮಾತನಾಡಿದೆ.
ಗಮನಿಸಿ: ಇದು ಹೋಲಿಕೆಯ ವಿಮರ್ಶೆ, ಹೊಗಳಿಕೆಯಲ್ಲ. ಪ್ರತಿಯೊಂದೂ ಎಲ್ಲಿ ಗೆಲ್ಲುತ್ತದೆ, ಎಲ್ಲಿ ಎಡವುತ್ತದೆ ಮತ್ತು ನೀವು ಕುತೂಹಲಿಗಳೇ, ಪವರ್ ಬಳಕೆದಾರರೇ ಅಥವಾ ಚಂದಾದಾರಿಕೆ ಇಲ್ಲದೆ ChatGPT ವೈಬ್ಗಳನ್ನು ಬಯಸುವವರೇ ಎಂಬುದರ ಆಧಾರದ ಮೇಲೆ ಯಾವುದನ್ನು ಆಯ್ಕೆ ಮಾಡಬೇಕೆಂದು ನಾನು ನಿಮಗೆ ಹೇಳುತ್ತೇನೆ.
ಲೋಕಲ್ AI ಗೆ ಏಕೆ ಬೇಡಿಕೆ ಹೆಚ್ಚುತ್ತಿದೆ (ಮತ್ತು ನೀವು ಏಕೆ ತಲೆಕೆಡಿಸಿಕೊಳ್ಳಬೇಕು)
- ಖಾಸಗಿತ್ವ: ನಿಮ್ಮ ಡೇಟಾ ನಿಮ್ಮ ಸಾಧನದಲ್ಲಿಯೇ ಇರುತ್ತದೆ, ಡಿಜಿಟಲ್ ಸ್ಮೂಥಿಯಂತೆ ಸರ್ವರ್ ಫಾರ್ಮ್ನಲ್ಲಿ ಸುತ್ತಾಡುವುದಿಲ್ಲ.
- ವೇಗ: ಮಾದರಿಯನ್ನು ಲೋಡ್ ಮಾಡಿದ ನಂತರ, ಪ್ರತಿಕ್ರಿಯೆಗಳು ತ್ವರಿತವಾಗಿರಬಹುದು - ವಿಶೇಷವಾಗಿ ಸಣ್ಣ ಮಾದರಿಗಳಿಗೆ.
- ನಿಯಂತ್ರಣ: ನೀವು ಮಾದರಿ (Llama 3, Phi-3, Mistral, Qwen), ಕ್ವಾಂಟೈಸೇಶನ್ ಮತ್ತು ಅದು ಹೇಗೆ ರನ್ ಆಗುತ್ತದೆ ಎಂಬುದನ್ನು ಆಯ್ಕೆ ಮಾಡುತ್ತೀರಿ.
- ವೆಚ್ಚ: ಡೌನ್ಲೋಡ್ ಮಾಡಿದ ನಂತರ, ಇನ್ಫರೆನ್ಸ್ ಉಚಿತ - ನೀವು ರದ್ದುಗೊಳಿಸಲು ಮರೆತ ಸ್ಟ್ರೀಮಿಂಗ್ ಸೇವೆಯಂತೆ ಪ್ರತಿ ಟೋಕನ್ಗೆ ಬಿಲ್ ಏರಿಕೆಯಾಗುವುದಿಲ್ಲ.
Ollama vs LM Studio: ಸಣ್ಣ, ನೇರವಾದ ನೋಟ
- Ollama: ಕನಿಷ್ಠೀಯ, ಡೆವಲಪರ್ ಸ್ನೇಹಿ, ಕಮಾಂಡ್-ಲೈನ್ ನೇಟಿವ್, ಸ್ಕ್ರಿಪ್ಟ್ಗಳು ಮತ್ತು ಸರ್ವರ್ಗಳಿಗೆ ಉತ್ತಮ. "ಮಾದರಿಗಳಿಗೆ ಗಿಟ್ (git)" ಎಂದು ಯೋಚಿಸಿ.
- LM Studio: ಸ್ನೇಹಿಯಾದ UI, ಅಂತರ್ನಿರ್ಮಿತ ಚಾಟ್ ಮತ್ತು ಸುಲಭವಾದ ಮಾಡೆಲ್ ಬ್ರೌಸರ್ನೊಂದಿಗೆ ನಯಗೊಳಿಸಿದ ಡೆಸ್ಕ್ಟಾಪ್ ಅಪ್ಲಿಕೇಶನ್. "ಲೋಕಲ್ LLM ಗಳಿಗಾಗಿ ಆಪ್ ಸ್ಟೋರ್ (App Store)" ಎಂದು ಯೋಚಿಸಿ.
ನೀವು ಲೋಕಲ್ ChatGPT ನಂತೆ ಭಾಸವಾಗುವ ಏಕೈಕ ವಿಂಡೋ ಅನುಭವವನ್ನು ಬಯಸಿದರೆ LM Studio ಆಯ್ಕೆಮಾಡಿ. ಒಂದೇ ಆಜ್ಞೆಯೊಂದಿಗೆ ಎಲ್ಲದಕ್ಕೂ ಪ್ಲಗ್ ಮಾಡುವ ಟೂಲ್ ಅನ್ನು ನೀವು ಬಯಸಿದರೆ Ollama ಆಯ್ಕೆಮಾಡಿ - ಮತ್ತು ನಿಮಗೆ ಟರ್ಮಿನಲ್ನೊಂದಿಗೆ ತೊಂದರೆಯಿಲ್ಲದಿದ್ದರೆ.
ನಾನು ಹೇಗೆ ಪರೀಕ್ಷಿಸಿದೆ (ಅಂದರೆ: ನನ್ನ ಲ್ಯಾಪ್ಟಾಪ್ ತಂಡಕ್ಕೋಸ್ಕರ ತ್ಯಾಗ ಮಾಡಿತು)
- ಹಾರ್ಡ್ವೇರ್: 8-ಕೋರ್ CPU, 32GB RAM ಮತ್ತು ಮಧ್ಯಮ ಶ್ರೇಣಿಯ GPU ಹೊಂದಿರುವ 14-ಇಂಚಿನ ಲ್ಯಾಪ್ಟಾಪ್. ವಿಷಯಗಳು ಎಲ್ಲಿ ಮುರಿಯುತ್ತವೆ ಎಂಬುದನ್ನು ನೋಡಲು ನಾನು 16GB RAM ಹೊಂದಿರುವ ಸಣ್ಣ ಯಂತ್ರವನ್ನು ಸಹ ಪ್ರಯತ್ನಿಸಿದೆ.
- ಮಾದರಿಗಳು: Llama 3 8B ಮತ್ತು 70B (ಕ್ವಾಂಟೈಸ್ಡ್), Mistral 7B, ದಕ್ಷತೆ ಪರೀಕ್ಷೆಗಳಿಗಾಗಿ Phi-3 Mini.
- ಕಾರ್ಯಗಳು: ಇಮೇಲ್ ಡ್ರಾಫ್ಟಿಂಗ್, ಕೋಡ್ ವ್ಯಾಖ್ಯಾನ, ಡಾಕ್ಯುಮೆಂಟ್ ಸಾರಾಂಶ ಮತ್ತು "ನನ್ನ ಬಜೆಟ್ ಮೂಲಕ ನನ್ನೊಂದಿಗೆ ಮಾತನಾಡಿ" ಎಂಬ ಪಾತ್ರಾಭಿನಯ. ನಾನು ಮಾದರಿಗಳನ್ನು ಸ್ಥಳೀಯವಾಗಿ ಹೋಸ್ಟ್ ಮಾಡಿದ್ದೇನೆ ಮತ್ತು ಅವುಗಳಿಗೆ ಬ್ರೌಸರ್ ಕ್ಲೈಂಟ್ ಅನ್ನು ಸೂಚಿಸಿದ್ದೇನೆ.
ಫಲಿತಾಂಶ: ಎರಡೂ ಟೂಲ್ಸ್ ಎಲ್ಲವನ್ನೂ ಯಶಸ್ವಿಯಾಗಿ ನಿರ್ವಹಿಸಿದವು. ವ್ಯತ್ಯಾಸಗಳು ಸೆಟಪ್, ಮಾಡೆಲ್ ನಿರ್ವಹಣೆ ಮತ್ತು ಲ್ಯಾಟಿನ್ ಭಾಷೆಯಲ್ಲಿ ಮಂತ್ರವನ್ನು ಟೈಪ್ ಮಾಡದೆಯೇ ನಾನು ಎಷ್ಟು ನಿಯಂತ್ರಣವನ್ನು ಹೊಂದಿದ್ದೇನೆ ಎಂಬುದರಲ್ಲಿ ಕಂಡುಬಂದವು.
ಸೆಟಪ್ ಮತ್ತು ಮೊದಲ ರನ್: ಯಾರು ನಿಮ್ಮನ್ನು 'ಹಲೋ, ಮಾಡೆಲ್' ಎಂದು ಬೇಗ ಹೇಳುವಂತೆ ಮಾಡುತ್ತಾರೆ?
- LM Studio: ಡೌನ್ಲೋಡ್ ಮಾಡಿ, ತೆರೆಯಿರಿ, "ಮಾದರಿಗಳು" ಕ್ಲಿಕ್ ಮಾಡಿ, ಹುಡುಕಿ, ಡೌನ್ಲೋಡ್ ಮಾಡಿ, "ಚಾಟ್" ಒತ್ತಿರಿ. ಇದು ಆಹ್ಲಾದಕರವಾಗಿ ಪಾಯಿಂಟ್-ಅಂಡ್-ಕ್ಲಿಕ್ ಆಗಿದೆ. 10GB ಡೌನ್ಲೋಡ್ಗೆ ಬದ್ಧರಾಗುವ ಮೊದಲು ನೀವು ಕ್ವಾಂಟೈಸೇಶನ್ ಆಯ್ಕೆಗಳು ಮತ್ತು ಗಾತ್ರಗಳನ್ನು ನೋಡಬಹುದು.
- Ollama: ರನ್ಟೈಮ್ ಅನ್ನು ಸ್ಥಾಪಿಸಿ (macOS ನಲ್ಲಿ brew, Linux/Windows ನಲ್ಲಿ ಸ್ಕ್ರಿಪ್ಟ್). ನಂತರ:
ollama run llama3. ಮೊದಲ ಬಾರಿಗೆ, ಅದು ಮಾದರಿಯನ್ನು ಪಡೆದುಕೊಳ್ಳುತ್ತದೆ ಮತ್ತು ಲೋಕಲ್ ಸರ್ವರ್ ಅನ್ನು ತಿರುಗಿಸುತ್ತದೆ. ನೀವು ಟರ್ಮಿನಲ್ನಲ್ಲಿ ಆರಾಮದಾಯಕವಾಗಿದ್ದರೆ ಅದು ವೇಗವಾಗಿರುತ್ತದೆ. ಇಲ್ಲದಿದ್ದರೆ, ಅದು "ಕಮಾಂಡ್ ಕಲಿಯುವಷ್ಟು ವೇಗ" ಆಗಿರುತ್ತದೆ.
ಗೆದ್ದವರು: ಆರಂಭಿಕರಿಗಾಗಿ LM Studio. npm install ಎಂದು ಟೈಪ್ ಮಾಡಿದ ಯಾರಿಗಾದರೂ Ollama.
ಮಾದರಿ ನಿರ್ವಹಣೆ: ನಿಮ್ಮ ಮಾದರಿಗಳನ್ನು ಕಳೆದುಕೊಳ್ಳದ ಶೆಲ್ಫ್
- LM Studio: ಮುನ್ನೋಟಗಳು, ಗಾತ್ರಗಳು, ಕ್ವಾಂಟೈಸೇಶನ್ ಪ್ರಕಾರಗಳು (Q4_K_M, Q5, Q8, ಇತ್ಯಾದಿ) ಮತ್ತು ಸ್ಪಷ್ಟವಾದ "ಇದು ನಿಮ್ಮ ಯಂತ್ರಕ್ಕೆ ಬಹುಶಃ ಒಳ್ಳೆಯದು" ವೈಬ್ನೊಂದಿಗೆ ಮಾದರಿ ಬ್ರೌಸರ್ ಅನ್ನು ಹೊಂದಿದೆ. ನಿಮ್ಮ SSD ಕಿರುಚಲು ಪ್ರಾರಂಭಿಸಿದಾಗ ನೀವು UI ನಿಂದ ಮಾದರಿಗಳನ್ನು ಅಳಿಸಬಹುದು.
- Ollama: ಸರಳವಾದ
Modelfile ಮತ್ತು ಕಮಾಂಡ್ ಸಿಂಟ್ಯಾಕ್ಸ್ ಅನ್ನು ಬಳಸುತ್ತದೆ. ನೀವು ಡಾಕರ್ ಇಮೇಜ್ಗಳಂತಹ ಮಾದರಿಗಳನ್ನು ಎಳೆಯಬಹುದು, ಟ್ಯಾಗ್ ಮಾಡಬಹುದು ಮತ್ತು ರನ್ ಮಾಡಬಹುದು. ನೀವು ಅದನ್ನು ಗ್ರಹಿಸಿದ ನಂತರ ಅದು ಸೊಗಸಾಗಿರುತ್ತದೆ ಮತ್ತು ಆವೃತ್ತಿ ನಿಯಂತ್ರಣಕ್ಕೆ ಉತ್ತಮವಾಗಿದೆ. ಆದರೆ ಯಾವುದೇ ಅಧಿಕೃತ GUI ಇಲ್ಲ, ಆದ್ದರಿಂದ ನೀವು CLI ನಲ್ಲಿ ವಾಸಿಸುತ್ತೀರಿ ಅಥವಾ ಬೇರೆ ಯಾವುದನ್ನಾದರೂ ಸುತ್ತಿಕೊಳ್ಳುತ್ತೀರಿ.
ಗೆದ್ದವರು: ದೃಶ್ಯ ಸ್ಪಷ್ಟತೆಗಾಗಿ LM Studio. ಒಂದು-ಲೈನ್ ಸೆಟಪ್ ಅನ್ನು ಸಹೋದ್ಯೋಗಿಗಳೊಂದಿಗೆ ಹಂಚಿಕೊಳ್ಳಲು ಬಯಸುವ ಸಂತಾನೋತ್ಪತ್ತಿ (reproducibility) ತಜ್ಞರಿಗಾಗಿ Ollama.
ಚಾಟ್ ಅನುಭವ: ರೋಬೋಟ್ನೊಂದಿಗೆ ಮಾತನಾಡುವುದು, ಸ್ಥಳೀಯವಾಗಿ
- LM Studio: ಉತ್ತಮ ರೀತಿಯಲ್ಲಿ ಲೋಕಲ್ ChatGPT ಕ್ಲೋನ್ನಂತೆ ಭಾಸವಾಗುತ್ತದೆ. ವಿಭಿನ್ನ ಸಂಭಾಷಣೆಗಳಿಗಾಗಿ ಮಲ್ಟಿಟಾಬ್ಗಳು, ಸಿಸ್ಟಮ್ ಪ್ರಾಂಪ್ಟ್ಗಳು, ತಾಪಮಾನ ಸ್ಲೈಡರ್ಗಳು, ಟೋಕನ್ ಮಿತಿಗಳು ಮತ್ತು ಸ್ಟಾಪ್ ಸೀಕ್ವೆನ್ಸ್ಗಳು - ಎಲ್ಲವನ್ನೂ ವಿಂಡೋವನ್ನು ಬಿಡದೆಯೇ ಸರಿಹೊಂದಿಸಬಹುದು.
- Ollama: ನೀವು ಟರ್ಮಿನಲ್ನಲ್ಲಿ ಚಾಟ್ ಮಾಡಬಹುದು (ಇದು ರೆಟ್ರೊ ರೀತಿಯಲ್ಲಿ ಆಕರ್ಷಕವಾಗಿದೆ). ಆದರೆ Ollama ಲೋಕಲ್ಹೋಸ್ಟ್ನಲ್ಲಿ OpenAI-ಹೊಂದಾಣಿಕೆಯ API ಅನ್ನು ತಿರುಗಿಸುವುದು ನಿಜವಾದ ಮ್ಯಾಜಿಕ್. ಅಂದರೆ OpenAI ನೊಂದಿಗೆ ಮಾತನಾಡುವ ಯಾವುದೇ ಅಪ್ಲಿಕೇಶನ್ ನಿಮ್ಮ ಲೋಕಲ್ ಮಾಡೆಲ್ನೊಂದಿಗೆ ಮಾತನಾಡಬಹುದು. ಹಲೋ, ಎಕೋಸಿಸ್ಟಮ್.
ಗೆದ್ದವರು: ಔಟ್-ಆಫ್-ದಿ-ಬಾಕ್ಸ್ ಚಾಟ್ UX ಗಾಗಿ LM Studio. ಎಲ್ಲದಕ್ಕೂ ಪ್ಲಗ್ ಇನ್ ಮಾಡಲು Ollama.
ಕಾರ್ಯಕ್ಷಮತೆ ಮತ್ತು ಹಾರ್ಡ್ವೇರ್ ಸ್ನೇಹಪರತೆ: ನಿಮ್ಮ ಫ್ಯಾನ್ ಜೆಟ್ ಎಂಜಿನ್ಗೆ ಆಡಿಷನ್ ನೀಡುತ್ತದೆಯೇ?
- ಸಣ್ಣ ಮಾದರಿಗಳು (7B–8B): ಎರಡೂ ಟೂಲ್ಸ್ ಆಧುನಿಕ CPU ಗಳಲ್ಲಿ ಅವುಗಳನ್ನು ಉತ್ತಮವಾಗಿ ನಿರ್ವಹಿಸುತ್ತವೆ. GPU ವೇಗವರ್ಧನೆಯೊಂದಿಗೆ, ಅವು ವೇಗವಾಗಿ ಕಾರ್ಯನಿರ್ವಹಿಸುತ್ತವೆ.
- ದೊಡ್ಡ ಮಾದರಿಗಳು (70B): ರಾಜಿಗಳನ್ನು ನಿರೀಕ್ಷಿಸಿ - ಕಡಿಮೆ ಕ್ವಾಂಟೈಸೇಶನ್, ನಿಧಾನ ಟೋಕನ್ಗಳು ಮತ್ತು ಗಮನಾರ್ಹ RAM ಅಥವಾ VRAM ಅವಶ್ಯಕತೆಗಳು. LM Studio ಗೋಚರಿಸುವ ಮಾರ್ಗದರ್ಶನವನ್ನು ನೀಡುತ್ತದೆ; ಟ್ಯಾಗ್ಗಳ ಮೂಲಕ ಕ್ವಾಂಟೈಸೇಶನ್ಗಳನ್ನು ಬದಲಾಯಿಸಲು Ollama ಸುಲಭಗೊಳಿಸುತ್ತದೆ.
- ಪ್ರಾಯೋಗಿಕ ಸಲಹೆ: ನೀವು 16GB RAM ಹೊಂದಿದ್ದರೆ, Q4 ಅಥವಾ Q5 ಕ್ವಾಂಟೈಸೇಶನ್ನಲ್ಲಿ 7B ಅಥವಾ 8B ಮಾದರಿಗಳೊಂದಿಗೆ ಪ್ರಾರಂಭಿಸಿ. ನೀವು 32GB+ ಮತ್ತು ಉತ್ತಮ GPU ಹೊಂದಿದ್ದರೆ, ಕೆಲವು ಕಾರ್ಯಗಳಿಗಾಗಿ 13B ಅಥವಾ 70B ಅನ್ನು ಪ್ರಯತ್ನಿಸಿ.
ಗೆದ್ದವರು: ಟೈ (Tie). ನಿಮ್ಮ ಹಾರ್ಡ್ವೇರ್ ಮತ್ತು ನೀವು ಆಯ್ಕೆಮಾಡುವ ನಿರ್ದಿಷ್ಟ ಕ್ವಾಂಟೈಸೇಶನ್ ನಿಜವಾದ ಮಿತಿ, ಅಪ್ಲಿಕೇಶನ್ ಲೋಗೋ ಅಲ್ಲ.
ಡೆವಲಪರ್-ಸ್ನೇಹಪರತೆ: "ನಾನು ಇದನ್ನು ಸ್ಕ್ರಿಪ್ಟ್ ಮಾಡಬಹುದೇ?" ಪ್ರಶ್ನೆ
- Ollama: ಇದು ಇದರ ತವರು.
ollama serve ಒಂದು ಲೋಕಲ್ ಎಂಡ್ಪಾಯಿಂಟ್ ಅನ್ನು ರನ್ ಮಾಡುತ್ತದೆ. ollama run ಶೆಲ್ನಲ್ಲಿ ಟೋಕನ್ಗಳನ್ನು ಸ್ಟ್ರೀಮ್ ಮಾಡುತ್ತದೆ. ನೀವು ಮಾದರಿಗಳನ್ನು ಸಂಯೋಜಿಸಲು, ಸಿಸ್ಟಮ್ ಪ್ರಾಂಪ್ಟ್ಗಳನ್ನು ಸೇರಿಸಲು ಅಥವಾ LoRA ಗಳನ್ನು ವಿಲೀನಗೊಳಿಸಲು Modelfile ಅನ್ನು ರಚಿಸಬಹುದು. ಇದು ಮೂಲತಃ ಲೋಕಲ್ AI ಗಾಗಿ ಪ್ಲಂಬಿಂಗ್ ಆಗಿದೆ.
- LM Studio: ನೀವು ಲೋಕಲ್ ಸರ್ವರ್ ಅನ್ನು ಸಹ ಹೋಸ್ಟ್ ಮಾಡಬಹುದು ಮತ್ತು OpenAI ತರಹದ ಎಂಡ್ಪಾಯಿಂಟ್ ಅನ್ನು ಬಹಿರಂಗಪಡಿಸಬಹುದು. ಆದರೆ UI ಮುಖ್ಯ ಆಕರ್ಷಣೆಯಾಗಿದೆ. ಸ್ಕ್ರಿಪ್ಟಿಂಗ್ ಸಾಧ್ಯ, ಆದರೆ ಮುಖ್ಯ ಘಟನೆಯಲ್ಲ.
ಗೆದ್ದವರು: Ollama. ಇದು ಹಗುರವಾದ ಮತ್ತು ಸ್ಕ್ರಿಪ್ಟ್ ಮಾಡಬಹುದಾದ ಕಾರಣ ಇದನ್ನು ಇತರ ಟೂಲ್ಸ್ಗಳಲ್ಲಿ ಎಂಬೆಡ್ ಮಾಡಿರುವುದನ್ನು ನೀವು ನೋಡುತ್ತೀರಿ.
ಖಾಸಗಿತ್ವ ಮತ್ತು ಆಫ್ಲೈನ್ ಬಳಕೆ: ನಿಮ್ಮ ಡೇಟಾ, ನಿಮ್ಮ ನಿಯಮಗಳು
- ಎರಡೂ ಲೋಕಲ್ ಆಗಿ ರನ್ ಆಗುತ್ತವೆ ಮತ್ತು ಮಾದರಿ ಡೌನ್ಲೋಡ್ ನಂತರ ಸಂಪೂರ್ಣವಾಗಿ ಆಫ್ಲೈನ್ನಲ್ಲಿರಬಹುದು.
- LM Studio "ಇಲ್ಲಿ ಯಾವುದೇ ಕ್ಲೌಡ್ ಇಲ್ಲ" ಎಂಬ ಭರವಸೆಯನ್ನು ದೃಷ್ಟಿಗೆ ತರುವಂತೆ ಮಾಡುತ್ತದೆ, ಇದು ನಿಮಗೆ ಹೊಸತಾಗಿದ್ದರೆ ಭರವಸೆ ನೀಡುತ್ತದೆ.
- Ollama ನ ಸರಳತೆಯು ಮಾದರಿ ಫೆಚ್ಗಳನ್ನು ಮೀರಿ ಯಾವುದೇ ಬಾಹ್ಯ ವಿಷಯವು ಮನೆಗೆ ಫೋನ್ ಮಾಡುವುದಿಲ್ಲ ಎಂದು ಖಚಿತಪಡಿಸಿಕೊಳ್ಳಲು ಸಹಾಯ ಮಾಡುತ್ತದೆ.
ಗೆದ್ದವರು: ಟೈ (Tie). ಎರಡೂ ಲೋಕಲ್-ಫಸ್ಟ್ (local-first) ಗಾಗಿ ನಿರ್ಮಿಸಲಾಗಿದೆ.
ಮಾದರಿ ವೈವಿಧ್ಯತೆ ಮತ್ತು ನವೀಕರಣಗಳು: LLM Joneses ನೊಂದಿಗೆ ಮುಂದುವರಿಯುವುದು
- LM Studio: ಜನಪ್ರಿಯ ಮಾದರಿಗಳು ಮತ್ತು ಸ್ಪಷ್ಟ ಲೇಬಲ್ಗಳೊಂದಿಗೆ ಕ್ಯುರೇಟೆಡ್ ಬ್ರೌಸಿಂಗ್ ಅನುಭವ. ಹೊಸ ಬಿಡುಗಡೆಗಳನ್ನು ಕಂಡುಹಿಡಿಯುವುದು ಸುಲಭ.
- Ollama: ವಿಭಿನ್ನ ಕ್ವಾಂಟೈಸೇಶನ್ಗಳಿಗಾಗಿ ಟ್ಯಾಗ್ಗಳೊಂದಿಗೆ ದೊಡ್ಡ ಸಮುದಾಯ ಪಟ್ಟಿಗಳು ಮತ್ತು ಅಧಿಕೃತ ಲೈಬ್ರರಿ ಉಲ್ಲೇಖಗಳು. ನೀವು ಏನು ಬಯಸುತ್ತೀರಿ ಎಂದು ನಿಮಗೆ ತಿಳಿದಿದ್ದರೆ, ಅದನ್ನು ಪಡೆದುಕೊಳ್ಳುವುದು ಒಂದು ಕಮಾಂಡ್ ದೂರದಲ್ಲಿದೆ.
ಗೆದ್ದವರು: ಅನ್ವೇಷಣೆಗಾಗಿ LM Studio ಗೆ ಸ್ವಲ್ಪ ಅಂಚು. ವ್ಯಾಪ್ತಿ ಮತ್ತು ಹಂಚಿಕೆಗಾಗಿ Ollama ಗೆ ಸ್ವಲ್ಪ ಅಂಚು. ಹೌದು, ಅದು ತಪ್ಪಿಸಿಕೊಳ್ಳುವ ತಂತ್ರ. ಎರಡೂ ಬಲವಾಗಿವೆ.
ದೈನಂದಿನ ಕಾರ್ಯವಿಧಾನಗಳು: ಹೊಸತನವು ಕಡಿಮೆಯಾದ ನಂತರ ಯಾವುದು ಉಳಿಯುತ್ತದೆ?
ಸನ್ನಿವೇಶ 1: ಹೊಸ ಭಾಷೆಯನ್ನು ಕಲಿಯದೆ (ಭಾಷೆ ಬ್ಯಾಷ್ ಆಗಿದೆ) ನೀವು ಲೋಕಲ್ ರೈಟಿಂಗ್ ಬಡ್ಡಿಯನ್ನು ಬಯಸುತ್ತೀರಿ. LM Studio ಗೆಲ್ಲುತ್ತದೆ. ತೆರೆಯಿರಿ, ಮಾದರಿಯನ್ನು ಆಯ್ಕೆಮಾಡಿ, ಚಾಟ್ ಮಾಡಿ, ರಫ್ತು ಮಾಡಿ. ಮುಗಿಯಿತು.
ಸನ್ನಿವೇಶ 2: ನೀವು ಲೋಕಲ್ ಮಾದರಿಯನ್ನು ಕೋಡ್ ಎಡಿಟರ್, ನೋಟ್-ಟೇಕಿಂಗ್ ಅಪ್ಲಿಕೇಶನ್ ಅಥವಾ ಕಸ್ಟಮ್ ಸ್ಕ್ರಿಪ್ಟ್ಗೆ ಸಂಯೋಜಿಸಲು ಬಯಸುತ್ತೀರಿ. Ollama ಗೆಲ್ಲುತ್ತದೆ. ಇದು ಮೂಲಸೌಕರ್ಯದಂತೆ ವರ್ತಿಸುತ್ತದೆ. ನಿಮ್ಮ ಲ್ಯಾಪ್ಟಾಪ್ ಮತ್ತು OpenAI ಸರ್ವರ್ ನಡುವಿನ ವ್ಯತ್ಯಾಸವನ್ನು ನಿಮ್ಮ ಅಪ್ಲಿಕೇಶನ್ಗಳು ತಿಳಿದಿರುವುದಿಲ್ಲ.
ಸನ್ನಿವೇಶ 3: ನೀವು ತಂಡದಲ್ಲಿ ಕೆಲಸ ಮಾಡುತ್ತೀರಿ. ಪ್ರಾಂಪ್ಟ್ಗಳನ್ನು ಪ್ರಯತ್ನಿಸಲು ಬಯಸುವ ತಾಂತ್ರಿಕೇತರ ಸಹೋದ್ಯೋಗಿಗಳನ್ನು (ವಿನ್ಯಾಸಕರು, ಉತ್ಪನ್ನದ ಜನರು) ಆನ್ಬೋರ್ಡ್ ಮಾಡಲು LM Studio ಉತ್ತಮವಾಗಿದೆ. ಇದನ್ನು ನಿಜವಾದ ಉತ್ಪನ್ನಕ್ಕೆ ಜೋಡಿಸುವ ಡೆವಲಪರ್ಗಳಿಗೆ Ollama ಉತ್ತಮವಾಗಿದೆ.
ಸನ್ನಿವೇಶ 4: ನೀವು ಪ್ರಯಾಣಿಸುತ್ತಿದ್ದೀರಿ. ಎರಡೂ ಆಫ್ಲೈನ್ನಲ್ಲಿ ರನ್ ಆಗಬಹುದು, ಆದರೆ LM Studio ನ ಇಂಟರ್ಫೇಸ್ ಸಣ್ಣ ವಿಮಾನದ ಟ್ರೇ ಟೇಬಲ್ನಲ್ಲಿ ಒಂದು ವಿಂಡೋದಲ್ಲಿ ಉಳಿಯಲು ಸುಲಭವಾಗಿಸುತ್ತದೆ. ನೀವು ಆ ವ್ಯಕ್ತಿಯಾಗಿರುವುದರಿಂದ ನೀವು ತಂದಿರುವ ಪೋರ್ಟಬಲ್ ಬಾಕ್ಸ್ಗೆ ನೀವು SSH ಮಾಡುತ್ತಿದ್ದರೆ Ollama ಪರಿಪೂರ್ಣವಾಗಿದೆ.
ಬೆಲೆ ಪರಿಸ್ಥಿತಿ
- ಎರಡೂ ಬಳಸಲು ಉಚಿತ. ನಿಮ್ಮ ನಿಜವಾದ ವೆಚ್ಚ ಶೇಖರಣಾ ಸ್ಥಳ ಮತ್ತು ವಿದ್ಯುತ್ - ಮತ್ತು ಬಹುಶಃ ನಿಮ್ಮ ಲ್ಯಾಪ್ಟಾಪ್ಗೆ ಹೊಸ ಫ್ಯಾನ್.
- ಮಾದರಿಗಳು ಉಚಿತ, ಆದರೆ ನಿಮ್ಮ ಸಮಯವಲ್ಲ. ನೀವು "ಕ್ಲಿಕ್ ಮಾಡಿ ಮತ್ತು ಹೋಗಿ" ಗೆ ಬೆಲೆ ನೀಡಿದರೆ, LM Studio ನಿಮಗೆ ಸಮಯವನ್ನು ಉಳಿಸುತ್ತದೆ. ನೀವು "ಸ್ಕ್ರಿಪ್ಟ್ ಮಾಡಿ ಮತ್ತು ಸ್ಕೇಲ್ ಮಾಡಿ" ಗೆ ಬೆಲೆ ನೀಡಿದರೆ, Ollama ನಿಮಗೆ ಸಮಯವನ್ನು ಉಳಿಸುತ್ತದೆ.
ತೊಂದರೆಗಳು (ಏಕೆಂದರೆ ಖಂಡಿತವಾಗಿಯೂ ಇವೆ)
- ದೊಡ್ಡ ಡೌನ್ಲೋಡ್ಗಳು ನಿಮ್ಮ ಡ್ರೈವ್ ಅನ್ನು ಮುಚ್ಚಿಹಾಕಬಹುದು. ಆವೃತ್ತಿಗಳನ್ನು ಉದ್ದೇಶಪೂರ್ವಕವಾಗಿ ನಿರ್ವಹಿಸಿ.
- "ದೊಡ್ಡ ಮಾದರಿ = ಸ್ಮಾರ್ಟ್" ಎಂದು ಯೋಚಿಸುವುದು ಸುಲಭ. ಯಾವಾಗಲೂ ಅಲ್ಲ. 70B ಬೃಹತ್ ಪ್ರಮಾಣದ ಡೌನ್ಲೋಡ್ ಮಾಡಲು ಮಧ್ಯಾಹ್ನ ಕಳೆಯುವ ಮೊದಲು ಹಲವಾರು 7B–13B ಮಾದರಿಗಳನ್ನು ಪ್ರಯತ್ನಿಸಿ.
- ಸುಧಾರಿತ ಸೆಟ್ಟಿಂಗ್ಗಳು ಇವೆ, ಆದರೆ ನೀವು ಮಾದರಿಗಳ ಗಿಟ್ ತರಹದ ಆವೃತ್ತಿ ನಿಯಂತ್ರಣವನ್ನು ಬಯಸಿದರೆ, ನೀವು ಬಂಧಿತರಾಗಿರುವಂತೆ ಭಾವಿಸುತ್ತೀರಿ.
- ಟರ್ಮಿನಲ್ ಭಯ ಹೊಂದಿರುವ ಬಳಕೆದಾರರು ಮೊದಲ ಆಜ್ಞೆಯಲ್ಲಿಯೇ ಬಿಟ್ಟುಬಿಡಬಹುದು.
- ಮಾದರಿ ಅಂಗಡಿಯಿಲ್ಲದೆ ಅನ್ವೇಷಣೆ ದುರ್ಬಲವಾಗಿರುತ್ತದೆ.
- ನೀವು ಅಂತರ್ನಿರ್ಮಿತ, ನಯಗೊಳಿಸಿದ ಚಾಟ್ ಅನುಭವವನ್ನು ಬಯಸಿದರೆ, ನಿಮಗೆ ಕಂಪ್ಯಾನಿಯನ್ ಅಪ್ಲಿಕೇಶನ್ ಅಗತ್ಯವಿದೆ - ಅಥವಾ ನಿಮ್ಮ ಶೆಲ್ ಅನ್ನು ಪ್ರೀತಿಸಲು ನೀವು ಕಲಿಯುತ್ತೀರಿ.
ಯಾವುದು ವೇಗವಾಗಿದೆ? ಪ್ರಾಮಾಣಿಕ ಉತ್ತರ: ಅದು ಅವಲಂಬಿಸಿರುತ್ತದೆ
- ಲೋಗೋ ಆಯ್ಕೆಗಿಂತ ಕ್ವಾಂಟೈಸೇಶನ್ ಮುಖ್ಯವಾಗಿದೆ. ಯಾವುದೇ ಅಪ್ಲಿಕೇಶನ್ನಲ್ಲಿ Q4 7B ಮಾದರಿಯು ಸಾಮಾನ್ಯವಾಗಿ ಸಂವಾದಾತ್ಮಕ ಬಳಕೆಗಾಗಿ Q8 13B ಮಾದರಿಯನ್ನು ಸೋಲಿಸುತ್ತದೆ.
- ನಿಮ್ಮ ಸಾಧನದಲ್ಲಿ ಬೆಂಬಲಿತವಾಗಿದ್ದರೆ, GPU ವೇಗವರ್ಧನೆಯು ದೊಡ್ಡ ವ್ಯತ್ಯಾಸವನ್ನುಂಟು ಮಾಡುತ್ತದೆ. ನಿಮ್ಮ ಪ್ಲಾಟ್ಫಾರ್ಮ್ನ ಬೆಂಬಲ ಮ್ಯಾಟ್ರಿಕ್ಸ್ ಅನ್ನು ಪರಿಶೀಲಿಸಿ.
- ಸಂದರ್ಭ ವಿಂಡೋ ಗಾತ್ರಗಳು ಮಾದರಿಯಿಂದ ಬದಲಾಗುತ್ತವೆ. ದೊಡ್ಡ ಸಂದರ್ಭ ವಿಂಡೋಗಳು ದೀರ್ಘ ಡಾಕ್ಯುಮೆಂಟ್ಗಳಿಗೆ ಉತ್ತಮವಾಗಿವೆ ಆದರೆ ವಿಷಯಗಳನ್ನು ನಿಧಾನಗೊಳಿಸುತ್ತವೆ. ನಿಮ್ಮ ಸಂಪೂರ್ಣ ಕಾದಂಬರಿಯನ್ನು ಪ್ರಾಂಪ್ಟ್ಗೆ ತುಂಬಬೇಡಿ ಮತ್ತು ಅಪ್ಲಿಕೇಶನ್ ಅನ್ನು ದೂಷಿಸಬೇಡಿ.
ತಲೆನೋವುಗಳನ್ನು ತಪ್ಪಿಸಲು ಪ್ರಾಯೋಗಿಕ ಸಲಹೆಗಳು
- ಸಣ್ಣದಾಗಿ ಪ್ರಾರಂಭಿಸಿ: ಮೊದಲು 7B ಅಥವಾ 8B ಮಾದರಿಯನ್ನು ಪ್ರಯತ್ನಿಸಿ (Llama 3 8B, Mistral 7B, Phi-3). ನಂತರ ಅದನ್ನು ಹೆಚ್ಚಿಸಿ.
- ಕ್ವಾಂಟೈಸೇಶನ್ ಸಿಹಿ ತಾಣಗಳು: ವೇಗಕ್ಕಾಗಿ Q4_K, ಗುಣಮಟ್ಟಕ್ಕಾಗಿ Q5. ನೀವು ಸಂಪನ್ಮೂಲಗಳನ್ನು ಹೊಂದಿದ್ದರೆ ಮಾತ್ರ Q8 - ಮತ್ತು ತಾಳ್ಮೆ.
- ಸಿಸ್ಟಮ್ ಪ್ರಾಂಪ್ಟ್ಗಳು ಮುಖ್ಯ: ಎರಡೂ ಅಪ್ಲಿಕೇಶನ್ಗಳಲ್ಲಿ, ಸ್ಪಷ್ಟ, ಸಂಕ್ಷಿಪ್ತ ಸಿಸ್ಟಮ್ ಸಂದೇಶವನ್ನು ರಚಿಸಿ (ಧ್ವನಿ, ಪಾತ್ರ, ನಿರ್ಬಂಧಗಳು). ಇದು ನಿಮ್ಮ ಮಾದರಿಗೆ ಕಾಫಿ ಮತ್ತು ಮಾಡಬೇಕಾದ ಕೆಲಸಗಳ ಪಟ್ಟಿಯನ್ನು ನೀಡಿದಂತಿದೆ.
- ನಿಮ್ಮ ಉತ್ತಮ ಪ್ರಾಂಪ್ಟ್ಗಳನ್ನು ಉಳಿಸಿ: LM Studio ನ ಟ್ಯಾಬ್ಗಳು ಸಹಾಯ ಮಾಡುತ್ತವೆ; Ollama ನೊಂದಿಗೆ, ಪ್ರಾಂಪ್ಟ್ ಫೈಲ್ ಅನ್ನು ಇರಿಸಿ ಅಥವಾ ಇತಿಹಾಸವನ್ನು ಬೆಂಬಲಿಸುವ ಕ್ಲೈಂಟ್ ಅನ್ನು ಬಳಸಿ.
- ಲೋಕಲ್ API ವಿನೋದ: Ollama ಅಥವಾ LM Studio ನ ಸರ್ವರ್ ಮೋಡ್ನೊಂದಿಗೆ, ನಿಮ್ಮ ನೆಚ್ಚಿನ ಎಡಿಟರ್ ಅಥವಾ ನೋಟ್ ಅಪ್ಲಿಕೇಶನ್ ಅನ್ನು (ಅಥವಾ ಪ್ರದರ್ಶಿಸಲಾದ ಪೋರ್ಟ್) ಗೆ ಸೂಚಿಸಿ. ಬೂಮ್, ನಿಮ್ಮ ಲೋಕಲ್ AI ಈಗ ನಿಮ್ಮ ನಿಜವಾದ ಕಾರ್ಯವಿಧಾನದಲ್ಲಿ ಕಾರ್ಯನಿರ್ವಹಿಸುತ್ತದೆ.
ಭದ್ರತೆ ಮತ್ತು ಅನುಸರಣೆ: ನೀವು IT ಯೊಂದಿಗೆ ಹೊಂದಿರುವ ಸಂಭಾಷಣೆ
- ಲೋಕಲ್-ಫಸ್ಟ್ (Local-first) ಡೇಟಾ ರೆಸಿಡೆನ್ಸಿಗೆ ಸಹಾಯ ಮಾಡುತ್ತದೆ, ವಿಶೇಷವಾಗಿ ಡ್ರಾಫ್ಟ್ಗಳು ಮತ್ತು ಆಂತರಿಕ ಡಾಕ್ಯುಮೆಂಟ್ಗಳಿಗಾಗಿ.
- ಇನ್ನೂ, ನಿಮ್ಮ ಮಾದರಿ ಮೂಲಗಳು ಮತ್ತು ಹ್ಯಾಶ್ಗಳನ್ನು ಆಡಿಟ್ ಮಾಡಿ. "ಸಂಪೂರ್ಣವಾಗಿ-ಮಾಲ್ವೇರ್-ಅಲ್ಲ.gguf" ಎಂದು ಲೇಬಲ್ ಮಾಡಲಾದ ಯಾದೃಚ್ಛಿಕ ತೂಕವನ್ನು ಡೌನ್ಲೋಡ್ ಮಾಡಬೇಡಿ.
- ತಂಡಗಳಿಗಾಗಿ, ಮಾದರಿ ಬೇಸ್ಲೈನ್ ಅನ್ನು ರಚಿಸಿ. Ollama ನೊಂದಿಗೆ, ಅದು ಆವೃತ್ತಿ ನಿಯಂತ್ರಣದಲ್ಲಿರುವ Modelfile ಆಗಿದೆ. LM Studio ನೊಂದಿಗೆ, ಮಾದರಿ ಹೆಸರುಗಳು ಮತ್ತು ಆವೃತ್ತಿಗಳನ್ನು ಪ್ರಮಾಣೀಕರಿಸಿ ಮತ್ತು ಸೆಟ್ಟಿಂಗ್ಗಳನ್ನು ದಾಖಲಿಸಿ.
ನಿವಾರಣೆ: ಏಕೆಂದರೆ ಏನಾದರೂ ವಿಚಿತ್ರವಾಗುತ್ತದೆ
- ಮಾದರಿಯು ಲೋಡ್ ಆಗುವುದಿಲ್ಲವೇ? ನೀವು RAM/VRAM ನಿಂದ ಹೊರಗಿರಬಹುದು. ಸಣ್ಣ ಕ್ವಾಂಟೈಸೇಶನ್ ಅಥವಾ ಸಣ್ಣ ಮಾದರಿಗೆ ಇಳಿಸಿ.
- ಪ್ರತಿಕ್ರಿಯೆಗಳು ಅಸಂಬದ್ಧವಾಗಿವೆಯೇ? ತಾಪಮಾನ ಮತ್ತು ಟಾಪ್_ಪಿ ಸೆಟ್ಟಿಂಗ್ಗಳನ್ನು ಪರಿಶೀಲಿಸಿ. ನೀವು ಆಕಸ್ಮಿಕವಾಗಿ ಅದನ್ನು "ಸೃಜನಶೀಲ ಪುಟ್ಟ ಮಗು" ಮೋಡ್ಗೆ ಹೊಂದಿಸಿದ್ದೀರಾ?
- ಮೆಲಸ್ನಷ್ಟು ನಿಧಾನವೇ? ಇತರ ಅಪ್ಲಿಕೇಶನ್ಗಳನ್ನು ಮುಚ್ಚಿ, ಸಂದರ್ಭ ವಿಂಡೋವನ್ನು ಕಡಿಮೆ ಮಾಡಿ, CPU-ಮಾತ್ರ vs GPU-ಮಾತ್ರ ಪ್ರಯತ್ನಿಸಿ ಮತ್ತು ನಿಮ್ಮ ಹಾರ್ಡ್ವೇರ್ ಇಷ್ಟಪಡುವ ಕ್ವಾಂಟೈಸೇಶನ್ ಅನ್ನು ನೀವು ಬಳಸುತ್ತಿದ್ದೀರಿ ಎಂದು ಖಚಿತಪಡಿಸಿಕೊಳ್ಳಿ.
- ದೊಡ್ಡ ಫೈಲ್ಗಳಲ್ಲಿ ಕ್ರ್ಯಾಶ್ ಆಗುತ್ತದೆಯೇ? ನಿಮ್ಮ ಇನ್ಪುಟ್ಗಳನ್ನು ವಿಭಾಗಿಸಿ ಅಥವಾ ದೊಡ್ಡ ಸಂದರ್ಭ ವಿಂಡೋವನ್ನು ಹೊಂದಿರುವ ಮಾದರಿಯನ್ನು ಆಯ್ಕೆಮಾಡಿ.
ಸ್ಪರ್ಧಿ ನೋಟ: ಆಲ್-ಇನ್-ಒನ್ ಲೋಕಲ್ ಸೂಟ್ ಏಕೆ ಅಲ್ಲ?
- ಪ್ರತಿ ವಾರ ಇತರ ಲೋಕಲ್ ರನ್ನರ್ಗಳು ಮತ್ತು UI ಗಳು ಕಾಣಿಸಿಕೊಳ್ಳುತ್ತಿವೆ. ದೊಡ್ಡ ಟೇಕ್ಅವೇ: ಸಕ್ರಿಯ ಸಮುದಾಯ, ನಿಯಮಿತ ನವೀಕರಣಗಳು ಮತ್ತು ಸ್ಪಷ್ಟವಾದ ಎಸ್ಕೇಪ್ ಹ್ಯಾಚ್ (ರಫ್ತು/ಚಾಟ್ ಇತಿಹಾಸ, ಲೋಕಲ್ API, ಅಥವಾ ಮಾದರಿ ಪೋರ್ಟಬಿಲಿಟಿ) ಹೊಂದಿರುವದನ್ನು ಆಯ್ಕೆಮಾಡಿ. Ollama ಮತ್ತು LM Studio ಎರಡೂ ಆ ಬಾಕ್ಸ್ಗಳನ್ನು ಪರಿಶೀಲಿಸುತ್ತವೆ.
Sider.AI ಎಲ್ಲಿ ಹೊಂದಿಕೊಳ್ಳುತ್ತದೆ (ಮತ್ತು ನೀವು ಅದನ್ನು ಏಕೆ ಬಯಸಬಹುದು)
ಗಮನಿಸಬೇಕಾದ ಅಂಶ: ನಿಮ್ಮ ಗುರಿ ಟಿಂಕರ್ ಮಾಡುವುದಲ್ಲ, ಆದರೆ ಕೆಲಸವನ್ನು ಪೂರ್ಣಗೊಳಿಸುವುದಾದರೆ - ಸಂಶೋಧನೆ, ಸಾರಾಂಶ, ಡ್ರಾಫ್ಟಿಂಗ್, ಕೋಡಿಂಗ್ ಸಹಾಯ - Sider.AI ನೀವು ಆಯ್ಕೆಮಾಡುವ ಯಾವುದರ ಮೇಲೂ ಇರಬಹುದು. ಇದು ಲೋಕಲ್ ಎಂಡ್ಪಾಯಿಂಟ್ಗಳೊಂದಿಗೆ ಮಾತನಾಡುತ್ತದೆ, ಲೋಕಲ್ ಮತ್ತು ಕ್ಲೌಡ್ ಮಾದರಿಗಳ ನಡುವೆ ಬದಲಾಯಿಸಬಹುದು ಮತ್ತು ಪ್ರಾಂಪ್ಟ್ಗಳು, ಡಾಕ್ಯುಮೆಂಟ್ಗಳು ಮತ್ತು ವೆಬ್ ಪುಟಗಳಿಗಾಗಿ ನಿಮಗೆ ಸ್ಮಾರ್ಟ್, ಏಕೀಕೃತ ಕಾರ್ಯಸ್ಥಳವನ್ನು ನೀಡುತ್ತದೆ. ಅನುವಾದ: ಅಪ್ಲಿಕೇಶನ್ಗಳನ್ನು ಬದಲಾಯಿಸುವ ಕಡಿಮೆ ಸಮಯ, ಬೆಕ್ಕು ಕೋಡ್ ಅನ್ನು ಟೈಪ್ ಮಾಡಿದೆ ಎಂದು ನಟಿಸುವ ಹೆಚ್ಚು ಸಮಯ. ಎಲ್ಲವನ್ನೂ ಕೈಯಿಂದ ವೈರ್ ಮಾಡದೆಯೇ "ಕಾರ್ಯಕ್ಕಾಗಿ ಉತ್ತಮ ಮಾದರಿಯನ್ನು ಬಳಸಿ" ಎಂದು ನೀವು ಬಯಸಿದರೆ, Sider.AI ಉತ್ತಮವಾದ ಮಧ್ಯದ ಪದರವಾಗಿದೆ. Ollama vs LM Studio: ವ್ಯಕ್ತಿಯಿಂದ ತೀರ್ಪುಗಳು
- ಹೊಸಬರು: LM Studio ಆಯ್ಕೆಮಾಡಿ. ಇದು ಸ್ನೇಹಿಯಾಗಿದೆ, ದೃಶ್ಯವಾಗಿದೆ ಮತ್ತು ಹೆಚ್ಚು ಕೆಟ್ಟದಾಗಿ ಗೊಂದಲಗೊಳಿಸಲು ಸಾಧ್ಯವಿಲ್ಲ. ನೀವು ನಿಮಿಷಗಳಲ್ಲಿ Llama 3 ನೊಂದಿಗೆ ಚಾಟ್ ಮಾಡುತ್ತೀರಿ.
- ನಿರ್ಮಾಣಕಾರರು: Ollama ಆಯ್ಕೆಮಾಡಿ. ನಿಮಗೆ OpenAI-ಹೊಂದಾಣಿಕೆಯ API, Modelfile ಗಳು ಮತ್ತು ಸರ್ವರ್ ಅಥವಾ ಡಾಕರ್ನಲ್ಲಿ ಸತ್ತ-ಸರಳ ನಿಯೋಜನೆ ಬೇಕು.
- ವೃತ್ತಿಪರರು: ಕೇಂದ್ರೀಕೃತ ಬರವಣಿಗೆ ಮತ್ತು ಸಂಶೋಧನೆಗಾಗಿ LM Studio ನೊಂದಿಗೆ ಪ್ರಾರಂಭಿಸಿ. ನಿಮಗೆ ಸ್ಕ್ರಿಪ್ಟ್ಗಳು ಮತ್ತು ಏಕೀಕರಣಗಳು ಅಗತ್ಯವಿದ್ದರೆ ಹಿನ್ನೆಲೆಯಲ್ಲಿ Ollama ಅನ್ನು ಸೇರಿಸಿ.
- ತಂಡ: ಎರಡನ್ನೂ ಬಳಸಿ. ಡೆಮೊಗಳು ಮತ್ತು ತಾಂತ್ರಿಕೇತರ ಸಹಯೋಗಿಗಳಿಗಾಗಿ LM Studio; ಡೆವ್ಗಳು, CI ಉದ್ಯೋಗಗಳು ಮತ್ತು ಹಂಚಿಕೆಯ ಮಾದರಿ ಬೇಸ್ಲೈನ್ಗಳಿಗಾಗಿ Ollama.
ನೀವು ಇನ್ನೂ ನಿರ್ಧರಿಸಲು ಸಾಧ್ಯವಾಗದಿದ್ದರೆ, ಇಲ್ಲಿ ಲಿಟ್ಮಸ್ ಪರೀಕ್ಷೆ ಇದೆ: ಮಾದರಿಯನ್ನು ತಿರುಗಿಸುವ ಮತ್ತು CLI ಗೆ ಟೋಕನ್ಗಳನ್ನು ಸ್ಟ್ರೀಮ್ ಮಾಡುವ ಒನ್-ಲೈನರ್ ಅನ್ನು ಬರೆಯುವ ಬಗ್ಗೆ ನೀವು ಉತ್ಸುಕರಾಗಿದ್ದೀರಾ? Ollama ಗೆ ಹೋಗಿ. ಸ್ಲೈಡರ್ಗಳು ಮತ್ತು ದೊಡ್ಡ ಚಾಟ್ ಬಟನ್ನೊಂದಿಗೆ ಆರಾಮದಾಯಕವಾದ ವಿಂಡೋವನ್ನು ನೀವು ಬಯಸುತ್ತೀರಾ? LM Studio.
ಚೀಟ್ ಶೀಟ್: ನೀವು ಸ್ಕ್ರೀನ್ಶಾಟ್ ಮಾಡಬಹುದಾದ ಸಾಧಕ-ಬಾಧಕಗಳು
- ಮಾದರಿ ಅನ್ವೇಷಣೆಯೊಂದಿಗೆ ಅತ್ಯುತ್ತಮ GUI
- ಇತಿಹಾಸ ಮತ್ತು ಸೆಟ್ಟಿಂಗ್ಗಳೊಂದಿಗೆ ಅಂತರ್ನಿರ್ಮಿತ ಚಾಟ್
- ಸುಲಭ ಕ್ವಾಂಟೈಸೇಶನ್ ಮುನ್ನೋಟಗಳು ಮತ್ತು ಡೌನ್ಲೋಡ್ಗಳು
- ಆರಂಭಿಕರಿಗಾಗಿ ಮತ್ತು ಸಾಂದರ್ಭಿಕ ದೈನಂದಿನ ಬಳಕೆಗಾಗಿ ಉತ್ತಮವಾಗಿದೆ
- Ollama ಗಿಂತ ಕಡಿಮೆ ಸ್ಕ್ರಿಪ್ಟ್ ಮಾಡಬಹುದು
- ದೊಡ್ಡ ಡೌನ್ಲೋಡ್ಗಳು ಮತ್ತು ಶೇಖರಣಾ ಪ್ರಸರಣ
- ಸುಧಾರಿತ ಆವೃತ್ತಿ ನಿಯಂತ್ರಣವು ತೊಡಕಾಗಿದೆ
- OpenAI-ಹೊಂದಾಣಿಕೆಯ ಲೋಕಲ್ API ಯೊಂದಿಗೆ ಸರಳ CLI
- ಸ್ಕ್ರಿಪ್ಟಿಂಗ್, ಸರ್ವರ್ಗಳು ಮತ್ತು ಏಕೀಕರಣಗಳಿಗೆ ಉತ್ತಮವಾಗಿದೆ
- ಸಂತಾನೋತ್ಪತ್ತಿ ಸೆಟಪ್ಗಳಿಗಾಗಿ Modelfile ಗಳು
- ಹಗುರವಾದ ಮತ್ತು ಆಜ್ಞೆಗಳನ್ನು ಹಂಚಿಕೊಳ್ಳಲು ಸುಲಭ
- ಅಧಿಕೃತ GUI/ಚಾಟ್ ಅಪ್ಲಿಕೇಶನ್ ಇಲ್ಲ
- ಮಾದರಿ ಅನ್ವೇಷಣೆ ಹೆಚ್ಚು DIY ಆಗಿದೆ
- CLI-ವಿರೋಧಿ ಬಳಕೆದಾರರನ್ನು ಹೆದರಿಸುತ್ತದೆ
ಭವಿಷ್ಯದ ನಿರೀಕ್ಷೆ: ಇದು ಎಲ್ಲಿಗೆ ಹೋಗುತ್ತಿದೆ
ಲೋಕಲ್ ಮಾದರಿಗಳು ಉತ್ತಮವಾಗುತ್ತಿವೆ, ಚಿಕ್ಕದಾಗುತ್ತಿವೆ ಮತ್ತು ವಿಚಿತ್ರವಾಗುತ್ತಿವೆ (ಒಳ್ಳೆಯ ರೀತಿಯಲ್ಲಿ). ಅನೇಕ ಕಾರ್ಯಗಳಿಗಾಗಿ ಇಂದಿನ ಹೆವಿವೇಟ್ಗಳಿಗೆ ಪ್ರತಿಸ್ಪರ್ಧಿಯಾಗುವ ಸ್ಮಾರ್ಟ್ 7B–13B ಮಾದರಿಗಳು ಮತ್ತು ಉತ್ತಮ GPU/CPU ಆಪ್ಟಿಮೈಸೇಶನ್ಗಳನ್ನು ನಿರೀಕ್ಷಿಸಿ. Ollama ಮತ್ತು LM Studio ನಡುವಿನ ವಿಜೇತರು? ಬಹುಶಃ ನೀವು, ಜವಾಬ್ದಾರಿಯುತ ವಯಸ್ಕರಂತೆ ಎರಡೂ ಸ್ಕ್ರೂಡ್ರೈವರ್ಗಳನ್ನು ಹೊಂದಿರುವಂತೆ ವಿಭಿನ್ನ ಉದ್ಯೋಗಗಳಿಗಾಗಿ ಎರಡನ್ನೂ ರನ್ ಮಾಡುತ್ತೀರಿ.
ಸಾರಾಂಶ: ನನ್ನ ಆಯ್ಕೆ
ನಾನು ನನ್ನ ದೈನಂದಿನ ಲ್ಯಾಪ್ಟಾಪ್ಗಾಗಿ ಒಂದನ್ನು ಆರಿಸಬೇಕಾದರೆ: LM Studio. UI ನನ್ನನ್ನು ಕೇಂದ್ರೀಕರಿಸುವಂತೆ ಮಾಡುತ್ತದೆ ಮತ್ತು ಘರ್ಷಣೆ ಶೂನ್ಯಕ್ಕೆ ಹತ್ತಿರದಲ್ಲಿದೆ. ಸ್ವಯಂಚಾಲಿತ, ಸಹಯೋಗ ಅಥವಾ ಪ್ರಾಯೋಗಿಕವಾದ ಯಾವುದಕ್ಕಾದರೂ: Ollama. ನಾನು ಸ್ಕ್ರಿಪ್ಟ್ ಮಾಡಬಹುದಾದ, ಸಾಗಿಸಬಹುದಾದ ಮತ್ತು ಅದು ಕೆಲಸ ಮಾಡುವವರೆಗೆ ಮರೆತುಬಿಡಬಹುದಾದ ಬೆನ್ನೆಲುಬು ಇದು.
ಅಂತಿಮ ಸಲಹೆ: ಸಣ್ಣದಾಗಿ ಪ್ರಾರಂಭಿಸಿ, ನಿಮ್ಮ ಹಾರ್ಡ್ವೇರ್ಗೆ ಸರಿಹೊಂದುವ ಮಾದರಿಯನ್ನು ಆರಿಸಿ ಮತ್ತು ನಿಮ್ಮ ಮೊದಲ ಪ್ರಾಂಪ್ಟ್ನಿಂದ ಈ ಟೂಲ್ಸ್ಗಳನ್ನು ನಿರ್ಣಯಿಸಬೇಡಿ. ಲೋಕಲ್ AI ಟಿಂಕರಿಂಗ್ಗೆ ಪ್ರತಿಫಲ ನೀಡುತ್ತದೆ - ಆ IKEA ಪುಸ್ತಕದ ಕಪಾಟಿನಂತೆಯೇ. ಮತ್ತು ಹೌದು, ಅಲೆನ್ ಕೀ ಇಡೀ ಸಮಯವೂ ನಿಮ್ಮ ಜೇಬಿನಲ್ಲಿತ್ತು.
FAQ
Q1:ಆರಂಭಿಕರಿಗಾಗಿ Ollama ಗಿಂತ LM Studio ಸುಲಭವೇ?
ಹೌದು. LM Studio ನಿಮಗೆ ಕ್ಲೀನ್ ಇಂಟರ್ಫೇಸ್, ಮಾದರಿ ಬ್ರೌಸರ್ ಮತ್ತು ದೊಡ್ಡ ಚಾಟ್ ಬಟನ್ ಅನ್ನು ನೀಡುತ್ತದೆ. ನೀವು ಟರ್ಮಿನಲ್ಗಳನ್ನು ಇಷ್ಟಪಡದಿದ್ದರೆ, LM Studio ಲೋಕಲ್ AI ಅನ್ನು ಪರಿಚಿತ ಚಾಟ್ ಅಪ್ಲಿಕೇಶನ್ನಂತೆ ಭಾಸವಾಗುವಂತೆ ಮಾಡುತ್ತದೆ.
Q2:Ollama ಮತ್ತು LM Studio ಎರಡೂ ಒಂದೇ ಮಾದರಿಗಳನ್ನು ಸ್ಥಳೀಯವಾಗಿ ರನ್ ಮಾಡಬಹುದೇ?
ಸಾಮಾನ್ಯವಾಗಿ, ಹೌದು - ಎರಡೂ Llama 3, Mistral ಮತ್ತು Phi-3 ನಂತಹ ಜನಪ್ರಿಯ GGUF ಮಾದರಿಗಳನ್ನು ವಿಭಿನ್ನ ಕ್ವಾಂಟೈಸೇಶನ್ಗಳೊಂದಿಗೆ ಬೆಂಬಲಿಸುತ್ತವೆ. ವ್ಯತ್ಯಾಸವೆಂದರೆ ನೀವು ಅವುಗಳನ್ನು ಹೇಗೆ ಡೌನ್ಲೋಡ್ ಮಾಡುತ್ತೀರಿ, ನಿರ್ವಹಿಸುತ್ತೀರಿ ಮತ್ತು ರನ್ ಮಾಡುತ್ತೀರಿ: LM Studio ನಲ್ಲಿ GUI, Ollama ನಲ್ಲಿ CLI ಮತ್ತು Modelfile ಗಳು.
Q3:ಯಾವುದು ವೇಗವಾಗಿದೆ: Ollama ಅಥವಾ LM Studio?
ವೇಗವು ನಿಮ್ಮ ಹಾರ್ಡ್ವೇರ್, ಮಾದರಿ ಗಾತ್ರ ಮತ್ತು ರನ್ನರ್ಗಿಂತ ಕ್ವಾಂಟೈಸೇಶನ್ ಅನ್ನು ಹೆಚ್ಚು ಅವಲಂಬಿಸಿರುತ್ತದೆ. Q4 ಅಥವಾ Q5 ಕ್ವಾಂಟೈಸೇಶನ್ ಹೊಂದಿರುವ 7B ಮಾದರಿಯು ಎರಡರಲ್ಲೂ ಚುರುಕಾಗಿರುತ್ತದೆ; ದೊಡ್ಡ 70B ಮಾದರಿಗಳು ಎಲ್ಲಿಯಾದರೂ ಭಾರವಾಗಿರುತ್ತವೆ.
Q4:ನನ್ನ ನೆಚ್ಚಿನ ಅಪ್ಲಿಕೇಶನ್ಗಳು ಮತ್ತು ಎಡಿಟರ್ಗಳೊಂದಿಗೆ ನಾನು ಲೋಕಲ್ ಮಾದರಿಗಳನ್ನು ಬಳಸಬಹುದೇ?
ಹೌದು. ಎರಡೂ ಲೋಕಲ್ API ಎಂಡ್ಪಾಯಿಂಟ್ ಅನ್ನು ಬಹಿರಂಗಪಡಿಸಬಹುದು, ಅದನ್ನು ಅನೇಕ ಟೂಲ್ಸ್ಗಳು OpenAI ಎಂದು ಪರಿಗಣಿಸುತ್ತವೆ. ಏಕೀಕರಣಗಳಿಗೆ Ollama ವಿಶೇಷವಾಗಿ ಜನಪ್ರಿಯವಾಗಿದೆ; LM Studio ಸರ್ವರ್ ಮೋಡ್ ಅನ್ನು ಸಹ ನೀಡುತ್ತದೆ.
Q5:Ollama ಅಥವಾ LM Studio ನೊಂದಿಗೆ Sider.AI ಅನ್ನು ಏಕೆ ಬಳಸಬೇಕು?
Sider.AI ನಿಮ್ಮ ಕಾರ್ಯವಿಧಾನವನ್ನು ಏಕೀಕರಿಸಬಹುದು - ಲೋಕಲ್ ಮತ್ತು ಕ್ಲೌಡ್ ಮಾದರಿಗಳ ನಡುವೆ ಬದಲಾಯಿಸುವುದು, ಪ್ರಾಂಪ್ಟ್ಗಳನ್ನು ಆಯೋಜಿಸುವುದು ಮತ್ತು ಸಂಶೋಧನೆ ಮತ್ತು ಸಾರಾಂಶವನ್ನು ಒಂದೇ ಸ್ಥಳದಲ್ಲಿ ನಿರ್ವಹಿಸುವುದು. ನೀವು ಟಿಂಕರಿಂಗ್ ಅನ್ನು ಮುಗಿಸಿದಾಗ ಮತ್ತು ಕೆಲಸವನ್ನು ಪೂರ್ಣಗೊಳಿಸಲು ಬಯಸಿದಾಗ ಇದು ಮೌಲ್ಯವರ್ಧಿತ ಪದರವಾಗಿದೆ. 
