ಫ್ಲ್ಯಾಟ್-ಪ್ಯಾಕ್ ಪೀಠೋಪಕರಣಗಳ ತುಂಡನ್ನು ಜೋಡಿಸಲು ಎಂದಾದರೂ ಪ್ರಯತ್ನಿಸಿದ್ದೀರಾ, ಅದರ ಸೂಚನೆಗಳು ರಕ್ತಪಿಶಾಚಿಯೊಂದು ಕಚ್ಚಿದಂತೆ ಕಾಣುತ್ತವೆಯೇ? 2023 ರಲ್ಲಿ ಸ್ಥಳೀಯ AI ಮಾದರಿಯನ್ನು ಚಾಲನೆ ಮಾಡುವುದು ಅನೇಕ ಜನರಿಗೆ ಹಾಗೆಯೇ ಭಾಸವಾಯಿತು: ಆಕರ್ಷಕ, ಸಬಲೀಕರಣಗೊಳಿಸುವ ಮತ್ತು ಮರಗೆಲಸವನ್ನು ಕಲಿಯಲು ನಿಮ್ಮನ್ನು ಪ್ರೇರೇಪಿಸುವಷ್ಟು ಗೊಂದಲಮಯವಾಗಿತ್ತು. GPT4All ಸಹಾಯ ಮಾಡಿತು - ಸ್ನೇಹಪರ ಅನುಸ್ಥಾಪಕ, ಯೋಗ್ಯ UI - ಆದರೆ ಇದು ನಿಮಗೆ ಸರಿಹೊಂದುವುದಿಲ್ಲ. ನಿಮಗೆ ಸುಲಭವಾದ ಮಾದರಿ ನಿರ್ವಹಣೆ, ಅಥವಾ GPU ವೇಗ, ಅಥವಾ ಹಂಚಿಕೊಳ್ಳಬಹುದಾದ ವೆಬ್ UI, ಅಥವಾ "ನನ್ನ ಡಾಕ್ಸ್ಗಳೊಂದಿಗೆ ಚಾಟ್ ಮಾಡಿ, ದಯವಿಟ್ಟು" ಎಂಬ ಸತ್ತ-ಸರಳ ಮಾರ್ಗ ಬೇಕಾಗಬಹುದು.
ಒಳ್ಳೆಯ ಸುದ್ದಿ: GPT4All ಪರ್ಯಾಯಗಳ ಸಂಪೂರ್ಣ ನೆರೆಹೊರೆಯೇ ಅರಳಿದೆ. ಅವು ಗೌಪ್ಯತೆ, ಸಾಧನದ ವೇಗ ಮತ್ತು ನಿಮ್ಮ ಡೇಟಾವನ್ನು ಕ್ಲೌಡ್ಗೆ ಕಳುಹಿಸದ ಬೆಚ್ಚಗಿನ ಭಾವನೆಗೆ ಗಮನಹರಿಸುತ್ತವೆ. ಇಂದು, ನಾನು ಉನ್ನತ ಆಯ್ಕೆಗಳನ್ನು ಪ್ರವಾಸ ಮಾಡುತ್ತೇನೆ, ಪ್ರತಿಯೊಂದೂ ಎಲ್ಲಿ ಉತ್ತಮವಾಗಿದೆ ಎಂಬುದನ್ನು ವಿವರಿಸುತ್ತೇನೆ ಮತ್ತು - ಇದು ಪ್ರಮುಖ ಭಾಗ - ಸಾಮಾನ್ಯ ವ್ಯಕ್ತಿಯು (ನೀವು!) ಅವುಗಳನ್ನು ಮನೆಯಲ್ಲಿ, ಕೆಲಸದಲ್ಲಿ ಅಥವಾ ನಿಮ್ಮ Wi‑Fi ಕಾಫಿ ವಿರಾಮಕ್ಕೆ ಹೋದಾಗ ಹೇಗೆ ಬಳಸುತ್ತಾನೆ ಎಂಬುದನ್ನು ತೋರಿಸುತ್ತೇನೆ.
ನಾವು ಪ್ರಾರಂಭಿಸುವ ಮೊದಲು ಒಂದು ಸೂಚನೆ: ಸಾಫ್ಟ್ವೇರ್ ವೇಗವಾಗಿ ಚಲಿಸುತ್ತದೆ, ವೈಶಿಷ್ಟ್ಯಗಳು ಬದಲಾಗುತ್ತವೆ ಮತ್ತು ನಿಮ್ಮ ಕಂಪ್ಯೂಟರ್ ಆಧಾರದ ಮೇಲೆ ನಿಮ್ಮ ಅನುಭವ ಬದಲಾಗಬಹುದು. ಇದನ್ನು ಹತ್ತು ಅನುಶಾಸನಗಳಲ್ಲ, ಒಂದು ಪ್ರವಾಸಿ ಮಾರ್ಗದರ್ಶಿಯೆಂದು ಭಾವಿಸಿ. 2024–2025 ರಲ್ಲಿ ಜನರು ಚರ್ಚಿಸುತ್ತಿರುವ ಸ್ಥಳೀಯ LLM ಪರಿಕರಗಳಿಗಾಗಿ ನೀವು ಹುಡುಕುತ್ತಿದ್ದರೆ, ಸಣ್ಣ ಪಟ್ಟಿಯಲ್ಲಿ Ollama, LM Studio, Text Generation WebUI (a.k.a. oobabooga), Jan, Llama.cpp, LocalAI, ಮತ್ತು ಸ್ನೇಹಿತರು ಸೇರಿದ್ದಾರೆ. ಹಲವಾರು ಸುತ್ತುಗಳು ಈ ವರ್ಷದ ಪ್ರಮುಖ ಸ್ಥಳೀಯ LLM ಆಯ್ಕೆಗಳಾಗಿ ಈ ಹೆಸರುಗಳನ್ನು ಮುಂಚೂಣಿಗೆ ತಂದಿವೆ.
ನಾವು ಯಾವುದಕ್ಕಾಗಿ ಆಪ್ಟಿಮೈಜ್ ಮಾಡುತ್ತಿದ್ದೇವೆ?
“ಸ್ಥಳೀಯ LLM ಗಳು” ನಿಮಗೆ ಹೊಸ ಪದಗುಚ್ಛವಾಗಿದ್ದರೆ, ಇದರರ್ಥ AI ಮಾದರಿಗಳನ್ನು ನಿಮ್ಮ ಸ್ವಂತ ಯಂತ್ರದಲ್ಲಿ ಚಾಲನೆ ಮಾಡುವುದು - ಯಾವುದೇ ಕ್ಲೌಡ್ ಇಲ್ಲ, ಮಾಸಿಕ ಬಿಲ್ ಇಲ್ಲ, ಯಾವುದೇ ಡೇಟಾವು ಅಪರಿಚಿತ ಸರ್ವರ್ಗಳಿಗೆ ಹೋಗುವುದಿಲ್ಲ. ನೀವು ಮೆಗಾ-ಕ್ಲೌಡ್ ಮಾದರಿಗಳ ಕೆಲವು ಕಚ್ಚಾ ಸಾಮರ್ಥ್ಯವನ್ನು (ಈಗಿನವರೆಗೆ) ತ್ಯಜಿಸುತ್ತೀರಿ, ಆದರೆ ನೀವು ಗೌಪ್ಯತೆ, ನಿಯಂತ್ರಣ ಮತ್ತು ಸರಿಯಾದ ಮಾದರಿ ಗಾತ್ರ ಮತ್ತು ಹಾರ್ಡ್ವೇರ್ ಅನ್ನು ಆರಿಸಿದರೆ ಆಶ್ಚರ್ಯಕರವಾಗಿ ಬಳಸಬಹುದಾದ ವೇಗವನ್ನು ಪಡೆಯುತ್ತೀರಿ.
ಈಗ, ಆ ಮಾದರಿಗಳನ್ನು ಚಲಾಯಿಸಲು ಸರಿಯಾದ ಸಾಧನವನ್ನು ನೀವು ಹೇಗೆ ಆರಿಸುತ್ತೀರಿ? ವ್ಯಕ್ತಿತ್ವದ ಪ್ರಕಾರದಿಂದ ವಿಂಗಡಿಸೋಣ.
- Ollama: “ಇದು ಕೆಲಸ ಮಾಡುತ್ತದೆ” ಎಂಬ ಕಮಾಂಡ್-ಲೈನ್ ಸಹಾಯಕಾರ
ಮಾದರಿಗಳನ್ನು ಸ್ಥಾಪಿಸಲು ಮತ್ತು ಬದಲಾಯಿಸಲು ಒಂದು ಪದದ ಮಾರ್ಗಕ್ಕಾಗಿ ನೀವು ಎಂದಾದರೂ ಬಯಸಿದ್ದರೆ, Ollama ಪಿಜ್ಜಾ ಆರ್ಡರ್ ಮಾಡುವಂತಿದೆ: "ollama run llama3" ಮತ್ತು ಅದು ಸರಿಯಾದ ಹಿಟ್ಟು, ಸಾಸ್ ಮತ್ತು ಟಾಪಿಂಗ್ಗಳನ್ನು ಪಡೆಯುತ್ತದೆ. ಇದು ಬೆಳೆಯುತ್ತಿರುವ ಮಾದರಿಗಳ ಮೆನುಗಾಗಿ ಡೌನ್ಲೋಡ್, ಕ್ವಾಂಟೈಸೇಶನ್ ಮತ್ತು ನವೀಕರಣಗಳನ್ನು ನಿರ್ವಹಿಸುವ ಹಿನ್ನೆಲೆ ಸೇವೆಯಾಗಿದೆ. ನೀವು ಇದನ್ನು ಏಕಾಂಗಿಯಾಗಿ ಬಳಸಬಹುದು, ಅದರ ಸ್ಥಳೀಯ API ಮೂಲಕ ಇತರ ಅಪ್ಲಿಕೇಶನ್ಗಳಿಗೆ ವೈರ್ ಮಾಡಬಹುದು ಅಥವಾ ವೆಬ್ UI ನೊಂದಿಗೆ ಜೋಡಿಸಬಹುದು. ಇದು ಸ್ಥಳೀಯ LLM ಗಳಿಗಾಗಿ ಸಾರ್ವತ್ರಿಕ ರಿಮೋಟ್ನಂತಿದೆ.
ಇದು ಯಾವುದಕ್ಕೆ ಉತ್ತಮವಾಗಿದೆ:
- ತ್ವರಿತ ಪ್ರಾರಂಭಗಳು: ನೀವು ಕೆಲವೇ ನಿಮಿಷಗಳಲ್ಲಿ ಮಾದರಿಯೊಂದಿಗೆ ಚಾಟ್ ಮಾಡಬಹುದು.
- ಮಾದರಿ ಹಾಪಿಂಗ್: ಈ ಗಂಟೆ Llama 3 ಅನ್ನು ಮತ್ತು ಊಟದ ನಂತರ Mistral ರೂಪಾಂತರವನ್ನು ಪರೀಕ್ಷಿಸುವುದು.
- ಸಂಯೋಜನೆಗಳು: ಬಹಳಷ್ಟು ಸಮುದಾಯ ಪರಿಕರಗಳು Ollama ನ ಭಾಷೆಯನ್ನು ಮಾತನಾಡುತ್ತವೆ.
ಏನು ಗಮನಿಸಬೇಕು:
- ಇದು ಹೆಚ್ಚಾಗಿ CLI ಅನುಭವ. ಭಯಾನಕವಲ್ಲ, ಕೇವಲ ಸರಳವಾಗಿದೆ.
- ದೀರ್ಘ ಸೆಷನ್ಗಳಿಗಾಗಿ ನಿಮಗೆ ಮೇಲ್ಭಾಗದಲ್ಲಿ UI ಬೇಕಾಗುತ್ತದೆ - Open WebUI ಅಥವಾ Ollama API ಗೆ ಮಾತನಾಡುವ ಯಾವುದಾದರೂ.
ನೀವು ಸ್ಕಿಮ್ ಮಾಡುತ್ತಿದ್ದರೆ: Ollama ಘರ್ಷಣೆಯನ್ನು ತೆಗೆದುಹಾಕುವ ಸಾಧನ. ಹೊಸ ಮಾರ್ಗದರ್ಶಿಗಳು 2025 ಕ್ಕೆ ಇದು ಅತ್ಯುತ್ತಮ ಸ್ಥಳೀಯ LLM ಸಾಧನಗಳಲ್ಲಿ ಒಂದು ಎಂದು ಸ್ಥಿರವಾಗಿ ಶ್ರೇಣೀಕರಿಸುತ್ತವೆ.
- LM Studio: ಮನುಷ್ಯರಿಗೆ ಅತ್ಯುತ್ತಮವಾದ “ಅಪ್ಲಿಕೇಶನ್-ರೀತಿಯ” ಅನುಭವ
Ollama ಕಮಾಂಡ್ ಮೂಲಕ ಪಿಜ್ಜಾವಾಗಿದ್ದರೆ, LM Studio ನಿಮ್ಮ ನೆಚ್ಚಿನ ನೆರೆಹೊರೆಯ ಟ್ರಾಟೋರಿಯಾ. ಇದು ದೃಶ್ಯ ಮಾದರಿ ಕ್ಯಾಟಲಾಗ್, ಒಂದು-ಕ್ಲಿಕ್ ಡೌನ್ಲೋಡ್ಗಳು, ಚಾಟ್ ವಿಂಡೋಗಳು ಮತ್ತು ಸ kontekst ಉದ್ದ ಮತ್ತು ಸಿಸ್ಟಮ್ ಪ್ರಾಂಪ್ಟ್ಗಳಿಗಾಗಿ ಕೆಲವು ಸೂಕ್ತವಾದ ಗುಬ್ಬಿಗಳನ್ನು ಹೊಂದಿರುವ ಪೂರ್ಣ ಡೆಸ್ಕ್ಟಾಪ್ ಅಪ್ಲಿಕೇಶನ್ ಆಗಿದೆ. ನೀವು ಸ್ಥಳೀಯ ಸರ್ವರ್ ಅನ್ನು ಸಹ ಆನ್ ಮಾಡಬಹುದು ಆದ್ದರಿಂದ ಇತರ ಅಪ್ಲಿಕೇಶನ್ಗಳು ಸಂಪರ್ಕಿಸಬಹುದು, ಅಂದರೆ "ನಿಮ್ಮ ವೈಯಕ್ತಿಕ AI ಎಂಜಿನ್ ಆಗಿ LM Studio ವನ್ನು ಮನೆಯಲ್ಲಿ ಬಳಸಿ."
ಇದು ಯಾವುದಕ್ಕೆ ಉತ್ತಮವಾಗಿದೆ:
- ಟರ್ಮಿನಲ್ಗಳಿಗಿಂತ ಬಟನ್ಗಳನ್ನು ಆದ್ಯತೆ ನೀಡುವ ಜನರು.
- ಪರಿಕರವನ್ನು ಮರು-ಕಲಿಯದೆ ಮಾದರಿಯನ್ನು ಪ್ರಯತ್ನಿಸುವುದು ಮತ್ತು ಇನ್ನೊಂದಕ್ಕೆ ಬದಲಾಯಿಸುವುದು.
- ಲಘು ತೂಕದ ಪ್ರಾಂಪ್ಟ್ ಎಂಜಿನಿಯರಿಂಗ್ ಮತ್ತು ಮಾದರಿಗಳ ಗ್ರಂಥಾಲಯವನ್ನು ನಿರ್ವಹಿಸುವುದು.
ಏನು ಗಮನಿಸಬೇಕು:
- ಪವರ್ ಬಳಕೆದಾರರು ಅದರ ಡೀಫಾಲ್ಟ್ಗಳನ್ನು ಮೀರಿ ಬೆಳೆಯಬಹುದು, ಆದರೆ ನೀವು ಅಗೆದರೆ ಆಳವಿದೆ.
- ಎಲ್ಲಾ ಸ್ಥಳೀಯ ಪರಿಕರಗಳಂತೆ, ಕಾರ್ಯಕ್ಷಮತೆ ನಿಮ್ಮ ಹಾರ್ಡ್ವೇರ್ ಅನ್ನು ಹೆಚ್ಚು ಅವಲಂಬಿಸಿರುತ್ತದೆ.
ಸುತ್ತುಗಳು ಮಾದರಿಗಳನ್ನು ಸ್ಥಳೀಯವಾಗಿ ಚಲಾಯಿಸಲು LM Studio ವನ್ನು ಉನ್ನತ ಆಯ್ಕೆಗಳಲ್ಲಿ ಸೇರಿಸಿಕೊಳ್ಳುತ್ತವೆ - ಮತ್ತು ಒಳ್ಳೆಯ ಕಾರಣಕ್ಕಾಗಿ: ಇದು ಹೊಸಬರಿಗೆ ಅತ್ಯಂತ ಸುಲಭವಾದ ಪ್ರವೇಶವಾಗಿದೆ.
- Text Generation WebUI (oobabooga): ಸ್ವಿಸ್ ಆರ್ಮಿ ಚಾಟ್ ಲ್ಯಾಬ್
ಇದು ಟಿಂಕರ್ಗಳ ಕ್ಲಬ್ಹೌಸ್: ನಿಮ್ಮ ಬ್ರೌಸರ್ನಲ್ಲಿ ನೀವು ಚಲಾಯಿಸುವ ಸ್ಥಳೀಯ ವೆಬ್ ಅಪ್ಲಿಕೇಶನ್, ವಿಸ್ತರಣೆಗಳು, ಪಾತ್ರ ಕಾರ್ಡ್ಗಳು, ಪ್ರಾಂಪ್ಟ್ ಟೆಂಪ್ಲೇಟ್ಗಳು, ಉತ್ತಮ-ಟ್ಯೂನಿಂಗ್ ಸಹಾಯಕರರು ಮತ್ತು ಡೈನರ್ ಮೆನುಗಿಂತ ಹೆಚ್ಚಿನ ಸ್ಲೈಡರ್ಗಳನ್ನು ಹೊಂದಿದೆ. ನಿಮ್ಮ ಆದರ್ಶ ಶುಕ್ರವಾರ ರಾತ್ರಿ "ಆರು ಮಾದರಿಗಳು ಮತ್ತು ಎರಡು GPU ಗಳಾದ್ಯಂತ ಟೋಕನ್ ಸ್ಯಾಂಪ್ಲಿಂಗ್ ಸೆಟ್ಟಿಂಗ್ಗಳನ್ನು ಹೋಲಿಕೆ ಮಾಡಿ," ಎಂದಾದರೆ ಇದು ನಿಮ್ಮ ಸ್ಥಳವಾಗಿದೆ.
ಇದು ಯಾವುದಕ್ಕೆ ಉತ್ತಮವಾಗಿದೆ:
- ಆಳವಾದ ಗ್ರಾಹಕೀಕರಣ: ಮಾದರಿ ವಿಧಾನಗಳು, LoRA ಲೋಡ್ಔಟ್ಗಳು, ಪ್ರಿಸೆಟ್ಗಳು.
- ವ್ಯಕ್ತಿತ್ವ ಮತ್ತು ರೋಲ್-ಪ್ಲೇ ಚಾಟ್ಗಳು, ಸೃಜನಶೀಲ ಬರವಣಿಗೆ, ಪ್ರಯೋಗ.
- ದೀರ್ಘ ಸೆಷನ್ಗಳು ಮತ್ತು ಪ್ಲಗಿನ್ಗಳು.
ಏನು ಗಮನಿಸಬೇಕು:
- ಸೆಟಪ್ ಒಂದು-ಕ್ಲಿಕ್ ಬ್ರಿಗೇಡ್ಗಿಂತ ಹೆಚ್ಚು ತೊಡಗಿಸಿಕೊಳ್ಳಬಹುದು.
- ಶಕ್ತಿಯೊಂದಿಗೆ ಸಂಕೀರ್ಣತೆ ಬರುತ್ತದೆ. ಇದು ಪ್ರಯೋಗಾಲಯ, ಸ್ಪಾ ಅಲ್ಲ.
- Jan: ಸ್ನೇಹಪರ, ಬಂಡಲ್ಡ್, ಇಂಟರ್ನೆಟ್ ಅಗತ್ಯವಿಲ್ಲದ ಅಪ್ಲಿಕೇಶನ್
Jan ಎಂಬುದು "AI ಟು-ಗೋ" ಬ್ಯಾಗ್ನಂತಿದೆ: ಇದು ಎಂಜಿನ್ ಮತ್ತು ಮಾದರಿಗಳನ್ನು ಬಂಡಲ್ ಮಾಡುತ್ತದೆ ಆದ್ದರಿಂದ ನೀವು ಫಿಡ್ಲಿಂಗ್ ಮಾಡದೆಯೇ ಆಫ್ಲೈನ್ನಲ್ಲಿ ಚಲಾಯಿಸಬಹುದು. ಯೋಚಿಸಿ: "ಸ್ಥಳೀಯ-LLM ರಹಸ್ಯ ಹಸ್ತಲಾಘವವನ್ನು ಕಲಿಯದೆ ನನಗೆ ಖಾಸಗಿ ಚಾಟ್ ಸಹಾಯಕರನ್ನು ಬೇಕು." ಇದು ಬಾಕ್ಸ್ನಿಂದ ಹೊರಗೆ ಗೌಪ್ಯತೆಗೆ ಮೊದಲ ಆದ್ಯತೆ ನೀಡುವ, ಬಳಕೆದಾರ ಸ್ನೇಹಿ ಅನುಭವವನ್ನು ನೀಡುವ ಗುರಿಯನ್ನು ಹೊಂದಿದೆ.
ಇದು ಯಾವುದಕ್ಕೆ ಉತ್ತಮವಾಗಿದೆ:
- ಆಫ್ಲೈನ್-ಮೊದಲ ಬಳಕೆದಾರರು ಮತ್ತು ಪ್ರಯಾಣಿಕರು.
- ಇಂಟರ್ನೆಟ್ ಇಲ್ಲದೆ ಚಾಟ್ ಮಾಡುವುದು, ಟಿಪ್ಪಣಿಗಳನ್ನು ರಚಿಸುವುದು, ಮೂಲ ಕೋಡಿಂಗ್ ಸಹಾಯ.
ಏನು ಗಮನಿಸಬೇಕು:
- ಮಾದರಿ ಮೆನು DIY ಸ್ಟಾಕ್ನಷ್ಟು ವಿಸ್ತಾರವಾಗಿಲ್ಲ.
- ಪವರ್ ಬಳಕೆದಾರರು ಇತರ ಪರಿಕರಗಳಿಗಿಂತ ಬೇಗ ಮಿತಿಗಳನ್ನು ತಲುಪಬಹುದು.
- Llama.cpp ಮತ್ತು ಸ್ನೇಹಿತರು: ಕಾರ್ಯಕ್ಷಮತೆಯ ಕೊಳಾಯಿ
ಅನೇಕ ಸ್ಥಳೀಯ ಪರಿಕರಗಳ ಹುಡ್ ಅಡಿಯಲ್ಲಿ Llama.cpp ಇದೆ - ಹೆಚ್ಚು ಆಪ್ಟಿಮೈಸ್ ಮಾಡಿದ C/C++ ಅನುಷ್ಠಾನವು ಈ ಮಾದರಿಗಳನ್ನು CPU ಗಳು ಮತ್ತು ಗ್ರಾಹಕ GPU ಗಳಲ್ಲಿ ಬೆಚ್ಚಿ ಬೀಳುವಂತೆ ಮಾಡುತ್ತದೆ. ನಿಮಗೆ ಕಡಿಮೆ-ಮಟ್ಟದ ನಿಯಂತ್ರಣ ಬೇಕಾದರೆ ನೀವು ಅದನ್ನು ನೇರವಾಗಿ ಬಳಸಬಹುದು, ಅಥವಾ Ollama ಮತ್ತು LM Studio ನಂತಹ ಪರಿಕರಗಳು ಅದನ್ನು ನಿಮಗಾಗಿ ನಿರ್ವಹಿಸಲು ಬಿಡಿ. ನೀವು ಕ್ವಾಂಟೈಸೇಶನ್ ಸ್ವರೂಪಗಳಲ್ಲಿ ಕನಸು ಕಾಣುತ್ತಿದ್ದರೆ, ಮನೆಗೆ ಸ್ವಾಗತ.
ಇದು ಯಾವುದಕ್ಕೆ ಉತ್ತಮವಾಗಿದೆ:
- ಬೇರ್-ಮೆಟಲ್ ಕಾರ್ಯಕ್ಷಮತೆ ಮತ್ತು ಉತ್ತಮ-ಧಾನ್ಯದ ನಿಯಂತ್ರಣ.
- ಜಾಗರೂಕತೆಯಿಂದ ಕ್ವಾಂಟೈಸೇಶನ್ನೊಂದಿಗೆ ಸಾಧಾರಣ ಹಾರ್ಡ್ವೇರ್ನಲ್ಲಿ ಚಾಲನೆ.
ಏನು ಗಮನಿಸಬೇಕು:
- DIY ಪ್ರದೇಶ. ಕೆಲವು ಓದುವಿಕೆ ಮತ್ತು ಟರ್ಮಿನಲ್ ಸಮಯವನ್ನು ನಿರೀಕ್ಷಿಸಿ.
- LocalAI: ಡ್ರಾಪ್-ಇನ್ API ಬದಲಿ ಮಹತ್ವಾಕಾಂಕ್ಷೆಗಳು
LocalAI ಸ್ಥಳೀಯವಾಗಿ ಜನಪ್ರಿಯ AI API ಗಳನ್ನು ಅನುಕರಿಸುವ ಗುರಿಯನ್ನು ಹೊಂದಿದೆ. ನಿಮ್ಮ ಅಪ್ಲಿಕೇಶನ್ OpenAI-ಶೈಲಿಯ ಎಂಡ್ಪಾಯಿಂಟ್ ಅನ್ನು ನಿರೀಕ್ಷಿಸಿದರೆ, LocalAI ನಿಮ್ಮ ಲ್ಯಾಪ್ಟಾಪ್ ಅಥವಾ ಸರ್ವರ್ನಲ್ಲಿ ಪ್ಲಗ್-ಹೊಂದಾಣಿಕೆಯ ಸ್ಟ್ಯಾಂಡ್-ಇನ್ ಆಗಲು ಬಯಸುತ್ತದೆ. ಡೆವಲಪರ್ಗಳಿಗಾಗಿ, ಅದು ಒಂದು ಸೂಪರ್ಪವರ್ ಆಗಿರಬಹುದು: ನಿಮ್ಮ ಕೋಡ್ನ ಅರ್ಧದಷ್ಟು ಭಾಗವನ್ನು ಮರುಲೇಖಿಸದೆ ಗೌಪ್ಯತೆ ಮತ್ತು ಪೋರ್ಟಬಿಲಿಟಿ.
ಇದು ಯಾವುದಕ್ಕೆ ಉತ್ತಮವಾಗಿದೆ:
- ಸ್ಥಳೀಯ, ಖಾಸಗಿ API ಅನ್ನು ಬಯಸುವ ಡೆವಲಪರ್ಗಳು "ಕ್ಲೌಡ್ನಂತೆ ಕಾರ್ಯನಿರ್ವಹಿಸುತ್ತದೆ".
- ಸ್ವಯಂ-ಹೋಸ್ಟರ್ಗಳು ಮತ್ತು ಸಣ್ಣ ತಂಡಗಳು.
ಏನು ಗಮನಿಸಬೇಕು:
- ಗ್ರಾಹಕ-ಎದುರಿಸುತ್ತಿರುವ ಅಪ್ಲಿಕೇಶನ್ಗಳಿಗಿಂತ ಹೆಚ್ಚಿನ ಸೆಟಪ್ ಮತ್ತು ನಿರ್ವಹಣೆ ಅಗತ್ಯವಿದೆ.
- Open WebUI (ಮತ್ತು ಅಂತಹುದೇ): ನಿಮ್ಮ ಎಂಜಿನ್ಗಳಿಗೆ ಸ್ನೇಹಪರ ಮುಖ
Ollama ನಂತಹ ಬ್ಯಾಕ್-ಎಂಡ್ ಅನ್ನು Open WebUI ನಂತಹ ಫ್ರಂಟ್-ಎಂಡ್ನೊಂದಿಗೆ ಜೋಡಿಸಿ ಮತ್ತು ನೀವು ಇತಿಹಾಸ, ಫೈಲ್ ಅಪ್ಲೋಡ್ಗಳು ಮತ್ತು ಬಹು-ಮಾದರಿ ಸ್ವಿಚಿಂಗ್ನೊಂದಿಗೆ ಸಂತೋಷಕರ, ಹಂಚಿಕೊಳ್ಳಬಹುದಾದ ಚಾಟ್ ಇಂಟರ್ಫೇಸ್ ಅನ್ನು ಪಡೆದುಕೊಂಡಿದ್ದೀರಿ. ನಿಮ್ಮ ಸ್ಥಳೀಯ AI ಗೆ ಗ್ಯಾರೇಜ್ನಲ್ಲಿ ಹಾಲಿನ ಕ್ರೇಟ್ ಮೇಲೆ ಕೂರಿಸುವ ಬದಲು ಲಿವಿಂಗ್ ರೂಮ್ ನೀಡಿದಂತಿದೆ.
ಇದು ಯಾವುದಕ್ಕೆ ಉತ್ತಮವಾಗಿದೆ:
- ತಂಡಗಳು ಅಥವಾ ಕುಟುಂಬಗಳು ಸ್ವಚ್ಛ, ಬ್ರೌಸರ್ ಆಧಾರಿತ ಚಾಟ್ ಅನ್ನು ಬಯಸುತ್ತವೆ.
- ಒಂದೇ ಇಂಟರ್ಫೇಸ್ನಲ್ಲಿ ಬಹು ಬ್ಯಾಕ್-ಎಂಡ್ ಮಾದರಿಗಳನ್ನು ಕೇಂದ್ರೀಕರಿಸುವುದು.
ಏನು ಗಮನಿಸಬೇಕು:
- ನೀವು ಎರಡು ಲೇಯರ್ಗಳನ್ನು ನಿರ್ವಹಿಸುತ್ತಿದ್ದೀರಿ - ಎಂಜಿನ್ ಮತ್ತು UI.
ನೀವು ಯಾವುದನ್ನು ಆರಿಸಬೇಕು? ಸ್ಥಳೀಯ LLM ಗಳಿಗಾಗಿ ವ್ಯಕ್ತಿತ್ವ ರಸಪ್ರಶ್ನೆ
- "ನಾನು ವೇಗವಾಗಿ ಪ್ರಾರಂಭಿಸಲು ಬಯಸುತ್ತೇನೆ ಮತ್ತು ಕಮಾಂಡ್ ಲೈನ್ ಅನ್ನು ನಾನು ಲೆಕ್ಕಿಸುವುದಿಲ್ಲ." Ollama ಅನ್ನು ಆಯ್ಕೆ ಮಾಡಿ.
- "ದಯವಿಟ್ಟು ನನಗೆ ಬಟನ್ಗಳೊಂದಿಗೆ ಉತ್ತಮ ಅಪ್ಲಿಕೇಶನ್ ನೀಡಿ." LM Studio ಅನ್ನು ಆಯ್ಕೆ ಮಾಡಿ.
- "ನಾನು ಟಿಂಕರ್ ಮಾಡುತ್ತೇನೆ, ಆದ್ದರಿಂದ ನಾನು." Text Generation WebUI ಅನ್ನು ಆಯ್ಕೆ ಮಾಡಿ.
- "ಆಫ್ಲೈನ್, ಖಾಸಗಿ, ಬಂಡಲ್ಡ್." Jan ಅನ್ನು ಆಯ್ಕೆ ಮಾಡಿ.
- "ನಾನು ಅಪ್ಲಿಕೇಶನ್ಗಳನ್ನು ನಿರ್ಮಿಸುತ್ತೇನೆ ಮತ್ತು ನನಗೆ ಸ್ಥಳೀಯ API ಬೇಕು." LocalAI ಅನ್ನು ಆಯ್ಕೆ ಮಾಡಿ.
- "ನನಗೆ ಅಂತಿಮ ನಿಯಂತ್ರಣ ಮತ್ತು ವೇಗ ಗುಬ್ಬಿಗಳು ಬೇಕು." Llama.cpp ಅನ್ನು ನೇರವಾಗಿ ಆಯ್ಕೆ ಮಾಡಿ (ಅಥವಾ ಅದರ ಮೇಲೆ ನಿರ್ಮಿಸಲಾದ ಪರಿಕರಗಳು).
ಕಾರ್ಯಕ್ಷಮತೆ ಮತ್ತು ಹಾರ್ಡ್ವೇರ್ ಕುರಿತು ಒಂದು ತ್ವರಿತ ಮಾತು
ಸ್ಥಳೀಯ ಮಾದರಿಗಳು GPU ಗಳಲ್ಲಿ ವೇಗವಾಗಿ ಚಲಿಸುತ್ತವೆ, ಆದರೆ ಆಧುನಿಕ CPU ಗಳು ಚಿಕ್ಕದಾದ, ಕ್ವಾಂಟೈಸ್ಡ್ ಮಾದರಿಗಳೊಂದಿಗೆ ಆಶ್ಚರ್ಯಕರವಾಗಿ ಉತ್ತಮವಾಗಿ ಕಾರ್ಯನಿರ್ವಹಿಸುತ್ತವೆ. ಅನುವಾದ: ನೀವು Minesweeper ತೀವ್ರವಾಗಿದೆ ಎಂದು ಭಾವಿಸುವ ಫ್ಯಾನ್ಲೆಸ್ ಲ್ಯಾಪ್ಟಾಪ್ ಹೊಂದಿದ್ದರೆ 70B-ಪ್ಯಾರಾಮೀಟರ್ ಬೆಹೆಮೊತ್ ಅನ್ನು ಡೌನ್ಲೋಡ್ ಮಾಡಬೇಡಿ. ಸಾಮಾನ್ಯ ಬರವಣಿಗೆ ಮತ್ತು ಬ್ರೈನ್ಸ್ಟಾರ್ಮಿಂಗ್ಗಾಗಿ 3B–8B ಮಾದರಿಗಳನ್ನು ಪ್ರಯತ್ನಿಸಿ; ನೀವು ಮಧ್ಯಮ ಶ್ರೇಣಿಯ GPU ಹೊಂದಿದ್ದರೆ 13B–14B ಗೆ ಹೆಜ್ಜೆ ಹಾಕಿ; ನಿಮಗೆ ಅದು ಬೇಕು ಎಂದು ನಿಮಗೆ ತಿಳಿದಿದ್ದರೆ ಮಾತ್ರ ದೊಡ್ಡದಾಗಿ ಹೋಗಿ - ಮತ್ತು ನಿಮ್ಮ ವಿದ್ಯುತ್ ಬಿಲ್ ಭಾವನಾತ್ಮಕವಾಗಿ ಸಿದ್ಧವಾಗಿದೆ.
ಸ kontekst ವಿಂಡೋಗಳು (ಮಾದರಿಯು ಎಷ್ಟು ಪಠ್ಯವನ್ನು "ನೆನಪಿಟ್ಟುಕೊಳ್ಳಬಹುದು") ನೀವು ಯೋಚಿಸುವುದಕ್ಕಿಂತ ಹೆಚ್ಚು ಮುಖ್ಯವಾಗಿದೆ. ನೀವು ಡಾಕ್ಯುಮೆಂಟ್ ಪ್ರಶ್ನೋತ್ತರವನ್ನು ಮಾಡುತ್ತಿದ್ದರೆ, ದೀರ್ಘ ಸ kontekst ಅನ್ನು ಕಳುಹಿಸಲು ಅಥವಾ "ಮೊದಲು ಹುಡುಕಿ, ನಂತರ ಉತ್ತರಿಸಿ" ಮಾಡಲು ರಿಟ್ರೈವಲ್-ಆಗ್ಮೆಂಟೆಡ್ ಜನರೇಟಿವ್ (RAG) ಅನ್ನು ಬಳಸಲು ನಿಮಗೆ ಅವಕಾಶ ನೀಡುವ ಮಾದರಿ ಮತ್ತು ಪರಿಕರವನ್ನು ಆಯ್ಕೆ ಮಾಡಿ. ಅನೇಕ ಪರಿಕರಗಳು ಈಗ ಡಾಕ್ಯುಮೆಂಟ್ ಇಂಡೆಕ್ಸಿಂಗ್ನಲ್ಲಿ ಬೇಕ್ ಮಾಡುತ್ತವೆ ಆದ್ದರಿಂದ ನೀವು PDF ಅನ್ನು ಡ್ರಾಪ್ ಮಾಡಬಹುದು ಮತ್ತು "ಈಗ ಮರುಪಾವತಿ ನೀತಿಯು ಯಾವ ಪುಟದಲ್ಲಿ ಅಡಗಿದೆ ಎಂದು ಹೇಳಿ" ಎಂದು ಹೇಳಬಹುದು, ಕಸದ ತೊಟ್ಟಿಯ ಮೂಲಕ ರಾಕೂನ್ನಂತೆ ಸ್ಕ್ರಾಲ್ ಮಾಡದೆಯೇ.
ಗೌಪ್ಯತೆಯ ಬಗ್ಗೆ ಏನು?
ಸ್ಥಳೀಯ LLM ಗಳು ನಿಮ್ಮ ಡೇಟಾವನ್ನು ನಿಮ್ಮ ಸಾಧನದಲ್ಲಿ ಇರಿಸುತ್ತವೆ, ಇದು ಅವುಗಳನ್ನು ಬಳಸಲು ಅರ್ಧ ಕಾರಣವಾಗಿದೆ. ಆದರೆ ನೆನಪಿಡಿ: ಪ್ಲಗಿನ್ಗಳು, ವಿಸ್ತರಣೆಗಳು ಮತ್ತು "ಇಂಟರ್ನೆಟ್ನಿಂದ ಈ ಮಾದರಿಯನ್ನು ಡೌನ್ಲೋಡ್ ಮಾಡಿ" ಇನ್ನೂ... ಇಂಟರ್ನೆಟ್ ಅನ್ನು ಒಳಗೊಂಡಿರುತ್ತದೆ. ನಿಮ್ಮ ಸಿಸ್ಟಮ್ ಅನ್ನು ನವೀಕೃತವಾಗಿರಿಸಿ, ವಿಶ್ವಾಸಾರ್ಹ ಹಬ್ಗಳಿಂದ ಮಾದರಿಗಳನ್ನು ಡೌನ್ಲೋಡ್ ಮಾಡಿ ಮತ್ತು ಸೂಕ್ಷ್ಮ ಫೈಲ್ಗಳನ್ನು ಸೂಕ್ಷ್ಮ ಫೈಲ್ಗಳಂತೆ ಪರಿಗಣಿಸಿ. ಸ್ಥಳೀಯ ಎಂದರೆ ನಿರ್ಲಕ್ಷ್ಯವಲ್ಲ.
ಪಶ್ಚಾತ್ತಾಪವಿಲ್ಲದೆ ಪರ್ಯಾಯಗಳನ್ನು ಹೇಗೆ ಪರೀಕ್ಷಿಸುವುದು
ಕೆಲವನ್ನು ಪ್ರಯತ್ನಿಸಲು ಕಡಿಮೆ-ನಾಟಕೀಯ ಮಾರ್ಗ ಇಲ್ಲಿದೆ:
- LM Studio ನೊಂದಿಗೆ ಪ್ರಾರಂಭಿಸಿ. ಇದು ಸ್ನೇಹಪರವಾಗಿದೆ ಮತ್ತು ನಿಮ್ಮ ಹಾರ್ಡ್ವೇರ್ನಲ್ಲಿ ಮಾದರಿ ಗಾತ್ರಗಳು ಮತ್ತು ವೇಗಗಳ ಬಗ್ಗೆ ನಿಮಗೆ ಒಂದು ಭಾವನೆಯನ್ನು ನೀಡುತ್ತದೆ.
- ಮುಂದೆ Ollama ಅನ್ನು ಸ್ಥಾಪಿಸಿ. ಅದನ್ನು ಹಿನ್ನೆಲೆ ಎಂಜಿನ್ ಆಗಿ ಬಳಸಿ ಮತ್ತು Open WebUI ನಂತಹ ಫ್ರಂಟ್-ಎಂಡ್ ಅನ್ನು ಪ್ರಯತ್ನಿಸಿ.
- ನೀವು ಆಳವಾಗಿ ಹೋಗಲು ಬಯಸಿದರೆ, ಸುಧಾರಿತ ವೈಶಿಷ್ಟ್ಯಗಳು ಮತ್ತು ರೋಲ್-ಪ್ಲೇ ಪ್ರಿಸೆಟ್ಗಳಿಗಾಗಿ Text Generation WebUI ಅನ್ನು ಸ್ಪಿನ್ ಮಾಡಿ.
- "ಆಫ್ಲೈನ್ ಬಂಡಲ್" ನಿಮ್ಮ ಹೃದಯವನ್ನು ಸಂತೋಷಪಡಿಸಿದರೆ, Jan ಅನ್ನು ಪ್ರಯತ್ನಿಸಿ ಮತ್ತು ಅದು ನಿಮ್ಮ ದೈನಂದಿನ ಕಾರ್ಯಗಳನ್ನು ಒಳಗೊಂಡಿದೆಯೇ ಎಂದು ನೋಡಿ.
ಪ್ರತಿ ಪರಿಕರವನ್ನು ಈ ಪ್ರಶ್ನೆಗಳನ್ನು ಕೇಳಿ:
- ಅದು ಮಾದರಿಯನ್ನು ತ್ವರಿತವಾಗಿ ಲೋಡ್ ಮಾಡುತ್ತದೆಯೇ ಮತ್ತು ಚಾಟ್ಗೆ ಸಾಕಷ್ಟು ವೇಗವಾಗಿ ಪ್ರತಿಕ್ರಿಯಿಸುತ್ತದೆಯೇ?
- ಮಾದರಿಗಳನ್ನು ಬದಲಾಯಿಸುವುದು ಮತ್ತು ನಿಮ್ಮ ಚಾಟ್ ಇತಿಹಾಸವನ್ನು ಇಟ್ಟುಕೊಳ್ಳುವುದು ಸುಲಭವೇ?
- ಇದು ನಿಮ್ಮ ದೈನಂದಿನ ಕೆಲಸವನ್ನು ನಿರ್ವಹಿಸಬಲ್ಲುದೇ: ಇಮೇಲ್ಗಳು, ಟಿಪ್ಪಣಿಗಳು, ಕೋಡ್ ತುಣುಕುಗಳು ಅಥವಾ ಡಾಕ್ ಪ್ರಶ್ನೋತ್ತರ?
ಸ್ನೇಹಪರ ವಾಸ್ತವ ತಪಾಸಣೆ: ಸಣ್ಣ ಮಾದರಿಗಳು ವಿರುದ್ಧ ದೊಡ್ಡ ನಿರೀಕ್ಷೆಗಳು
ನಾವು "ಸ್ಥಳೀಯವಾಗಿ ಸಾಕಷ್ಟು ಒಳ್ಳೆಯ" ಸುವರ್ಣ ಯುಗದಲ್ಲಿದ್ದೇವೆ. ಸಣ್ಣ ಮಾದರಿಗಳು ಒಂದು ವರ್ಷದ ಹಿಂದಿಗಿಂತ ಉತ್ತಮವಾಗಿವೆ ಮತ್ತು ಕ್ವಾಂಟೈಸೇಶನ್ ತಂತ್ರಗಳು ಸಾಮಾನ್ಯ ಕಂಪ್ಯೂಟರ್ಗಳಲ್ಲಿ ಅವುಗಳನ್ನು ಚಲಾಯಿಸಲು ನಿಮಗೆ ಅನುವು ಮಾಡಿಕೊಡುತ್ತವೆ. ಆದರೆ 7B ಮಾದರಿಯು ದೋಷರಹಿತ ಕಾನೂನು ಪ್ರಸ್ತಾಪವನ್ನು ಬರೆಯಲು ಅಥವಾ ಉನ್ನತ ದರ್ಜೆಯ ಕ್ಲೌಡ್ ಮಾದರಿಯು ಮಾಡಬಹುದಾದ ಸಾವಿರ-ಸಾಲಿನ ಕೋಡ್ಬೇಸ್ ಅನ್ನು ಡೀಬಗ್ ಮಾಡಲು ಸಾಧ್ಯವಿಲ್ಲ. ನೀವು ಮಿತಿಯನ್ನು ತಲುಪಿದರೆ, ಅದು ನೀವಲ್ಲ - ಇದು ಭೌತಶಾಸ್ತ್ರ, ಗಣಿತ ಮತ್ತು ನಮ್ಮನ್ನು ಹುಬ್ಬೇರಿಸುವ ಥರ್ಮೋಡೈನಾಮಿಕ್ಸ್ನ ಒಂದು ನಿಯಮ.
GPT4All ಈಗ ಎಲ್ಲಿ ಹೊಂದಿಕೊಳ್ಳುತ್ತದೆ?
GPT4All ಅದರ ಸುಲಭವಾದ ಅಪ್ಲಿಕೇಶನ್ ಮತ್ತು ಸ್ಥಳೀಯ ಮಾದರಿ ಕ್ಯಾಟಲಾಗ್ಗೆ ವಿಶೇಷವಾಗಿ ಉತ್ತಮ ಆಯ್ಕೆಯಾಗಿದೆ. ಆದರೆ ನೀವು ಸರಳವಾದ ಎಂಜಿನ್ ನಿರ್ವಹಣೆಯನ್ನು (Ollama), ಹೆಚ್ಚು "ಸ್ಥಳೀಯ ಅಪ್ಲಿಕೇಶನ್" ಭಾವನೆಯನ್ನು (LM Studio), ಗರಿಷ್ಠ ಟಿಂಕರಬಿಲಿಟಿಯನ್ನು (Text Generation WebUI), ಅಥವಾ ಪೂರ್ವ-ಬಂಡಲ್ಡ್ ಆಫ್ಲೈನ್ ವೈಬ್ (Jan) ಅನ್ನು ಬಯಸಿದರೆ, ನೀವು ಮೇಲಿನ ಪರ್ಯಾಯಗಳೊಂದಿಗೆ ಉತ್ತಮ ಹೊಂದಾಣಿಕೆಯನ್ನು ಕಾಣಬಹುದು. ಇತ್ತೀಚಿನ ಸುತ್ತುಗಳು GPT4All ಅನ್ನು ಮಿಶ್ರಣದಲ್ಲಿ ಇರಿಸುವುದನ್ನು ಮುಂದುವರಿಸುತ್ತವೆ - ಕನಿಷ್ಠ ಘರ್ಷಣೆಯನ್ನು ಬಯಸುವ ಹೊಸಬರಿಗೆ ಯಾವಾಗಲೂ ಮೇಲ್ಭಾಗದಲ್ಲಿ ಅಲ್ಲ.
ನೈಜ-ಜೀವನದ ಸನ್ನಿವೇಶಗಳು: ಯಾವ ಪರ್ಯಾಯ ಗೆಲ್ಲುತ್ತದೆ?
- ವಾರಾಂತ್ಯದ ಬರಹಗಾರ: ನೀವು ಬ್ಲಾಗ್ ಪೋಸ್ಟ್ಗಳನ್ನು ರಚಿಸುತ್ತಿದ್ದೀರಿ, ಶೀರ್ಷಿಕೆಗಳನ್ನು ಬ್ರೈನ್ಸ್ಟಾರ್ಮ್ ಮಾಡುತ್ತಿದ್ದೀರಿ ಮತ್ತು ಪ್ಯಾರಾಗ್ರಾಫ್ಗಳನ್ನು ಸ್ನೇಹಪರ ಧ್ವನಿಯಲ್ಲಿ ಪುನಃ ಬರೆಯುತ್ತಿದ್ದೀರಿ. LM Studio ಜೊತೆಗೆ 7B–8B ಮಾದರಿಯು ವೈಬ್ಗಳನ್ನು ಅರ್ಥಮಾಡಿಕೊಳ್ಳುವ ಸೂಪರ್ಚಾರ್ಜ್ಡ್ ಥೆಸಾರಸ್ನಂತೆ ಭಾಸವಾಗುತ್ತದೆ.
- ಗೌಪ್ಯತೆ-ಕೇಂದ್ರಿತ ಸಲಹೆಗಾರ: ನೀವು ಕ್ಲೈಂಟ್ ಡಾಕ್ಸ್ಗಳನ್ನು ಸಾರಾಂಶಗೊಳಿಸುತ್ತೀರಿ ಮತ್ತು ಯಾವುದೇ ಕ್ಲೌಡ್ ಇಲ್ಲದೆ ಪ್ರಸ್ತಾಪಗಳನ್ನು ರಚಿಸುತ್ತೀರಿ. Ollama ಅನ್ನು Open WebUI ಮತ್ತು ರಿಟ್ರೈವಲ್ ಆಡ್-ಆನ್ನೊಂದಿಗೆ ಜೋಡಿಸಿ ಇದರಿಂದ ನೀವು PDF ಗಳನ್ನು ಉಲ್ಲೇಖಿಸಬಹುದು. ನೀವು ರಹಸ್ಯಗಳನ್ನು ಸೋರಿಕೆ ಮಾಡದ ಭೂತ ಬರಹಗಾರರಾಗುತ್ತೀರಿ.
- ಮನೆ ಲ್ಯಾಬ್ ಟಿಂಕರರ್: ಸೃಜನಶೀಲ ಬರವಣಿಗೆಗಾಗಿ ನೀವು ಸ್ಯಾಂಪ್ಲಿಂಗ್ ಪ್ಯಾರಾಮೀಟರ್ಗಳು, ಕ್ಯಾರೆಕ್ಟರ್ ಕಾರ್ಡ್ಗಳು ಮತ್ತು ಗೂಡು ಮಾದರಿಗಳೊಂದಿಗೆ ಪ್ರಯೋಗಿಸುತ್ತೀರಿ. Text Generation WebUI ನಿಮ್ಮ ಆಟದ ಮೈದಾನವಾಗಿದೆ.
- ಡೆವಲಪರ್: ಟೋಕನ್ಗಳನ್ನು ಸುಡದೆ ಅಪ್ಲಿಕೇಶನ್ಗಳನ್ನು ಮೂಲಮಾದರಿ ಮಾಡಲು ನಿಮಗೆ ಸ್ಥಳೀಯ API ಬೇಕು. LocalAI (ಅಥವಾ Ollama ನ API) ಪ್ಲಗ್ ಇನ್ ಆಗುತ್ತದೆ, ನಿಮ್ಮ ಕೋಡ್ ವ್ಯತ್ಯಾಸವನ್ನು ತಿಳಿಯುವುದಿಲ್ಲ ಮತ್ತು ನಿಮ್ಮ ಲ್ಯಾಪ್ಟಾಪ್ ಡೇಟಾ ಸೆಂಟರ್ ಆಗಿ ಕಾಸ್ಪ್ಲೇ ಆಗುತ್ತದೆ.
- ಪ್ರಯಾಣಿಕ: ನೀವು Wi‑Fi ಇಲ್ಲದೆ ವಿಮಾನದಲ್ಲಿರುತ್ತೀರಿ ಆದರೆ ನಿಮಗೆ ಇನ್ನೂ ಬರವಣಿಗೆ ಸ್ನೇಹಿತ ಬೇಕು. Jan ನಿಮ್ಮ ಕ್ಯಾರಿ-ಆನ್ ಸಹಾಯಕ.
ತೊಂದರೆ ನಿವಾರಣೆ ಮೂಲೆ: ವಿಷಯಗಳು ಸಿಟ್ಟಾಗುವಾಗ
- ಇದು ನಿಧಾನವಾಗಿದೆ: ಚಿಕ್ಕದಾದ, ಹೆಚ್ಚು ಆಕ್ರಮಣಕಾರಿಯಾಗಿ ಕ್ವಾಂಟೈಸ್ಡ್ ಮಾದರಿಯನ್ನು (Q4_K_M ನಂತಹ) ಪ್ರಯತ್ನಿಸಿ. ಸ kontekst ಉದ್ದವನ್ನು ಕಡಿಮೆ ಮಾಡಿ. ಮೆಮೊರಿ-ಹಾಗ್ ಅಪ್ಲಿಕೇಶನ್ಗಳನ್ನು ಮುಚ್ಚಿ. ನೀವು ಪ್ರತ್ಯೇಕ GPU ಹೊಂದಿದ್ದರೆ, ಪರಿಕರವು ಅದನ್ನು ನಿಜವಾಗಿ ಬಳಸುತ್ತಿದೆಯೇ ಎಂದು ಖಚಿತಪಡಿಸಿಕೊಳ್ಳಿ.
- ಇದು ಮರೆವುಳ್ಳದ್ದಾಗಿದೆ: ನಿಮ್ಮ RAM ಅನುಮತಿಸಿದರೆ ಸ kontekst ವಿಂಡೋವನ್ನು ಹೆಚ್ಚಿಸಿ. ಅಥವಾ RAG ವರ್ಕ್ಫ್ಲೋ ಅನ್ನು ಹೊಂದಿಸಿ ಆದ್ದರಿಂದ ಮಾದರಿಯು ನಿಮ್ಮ ಫೈಲ್ಗಳಿಂದ ಸತ್ಯಗಳನ್ನು "ಹುಡುಕಬಹುದು".
- ಇದು ಸಪ್ಪೆಯಾಗಿದೆ: ಸಿಸ್ಟಮ್ ಪ್ರಾಂಪ್ಟ್ಗಳು ಮತ್ತು ಉದಾಹರಣೆಗಳನ್ನು ಬಳಸಿ. ನೀವು ಇಷ್ಟಪಡುವ ಪ್ಯಾರಾಗ್ರಾಫ್ ಅನ್ನು ತೋರಿಸಿ ಮತ್ತು "ಇದರ ಬಗ್ಗೆ ಬರೆಯಿರಿ, ಆದರೆ .
- ಮಾದರಿಗಳನ್ನು ಸ್ಥಳೀಯವಾಗಿ ಚಲಾಯಿಸಲು ಉತ್ತಮ ಪರಿಕರಗಳ ಒಂದು ವಿಶಾಲ ನೋಟ - LM Studio, Jan, Llamafile, GPT4All, Ollama, ಮತ್ತು Llama.cpp.
FAQ
Q1:ಹರಿಕಾರರಿಗೆ ಉತ್ತಮ GPT4All ಪರ್ಯಾಯಗಳು ಯಾವುವು?
ಸ್ನೇಹಪರ, ಅಪ್ಲಿಕೇಶನ್ ತರಹದ ಅನುಭವಕ್ಕಾಗಿ LM Studio ನೊಂದಿಗೆ ಪ್ರಾರಂಭಿಸಿ, ನಂತರ ನೀವು ಸುಲಭವಾದ ಮಾದರಿ ಸ್ವಿಚಿಂಗ್ ಮತ್ತು ಸಂಯೋಜನೆಗಳನ್ನು ಬಯಸಿದರೆ Ollama ಅನ್ನು ಸೇರಿಸಿ. ನೀವು ಬಹಳಷ್ಟು ವೈಶಿಷ್ಟ್ಯಗಳೊಂದಿಗೆ ವೆಬ್ UI ಅನ್ನು ಇಷ್ಟಪಟ್ಟರೆ, Text Generation WebUI ಟಿಂಕರರ್ನ ನೆಚ್ಚಿನದು.
Q2:ವಿಶಿಷ್ಟ ಲ್ಯಾಪ್ಟಾಪ್ನಲ್ಲಿ ಯಾವ GPT4All ಪರ್ಯಾಯವು ವೇಗವಾಗಿದೆ?
ವೇಗವು ನಿಮ್ಮ ಹಾರ್ಡ್ವೇರ್ ಮತ್ತು ಮಾದರಿ ಗಾತ್ರವನ್ನು ಅವಲಂಬಿಸಿರುತ್ತದೆ. Ollama ಜೊತೆಗೆ ಉತ್ತಮವಾಗಿ ಕ್ವಾಂಟೈಸ್ಡ್ 7B–8B ಮಾದರಿ (ಅಥವಾ LM Studio ಅದೇ ಚಾಲನೆಯಲ್ಲಿರುವುದು) ಸಾಮಾನ್ಯವಾಗಿ ಚುರುಕಾಗಿ ಭಾಸವಾಗುತ್ತದೆ; ಲಭ್ಯವಿದ್ದರೆ ನಿಮ್ಮ GPU ಅನ್ನು ಬಳಸಿ ಮತ್ತು ಸ kontekst ಉದ್ದವನ್ನು ಸಮಂಜಸವಾಗಿ ಇರಿಸಿ.
Q3:GPT4All ಅನ್ನು ಬದಲಿಸಲು ಸರಳವಾದ ಆಫ್ಲೈನ್ ಸೆಟಪ್ ಯಾವುದು?
ಆಲ್-ಇನ್-ಒನ್, ಆಫ್ಲೈನ್-ಸ್ನೇಹಿ ಅನುಭವಕ್ಕಾಗಿ Jan ಅನ್ನು ಪ್ರಯತ್ನಿಸಿ. ನೀವು ಸಂಕೀರ್ಣತೆ ಇಲ್ಲದೆ ಸ್ವಲ್ಪ ಹೆಚ್ಚು ನಮ್ಯತೆಯನ್ನು ಬಯಸಿದರೆ, LM Studio ಒಂದು ನಿಕಟ ಸೆಕೆಂಡು.
Q4:GPT4All ಪರ್ಯಾಯಗಳು ಖಾಸಗಿ ಡಾಕ್ಯುಮೆಂಟ್ ಪ್ರಶ್ನೋತ್ತರವನ್ನು ನಿಭಾಯಿಸಬಲ್ಲವೇ?
ಹೌದು - ರಿಟ್ರೈವಲ್-ಆಗ್ಮೆಂಟೆಡ್ ಜನರೇಟಿವ್ (RAG) ಅಥವಾ ದೀರ್ಘ ಸ kontekst ವಿಂಡೋಗಳನ್ನು ಬೆಂಬಲಿಸುವ ಪರಿಕರವನ್ನು ಬಳಸಿ. ನಿಮ್ಮ PDF ಗಳನ್ನು ಸುರಕ್ಷಿತವಾಗಿ ಪ್ರಶ್ನಿಸಲು Ollama ಅಥವಾ LM Studio ಅನ್ನು ವೆಬ್ UI (Open WebUI ನಂತಹ) ಮತ್ತು RAG ಪ್ಲಗಿನ್ನೊಂದಿಗೆ ಜೋಡಿಸಿ.
Q5:ನಾನು ಸ್ಥಳೀಯ LLM ಗಳನ್ನು ಅಥವಾ Sider.AI ನಂತಹ ಬ್ರೌಸರ್ ಸಹಾಯಕರನ್ನು ಬಳಸಬೇಕೇ?
ಅದು ಅರ್ಥಪೂರ್ಣವಾದಾಗ ಎರಡನ್ನೂ ಬಳಸಿ: ಗೌಪ್ಯತೆ ಮತ್ತು ಆಫ್ಲೈನ್ ಕೆಲಸಕ್ಕಾಗಿ ಸ್ಥಳೀಯ LLM ಗಳು ಮತ್ತು ನೀವು ಪುಟಗಳನ್ನು ಬ್ರೌಸ್ ಮಾಡುವಾಗ, ಸಾರಾಂಶಗೊಳಿಸುವಾಗ ಅಥವಾ ಉತ್ತರಗಳನ್ನು ರಚಿಸುವಾಗ Sider.AI. ಇದು ಕಾರ್ಯಕ್ಕಾಗಿ ಸರಿಯಾದ ಪರಿಕರವನ್ನು ಆರಿಸುವುದರ ಬಗ್ಗೆ, ಒಂದೇ ವಿಜೇತರನ್ನು ಆಯ್ಕೆ ಮಾಡುವುದರ ಬಗ್ಗೆ ಅಲ್ಲ. 
