ಚಿಕ್ಕ ವ್ಯಂಗ್ಯಚಿತ್ರವಿಲ್ಲದೆ IKEA ಪೀಠೋಪಕರಣಗಳನ್ನು ಜೋಡಿಸಲು ಎಂದಾದರೂ ಪ್ರಯತ್ನಿಸಿದ್ದೀರಾ? ಸ್ಥಳೀಯ AI ಮಾದರಿಗಳನ್ನು ತಿರುಗಿಸುವುದು ಹಾಗೆ ಅನಿಸಬಹುದು. ಬಹಳಷ್ಟು ಭಾಗಗಳು, ರಹಸ್ಯ ಹೆಸರುಗಳು ಮತ್ತು "LLM ರನ್ಟೈಮ್" ಎಂದು ಲೇಬಲ್ ಮಾಡಲಾದ ಸ್ಕ್ರೂ ಅನ್ನು ನೀವು ತಪ್ಪಿಸಿಕೊಂಡಿದ್ದೀರಿ ಎಂಬ ಭಯ. Ollama ನಮೂದಿಸಿ. ಇದು ನಿಮ್ಮ ಸ್ವಂತ ಯಂತ್ರದಲ್ಲಿ ದೊಡ್ಡ ಭಾಷಾ ಮಾದರಿಗಳನ್ನು ಚಲಾಯಿಸಲು ಅಲೆನ್ ವ್ರೆಂಚ್ ಆಗಿದೆ - ವೇಗವಾಗಿ, ಖಾಸಗಿಯಾಗಿ ಮತ್ತು ಆಶ್ಚರ್ಯಕರವಾಗಿ ಹಿಂಸೆ ಸಾಧನವಲ್ಲ.
ಈ ಮಾರ್ಗದರ್ಶಿಯಲ್ಲಿ, ನಾವು Ollama ವನ್ನು ನಿಜವಾಗಿ ಬಳಸಲಿದ್ದೇವೆ. ಅದರ ಬಗ್ಗೆ ಓದುವುದಲ್ಲ. ನಾವು ಅದನ್ನು ಡೌನ್ಲೋಡ್ ಮಾಡುತ್ತೇವೆ, ಮಾದರಿಯನ್ನು ಚಲಾಯಿಸುತ್ತೇವೆ, ಅದನ್ನು ಕಸ್ಟಮೈಸ್ ಮಾಡುತ್ತೇವೆ, ಅದನ್ನು ನಿಮ್ಮ ನೆಚ್ಚಿನ ಪರಿಕರಗಳಿಗೆ ಪೈಪ್ ಮಾಡುತ್ತೇವೆ, "ನನ್ನ ಫ್ಯಾನ್ ಏಕೆ ಕಿರುಚುತ್ತಿದೆ?" ಎಂಬ ಕ್ಷಣವನ್ನು ಸರಿಪಡಿಸುತ್ತೇವೆ ಮತ್ತು ಕೆಲಸ ಮಾಡಲು ನೀವು ನಿಜವಾಗಿ ನಂಬಬಹುದಾದ ಸೆಟಪ್ನೊಂದಿಗೆ ಹೊರನಡೆಯುತ್ತೇವೆ. ಹೌದು, ಆಫ್ಲೈನ್ನಲ್ಲಿಯೂ ಸಹ. ಹೌದು, ವಿಮಾನದಲ್ಲಿಯೂ ಸಹ. ಇಲ್ಲ, ನಿಮಗೆ Ph.D. ಅಥವಾ ಸರ್ವರ್ ಫಾರ್ಮ್ ಅಗತ್ಯವಿಲ್ಲ.
ನಿಮ್ಮ ಲ್ಯಾಪ್ಟಾಪ್ ಅಥವಾ ನಿಮ್ಮ ವಿವೇಕವನ್ನು ಹಾಳು ಮಾಡದೆಯೇ Ollama ವನ್ನು ವೃತ್ತಿಪರರಂತೆ ಬಳಸುವುದು ಹೇಗೆ ಎಂಬುದು ಇಲ್ಲಿದೆ.
Ollama ಎಂದರೇನು (ಮತ್ತು ನೀವು ಏಕೆ ಕಾಳಜಿ ವಹಿಸಬೇಕು)?
Ollama ದೊಡ್ಡ ಭಾಷಾ ಮಾದರಿಗಳನ್ನು (LLM ಗಳು) ಸ್ಥಳೀಯವಾಗಿ ಚಲಾಯಿಸಲು ಒಂದು ಹಗುರವಾದ ಮಾರ್ಗವಾಗಿದೆ. ChatGPT ಯಂತೆ ಯೋಚಿಸಿ, ಆದರೆ ಮಾದರಿಯು ನಿಮ್ಮ ಕಂಪ್ಯೂಟರ್ನಲ್ಲಿ ವಾಸಿಸುತ್ತದೆ. ಅನುಕೂಲಗಳು:
- ಗೌಪ್ಯತೆ: ನಿಮ್ಮ ಡೇಟಾ ನಿಮ್ಮ ಯಂತ್ರದಲ್ಲಿಯೇ ಇರುತ್ತದೆ. ಯಾವುದೇ ರಹಸ್ಯ ಕ್ಲೌಡ್ ಟ್ರಿಪ್ ಇಲ್ಲ.
- ವೇಗ: ಸರ್ವರ್ಗಾಗಿ ಕಾಯುವ ಅಗತ್ಯವಿಲ್ಲ. ಇದು ನಿಮ್ಮ CPU/GPU ಹೊಳೆಯುವ ಸಮಯ.
- ನಿಯಂತ್ರಣ: ಮಾದರಿ, ಆವೃತ್ತಿ, ಗಾತ್ರ ಮತ್ತು ನಡವಳಿಕೆಯನ್ನು ಆಯ್ಕೆಮಾಡಿ.
ನೀವು ಎಂದಾದರೂ, "ನಾನು ನನ್ನ ವೈಯಕ್ತಿಕ ಟಿಪ್ಪಣಿಗಳನ್ನು ನೆಪ್ಚೂನ್ಗೆ ಕಳುಹಿಸದೆ AI ಅನ್ನು ಪ್ರಶ್ನಿಸಲು ಸಾಧ್ಯವಾದರೆ ಚೆನ್ನಾಗಿರುತ್ತದೆ" ಎಂದು ಯೋಚಿಸಿದ್ದರೆ, ಇದು ನಿಮಗಾಗಿ.
Ollama ವನ್ನು ಬಳಸಲು ತ್ವರಿತ ಮಾರ್ಗ
ನೀವು ಹೇಗೆ ಮಾಡಬೇಕೆಂದು ತಿಳಿಯಲು ಬಂದಿದ್ದೀರಿ. ಅದನ್ನು ಹೇಗೆ ಮಾಡಬೇಕೆಂದು ನೋಡೋಣ.
ಹಂತ 1: Ollama ವನ್ನು ಸ್ಥಾಪಿಸಿ
- macOS: ಅಧಿಕೃತ ಸೈಟ್ನಿಂದ ಅನುಸ್ಥಾಪಕವನ್ನು ಬಳಸಿ ಅಥವಾ
brew install --cask ollama ನಿಮಗೆ ಶಕ್ತಿಯುತವಾಗಿರಲು ಇಷ್ಟವಿದ್ದರೆ.
- Windows: ಅನುಸ್ಥಾಪಕವನ್ನು ಪಡೆದುಕೊಳ್ಳಿ. ಇದು ಸಾಮಾನ್ಯ ಸೆಟಪ್ - ಮುಂದೆ, ಮುಂದೆ, ಸ್ಥಾಪಿಸಿ.
- Linux: ಅಧಿಕೃತ ಸ್ಕ್ರಿಪ್ಟ್ ಮೂಲಕ ಒಂದು-ಲೈನರ್. 30 ಸೆಕೆಂಡುಗಳ ಕಾಲ ನಿಮ್ಮ ಒಳಗಿನ ಸಿಸ್ಅಡ್ಮಿನ್ ಅನ್ನು ಚಾನಲ್ ಮಾಡಿ.
ಒಮ್ಮೆ ಸ್ಥಾಪಿಸಿದ ನಂತರ, Ollama ಸ್ಥಳೀಯ ಸೇವೆಯನ್ನು ಚಲಾಯಿಸುತ್ತದೆ. ನೀವು ಟರ್ಮಿನಲ್, ಪವರ್ಶೆಲ್ ಅಥವಾ ಅದರೊಂದಿಗೆ ಸಂಯೋಜಿಸುವ ಇತರ ಅಪ್ಲಿಕೇಶನ್ಗಳ ಮೂಲಕ ಅದರೊಂದಿಗೆ ಮಾತನಾಡುತ್ತೀರಿ.
ಹಂತ 2: ನಿಮ್ಮ ಮೊದಲ ಮಾದರಿಯನ್ನು ಎಳೆಯಿರಿ
ನಿಮ್ಮ ಟರ್ಮಿನಲ್ನಲ್ಲಿ:
ಮೊದಲ ಬಾರಿಗೆ, Ollama ಮಾದರಿಯ ತೂಕವನ್ನು ಡೌನ್ಲೋಡ್ ಮಾಡುತ್ತದೆ. ದೊಡ್ಡ Netflix ಚಲನಚಿತ್ರವನ್ನು ಸಂಗ್ರಹಿಸುವಂತೆ ಯೋಚಿಸಿ. ಅದರ ನಂತರ, ಅದು ತಕ್ಷಣವೇ ಆಗುತ್ತದೆ. ನೀವು ಟೈಪ್ ಮಾಡಲು ಮತ್ತು ಚಾಟ್ ಮಾಡಲು ಸಾಧ್ಯವಾಗುವ ಪ್ರಾಂಪ್ಟ್ ಅನ್ನು ನೀವು ಪಡೆಯುತ್ತೀರಿ.
ಪರೀಕ್ಷೆಯನ್ನು ಪ್ರಯತ್ನಿಸಿ: "ಪೆಂಗ್ವಿನ್ಗಳ ಕುರಿತು ವಿಕಿಪೀಡಿಯಾದ ನಮೂದಿನ 2-ವಾಕ್ಯಗಳ ಸಾರಾಂಶವನ್ನು ಬರೆಯಿರಿ - ಯಾವುದೇ ಅನಗತ್ಯ ವಿಷಯವಿಲ್ಲದೆ." ಅದು ಪೆಂಗ್ವಿನ್ TED ಟಾಕ್ನೊಂದಿಗೆ ಉತ್ತರಿಸಿದರೆ, ಅದು ಜೀವಂತವಾಗಿದೆ ಎಂದು ನಿಮಗೆ ತಿಳಿದಿದೆ.
ಹಂತ 3: ನಿಮ್ಮ ಪ್ಲೇಪಟ್ಟಿಗಳನ್ನು ಬದಲಾಯಿಸುವಂತೆ ಮಾದರಿಗಳನ್ನು ಬದಲಾಯಿಸಿ
ನೀವು ಪ್ರಯತ್ನಿಸಬಹುದಾದ ಜನಪ್ರಿಯ ಮಾದರಿಗಳು:
ಪ್ರತಿಯೊಂದೂ ವಿಭಿನ್ನ ಸಾಮರ್ಥ್ಯಗಳನ್ನು ಹೊಂದಿದೆ. ಮಿಸ್ಟ್ರಲ್ ತಕ್ಷಣಕ್ಕೆ ಲಭ್ಯವಿದೆ. Llama 3.1 ಉತ್ತಮವಾಗಿದೆ. Phi ಹಗುರವಾಗಿದೆ ಮತ್ತು ಅದರ ಗಾತ್ರಕ್ಕೆ ಆಶ್ಚರ್ಯಕರವಾಗಿ ಚುರುಕಾಗಿದೆ. ನೀವು ನಿರ್ದಿಷ್ಟ ಟ್ಯಾಗ್ಗಳನ್ನು ಎಳೆಯಬಹುದು, ಉದಾಹರಣೆಗೆ, llama3:8b-instruct ಅಥವಾ ಸಣ್ಣ ಪ್ರಮಾಣೀಕೃತ ರೂಪಾಂತರಗಳು.
ಪ್ರೊ ಸಲಹೆ: ಮೊದಲೇ ಡೌನ್ಲೋಡ್ ಮಾಡಲು ollama pull <model> ಬಳಸಿ. ನೀವು ಏನನ್ನು ಹೊಂದಿದ್ದೀರಿ ಎಂಬುದನ್ನು ನೋಡಲು ollama list ಬಳಸಿ ಮತ್ತು ನಿಮ್ಮ SSD ಅಳುತ್ತಿದ್ದರೆ ollama rm <model> ಬಳಸಿ.
ಹಂತ 4: ಸಾಮಾಜಿಕ ಕೌಶಲ್ಯಗಳನ್ನು ಹೊಂದಿರುವ ಹ್ಯಾಕರ್ನಂತೆ ಟರ್ಮಿನಲ್ನಿಂದ ಚಾಟ್ ಮಾಡಿ
- ಸೆಷನ್ ಅನ್ನು ಪ್ರಾರಂಭಿಸಿ:
ollama run llama3
- ಸಿಸ್ಟಮ್ ಸಂದೇಶವನ್ನು ನೀಡಿ:
ollama run llama3 --system "ನೀವು ಸಂಕ್ಷಿಪ್ತ ಕೋಡಿಂಗ್ ಸಹಾಯಕರಾಗಿದ್ದೀರಿ."
- ಚಾಟ್ ಮೋಡ್ ಅನ್ನು ಪ್ರವೇಶಿಸದೆ ಒಂದು-ಬಾರಿ ಪ್ರಾಂಪ್ಟ್ ನೀಡಿ:
ollama run llama3 -p "ಕುಬರ್ನೆಟಿಸ್ ಅನ್ನು ನಾನು ಐದು ವರ್ಷ ವಯಸ್ಸಿನವನಾಗಿದ್ದಂತೆ ವಿವರಿಸಿ."
ನೀವು ಮಾಂತ್ರಿಕನಂತೆ ಮಾತನಾಡಲು ಪ್ರಾರಂಭಿಸುತ್ತೀರಿ. ಸಭ್ಯ ಮಾಂತ್ರಿಕ.
ಹಂತ 5: ನಿಮ್ಮ ನೆಚ್ಚಿನ ಅಪ್ಲಿಕೇಶನ್ಗಳೊಂದಿಗೆ Ollama ಬಳಸಿ
Ollama ವನ್ನು ಹೇಗೆ ಬಳಸುವುದು ವಿನೋದಮಯವಾಗಿರುತ್ತದೆ. Ollama HTTP ಯಲ್ಲಿ ಮಾತನಾಡುತ್ತದೆ. ಅಂದರೆ ಬಹಳಷ್ಟು ಪರಿಕರಗಳು ಅದರೊಂದಿಗೆ ಮಾತನಾಡಬಹುದು.
- ಸ್ಥಳೀಯ ವೆಬ್ UI ಗಳು: ಅನೇಕ AI ಚಾಟ್ UI ಗಳು ನಿಮ್ಮ Ollama ಎಂಡ್ಪಾಯಿಂಟ್ಗೆ ಸಂಪರ್ಕಿಸಬಹುದು. ನೀವು ಸುಂದರವಾದ ವಿಂಡೋ, ಪ್ರತ್ಯೇಕ ಚಾಟ್ಗಳು ಮತ್ತು ಇತಿಹಾಸವನ್ನು ಪಡೆಯುತ್ತೀರಿ.
- ಕೋಡ್ ಸಂಪಾದಕಗಳು: VS ಕೋಡ್ಗಾಗಿ ವಿಸ್ತರಣೆಗಳು ನಿಮ್ಮ ಪ್ರಾಂಪ್ಟ್ಗಳನ್ನು Ollama ಗೆ ರೂಟ್ ಮಾಡಬಹುದು - ಇನ್ಲೈನ್ ಕೋಡ್ ವಿವರಣೆಗಳು, ರಿಫ್ಯಾಕ್ಟರ್ಗಳು ಮತ್ತು ಪರೀಕ್ಷೆಗಳು.
- ಟಿಪ್ಪಣಿ ಅಪ್ಲಿಕೇಶನ್ಗಳು: ಕೆಲವು ಸಾರಾಂಶಗಳು ಮತ್ತು ಬ್ರೈನ್ಸ್ಟಾರ್ಮಿಂಗ್ಗಾಗಿ ಸ್ಥಳೀಯ ಮಾದರಿಗೆ ಸಂಪರ್ಕಿಸಲು ನಿಮಗೆ ಅವಕಾಶ ಮಾಡಿಕೊಡುತ್ತವೆ. ಸಭೆಯ ಟಿಪ್ಪಣಿಗಳು ಎಲ್ಲಿಗಾದರೂ ಹೋಗಲು ಪರಿಪೂರ್ಣ.
ಗಮನಿಸಿ: ನಿಮಗೆ ಸೂಪರ್ ಕ್ಲೀನ್, ಬ್ರೌಸರ್ ಆಧಾರಿತ ಚಾಟ್ ಮತ್ತು ಸಂಶೋಧನಾ ಕಾರ್ಯವಿಧಾನ ಬೇಕಾದರೆ, ಗಮನಿಸಬೇಕಾದ ಅಂಶವೆಂದರೆ - Sider.AI ಸ್ಥಳೀಯ ಮತ್ತು ಕ್ಲೌಡ್ ಮಾದರಿಗಳಿಗೆ ಸಂಪರ್ಕಿಸಬಹುದು, ಚಾಟ್ಗಳನ್ನು ಆಯೋಜಿಸಬಹುದು ಮತ್ತು ಪಕ್ಕ-ಪಕ್ಕದಲ್ಲಿ ಪ್ರಾಂಪ್ಟ್ಗಳನ್ನು ಪರೀಕ್ಷಿಸಲು ನಿಮಗೆ ಸಹಾಯ ಮಾಡುತ್ತದೆ. ನಾನು "ಮಾದರಿ A ಚುರುಕಾಗಿದೆ" ಮತ್ತು "ಮಾದರಿ B ವೇಗವಾಗಿದೆ" ಎಂದು ಬೇರ್ಪಡಿಸಿದಾಗ, ಅದು ನನ್ನನ್ನು ಪ್ರಾಮಾಣಿಕವಾಗಿರಿಸುತ್ತದೆ. ಆರಂಭಿಕರ ನೀಲನಕ್ಷೆ: Ollama ದೊಂದಿಗೆ ನಿಮ್ಮ ಮೊದಲ ಉತ್ಪಾದಕ ಗಂಟೆ
ನೀವು 60 ನಿಮಿಷಗಳನ್ನು ಹೊಂದಿದ್ದೀರಿ. "ಹ್ಮ್?" ಅನ್ನು "ಖಂಡಿತ ಹೌದು" ಆಗಿ ಪರಿವರ್ತಿಸೋಣ.
- Ollama ವನ್ನು ಸ್ಥಾಪಿಸಿ. ಕಾಫಿ ಹೀರಿ. ಮುಗಿಯಿತು.
llama3:8b-instruct ಅನ್ನು ಎಳೆಯಿರಿ. ಇದು ಹೆಚ್ಚಿನ ಲ್ಯಾಪ್ಟಾಪ್ಗಳಲ್ಲಿ ಗುಣಮಟ್ಟ ಮತ್ತು ವೇಗಕ್ಕೆ ಉತ್ತಮ ತಾಣವಾಗಿದೆ.
- ನಿಮ್ಮ ಕೆಲಸಕ್ಕೆ ಸರಿಹೊಂದುವ ಸಿಸ್ಟಮ್ ಪ್ರಾಂಪ್ಟ್ ಅನ್ನು ರಚಿಸಿ: "ನೀವು ನನ್ನ ಸಂಶೋಧನಾ ಸಹಾಯಕರು. ಯಾವಾಗಲೂ ಮೂಲಗಳನ್ನು ಮತ್ತು ಬುಲೆಟ್ ಪಾಯಿಂಟ್ಗಳನ್ನು ನೀಡಿ. ನಾನು ಹೇಳದ ಹೊರತು ಉತ್ತರಗಳನ್ನು 200 ಪದಗಳಿಗಿಂತ ಕಡಿಮೆ ಇರಿಸಿ."
- ನೀವು ನಿಜವಾಗಿ ಮಾಡುವ ಮೂರು ಕಾರ್ಯಗಳನ್ನು ಪರೀಕ್ಷಿಸಿ:
- ಲೇಖನದ ಅಂಟಿಸುವಿಕೆಯನ್ನು 250 ಪದಗಳಿಗಿಂತ ಕಡಿಮೆ ಅವಧಿಯಲ್ಲಿ ಸಾರಾಂಶಗೊಳಿಸಿ.
- ನಿಮ್ಮ ಸುದ್ದಿಪತ್ರಕ್ಕಾಗಿ 10 ಶೀರ್ಷಿಕೆ ಆಲೋಚನೆಗಳನ್ನು ಬ್ರೈನ್ಸ್ಟಾರ್ಮ್ ಮಾಡಿ.
- ಸಭೆಯ ಟಿಪ್ಪಣಿಗಳನ್ನು ಮಾಲೀಕರು ಮತ್ತು ದಿನಾಂಕಗಳೊಂದಿಗೆ ಕ್ರಿಯಾ ಯೋಜನೆಗಳಾಗಿ ಪರಿವರ್ತಿಸಿ.
- ನೀವು ಇಷ್ಟಪಡುವ ಪ್ರಾಂಪ್ಟ್ಗಳನ್ನು ಉಳಿಸಿ. ಅವುಗಳನ್ನು ಮರುಬಳಕೆ ಮಾಡಿ. ಇದು ನೀವು AI ನೊಂದಿಗೆ ಆಟವಾಡುವುದರಿಂದ ಅದನ್ನು ನಿಜವಾಗಿ ಬಳಸುವವರೆಗೆ ಹೋಗುವುದು ಹೇಗೆ.
ಬೋನಸ್: ನೀವು ಕೋಡ್ ಬರೆದರೆ, codellama ಅಥವಾ ಕೋಡ್-ಟ್ಯೂನ್ಡ್ ಮಾದರಿಯನ್ನು ಎಳೆಯಿರಿ ಮತ್ತು ನಿಮ್ಮ ಕಾರ್ಯಕ್ಕೆ ಅದನ್ನು ಫೀಡ್ ಮಾಡಿ. ಪರೀಕ್ಷೆಗಳು, ರಿಫ್ಯಾಕ್ಟರ್ಗಳು ಅಥವಾ ಡಾಕ್ಸ್ಸ್ಟ್ರಿಂಗ್ಗಳನ್ನು ಕೇಳಿ. ನೀವು 30% ಚುರುಕಾಗಿ ಅನುಭವಿಸುವಿರಿ, ಇದು ಸ್ಥಳೀಯ AI ಗಾಗಿ ಕಾನೂನುಬದ್ಧ ಮಿತಿಯಾಗಿದೆ.
ಸರಿಯಾದ ಮಾದರಿಯನ್ನು ಹೇಗೆ ಆರಿಸುವುದು (ತಲೆನೋವು ಇಲ್ಲದೆ)
ಮಾದರಿಯನ್ನು ಆಯ್ಕೆ ಮಾಡುವುದು ಸ್ಟ್ರೀಮಿಂಗ್ ಯೋಜನೆಯನ್ನು ಆಯ್ಕೆ ಮಾಡುವಂತಿದೆ: ನಿಮಗೆ ಅಗತ್ಯವಿಲ್ಲದ ವಸ್ತುಗಳಿಗೆ ನೀವು ಸಂಪೂರ್ಣವಾಗಿ ಹೆಚ್ಚು ಪಾವತಿಸಬಹುದು.
- ಬರವಣಿಗೆ ಮತ್ತು ಬ್ರೈನ್ಸ್ಟಾರ್ಮಿಂಗ್:
llama3 ಅಥವಾ mistral ಉತ್ತಮವಾಗಿವೆ.
- ಸೂಪರ್ ಹಗುರವಾದ ಲ್ಯಾಪ್ಟಾಪ್ಗಳು:
phi3 ಅಥವಾ ದೊಡ್ಡ ಮಾದರಿಗಳ ಸಣ್ಣ ಪ್ರಮಾಣೀಕೃತ ಆವೃತ್ತಿಗಳನ್ನು ಪ್ರಯತ್ನಿಸಿ.
- ಕೋಡಿಂಗ್ ಸಹಾಯ:
codellama, deepseek coder, ಅಥವಾ ಕೋಡ್-ಆಪ್ಟಿಮೈಸ್ಡ್ ರೂಪಾಂತರ.
- ಬಹುಭಾಷಾ:
qwen ಕುಟುಂಬಗಳು ಘನ ಬಹುಭಾಷಾ ಕೆಲಸವನ್ನು ಮಾಡುತ್ತವೆ.
- ದೀರ್ಘ ಸಂದರ್ಭ: ನೀವು ದೊಡ್ಡ ಡಾಕ್ಸ್ಗಳನ್ನು ಫೀಡ್ ಮಾಡಿದರೆ ದೊಡ್ಡ ಸಂದರ್ಭ ವಿಂಡೋಗಳೊಂದಿಗೆ ಲೇಬಲ್ ಮಾಡಲಾದ ಮಾದರಿಗಳನ್ನು ನೋಡಿ.
ಪ್ರತಿ ಬಾರಿ ನೀವು ಪ್ರಾಂಪ್ಟ್ ಮಾಡಿದಾಗ ನಿಮ್ಮ ಫ್ಯಾನ್ ಹೆಲಿಕಾಪ್ಟರ್ ಆಗಿ ಬದಲಾದರೆ, ಮಾದರಿಯ ಗಾತ್ರವನ್ನು ಕಡಿಮೆ ಮಾಡಿ ಅಥವಾ ಹೆಚ್ಚು ಆಕ್ರಮಣಕಾರಿ ಪ್ರಮಾಣೀಕರಣವನ್ನು ಪ್ರಯತ್ನಿಸಿ.
ರಹಸ್ಯ ಸಾಸ್: ಮಾಡೆಲ್ಫೈಲ್ಗಳು ಮತ್ತು ಕಸ್ಟಮ್ ನಡವಳಿಕೆಗಳು
ಇಲ್ಲಿ Ollama ಆಶ್ಚರ್ಯಕರವಾಗಿ ಆಹ್ಲಾದಕರವಾಗಿರುತ್ತದೆ. ನಿಮ್ಮ ಮಾದರಿಯನ್ನು ಅದರ ವ್ಯಕ್ತಿತ್ವ ಮತ್ತು ಡೀಫಾಲ್ಟ್ಗಳೊಂದಿಗೆ ವ್ಯಾಖ್ಯಾನಿಸುವ ಮಾಡೆಲ್ಫೈಲ್ - ಮೂಲತಃ ಒಂದು ಪಾಕವಿಧಾನವನ್ನು ನೀವು ರಚಿಸಬಹುದು.
ಉದಾಹರಣೆ ಮಾಡೆಲ್ಫೈಲ್ (ಸೈದ್ಧಾಂತಿಕ):
FROM llama3:8b-instruct
SYSTEM "ನೀವು ಗರಿಗರಿಯಾದ, ಸ್ನೇಹಪರ ಸಹಾಯಕರಾಗಿದ್ದೀರಿ. ಬುಲೆಟ್ ಪಾಯಿಂಟ್ಗಳು ಮತ್ತು ಸಣ್ಣ ವಾಕ್ಯಗಳನ್ನು ಬಳಸಿ."
PARAMETER temperature 0.5
ಅದನ್ನು ಫೋಲ್ಡರ್ನಲ್ಲಿ ಮಾಡೆಲ್ಫೈಲ್ ಎಂದು ಉಳಿಸಿ, ನಂತರ ರನ್ ಮಾಡಿ:
ollama create crisp-assistant -f Modelfile
ollama run crisp-assistant
ಈಗ ನೀವು ಎಲ್ಲೆಡೆ ಮರು-ಬಳಸಬಹುದಾದ ಕಸ್ಟಮ್ ಸಹಾಯಕನನ್ನು ಹೊಂದಿದ್ದೀರಿ. ಇದು ನಿಮ್ಮ ಸ್ವಂತ ಖಾಸಗಿ ChatGPT ಸುವಾಸನೆಯನ್ನು ತಯಾರಿಸುವಂತಿದೆ - ವೆನಿಲ್ಲಾ, ಎಸ್ಪ್ರೆಸೊ ಶಾಟ್ಗಳೊಂದಿಗೆ.
ನನಗೆ JSON ಬಗ್ಗೆ ಮಾತನಾಡಿ: Ollama ನ HTTP API ಅನ್ನು ಬಳಸುವುದು
ನೀವು ಸೌಮ್ಯವಾದ ಡೆವಲಪರ್ ಪ್ರವೃತ್ತಿಗಳನ್ನು ಹೊಂದಿದ್ದರೂ ಸಹ, API ನಿಮಗೆ ನಗುವಂತೆ ಮಾಡುತ್ತದೆ.
- ಎಂಡ್ಪಾಯಿಂಟ್: ಪಠ್ಯ ಉತ್ಪಾದನೆಗಾಗಿ `.
model, prompt ಮತ್ತು ಐಚ್ಛಿಕ stream ನೊಂದಿಗೆ JSON ಪೇಲೋಡ್ ಅನ್ನು ಕಳುಹಿಸಿ.
- ನೀವು ಟೋಕನ್ಗಳನ್ನು ಸ್ಟ್ರೀಮ್ನಲ್ಲಿ ಹಿಂತಿರುಗಿಸುತ್ತೀರಿ. ಇದು ನೈಜ ಸಮಯದಲ್ಲಿ ಕಾದಂಬರಿಯನ್ನು ಓದುವಂತೆ ಭಾಸವಾಗುತ್ತದೆ, ಒಂದು ಸಮಯದಲ್ಲಿ ಒಂದು ಪಾತ್ರದಂತೆ.
API ಅನ್ನು ಏಕೆ ಬಳಸಬೇಕು?
- ಸುದ್ದಿಪತ್ರ ಸಾರಾಂಶಗಳನ್ನು ಸ್ವಯಂಚಾಲಿತಗೊಳಿಸಿ.
- ನಿಮ್ಮ ಡಾಕ್ಸ್ಗಳಲ್ಲಿ ಚಾಟ್ಬಾಟ್ ಅನ್ನು ನಿರ್ಮಿಸಿ.
- ಉತ್ಪನ್ನ ವಿವರಣೆಗಳನ್ನು ಬೃಹತ್ ಪ್ರಮಾಣದಲ್ಲಿ ಪುನಃ ಬರೆಯಲು ಸ್ಕ್ರಿಪ್ಟ್ಗಳನ್ನು ರಚಿಸಿ. (ಅವುಗಳನ್ನು ಸುಧಾರಣೆಯನ್ನು ಒಮ್ಮೆ ತೆಗೆದುಕೊಂಡ ರೋಬೋಟ್ನಂತೆ ಕೇಳುವಂತೆ ಮಾಡಬೇಡಿ.)
ನಿಮ್ಮ ಸ್ವಂತ ಫೈಲ್ಗಳೊಂದಿಗೆ Ollama ಅನ್ನು ಹೇಗೆ ಬಳಸುವುದು (ಕೋಪವಿಲ್ಲದೆ RAG)
RAG - ರಿಟ್ರೈವಲ್-ಆಗ್ಮೆಂಟೆಡ್ ಜನರೇಷನ್ - ನಿಮ್ಮ ಫೈಲ್ಗಳನ್ನು ಮಾದರಿಗೆ ಫೀಡ್ ಮಾಡುತ್ತದೆ ಆದ್ದರಿಂದ ಅದು ನಿಮ್ಮ ವಿಷಯದಿಂದ ಸತ್ಯಗಳೊಂದಿಗೆ ಉತ್ತರಿಸುತ್ತದೆ, ಅದರ ಮಸುಕಾದ ಸ್ಮರಣೆಯಿಂದ ಅಲ್ಲ.
ಮೂಲ ಮಾರ್ಗ:
- ನಿಮ್ಮ ಡಾಕ್ಸ್ಗಳನ್ನು ಇಂಡೆಕ್ಸ್ ಮಾಡಲು ಸ್ಥಳೀಯ ಎಂಬೆಡಿಂಗ್ ಪರಿಕರವನ್ನು ಬಳಸಿ.
- ಪ್ರತಿ ಪ್ರಶ್ನೆಯಲ್ಲಿ, ಉನ್ನತ ಭಾಗಗಳಿಗಾಗಿ ಹುಡುಕಿ.
- Ollama ಗೆ ನಿಮ್ಮ ಪ್ರಾಂಪ್ಟ್ನಲ್ಲಿ ಅತ್ಯಂತ ಸೂಕ್ತವಾದ ಪಠ್ಯವನ್ನು ಸಂದರ್ಭವಾಗಿ ಕಳುಹಿಸಿ.
ಇದನ್ನು AI ಗಾಗಿ ತೆರೆದ ಪುಸ್ತಕ ಪರೀಕ್ಷೆಯಂತೆ ಯೋಚಿಸಿ. ಇದು ನಿಮ್ಮ ಉದ್ಯೋಗಿ ಕೈಪಿಡಿಯನ್ನು "ನೆನಪಿಟ್ಟುಕೊಳ್ಳುವ" ಅಗತ್ಯವಿಲ್ಲ - ಅದು ಅದನ್ನು ಉಲ್ಲೇಖಿಸಬೇಕಾಗಿದೆ.
ಪ್ರೊ ಮೂವ್: ನಿಮ್ಮ ಭಾಗಗಳನ್ನು ಚಿಕ್ಕದಾಗಿ ಇರಿಸಿ (200-600 ಪದಗಳು), ಶೀರ್ಷಿಕೆಗಳನ್ನು ಸೇರಿಸಿ ಮತ್ತು ಮೂಲ ಲಿಂಕ್ಗಳನ್ನು ಪ್ರಾಂಪ್ಟ್ನಲ್ಲಿ ಸೇರಿಸಿ ಇದರಿಂದ ಮಾದರಿಯು ಉಲ್ಲೇಖಿಸಲು ಕಲಿಯುತ್ತದೆ.
ಕಾರ್ಯಕ್ಷಮತೆ ಟ್ಯೂನಿಂಗ್: Ollama ಅನ್ನು ಹಾರುವಂತೆ ಮಾಡಿ (ನಿಮ್ಮ ಮೇಜನ್ನು ಕರಗಿಸದೆ)
- ಪ್ರಮಾಣೀಕರಣ ಮುಖ್ಯವಾಗಿದೆ: Q4 ಚಿಕ್ಕದಾಗಿದೆ/ವೇಗವಾಗಿದೆ, Q8 ದೊಡ್ಡದಾಗಿದೆ/ಚುರುಕಾಗಿದೆ. ಚಿಕ್ಕದಾಗಿ ಪ್ರಾರಂಭಿಸಿ, ಮೇಲಕ್ಕೆ ಸರಿಸಿ.
- ಲಭ್ಯವಿದ್ದರೆ GPU ಬಳಸಿ: Apple ಸಿಲಿಕಾನ್ ಉತ್ತಮವಾಗಿ ಕಾರ್ಯನಿರ್ವಹಿಸುತ್ತದೆ. ಹೊಸ NVIDIA ಕಾರ್ಡ್ಗಳು? ಬಾಣಸಿಗನ ಚುಂಬನ.
- ತಾಪಮಾನ: ನಿಖರವಾದ ಉತ್ತರಗಳಿಗಾಗಿ ಕಡಿಮೆ (0.2-0.5); ಸೃಜನಶೀಲ ಗೊಂದಲಕ್ಕಾಗಿ ಹೆಚ್ಚು (0.8+).
- ಗರಿಷ್ಠ ಟೋಕನ್ಗಳು: ನಿಮಗೆ ನಿಜವಾಗಿಯೂ ಅಗತ್ಯವಿಲ್ಲದ ಹೊರತು 3,000-ಪದಗಳ ಕಾದಂಬರಿಯನ್ನು ಕೇಳಬೇಡಿ. ನಿಮ್ಮ ಲ್ಯಾಪ್ಟಾಪ್ ಬದುಕಲು ಬಯಸುತ್ತದೆ.
ಪ್ರತಿಕ್ರಿಯೆಗಳು ನಿಧಾನಗತಿಯಲ್ಲಿವೆ ಎಂದು ಭಾವಿಸಿದರೆ:
- ಸಣ್ಣ ಮಾದರಿಯನ್ನು ಪ್ರಯತ್ನಿಸಿ.
- Chrome ಟ್ಯಾಬ್ಗಳನ್ನು ಮುಚ್ಚಿ. ಹೌದು, ಎಲ್ಲಾ 47.
- ಹಿನ್ನೆಲೆ ಸಿಂಕ್ ಅಪ್ಲಿಕೇಶನ್ಗಳನ್ನು ತಾತ್ಕಾಲಿಕವಾಗಿ ನಿಷ್ಕ್ರಿಯಗೊಳಿಸಿ.
ಭದ್ರತೆ ಮತ್ತು ಗೌಪ್ಯತೆ: ಜನರು Ollama ವನ್ನು ಬಳಸಲು ನಿಜವಾದ ಕಾರಣ
ಸ್ಥಳೀಯ ಎಂದರೆ ಸ್ಥಳೀಯ. ಆದರೆ ಸೋಮಾರಿಯಾಗಬೇಡಿ.
- ಸೂಕ್ಷ್ಮ ಡೇಟಾ: ನೀವು ಕ್ಲೌಡ್ಗಿಂತ ಸುರಕ್ಷಿತರಾಗಿದ್ದೀರಿ, ಆದರೆ ನಿಮ್ಮ ಡ್ರೈವ್ ಅನ್ನು ಎನ್ಕ್ರಿಪ್ಟ್ ಮಾಡಿ ಮತ್ತು ಸುರಕ್ಷಿತವಾಗಿ ಬ್ಯಾಕಪ್ ಮಾಡಿ.
- ಮಾದರಿ ಮೂಲಗಳು: ವಿಶ್ವಾಸಾರ್ಹ ರೆಪೊಗಳಿಂದ ಎಳೆಯಿರಿ. ಮಾದರಿ ವಿವರಣೆಯನ್ನು ಕೀಬೋರ್ಡ್ನಲ್ಲಿ ನಡೆಯುತ್ತಿರುವ ಬೆಕ್ಕಿನಿಂದ ಬರೆಯಲ್ಪಟ್ಟಂತೆ ಕಾಣುತ್ತಿದ್ದರೆ, ಬಹುಶಃ ಅದನ್ನು ಬಿಟ್ಟುಬಿಡಿ.
- ನೆಟ್ವರ್ಕ್ ಪ್ರವೇಶ: Ollama ಸ್ಥಳೀಯವಾಗಿ ಚಲಿಸುತ್ತದೆ; ನೀವು ಏನು ಮಾಡುತ್ತಿದ್ದೀರಿ ಎಂದು ನಿಮಗೆ ತಿಳಿದಿಲ್ಲದ ಹೊರತು ಸಾರ್ವಜನಿಕ ನೆಟ್ವರ್ಕ್ಗಳಲ್ಲಿ ಪೋರ್ಟ್ ಅನ್ನು ಬಹಿರಂಗಪಡಿಸಬೇಡಿ.
ನಿಮ್ಮ ವಾಡಿಕೆಯ ಕೆಲಸಗಳು ನೀವು ನಿಜವಾಗಿ ಬಳಸುತ್ತೀರಿ
"ವಾಹ್ ಅಚ್ಚುಕಟ್ಟು" ಎನ್ನುವುದು "ನಾನು ಇದನ್ನು ಪ್ರತಿದಿನ ಬಳಸುತ್ತೇನೆ" ಎಂಬುದಕ್ಕೆ ಸಮಾನವಲ್ಲ. ನೈಜ ಜೀವನದಲ್ಲಿ Ollama ಅನ್ನು ಹೇಗೆ ಬಳಸುವುದು ಎಂಬುದು ಇಲ್ಲಿದೆ:
- ಸಭೆ ಕ್ಲೀನರ್: ಟಿಪ್ಪಣಿಗಳನ್ನು ಅಂಟಿಸಿ, ವ್ಯಕ್ತಿಯಿಂದ ಕ್ರಿಯಾ ಯೋಜನೆಗಳನ್ನು ಕೇಳಿ ಮತ್ತು ಅನುಸರಣಾ ಇಮೇಲ್ ಡ್ರಾಫ್ಟ್ ಅನ್ನು ವಿನಂತಿಸಿ.
- ಸಂಶೋಧನಾ ಸ್ನೇಹಿತ: ಲೇಖನವನ್ನು ಅಂಟಿಸಿ. ಪ್ರತಿವಾದವನ್ನು ಕೇಳಿ, ಹಕ್ಕುಗಳನ್ನು ಮೌಲ್ಯೀಕರಿಸಲು 3 ಮೂಲಗಳು ಮತ್ತು 60-ಸೆಕೆಂಡುಗಳ ಸಾರಾಂಶ.
- ಕೋಡಿಂಗ್ ಕೋಪೈಲಟ್: ಡಾಕ್ಸ್ಸ್ಟ್ರಿಂಗ್ಗಳು, ಪರೀಕ್ಷೆಗಳು ಅಥವಾ ಸುರಕ್ಷಿತ ರೆಜೆಕ್ಸ್ ಅನ್ನು ಕೇಳಿ. ಬದಲಾವಣೆಯನ್ನು ಸರಳ ಇಂಗ್ಲಿಷ್ನಲ್ಲಿ ನಿಮಗೆ ವಿವರಿಸುವಂತೆ ಮಾಡಿ.
- ಬರವಣಿಗೆ ಸ್ಪ್ರಿಂಟ್: ಮೊದಲು ರೂಪರೇಖೆಯನ್ನು ಮಾಡಿ, ನಂತರ ವಿಸ್ತರಿಸಿ, ನಂತರ ಟೋನ್ ಅನ್ನು ಬಿಗಿಗೊಳಿಸಿ. ನಿಮ್ಮ ಧ್ವನಿಯನ್ನು ವ್ಯಾಖ್ಯಾನಿಸುವ ಸಿಸ್ಟಮ್ ಸಂದೇಶವನ್ನು ಇರಿಸಿ.
- ಕಲಿಕೆ: ನನ್ನ ತಾಳ್ಮೆಯ ಹಿರಿಯ ಸೋದರಸಂಬಂಧಿಯಂತೆ ನನಗೆ SSH ಅನ್ನು ಕಲಿಸಿ. ನಂತರ ನನ್ನನ್ನು ಪ್ರಶ್ನಿಸಿ.
ಗಮನಿಸಿ: ನೀವು ಇವೆಲ್ಲವನ್ನೂ ಒಂದೇ ಸ್ಥಳದಲ್ಲಿ ಇರಿಸಿಕೊಳ್ಳಲು ಇಷ್ಟಪಟ್ಟರೆ - ಚಾಟ್ ಹಿಸ್ಟರಿಗಳು, ಪಕ್ಕ-ಪಕ್ಕದ ಮಾದರಿ ಪರೀಕ್ಷೆಗಳು ಮತ್ತು ತ್ವರಿತ ವೆಬ್ ಲುಕಪ್ಗಳು - Sider.AI ಸ್ಥಳೀಯ ಮಾದರಿಗಳೊಂದಿಗೆ ಉತ್ತಮವಾಗಿ ಕಾರ್ಯನಿರ್ವಹಿಸುತ್ತದೆ ಮತ್ತು ನಿಮಗೆ ಸ್ವಚ್ಛವಾದ ಕಾಕ್ಪಿಟ್ ಅನ್ನು ನೀಡುತ್ತದೆ. ಇದು ನಿಮ್ಮ ಪ್ರಾಂಪ್ಟ್ಗಳಿಗಾಗಿ ಮಿಷನ್ ಕಂಟ್ರೋಲ್ನಂತಿದೆ. ನಿವಾರಣೆ: Ollama ಮೂಡಿ ಆದಾಗ
- "ಮಾದರಿ ಕಂಡುಬಂದಿಲ್ಲ." ನೀವು ಅದನ್ನು ಇನ್ನೂ ಎಳೆದಿಲ್ಲ.
ollama pull <model>.
- "ಮೆಮೊರಿ ಇಲ್ಲ." ಸಣ್ಣ ಪ್ರಮಾಣೀಕರಣ ಅಥವಾ ಮಾದರಿಯ ಗಾತ್ರವನ್ನು ಬಳಸಿ.
- "ಇದು ತುಂಬಾ ನಿಧಾನವಾಗಿದೆ, ನನ್ನ ಲ್ಯಾಪ್ಟಾಪ್ ವಯಸ್ಸಾಗುತ್ತಿರುವುದನ್ನು ನಾನು ಕೇಳಬಲ್ಲೆ." ಗರಿಷ್ಠ ಟೋಕನ್ಗಳನ್ನು ಕಡಿಮೆ ಮಾಡಿ, ಮಾದರಿಗಳನ್ನು ಬದಲಾಯಿಸಿ ಅಥವಾ GPU ವೇಗವರ್ಧನೆಯನ್ನು ಬಳಸಿ.
- "ಉತ್ತರಗಳು ತುಂಬಾ ಅಸ್ಪಷ್ಟವಾಗಿವೆ." ತಾಪಮಾನವನ್ನು ಕಡಿಮೆ ಮಾಡಿ ಮತ್ತು ನಿಮ್ಮ ಪ್ರಾಂಪ್ಟ್ಗೆ ಉದಾಹರಣೆಗಳನ್ನು ಸೇರಿಸಿ.
- "ಇದು ನನ್ನ ಸೂಚನೆಗಳನ್ನು ನಿರ್ಲಕ್ಷಿಸುತ್ತಲೇ ಇದೆ." ನಿಯಮಗಳನ್ನು ಸಿಸ್ಟಮ್ ಪ್ರಾಂಪ್ಟ್ನಲ್ಲಿ ಇರಿಸಿ, ಕೇವಲ ಬಳಕೆದಾರರ ಪ್ರಾಂಪ್ಟ್ನಲ್ಲಿ ಅಲ್ಲ.
ಪ್ರೊ ಸಲಹೆ: ಕೆಲಸ ಮಾಡುವ ಪ್ರಾಂಪ್ಟ್ಗಳನ್ನು ಉಳಿಸಿ. ಉತ್ತಮ ಪ್ರಾಂಪ್ಟ್ಗಳು ಉತ್ತಮ ಕಾಫಿ ಪಾಕವಿಧಾನಗಳಂತಿವೆ. ಭವಿಷ್ಯದ ನೀವು ಹಿಂದಿನ ನಿಮಗೆ ಧನ್ಯವಾದಗಳನ್ನು ಹೇಳುತ್ತೀರಿ.
ಸುಧಾರಿತ ಮೂವ್ಗಳು: ಬಹು-ಮಾದರಿ, ಪರಿಕರಗಳು ಮತ್ತು ಯಾಂತ್ರೀಕೃತಗೊಂಡ
- ಚೈನ್-ಆಫ್-ಥಾಟ್ ಲೈಟ್: ಉತ್ತರಿಸುವ ಮೊದಲು ಹಂತಗಳನ್ನು ಪಟ್ಟಿ ಮಾಡಲು ಅದನ್ನು ಕೇಳಿ. "ಮೊದಲು ರೂಪರೇಖೆಯನ್ನು ಮಾಡಿ, ನಂತರ ಪ್ಯಾರಾಗ್ರಾಫ್ನಿಂದ ಪ್ಯಾರಾಗ್ರಾಫ್ ಬರೆಯಿರಿ."
- ಬಹು-ಮಾದರಿ ಕಾರ್ಯವಿಧಾನ: ಸೃಜನಶೀಲ ಮಾದರಿಯೊಂದಿಗೆ ಬ್ರೈನ್ಸ್ಟಾರ್ಮ್ ಮಾಡಿ, ನಿಖರವಾದ ಒಂದರೊಂದಿಗೆ ಪರಿಶೀಲಿಸಿ. ಬಡ್ಡಿ ಕಾಪ್ ಚಲನಚಿತ್ರದ ಬಗ್ಗೆ ಯೋಚಿಸಿ.
- ಪರಿಕರ ಬಳಕೆ: ಸ್ಕ್ರಿಪ್ಟ್ಗಳ ಮೂಲಕ Ollama ಸುತ್ತಲೂ ವೆಬ್ ಹುಡುಕಾಟಗಳು, ಕ್ಯಾಲ್ಕುಲೇಟರ್ಗಳು ಅಥವಾ ಕೋಡ್ ಕಾರ್ಯಗತಗೊಳಿಸುವಿಕೆಯನ್ನು ಸುತ್ತು ಮಾಡಿ. ಯಾವ ಪರಿಕರವನ್ನು ಕರೆಯಬೇಕೆಂದು ಮಾದರಿಗೆ ನಿರ್ಧರಿಸಲು ಬಿಡಿ, ಆದರೆ ಔಟ್ಪುಟ್ಗಳನ್ನು ಮೌಲ್ಯೀಕರಿಸಿ.
- ಬ್ಯಾಚ್ ಉದ್ಯೋಗಗಳು: ಉತ್ಪನ್ನ ವಿವರಣೆಗಳ CSV ಅನ್ನು API ಅನ್ನು ಕರೆಯುವ ಮತ್ತು ಫಲಿತಾಂಶಗಳನ್ನು ಮತ್ತೆ ಬರೆಯುವ ಸ್ಕ್ರಿಪ್ಟ್ಗೆ ಪೈಪ್ ಮಾಡಿ. ಕಾಫಿ, ರನ್, ಮುಗಿದಿದೆ.
ತಂಡಗಳಲ್ಲಿ Ollama ವನ್ನು ಸುರಕ್ಷಿತವಾಗಿ ಹೇಗೆ ಬಳಸುವುದು
ನೀವು ಅನಧಿಕೃತ IT ವ್ಯಕ್ತಿಯಾಗಿದ್ದರೆ (ಕ್ಷಮಿಸಿ), ಗಾರ್ಡ್ರೈಲ್ಗಳನ್ನು ಹೊಂದಿಸಿ:
- ಕೆಲವು ಅನುಮೋದಿತ ಮಾದರಿಗಳಲ್ಲಿ ಪ್ರಮಾಣೀಕರಿಸಿ.
- ತಂಡದ ಧ್ವನಿ ಮತ್ತು ಫಾರ್ಮ್ಯಾಟಿಂಗ್ಗಾಗಿ ಮಾಡೆಲ್ಫೈಲ್ ಅನ್ನು ಹಂಚಿಕೊಳ್ಳಿ.
- ಪುನರಾವರ್ತಿತ ಕಾರ್ಯಗಳಿಗಾಗಿ ಪ್ರಾಂಪ್ಟ್ ಲೈಬ್ರರಿಯನ್ನು ಇರಿಸಿ.
- ಕೆಲವು ಕಾರ್ಯವಿಧಾನಗಳಿಗಾಗಿ ಇನ್ಪುಟ್/ಔಟ್ಪುಟ್ ಅನ್ನು ಲಾಗ್ ಮಾಡಿ - ಸ್ಥಳೀಯವಾಗಿ - ಆದ್ದರಿಂದ ನೀವು ಜನರ ಮೇಲೆ ಕ್ರೀಪ್ ಮಾಡದೆಯೇ ಗುಣಮಟ್ಟವನ್ನು ಪರಿಶೀಲಿಸಬಹುದು.
"ನನಗೆ ಕ್ಲೌಡ್ ಅಗತ್ಯವಿದೆಯೇ?" ಪ್ರಶ್ನೆ
ಕೆಲವೊಮ್ಮೆ ಹೌದು. ನಿಮಗೆ ದೈತ್ಯ-ಸಂದರ್ಭ ಸಂಶೋಧನೆ, ರಕ್ತಸ್ರಾವ-ಅಂಚಿನ ತಾರ್ಕಿಕ ಕ್ರಿಯೆ ಅಥವಾ ಬಹು-ಮಾದರಿಯ ಮ್ಯಾಜಿಕ್ ಅಗತ್ಯವಿದ್ದರೆ, ಕ್ಲೌಡ್ ಮಾದರಿಯು ಇನ್ನೂ ಗೆಲ್ಲಬಹುದು. ಹೈಬ್ರಿಡ್ ಮೂವ್ ಸ್ಮಾರ್ಟ್ ಆಗಿದೆ:
- ಡ್ರಾಫ್ಟ್ಗಳು, ಖಾಸಗಿ ಡಾಕ್ಸ್ಗಳು ಮತ್ತು ತ್ವರಿತ ಪುನರಾವರ್ತನೆಗಾಗಿ Ollama ವನ್ನು ಸ್ಥಳೀಯವಾಗಿ ಬಳಸಿ.
- ಸಂಕೀರ್ಣ ತಾರ್ಕಿಕ ಕ್ರಿಯೆ ಅಥವಾ ದೊಡ್ಡ ಇನ್ಪುಟ್ಗಳಿಗಾಗಿ ಕ್ಲೌಡ್ ಮಾದರಿಯನ್ನು ಬಳಸಿ.
- ನೀವು ವೈಬ್ಗಳೊಂದಿಗೆ ಅಲ್ಲ, ನಿಮ್ಮ ಕಣ್ಣುಗಳಿಂದ ಆಯ್ಕೆ ಮಾಡುತ್ತಿರುವಿರಿ ಆದ್ದರಿಂದ ಫಲಿತಾಂಶಗಳನ್ನು ಒಂದೇ ಇಂಟರ್ಫೇಸ್ನಲ್ಲಿ ಹೋಲಿಕೆ ಮಾಡಿ.
ಗಮನಿಸಬೇಕಾದ ಅಂಶವೆಂದರೆ: Sider.AI ಆ ಹೋಲಿಕೆಯನ್ನು ನೋವುರಹಿತವಾಗಿಸುತ್ತದೆ. ನೀವು ಸ್ಥಳೀಯ Ollama ಮತ್ತು ಕ್ಲೌಡ್ ಮಾದರಿಗೆ ಅದೇ ಪ್ರಾಂಪ್ಟ್ ಅನ್ನು ರೂಟ್ ಮಾಡಬಹುದು, ನಂತರ ಉತ್ತಮ ಪ್ರತಿಕ್ರಿಯೆಯನ್ನು ಆಯ್ಕೆ ಮಾಡಬಹುದು ಅಥವಾ ಅವುಗಳನ್ನು ವಿಲೀನಗೊಳಿಸಬಹುದು. ಇದು ಎರಡು ಕಾಫಿಗಳನ್ನು ರುಚಿ ನೋಡುವಂತಿದೆ ಮತ್ತು ನೀವು ಅವುಗಳನ್ನು ಬೆರೆಸಬಹುದು ಎಂದು ಅರಿತುಕೊಳ್ಳುವಂತಿದೆ. ಕಚೇರಿ Ollama ಪಿಸುಮಾತಗಾರರಾಗಲು ನಿಮ್ಮ ಒಂದು ವಾರದ ಯೋಜನೆ
ದಿನ 1: ಸ್ಥಾಪಿಸಿ, llama3 ಅನ್ನು ಎಳೆಯಿರಿ, ಸಿಸ್ಟಮ್ ಪ್ರಾಂಪ್ಟ್ ಅನ್ನು ಹೊಂದಿಸಿ.
ದಿನ 2: ನಿಮ್ಮ ಟೋನ್ಗಾಗಿ ಮಾಡೆಲ್ಫೈಲ್ ಅನ್ನು ನಿರ್ಮಿಸಿ. ಎರಡು ಮಾದರಿಗಳನ್ನು ಪ್ರಯತ್ನಿಸಿ ಮತ್ತು ವ್ಯತ್ಯಾಸಗಳನ್ನು ಗಮನಿಸಿ.
ದಿನ 3: ಟಿಪ್ಪಣಿ ಅಥವಾ ಕೋಡಿಂಗ್ ಪರಿಕರವನ್ನು Ollama ಗೆ ವೈರ್ ಮಾಡಿ.
ದಿನ 4: ಕೆಲವು PDF ಗಳೊಂದಿಗೆ ಸಣ್ಣ RAG ಮೂಲಮಾದರಿಯನ್ನು ರಚಿಸಿ.
ದಿನ 5: API ಯೊಂದಿಗೆ ಒಂದು ಬೇಸರದ ಕಾರ್ಯವನ್ನು ಸ್ವಯಂಚಾಲಿತಗೊಳಿಸಿ.
ದಿನ 6: ನಿಮ್ಮ ತಂಡದೊಂದಿಗೆ ಪ್ರಾಂಪ್ಟ್ ಲೈಬ್ರರಿಯನ್ನು ಹಂಚಿಕೊಳ್ಳಿ.
ದಿನ 7: ಕೆಲಸ ಮಾಡಿದದನ್ನು ಪರಿಶೀಲಿಸಿ, ಕೆಲಸ ಮಾಡದದನ್ನು ಕತ್ತರಿಸಿ ಮತ್ತು ಡೀಫಾಲ್ಟ್ಗಳನ್ನು ಹೊಂದಿಸಿ.
ಆ ಸಮಯದಲ್ಲಿ ನೀವು Ollama ಅನ್ನು ಹೇಗೆ ಬಳಸುವುದು ಎಂದು ನಿಮಗೆ ತಿಳಿದಿರುವುದಿಲ್ಲ - ನೀವು ಅದರ ಬಗ್ಗೆ ಯೋಚಿಸದೆ ಅದನ್ನು ಬಳಸುತ್ತೀರಿ, ಇದು ನಾವು ಇಟ್ಟುಕೊಳ್ಳುವ ಪರಿಕರಗಳ ಸಂಪೂರ್ಣ ಅಂಶವಾಗಿದೆ.
ಬಾಟಮ್ ಲೈನ್
Ollama ವನ್ನು ಹೇಗೆ ಬಳಸುವುದು ಮೂರು ವಿಷಯಗಳಿಗೆ ಬರುತ್ತದೆ:
- ಪ್ರಾರಂಭಿಸಲು ಅದನ್ನು ಸ್ಥಳೀಯವಾಗಿ ಮತ್ತು ಸರಳವಾಗಿ ಇರಿಸಿ. ಒಂದು ಮಾದರಿಯನ್ನು ಎಳೆಯಿರಿ, ಮೂರು ನೈಜ ಕಾರ್ಯಗಳನ್ನು ಮಾಡಿ.
- ಸಿಸ್ಟಮ್ ಪ್ರಾಂಪ್ಟ್ಗಳು ಮತ್ತು ಮಾಡೆಲ್ಫೈಲ್ಗಳೊಂದಿಗೆ ನಡವಳಿಕೆಯನ್ನು ಕಸ್ಟಮೈಸ್ ಮಾಡಿ ಇದರಿಂದ ಅದು ನಿಮ್ಮ ಮೆದುಳಿಗೆ ಸರಿಹೊಂದುತ್ತದೆ, ಬೇರೆ ರೀತಿಯಲ್ಲಿ ಅಲ್ಲ.
- ನೀವು ಕೆಲಸ ಮಾಡುವಲ್ಲಿ ಅದನ್ನು ಸಂಯೋಜಿಸಿ - ಸಂಪಾದಕ, ಬ್ರೌಸರ್, ಟಿಪ್ಪಣಿಗಳು - ಆದ್ದರಿಂದ ಅದು ನೀವು ಮರೆತುಹೋಗುವ ಮತ್ತೊಂದು ಟ್ಯಾಬ್ ಅಲ್ಲ.
Ollama ನಿಮ್ಮ ಲ್ಯಾಪ್ಟಾಪ್ ಅನ್ನು ಮಾಂತ್ರಿಕವಾಗಿಸುವುದಿಲ್ಲ. ಇದು ಅದನ್ನು ನಿಮ್ಮದಾಗಿಸುತ್ತದೆ. ಮತ್ತು ಪ್ರತಿಯೊಂದು ಅಪ್ಲಿಕೇಶನ್ ನಿಮ್ಮ ಡೇಟಾವನ್ನು ಬೇರೆಯವರ ಸರ್ವರ್ಗೆ ಸಾಗಿಸಲು ಪ್ರಯತ್ನಿಸುವ ಜಗತ್ತಿನಲ್ಲಿ, ಅದು ಸಾಕಷ್ಟು ರಿಫ್ರೆಶ್ ನವೀಕರಣವಾಗಿದೆ.
ಈಗ ನಿಮ್ಮ ಸ್ಥಳೀಯ AI ಅನ್ನು ಉತ್ತಮವಾದ ಔಟ್-ಆಫ್-ಆಫೀಸ್ ಸಂದೇಶವನ್ನು ಬರೆಯಲು ಕೇಳಿ. ಮತ್ತು ಬಹುಶಃ ನಿಜವಾಗಿಯೂ ದಿನ ರಜೆ ತೆಗೆದುಕೊಳ್ಳಲು ನಿಮಗೆ ನೆನಪಿಸಲು.
FAQ
Q1: Ollama ನೊಂದಿಗೆ ಪ್ರಾರಂಭಿಸಲು ಸುಲಭವಾದ ಮಾರ್ಗ ಯಾವುದು?
ಅದನ್ನು ಸ್ಥಾಪಿಸಿ, llama3:8b-instruct ನಂತಹ ಸ್ನೇಹಪರ ಮಾದರಿಯನ್ನು ಎಳೆಯಿರಿ ಮತ್ತು ಕೆಲವು ನೈಜ ಕಾರ್ಯಗಳನ್ನು ಚಲಾಯಿಸಿ - ಸಾರಾಂಶಗಳು, ರೂಪರೇಖೆಗಳು ಅಥವಾ ಇಮೇಲ್ ಡ್ರಾಫ್ಟ್ಗಳು. ಸ್ಪಷ್ಟ, ಊಹಿಸಬಹುದಾದ ಉತ್ತರಗಳಿಗಾಗಿ ತಾಪಮಾನವನ್ನು ಕಡಿಮೆ ಇರಿಸಿ ಮತ್ತು ಉತ್ತಮವಾಗಿ ಕಾರ್ಯನಿರ್ವಹಿಸುವ ಯಾವುದೇ ಪ್ರಾಂಪ್ಟ್ಗಳನ್ನು ಉಳಿಸಿ.
Q2: ಬರವಣಿಗೆ ಮತ್ತು ಕೋಡಿಂಗ್ಗಾಗಿ ನಾನು Ollama ನಲ್ಲಿ ಯಾವ ಮಾದರಿಯನ್ನು ಬಳಸಬೇಕು?
ಬರವಣಿಗೆಗಾಗಿ, ಸಮತೋಲಿತ ಗುಣಮಟ್ಟ ಮತ್ತು ವೇಗಕ್ಕಾಗಿ llama3 ಅಥವಾ mistral ನೊಂದಿಗೆ ಪ್ರಾರಂಭಿಸಿ. ಕೋಡಿಂಗ್ಗಾಗಿ, codellama ಅಥವಾ ಕೋಡ್-ಆಪ್ಟಿಮೈಸ್ಡ್ ಮಾದರಿಯನ್ನು ಪ್ರಯತ್ನಿಸಿ; ಕಡಿಮೆ ಭ್ರಮೆಗಳಿಗಾಗಿ ತಾಪಮಾನವನ್ನು 0.2-0.4 ರ ಆಸುಪಾಸಿನಲ್ಲಿ ಇರಿಸಿ.
Q3: ನಾನು Ollama (RAG) ನೊಂದಿಗೆ ನನ್ನ ಸ್ವಂತ ಡಾಕ್ಯುಮೆಂಟ್ಗಳನ್ನು ಬಳಸಬಹುದೇ?
ಹೌದು - ಎಂಬೆಡಿಂಗ್ ಪರಿಕರದೊಂದಿಗೆ ನಿಮ್ಮ ಫೈಲ್ಗಳನ್ನು ಇಂಡೆಕ್ಸ್ ಮಾಡಿ, ಪ್ರತಿ ಪ್ರಶ್ನೆಯಲ್ಲಿ ಉನ್ನತ ಭಾಗಗಳನ್ನು ಹಿಂಪಡೆಯಿರಿ ಮತ್ತು Ollama ಗೆ ನಿಮ್ಮ ಪ್ರಾಂಪ್ಟ್ನಲ್ಲಿ ಆ ಭಾಗಗಳನ್ನು ಸಂದರ್ಭವಾಗಿ ಸೇರಿಸಿ. ಇದು ನಿಮ್ಮ AI ಗಾಗಿ ಓಪನ್-ಬುಕ್ ಮೋಡ್ನಂತಿದೆ ಮತ್ತು ಇದು ವಾಸ್ತವಿಕ ನಿಖರತೆಯನ್ನು ತೀವ್ರವಾಗಿ ಸುಧಾರಿಸುತ್ತದೆ.
Q4: ನನ್ನ ಲ್ಯಾಪ್ಟಾಪ್ನಲ್ಲಿ Ollama ಏಕೆ ನಿಧಾನವಾಗಿದೆ ಮತ್ತು ನಾನು ಅದನ್ನು ಹೇಗೆ ವೇಗಗೊಳಿಸುವುದು?
ಸಣ್ಣ ಪ್ರಮಾಣೀಕೃತ ಮಾದರಿಯನ್ನು ಬಳಸಿ (ಉದಾ., Q4), ಗರಿಷ್ಠ ಟೋಕನ್ಗಳನ್ನು ಕಡಿಮೆ ಮಾಡಿ ಮತ್ತು ಅಗತ್ಯವಿದ್ದರೆ ತಾಪಮಾನವನ್ನು ಕಡಿಮೆ ಮಾಡಿ. ನೀವು Apple ಸಿಲಿಕಾನ್ ಅಥವಾ ಆಧುನಿಕ NVIDIA GPU ಹೊಂದಿದ್ದರೆ, ಗಮನಾರ್ಹ ಉತ್ತೇಜನಕ್ಕಾಗಿ ಹಾರ್ಡ್ವೇರ್ ವೇಗವರ್ಧನೆಯನ್ನು ಸಕ್ರಿಯಗೊಳಿಸಿ.
Q5: Sider.AI Ollama ಕಾರ್ಯವಿಧಾನಕ್ಕೆ ಹೇಗೆ ಹೊಂದಿಕೊಳ್ಳುತ್ತದೆ?
Sider.AI ನಿಮ್ಮ ಸ್ಥಳೀಯ Ollama ಮಾದರಿಗಳು ಮತ್ತು ಕ್ಲೌಡ್ ಮಾದರಿಗಳಿಗೆ ಒಂದೇ ಇಂಟರ್ಫೇಸ್ನಲ್ಲಿ ಸಂಪರ್ಕಿಸಬಹುದು, ಇದು ಔಟ್ಪುಟ್ಗಳನ್ನು ಹೋಲಿಸಲು ಮತ್ತು ಚಾಟ್ಗಳನ್ನು ಸಂಘಟಿಸಲು ಸುಲಭವಾಗಿಸುತ್ತದೆ. ಪ್ರಾಂಪ್ಟ್ಗಳನ್ನು ಪರೀಕ್ಷಿಸಲು, ಇತಿಹಾಸವನ್ನು ಅಚ್ಚುಕಟ್ಟಾಗಿ ಇರಿಸಿಕೊಳ್ಳಲು ಮತ್ತು ಐದು ಅಪ್ಲಿಕೇಶನ್ಗಳನ್ನು ಜಗ್ಲಿಂಗ್ ಮಾಡದೆಯೇ ಉತ್ತಮ ಉತ್ತರವನ್ನು ಆಯ್ಕೆ ಮಾಡಲು ಇದು ಸೂಕ್ತವಾಗಿದೆ. 
