ಪರಿಚಯ: “ಸರಳ” ಚಾಟ್ ಫ್ರೇಮ್ವರ್ಕ್ಗಳ ಬಗ್ಗೆ ಒಂದು ವಿಷಯ
ತಮ್ಮನ್ನು “ಸರಳ” ಎಂದು ಕರೆದುಕೊಳ್ಳುವ ಡೆವಲಪರ್ ಟೂಲ್ಗಳ ವಿಷಯವೆಂದರೆ ಅವು ಸಾಮಾನ್ಯವಾಗಿ ಸರಳವಾಗಿರುವುದಿಲ್ಲ. ವಿಮಾನದಲ್ಲಿ ಬೋರ್ಡಿಂಗ್ “ಸರಳ”ವಾಗಿರುವಂತೆಯೇ ಇದು ಸರಳವಾಗಿದೆ. ಸಾಲುಗಳು, ವಲಯಗಳು ಮತ್ತು ಬೋರ್ಡಿಂಗ್ ಪಾಸ್ ಅನ್ನು ನೀವು ಹುಡುಕಲು ಸಾಧ್ಯವಿಲ್ಲ ಏಕೆಂದರೆ ಅಪ್ಲಿಕೇಶನ್ ಗೇಟ್ನಲ್ಲಿ ನಿಮ್ಮನ್ನು ಸೈನ್ ಔಟ್ ಮಾಡಿದೆ. ಫಾಸ್ಟ್ಚಾಟ್, ಓಪನ್-ಸೋರ್ಸ್ ಚಾಟ್ ಫ್ರೇಮ್ವರ್ಕ್ ಅನ್ನು ಜನರು ಎಲ್ಎಲ್ಎಂಗಳಿಗೆ ಜೋಡಿಸುತ್ತಾರೆ, ಇದನ್ನು ಸರಳ ಎಂದು ಕರೆಯಲಾಗುತ್ತದೆ. ಅಭ್ಯಾಸದಲ್ಲಿ? ನೀವು ಏನು ಮಾಡುತ್ತಿದ್ದೀರಿ ಎಂದು ನಿಮಗೆ ತಿಳಿದಿದ್ದರೆ ಅದು ಸರಳವಾಗಿದೆ. ನಿಮಗೆ ಗೊತ್ತಿಲ್ಲದಿದ್ದರೆ, ಅದು ಪೋರ್ಟ್ಗಳು, ಮಾದರಿಗಳು ಮತ್ತು ಜಿಪಿಯು ಗಣಿತದ ಗೋಜಲಾಗಿದ್ದು, ಅದು ಕ್ರಿಸ್ಟೋಫರ್ ನೋಲನ್ ಕಥಾವಸ್ತುವಿನ ಟ್ವಿಸ್ಟ್ಗಾಗಿ ಆಡಿಷನ್ ನೀಡುತ್ತಿರುವಂತೆ ಕಾಣುತ್ತದೆ.
ನಿಮ್ಮ ವಾರಾಂತ್ಯವನ್ನು ಡೀಬಗ್ ಮಾಡುವ ಹಿಮ್ಮೆಟ್ಟುವಿಕೆಯಂತೆ ಪರಿಗಣಿಸದೆ FastChat ಅನ್ನು ಹೇಗೆ ಬಳಸುವುದು ಎಂಬುದರ ಕುರಿತು ಈ ಮಾರ್ಗದರ್ಶಿ ನನ್ನ ಸ್ಪಷ್ಟವಾದ ನಿಲುವಾಗಿದೆ. FastChat ಅನ್ನು ಸ್ಥಳೀಯವಾಗಿ ಹೇಗೆ ಬಳಸುವುದು, ಮಾದರಿಗಳನ್ನು ಹೇಗೆ ಸರ್ವ್ ಮಾಡುವುದು, OpenAI-ಹೊಂದಾಣಿಕೆಯ ಎಂಡ್ಪಾಯಿಂಟ್ ಅನ್ನು ಹೇಗೆ ಹುಕ್ ಮಾಡುವುದು ಮತ್ತು ವಾಸ್ತವದೊಂದಿಗೆ ಮೊದಲ ಸಂಪರ್ಕದಲ್ಲಿ ಕುಸಿಯದ UI ಅನ್ನು ಹೇಗೆ ಚಾಲನೆ ಮಾಡುವುದು ಎಂಬುದರ ಕುರಿತು ನಾವು ತಿಳಿಯುತ್ತೇವೆ. ದುರ್ಬಲವಾದದ್ದು, ವೇಗವಾದದ್ದು ಮತ್ತು ವೇಗವಾಗಿ ಮಾರಾಟವಾಗುವುದು ಯಾವುದು ಎಂಬುದನ್ನು ನಾನು ಸೂಚಿಸುತ್ತೇನೆ. (ಇವು ಹೆಚ್ಚಾಗಿ ಮೂರು ವಿಭಿನ್ನ ವಿಷಯಗಳಾಗಿವೆ.)
FastChat ಎಂದರೇನು, ನಿಜವಾಗಿಯೂ?
FastChat ದೊಡ್ಡ ಭಾಷಾ ಮಾದರಿಗಳೊಂದಿಗೆ ಸೇವೆ ಸಲ್ಲಿಸಲು ಮತ್ತು ಚಾಟ್ ಮಾಡಲು ಒಂದು ಮುಕ್ತ-ಮೂಲ ವ್ಯವಸ್ಥೆಯಾಗಿದೆ. “OpenAI API ಕ್ಲೋನ್” ಎಂದು ಯೋಚಿಸಿ, ಆದರೆ ನಿಮ್ಮ ಸ್ವಂತ ಮಾದರಿಗಳನ್ನು ತನ್ನಿ. ಇದು ಒಳಗೊಂಡಿದೆ:
- ಒಂದು ಅಥವಾ ಹೆಚ್ಚಿನ ಮಾದರಿ ಕಾರ್ಯಕರ್ತರು (ನಿಜವಾಗಿ ಕೆಲಸ ಮಾಡುವ ಜನರು),
- OpenAI-ಹೊಂದಾಣಿಕೆಯ REST API ಲೇಯರ್,
- ವೆಬ್ UI ಯಾವುದೂ ಇಲ್ಲದಿರುವುದಕ್ಕಿಂತ ಉತ್ತಮವಾಗಿದೆ ಮತ್ತು ಉದ್ದೇಶಿತವಾಗಿ ನಿರ್ಮಿಸಲಾದ ಯಾವುದಕ್ಕಿಂತಲೂ ಕೆಟ್ಟದಾಗಿದೆ.
ಒಂದು ಲೈನರ್ನೊಂದಿಗೆ ನೀವು ಎಂದಾದರೂ ಸ್ಥಳೀಯ LLM ಅನ್ನು ಚಲಾಯಿಸಿದ್ದರೆ ಮತ್ತು ಇದು ಉತ್ಪಾದನೆಗೆ ಸಿದ್ಧವಾಗಲು ಸಾಧ್ಯವಿಲ್ಲ ಎಂದು ಭಾವಿಸಿದರೆ—ನೀವು ಸರಿ. FastChat ವಿರುದ್ಧವಾಗಿದೆ: ಇದು ಉತ್ಪಾದನಾತ್ಮಕವಾಗಿರಲು ಬಯಸುತ್ತದೆ. ನೀವು ಘಟಕಗಳನ್ನು ಜೋಡಿಸುತ್ತೀರಿ, LEGO Duplo ಗಿಂತ LEGO ಟೆಕ್ನಿಕ್ನಂತೆ. ಪ್ರತಿಫಲವು ನಮ್ಯತೆಯಾಗಿದೆ. ವೆಚ್ಚವು ನೀವು ಏನು ಮಾಡುತ್ತಿದ್ದೀರಿ ಎಂದು ತಿಳಿದುಕೊಳ್ಳುವುದು.
FastChat ಅನ್ನು ಹೇಗೆ ಬಳಸುವುದು: ಸಣ್ಣ ಆವೃತ್ತಿ
- FastChat ಮತ್ತು ಅದರ ಡಿಪೆಂಡೆನ್ಸಿಗಳನ್ನು ಸ್ಥಾಪಿಸಿ (Python, ನೀವು ವೇಗದ ಬಗ್ಗೆ ಕಾಳಜಿವಹಿಸಿದರೆ CUDA, ಮಾದರಿ ತೂಕ).
- ನಿಯಂತ್ರಕವನ್ನು ಪ್ರಾರಂಭಿಸಿ.
- ಕನಿಷ್ಠ ಒಂದು ಮಾದರಿ ಕಾರ್ಯಕರ್ತನನ್ನು ಪ್ರಾರಂಭಿಸಿ ಮತ್ತು ಅದನ್ನು ನಿಯಂತ್ರಕದಲ್ಲಿ ಸೂಚಿಸಿ.
- (ಐಚ್ಛಿಕ ಆದರೆ ಉಪಯುಕ್ತ) OpenAI-ಹೊಂದಾಣಿಕೆಯ API ಸರ್ವರ್ ಅನ್ನು ಪ್ರಾರಂಭಿಸಿ.
- (ಐಚ್ಛಿಕ ಆದರೆ ವಿವೇಕವನ್ನು ಉಳಿಸುತ್ತದೆ) ವೆಬ್ UI ಅನ್ನು ಪ್ರಾರಂಭಿಸಿ.
- OpenAI-ಶೈಲಿಯ API ಅಥವಾ ಅಂತರ್ನಿರ್ಮಿತ UI ಮೂಲಕ ವಿನಂತಿಗಳನ್ನು ಕಳುಹಿಸಿ. ನೀವು ಶಪಿಸುವುದನ್ನು ನಿಲ್ಲಿಸುವವರೆಗೆ ಪುನರಾವರ್ತಿಸಿ.
ಅದು ಪ್ರಮುಖ ಲೂಪ್ ಆಗಿದೆ. ಉಳಿದವು ನಿಮ್ಮ GPU ಅಥವಾ ನಿಮ್ಮ ಸಹನೆಯನ್ನು ಹುರಿಯದೆ ಇದನ್ನು ಮಾಡುವುದು.
ಸೆಟ್ ಅಪ್: ಬೋರಿಂಗ್ ಭಾಗಗಳು ಅದು ನಿಮಗೆ ಗಂಟೆಗಳ ನಂತರ ಉಳಿಸುತ್ತದೆ
- Python: ನೀವು ವಿಷವಾಗದ ವರ್ಚುವಲ್ ಪರಿಸರವನ್ನು ಬಳಸಿ. FastChat ಆವೃತ್ತಿಗಳ ಬಗ್ಗೆ ಬಹಳ ಸೂಕ್ಷ್ಮವಾಗಿದೆ. ಸೂಕ್ಷ್ಮ ಸಾಫ್ಟ್ವೇರ್ ಕ್ಷಮೆಯಾಚಿಸುವುದಿಲ್ಲ.
- GPU: ನೀವು NVIDIA ಹಾರ್ಡ್ವೇರ್ ಹೊಂದಿದ್ದರೆ, ನಿಮ್ಮ ಡ್ರೈವರ್ಗಳಿಗೆ ಹೊಂದಿಕೆಯಾಗುವ CUDA ಟೂಲ್ಕಿಟ್ ಅನ್ನು ಸ್ಥಾಪಿಸಿ. ನೀವು ಮಾಡದಿದ್ದರೆ, ನೀವು CPU ನಲ್ಲಿ ರನ್ ಆಗುತ್ತೀರಿ, ಅದು ಪೈಕ್ನ ಶಿಖರಕ್ಕೆ ಮಿನಿವ್ಯಾನ್ ಚಲಾಯಿಸುವಂತಿದೆ - ಸಾಧ್ಯ, ನೀವು ಯೋಚಿಸುವುದಕ್ಕಿಂತ ನಿಧಾನ, ಮತ್ತು ನೀವು ಏಕೆ ಪ್ರಯತ್ನಿಸಿದ್ದೀರಿ ಎಂದು ನೀವು ಆಶ್ಚರ್ಯ ಪಡುತ್ತೀರಿ.
- ಮಾದರಿಗಳು: FastChat ಮಾದರಿಗಳೊಂದಿಗೆ ಬರುವುದಿಲ್ಲ. ನೀವು ಮಾದರಿ ತೂಕಗಳಿಗೆ ಅದನ್ನು ಸೂಚಿಸುತ್ತೀರಿ—Llama ರೂಪಾಂತರಗಳು, Mistral, Qwen, ಇತ್ಯಾದಿ. ನಿಮ್ಮ GPU VRAM “ಡೇಟಾ ಸೆಂಟರ್”ಗಿಂತ ಹೆಚ್ಚಾಗಿ “MacBook” ಆಗಿದ್ದರೆ ನೀವು ಕ್ವಾಂಟೈಸ್ಡ್ ಮಾದರಿಗಳನ್ನು ಸಹ ರನ್ ಮಾಡಬಹುದು.
ಮೂಲ ಸ್ಥಾಪನೆ: ಅದನ್ನು ಸ್ವಚ್ಛವಾಗಿಡುವುದು
- ಹೊಸ Python venv ಅನ್ನು ರಚಿಸಿ.
- pip install fastchat. ನಿಮಗೆ CUDA-ಸಕ್ರಿಯಗೊಳಿಸಿದ PyTorch ಅಗತ್ಯವಿದ್ದರೆ, ಅದನ್ನು ಮೊದಲು ಸ್ಥಾಪಿಸಿ. ನಿಮಗೆ ಅದು ಬೇಕೋ ಇಲ್ಲವೋ ಎಂದು ನಿಮಗೆ ತಿಳಿದಿಲ್ಲದಿದ್ದರೆ, ನಿಮಗೆ ಬಹುಶಃ ಬೇಕಾಗುತ್ತದೆ.
- torch ನಿಮ್ಮ GPU ಅನ್ನು ನೋಡುತ್ತದೆಯೇ ಎಂದು ಪರಿಶೀಲಿಸಿ: ಇಲ್ಲದಿದ್ದರೆ, ನೀವು FastChat ಅನ್ನು ದೂಷಿಸುವ ಮೊದಲು ಅದನ್ನು ಸರಿಪಡಿಸಿ. ಚಳಿಗಾಲಕ್ಕಾಗಿ ಥರ್ಮೋಸ್ಟಾಟ್ ಅನ್ನು ದೂಷಿಸುವುದು ಡೆವೊಪ್ಸ್ ಆವೃತ್ತಿಯಾಗಿದೆ.
ನಿಯಂತ್ರಕವನ್ನು ಪ್ರಾರಂಭಿಸಿ: ವಾಯು ಸಂಚಾರ ಗೋಪುರ
ನಿಯಂತ್ರಕವನ್ನು ರನ್ ಮಾಡಿ. ಇದು ಮಾದರಿ ಕಾರ್ಯಕರ್ತರನ್ನು ಟ್ರ್ಯಾಕ್ ಮಾಡುತ್ತದೆ ಮತ್ತು ವಿನಂತಿಗಳನ್ನು ಮಾರ್ಗ ಮಾಡುತ್ತದೆ. ಅದು ಇಲ್ಲದೆ, ಯಾವುದೂ ಯಾವುದಕ್ಕೂ ಮಾತನಾಡುವುದಿಲ್ಲ. ನಿಮ್ಮ ಅನುಮಾನದ ಫಾರ್ಮ್ಗಾಗಿ ಇದನ್ನು DNS ಎಂದು ಯೋಚಿಸಿ. ಬೇಸರ, ಅತ್ಯಗತ್ಯ, ಅದು ಕಾರ್ಯನಿರ್ವಹಿಸಿದಾಗ ಅಗೋಚರವಾಗಿರುತ್ತದೆ.
ಮಾದರಿ ಕಾರ್ಯಕರ್ತನನ್ನು ಪ್ರಾರಂಭಿಸಿ: ಮ್ಯಾಜಿಕ್ ನಿಜವಾಗಿ ಎಲ್ಲಿ ನಡೆಯುತ್ತದೆ
- VRAM ನಲ್ಲಿ ನೀವು ನಿಭಾಯಿಸಬಲ್ಲ ಮಾದರಿಯನ್ನು ಆರಿಸಿ. FP16 ನಲ್ಲಿನ 7B ಪ್ಯಾರಾಮೀಟರ್ ಮಾದರಿಯು ಸಾಧಾರಣ GPU ಅನ್ನು ಇನ್ನೂ ನಾಶಪಡಿಸುತ್ತದೆ. ನೀವು ನಿರ್ಬಂಧಿತವಾಗಿದ್ದರೆ 4-ಬಿಟ್ ಅಥವಾ 8-ಬಿಟ್ ಕ್ವಾಂಟೈಸೇಶನ್ ಅನ್ನು ಪ್ರಯತ್ನಿಸಿ.
- ಕಾರ್ಯಕರ್ತನನ್ನು ಪ್ರಾರಂಭಿಸಿ, ಅದನ್ನು ನಿಯಂತ್ರಕದಲ್ಲಿ ಸೂಚಿಸಿ ಮತ್ತು ಮಾದರಿ ಮಾರ್ಗವನ್ನು ಹೊಂದಿಸಿ. ಲೋಡ್ ಮಾಡಲು ವಿಫಲವಾದರೆ, ಮಾದರಿ ನಿಖರತೆಯು ಹೊಂದಿಕೆಯಾಗದ ಕಾರಣ ಅಥವಾ ಟೋಕನೈಸರ್ ಹೊಂದಿಕೆಯಾಗದ ಕಾರಣ ಇದು ಸಾಮಾನ್ಯವಾಗಿರುತ್ತದೆ. ಲಾಗ್ಗಳನ್ನು ಓದಿ. ಶಸ್ತ್ರಚಿಕಿತ್ಸಕರು ಮೊಂಡಾದ ರೀತಿಯಲ್ಲಿ ಅವು ಮೊಂಡಾಗಿರುತ್ತವೆ.
OpenAI-ಹೊಂದಾಣಿಕೆಯ API: ಉಪಯುಕ್ತ ಬಿಟ್
FastChat OpenAI-ಶೈಲಿಯ API ಅನ್ನು ಬಹಿರಂಗಪಡಿಸುತ್ತದೆ. ಇದರರ್ಥ ನಿಮ್ಮ ಅಸ್ತಿತ್ವದಲ್ಲಿರುವ ಸ್ಕ್ರಿಪ್ಟ್ಗಳು ಮತ್ತು ಪರಿಕರಗಳು OpenAI ಎಂಡ್ಪಾಯಿಂಟ್ಗಳನ್ನು ನಿರೀಕ್ಷಿಸುತ್ತವೆ, ಸೈದ್ಧಾಂತಿಕವಾಗಿ, ಕಾರ್ಯನಿರ್ವಹಿಸುತ್ತವೆ. ಅಭ್ಯಾಸದಲ್ಲಿ, ನಿಮ್ಮ ಮೂಲ URL ಗಳನ್ನು ನೀವು ಸರಿಹೊಂದಿಸುತ್ತೀರಿ ಮತ್ತು ನಿಮ್ಮ ಕಾರ್ಯಕರ್ತನು ಅವುಗಳನ್ನು ಬೆಂಬಲಿಸದ ಹೊರತು ಮಾದರಿಯು ಮಾಡಲು ಸಾಧ್ಯವಾಗದ ವೈಶಿಷ್ಟ್ಯಗಳಿಗಾಗಿ (ಫಂಕ್ಷನ್ ಕರೆ, ಇಮೇಜ್ ಇನ್ಪುಟ್ಗಳು) ನೀವು ಎಚ್ಚರಿಕೆಯಿಂದ ಇರುತ್ತೀರಿ. ಆದರೆ ವಿಷಯದ ಆಕಾರ—JSON, ಚಾಟ್/ಪೂರ್ಣಗೊಳಿಸುವಿಕೆ ಎಂಡ್ಪಾಯಿಂಟ್ಗಳು—ಸರಿಯಾಗಿವೆ. ವಾರಾಂತ್ಯದ ಯೋಜನೆ ಮತ್ತು ಸೇವೆಯಲ್ಲಿ ನೀವು ಜೋಡಿಸಬಹುದಾದ ವಿಷಯದ ನಡುವಿನ ವ್ಯತ್ಯಾಸವದು.
ವೆಬ್ UI: ಏಕೆಂದರೆ ಕೆಲವೊಮ್ಮೆ ನೀವು ಕ್ಲಿಕ್ ಮಾಡಲು ಬಯಸುತ್ತೀರಿ
ಅಂತರ್ನಿರ್ಮಿತ UI ಪರೀಕ್ಷೆಗೆ ಉತ್ತಮವಾಗಿದೆ. ಇದು ಉತ್ಪನ್ನವಲ್ಲ; ಇದು ಒಂದು ವಿಂಡೋ. ನಿಮ್ಮ ಮಿದುಳು-ಇನ್-ಎ-ಬಾಕ್ಸ್ಗಾಗಿ ನೀವು ಕೇವಲ ಡೆವ್ ಕನ್ಸೋಲ್ ಅನ್ನು ಬಯಸಿದರೆ, ಇದು ಸಾಕಾಗುತ್ತದೆ. ನೀವು ವರ್ಕ್ಸ್ಪೇಸ್ಗಳು, ಥ್ರೆಡ್ಗಳು, ಮಲ್ಟಿಮೋಡಲ್ ಇನ್ಪುಟ್ಗಳು ಅಥವಾ ಚಿಂತನಶೀಲ ಗುಣಮಟ್ಟದ ಜೀವನ ವೈಶಿಷ್ಟ್ಯಗಳನ್ನು ಬಯಸಿದರೆ, ನಿಮ್ಮ ಸ್ವಂತ ಸುತ್ತುವನ್ನು ನೀವು ಬರೆಯುತ್ತೀರಿ—ಅಥವಾ ಈಗಾಗಲೇ ಅಂಚಿನ ಪ್ರಕರಣಗಳನ್ನು ಕಂಡುಹಿಡಿದಿರುವ ಕ್ಲೈಂಟ್ ಅನ್ನು ಬಳಸಿ.
ಸ್ಥಳೀಯ ಅಭಿವೃದ್ಧಿಗಾಗಿ FastChat ಅನ್ನು ಹೇಗೆ ಬಳಸುವುದು
- ಪ್ರತ್ಯೇಕ ಟರ್ಮಿನಲ್ಗಳಲ್ಲಿ ನಿಯಂತ್ರಕ ಮತ್ತು ಕಾರ್ಯಕರ್ತನನ್ನು ತಿರುಗಿಸಿ. ನೀವು ಅವುಗಳನ್ನು ನಂಬುವವರೆಗೆ ಅವುಗಳನ್ನು tmux ನಲ್ಲಿ ಹೂತುಹಾಕಬೇಡಿ.
- OpenAI-ಹೊಂದಾಣಿಕೆಯ ಎಂಡ್ಪಾಯಿಂಟ್ ಅನ್ನು ತಲುಪಲು ಕರ್ಲ್ ಅಥವಾ ಸಣ್ಣ Python ಸ್ಕ್ರಿಪ್ಟ್ ಅನ್ನು ಬಳಸಿ: ಚಿಕ್ಕದಾದ ಮತ್ತು ನಿಸ್ಸಂದಿಗ್ಧವಾದ ಪರೀಕ್ಷಾ ಪ್ರಾಂಪ್ಟ್ ಅನ್ನು ಕಳುಹಿಸಿ.
- ಉತ್ಪಾದನಾ ನಿಯತಾಂಕಗಳನ್ನು ಡಯಲ್ ಮಾಡಿ: ತಾಪಮಾನ, ಟಾಪ್_ಪಿ, ಗರಿಷ್ಠ_ಟೋಕನ್ಗಳು. ಸಂಪ್ರದಾಯವಾದಿಯಾಗಿ ಪ್ರಾರಂಭಿಸಿ. ಜನರು ಯಾದೃಚ್ಛಿಕತೆಯನ್ನು ಅತಿಯಾಗಿ ಟ್ಯೂನ್ ಮಾಡುತ್ತಾರೆ ಮತ್ತು ನಂತರ ಮಾದರಿಯು ತುಂಟತನದಿಂದ ಎಚ್ಚರವಾಯಿತು ಎಂಬಂತೆ ಭ್ರಮೆಗಳ ಬಗ್ಗೆ ದೂರು ನೀಡುತ್ತಾರೆ.
- ಟೋಕನೈಸೇಶನ್ ನಡವಳಿಕೆಯು ನಿಮ್ಮ ನಿರೀಕ್ಷೆಗಳಿಗೆ ಹೊಂದಿಕೆಯಾಗುತ್ತದೆ ಎಂಬುದನ್ನು ಖಚಿತಪಡಿಸಿ. ನೀವು ಮಾದರಿಗಳನ್ನು ಆಗಾಗ್ಗೆ ಬದಲಾಯಿಸುತ್ತಿದ್ದರೆ, ನೀವು ಅಂಚಿನ ಪ್ರಕರಣಗಳನ್ನು ಕಾಣಬಹುದು. ಅದು FastChat ನ ತಪ್ಪಲ್ಲ. ಅದು “LLM ಗಳು ವಿಚಿತ್ರವಾಗಿವೆ.”
ತಂಡದ ಮಾದರಿ ರಚನೆಗಾಗಿ FastChat ಅನ್ನು ಹೇಗೆ ಬಳಸುವುದು
- ಸ್ಥಿರ ಹೋಸ್ಟ್ನಲ್ಲಿ ನಿಯಂತ್ರಕವನ್ನು ರನ್ ಮಾಡಿ.
- ಪೂಲ್ ಅನ್ನು ಅನುಕರಿಸಲು ಒಂದೇ ಮಾದರಿಯೊಂದಿಗೆ ಬಹು ಕಾರ್ಯಕರ್ತರನ್ನು ರನ್ ಮಾಡಿ ಅಥವಾ ಸಾಮರ್ಥ್ಯದ ಮೂಲಕ ಮಾದರಿಗಳನ್ನು ಮಿಶ್ರಣ ಮಾಡಿ.
- OpenAI-ಹೊಂದಾಣಿಕೆಯ ಎಂಡ್ಪಾಯಿಂಟ್ ಅನ್ನು ಆಂತರಿಕವಾಗಿ ಬಹಿರಂಗಪಡಿಸಿ. ನಿಮ್ಮ ತಂಡಕ್ಕೆ ಒಂದೇ URL ಮತ್ತು API ಕೀಯನ್ನು ನೀಡಿ.
- ಲಾಗಿಂಗ್ ಅನ್ನು ಸೇರಿಸಿ. ಹೊಸ ಕಲ್ಪನೆಯಲ್ಲ, ಆದರೆ ಕುರುಡಾಗಿ ಓಡುವ ತಂಡಗಳ ಸಂಖ್ಯೆಯು ವೆಗಾಸ್ ಸ್ಪೋರ್ಟ್ಸ್ಬುಕ್ ಅನ್ನು ನಾಚಿಸುವಂತೆ ಮಾಡುತ್ತದೆ. ಡೀಬಗ್ ಮಾಡಲು ನಿಮಗೆ ಪ್ರಾಂಪ್ಟ್ಗಳು ಮತ್ತು ಪ್ರತಿಕ್ರಿಯೆಗಳು ಬೇಕಾಗುತ್ತವೆ; ನೀವು ಅಗತ್ಯವಿದ್ದರೆ ಸೂಕ್ಷ್ಮ ಬಿಟ್ಗಳನ್ನು ತಿದ್ದಿ ಬರೆಯಿರಿ.
ಕಾರ್ಯಕ್ಷಮತೆ: “ವೇಗ” ಎಂದರೆ ನಿಮಗೆ ಬಿಟ್ಟದ್ದು
FastChat ನಿಮಗೆ ವೇಗವಾಗಿರಲು ಸಾಕಷ್ಟು ಅವಕಾಶವನ್ನು ನೀಡುತ್ತದೆ—ಅಥವಾ ಅತಿ ಮಹತ್ವಾಕಾಂಕ್ಷೆಯ ಕಾನ್ಫಿಗ್ಗಳೊಂದಿಗೆ ನಿಮ್ಮನ್ನು ನೀವೇ ನೇಣು ಹಾಕಿಕೊಳ್ಳಲು. ರಿಯಾಲಿಟಿ ಪರಿಶೀಲನೆ:
- VRAM: ನೀವು ಸಾಕಷ್ಟು ಹೊಂದಿಲ್ಲದಿದ್ದರೆ, ಕ್ವಾಂಟೈಸ್ ಮಾಡಿ. ನೀವು ಇನ್ನೂ ಹೊಂದಿಲ್ಲದಿದ್ದರೆ, ಚಿಕ್ಕ ಮಾದರಿಗಳನ್ನು ಬಳಸಿ. ಯಾವುದೇ ಫ್ರೇಮ್ವರ್ಕ್ ಭೌತಶಾಸ್ತ್ರವನ್ನು ಸರಿಪಡಿಸುವುದಿಲ್ಲ.
- ಬ್ಯಾಚ್ ಗಾತ್ರ: ಥ್ರೋಪುಟ್ಗೆ ಒಳ್ಳೆಯದು, ಲೇಟೆನ್ಸಿಗೆ ಸಾಮಾನ್ಯವಾಗಿ ಕೆಟ್ಟದು. ಒಂದನ್ನು ಆರಿಸಿ. ನಿಮಗೆ ಎರಡೂ ಅಗತ್ಯವಿದ್ದರೆ, ನಿಮಗೆ ಹೆಚ್ಚಿನ ಕಾರ್ಯಕರ್ತರು ಬೇಕಾಗುತ್ತಾರೆ.
- KV ಸಂಗ್ರಹ: ನಿಮ್ಮ ಕಾರ್ಯಕರ್ತನು ಅದನ್ನು ಬೆಂಬಲಿಸಿದರೆ ಅದನ್ನು ಮರುಬಳಕೆ ಮಾಡಿ. ಇಲ್ಲದಿದ್ದರೆ ನೀವು ಈಗಾಗಲೇ ಪಾವತಿಸಿದ ಸಂದರ್ಭಕ್ಕಾಗಿ ನೀವು ಪಾವತಿಸುತ್ತಿದ್ದೀರಿ.
- ಟೋಕನ್ ಮಾದರಿ: ನಿಮ್ಮ ಮೂಲ ಮಾದರಿಯ ಗುಣಮಟ್ಟವು ಸೀಮಿತಗೊಳಿಸುವ ಅಂಶವಾದ ನಂತರ ಅಲಂಕಾರಿಕ ಡಿಕೋಡಿಂಗ್ ಯೋಜನೆಗಳು ಕ್ಷೀಣಿಸುತ್ತಿರುವ ಆದಾಯವನ್ನು ಪಡೆಯುತ್ತವೆ.
ಭದ್ರತೆ: ಇದು ಆಟಿಕೆ ಅಲ್ಲ
ನೀವು FastChat ಅನ್ನು ಇತರ ಮನುಷ್ಯರು ಸ್ಪರ್ಶಿಸಬಹುದಾದ ಸರ್ವರ್ನಲ್ಲಿ ಹಾಕಿದರೆ:
- ದೃಢೀಕರಣವನ್ನು ಸೇರಿಸಿ. ಕಚ್ಚಾ API ಕೀ ಸಹ “ಭರವಸೆ”ಯನ್ನು ಸೋಲಿಸುತ್ತದೆ.
- ದರ ಮಿತಿ. ಸ್ಕ್ರಿಪ್ಟ್ ಬೆಳಿಗ್ಗೆ 2 ಗಂಟೆಗೆ ಮರುಕಳಿಸಿದಾಗ ನಿಮ್ಮ ಭವಿಷ್ಯದ ಸ್ವಯಂ ನಿಮಗೆ ಧನ್ಯವಾದಗಳನ್ನು ಅರ್ಪಿಸುತ್ತದೆ.
- ನೀವು ತೆರೆದ ತೂಕದೊಂದಿಗೆ ಪರವಾನಗಿ ಪಡೆದ ತೂಕವನ್ನು ಮಿಶ್ರಣ ಮಾಡಿದರೆ ಸಾರ್ವಜನಿಕ ಮತ್ತು ಖಾಸಗಿ ಮಾದರಿಗಳ ನಡುವೆ ಟ್ರಾಫಿಕ್ ಅನ್ನು ವಿಭಜಿಸಿ. ವಕೀಲರು ಅಸ್ಪಷ್ಟತೆಯನ್ನು ಪ್ರೀತಿಸುತ್ತಾರೆ; ಅವರಿಗೆ ಆಹಾರವನ್ನು ನೀಡಬೇಡಿ.
ನಿಜವಾದ ಪರಿಕರಗಳೊಂದಿಗೆ FastChat ಅನ್ನು ಹೇಗೆ ಬಳಸುವುದು
- ನೋಟ್ಬುಕ್ಗಳು: ನಿಮ್ಮ OpenAI ಕ್ಲೈಂಟ್ ಅನ್ನು FastChat ಮೂಲ URL ನಲ್ಲಿ ಸೂಚಿಸಿ ಮತ್ತು ಹೋಗಿ. ಡೇಟಾ ವಿಜ್ಞಾನಿಗಳಿಗೆ ಇದು ಕಡಿಮೆ ಕಿರಿಕಿರಿ ಮಾರ್ಗವಾಗಿದೆ.
- CLI: ಸ್ಮೋಕ್ ಪರೀಕ್ಷೆಗಳಿಗಾಗಿ ಸಣ್ಣ ಸ್ಕ್ರಿಪ್ಟ್ ಅನ್ನು ಕೈಯಲ್ಲಿ ಇಟ್ಟುಕೊಳ್ಳಿ. 10 ಸೆಕೆಂಡುಗಳಲ್ಲಿ ನೀವು ಸೂಕ್ಷ್ಮ ಪ್ರತಿಕ್ರಿಯೆಯನ್ನು ಪಡೆಯಲು ಸಾಧ್ಯವಾಗದಿದ್ದರೆ, ಪೈಪ್ಲೈನ್ ಅನ್ನು ನಿಲ್ಲಿಸಿ ಮತ್ತು ಸರಿಪಡಿಸಿ.
- ವೆಬ್ ಅಪ್ಲಿಕೇಶನ್ಗಳು: FastChat ಅನ್ನು ಆಂತರಿಕ ಮೈಕ್ರೋಸರ್ವೀಸ್ನಂತೆ ಪರಿಗಣಿಸಿ. ಆರೋಗ್ಯ ತಪಾಸಣೆಗಳು, ಮರುಪ್ರಯತ್ನಗಳು, ಸಮಯ ಮೀರಿದೆ. ಇದನ್ನು ಮಾಡಲು ನಿಮಗೆ ಪುಸ್ತಕದ ಅಗತ್ಯವಿಲ್ಲ—ನಿಮಗೆ ಶಿಸ್ತು ಬೇಕು.
ಮಾದರಿಗಳನ್ನು ಆಯ್ಕೆ ಮಾಡುವುದು: ಪ್ರತಿಯೊಬ್ಬರೂ ವಾದಿಸುವ ಭಾಗ
FastChat ಅನ್ನು ಜವಾಬ್ದಾರಿಯುತವಾಗಿ ಹೇಗೆ ಬಳಸುವುದು ಮಾದರಿ ಆಯ್ಕೆಯೊಂದಿಗೆ ಪ್ರಾರಂಭವಾಗುತ್ತದೆ. ಕೆಲವು ತ್ವರಿತ ಯೂರಿಸ್ಟಿಕ್ಗಳು:
- ಗರಿಗರಿಯಾದ ಉತ್ತರಗಳೊಂದಿಗೆ ಸಣ್ಣ-ರೂಪದ ಚಾಟ್: ಸಣ್ಣ ಸೂಚನೆ-ಟ್ಯೂನ್ ಮಾಡಿದ ಮಾದರಿಗಳು ಸಾಮಾನ್ಯವಾಗಿ ತಮ್ಮ ತೂಕಕ್ಕಿಂತ ಮೇಲಿರುತ್ತವೆ.
- ಕೋಡ್-ಭಾರೀ ಪ್ರಾಂಪ್ಟ್ಗಳು: ಅನುಮತಿಸುವ ಪರವಾನಗಿಗಳೊಂದಿಗೆ ಕೋಡ್ನಲ್ಲಿ ನಿಜವಾಗಿ ತರಬೇತಿ ಪಡೆದ ಮಾದರಿಗಳನ್ನು ಬಳಸಿ. “ಹತ್ತಿರದಷ್ಟು ಸಾಕು” ಆಗುವುದಿಲ್ಲ.
- ದೀರ್ಘ ಸಂದರ್ಭ: ನಿಮಗೆ 32K+ ಟೋಕನ್ಗಳು ಅಗತ್ಯವಿದ್ದರೆ, ಮೊದಲು ನಿಮ್ಮ ಹಾರ್ಡ್ವೇರ್ ಅನ್ನು ಯೋಜಿಸಿ. ನಂತರ ನಿಮ್ಮ ನಿರೀಕ್ಷೆಗಳನ್ನು ಕಡಿಮೆ ಹೊಂದಿಸಿ.
- ಮಲ್ಟಿಮೋಡಲ್: FastChat ನ ಹೊಂದಾಣಿಕೆಯು ಬದಲಾಗುತ್ತದೆ. ನಿಮಗೆ ಚಿತ್ರಗಳು ಅಥವಾ ಆಡಿಯೊ ಅಗತ್ಯವಿದ್ದರೆ, ಅದನ್ನು ಸ್ಪಷ್ಟವಾಗಿ ಬೆಂಬಲಿಸುವ ಕಾರ್ಯಕರ್ತ ಮತ್ತು ಮಾದರಿಯನ್ನು ಆರಿಸಿ, ಅಥವಾ ನೀವು ಹಾಗೆ ಮಾಡುತ್ತಿದ್ದೀರಿ ಎಂದು ನಟಿಸಬೇಡಿ.
OpenAI-ಹೊಂದಾಣಿಕೆ ಟ್ರ್ಯಾಪ್
OpenAI-ಹೊಂದಾಣಿಕೆಯ API ಯ ಉತ್ತಮ ಭಾಗವೆಂದರೆ ನೀವು ಬ್ಯಾಕ್ ಎಂಡ್ಗಳನ್ನು ಬದಲಾಯಿಸಬಹುದು. ಅಷ್ಟು ಒಳ್ಳೆಯದಲ್ಲದ ಭಾಗವೆಂದರೆ ಜನರು ಎಲ್ಲಾ ಮಾದರಿಗಳನ್ನು ಒಂದೇ ಎಂದು ಪರಿಗಣಿಸಲು ಪ್ರಾರಂಭಿಸುತ್ತಾರೆ. ಅವು ಅಲ್ಲ. ಒಂದೇ ರೀತಿ ಕಾಣುವ ಎಂಡ್ಪಾಯಿಂಟ್ ಮಾದರಿಗಳಾದ್ಯಂತ ವಿಭಿನ್ನವಾಗಿ ವರ್ತಿಸಬಹುದು—ತಾರ್ಕಿಕತೆ, ವಾಚಾಳಿತನ, ಸುರಕ್ಷತಾ ಫಿಲ್ಟರ್ಗಳು, ಇಡೀ ವ್ಯಕ್ತಿತ್ವ. JSON ಸ್ಕೀಮಾ ಹೊಂದಿಕೆಯಾಗುತ್ತದೆ ಎಂಬ ಕಾರಣಕ್ಕೆ ನಿಮ್ಮ ಅಪ್ಲಿಕೇಶನ್ ಮಾಂತ್ರಿಕವಾಗಿ ಹೊಂದಿಕೊಳ್ಳುವುದಿಲ್ಲ. ನೀವು ರನ್ ಮಾಡಲು ಹೊರಟಿರುವ ನಿಜವಾದ ಮಾದರಿಗಳೊಂದಿಗೆ ಪರೀಕ್ಷಿಸಿ. ನಂತರ ನೀವು ಏನನ್ನಾದರೂ ಬದಲಾಯಿಸಿದ ನಂತರ ಮತ್ತೆ ಪರೀಕ್ಷಿಸಿ.
ವೀಕ್ಷಣೆ: ನೀವು ನೋಡಲು ಸಾಧ್ಯವಾಗದನ್ನು ನೀವು ಸರಿಪಡಿಸಲು ಸಾಧ್ಯವಿಲ್ಲ
- ಪ್ರಾಂಪ್ಟ್ಗಳು, ನಿಯತಾಂಕಗಳು ಮತ್ತು ಲೇಟೆನ್ಸಿಗಳನ್ನು ಲಾಗ್ ಮಾಡಿ.
- ಟೋಕನ್ ಎಣಿಕೆಗಳನ್ನು ಟ್ರ್ಯಾಕ್ ಮಾಡಿ ಮತ್ತು ನಿಮ್ಮ ಬಜೆಟ್ ಅನ್ನು ಸ್ಫೋಟಿಸುವ ಪ್ರಾಂಪ್ಟ್ಗಳನ್ನು ತಿರಸ್ಕರಿಸಿ.
- ಪ್ರತಿ-ಮಾದರಿ ಡ್ಯಾಶ್ಬೋರ್ಡ್ಗಳನ್ನು ಇರಿಸಿ. ಹೌದು, ಇದು “ಚಾಟ್ ಸರ್ವರ್”ಗೆ ಬಹಳಷ್ಟು. ಇದು ಸ್ಥಿರತೆ ಮತ್ತು ವೈಬ್ಗಳ ನಡುವಿನ ವ್ಯತ್ಯಾಸವೂ ಆಗಿದೆ.
ವಿಫಲತೆಯ ವಿಧಾನಗಳು: FastChat ಎಲ್ಲಿ ಹಿಂದಕ್ಕೆ ಕಚ್ಚುತ್ತದೆ
- OOM ಅಡಿಯಲ್ಲಿ ಕಾರ್ಯಕರ್ತ ಸಾಯುತ್ತಾನೆ: ನಿಖರತೆಯ ಮೇಲೆ ನೀವು ಸ್ವಲ್ಪ ಹೆಚ್ಚು ಊಹಿಸಿದ್ದೀರಿ. ಅದನ್ನು ಕಡಿಮೆ ಮಾಡಿ ಅಥವಾ ಹೆಚ್ಚು VRAM ನೊಂದಿಗೆ GPU ಅನ್ನು ಪಡೆಯಿರಿ—ಯಾವುದೇ ಮಾಂತ್ರಿಕತೆಯು FP16 13B ಅನ್ನು 8GB ಗೆ ವಿಶ್ವಾಸಾರ್ಹವಾಗಿ ಹಿಂಡುವುದಿಲ್ಲ.
- ನಿಯಂತ್ರಕವು ಕಾರ್ಯಕರ್ತರ ಜಾಡನ್ನು ಕಳೆದುಕೊಳ್ಳುತ್ತದೆ: ನೆಟ್ವರ್ಕಿಂಗ್ ತೊಂದರೆ. ಮರುಪ್ರಯತ್ನಗಳನ್ನು ಸೇರಿಸಿ ಮತ್ತು ನೀವು ಕಾಫಿ ಶಾಪ್ LAN ಪಾರ್ಟಿಯಲ್ಲಿದ್ದಂತೆ ಎಲ್ಲವನ್ನೂ ಒಂದೇ ಫ್ಲಾಕಿ Wi‑Fi ನಲ್ಲಿ ನಿಯೋಜಿಸಬೇಡಿ.
- ಕೆಟ್ಟ ಲೇಟೆನ್ಸಿ ಸ್ಪೈಕ್ಗಳು: ನಿಮ್ಮ ಬ್ಯಾಚ್ ತುಂಬಾ ಮಹತ್ವಾಕಾಂಕ್ಷಿಯಾಗಿದೆ, ಅಥವಾ ನಿಮ್ಮ CPU ಟೋಕನೈಸೇಶನ್ ಅನ್ನು ಕುತ್ತಿಗೆ ಮಾಡುತ್ತಿದೆ. ನೀವು ಸಿದ್ಧಾಂತ ಮಾಡುವ ಮೊದಲು ಪ್ರೊಫೈಲ್ ಮಾಡಿ.
ಒಂದು ವಾರವನ್ನು ಕಳೆದುಕೊಳ್ಳದೆ RAG ಗಾಗಿ FastChat ಅನ್ನು ಹೇಗೆ ಬಳಸುವುದು
ಜನರು FastChat ಅನ್ನು ರಿಟ್ರೈವಲ್ ಪೈಪ್ಲೈನ್ಗಳಿಗೆ ಜೋಡಿಸುತ್ತಿದ್ದಾರೆ ಮತ್ತು ಮಾದರಿಯು ಉಲ್ಲೇಖಿಸುವ ಬದಲು ರಿಫ್ಸ್ ಮಾಡಿದಾಗ ಆಶ್ಚರ್ಯಪಡುತ್ತಿದ್ದಾರೆ. ಸಲಹೆಗಳು:
- ಬೇರೆಡೆ ರಿಟ್ರೈವಲ್ ಅನ್ನು ಸ್ವಚ್ಛವಾಗಿ ಮಾಡಿ (ವೆಕ್ಟರ್ DB, ಎಂಬೆಡಿಂಗ್ಗಳು) ಮತ್ತು ಮಾದರಿಗೆ ಸಣ್ಣ, ರಚನಾತ್ಮಕ ಸಂದರ್ಭವನ್ನು ನೀಡಿ.
- ಪ್ರಾಂಪ್ಟ್ಗಳನ್ನು ಶಿಸ್ತುಬದ್ಧವಾಗಿ ಇರಿಸಿ. “ಉಲ್ಲೇಖಗಳೊಂದಿಗೆ ಉತ್ತರಿಸಿ” ಒಂದು ಮಂತ್ರವಲ್ಲ; ಇದು ಒಂದು ಸಲಹೆ. ನಿಮಗೆ ಉಲ್ಲೇಖಗಳು ಅಗತ್ಯವಿದ್ದರೆ, ಪೋಸ್ಟ್-ಪ್ರೊಸೆಸಿಂಗ್ನಲ್ಲಿ ರಚನೆಯನ್ನು ಜಾರಿಗೊಳಿಸಿ ಅಥವಾ ವರ್ತಿಸಲು ತರಬೇತಿ ಪಡೆದ ಮಾದರಿಯನ್ನು ಬಳಸಿ.
- ಪುನರಾವರ್ತಿತ ಪ್ರಶ್ನೆಗಳಿಗೆ ಉತ್ತರಗಳನ್ನು ಸಂಗ್ರಹಿಸಿ. ಹೆಚ್ಚಿನ “ಡೈನಾಮಿಕ್” ಜ್ಞಾನ ನೆಲೆಗಳು ವಿಭಿನ್ನ ಕೋನಗಳಿಂದ 80% ಒಂದೇ ಆರು ಪ್ರಶ್ನೆಗಳಾಗಿವೆ.
ವೆಚ್ಚ: ಸಮಯವು ದುಬಾರಿ ಭಾಗವಾಗಿದೆ
ಸ್ಥಳೀಯವಾಗಿ FastChat ಅನ್ನು ರನ್ ಮಾಡುವುದು ಕಾಗದದ ಮೇಲೆ ಅಗ್ಗವಾಗಿದೆ ಮತ್ತು ಗಮನದಲ್ಲಿ ದುಬಾರಿಯಾಗಿದೆ. ಕಲಿಯುವುದು ನಿಮ್ಮ ಗುರಿಯಾಗಿದ್ದರೆ, ಉತ್ತಮವಾಗಿದೆ. ಸಾಗಿಸುವುದು ನಿಮ್ಮ ಗುರಿಯಾಗಿದ್ದರೆ, ನಿಮ್ಮ ಸಮಯ ಎಲ್ಲಿಗೆ ಹೋಗುತ್ತದೆ ಎಂಬುದನ್ನು ಪರಿಗಣಿಸಿ: ಪ್ಯಾಕೇಜಿಂಗ್, ನವೀಕರಣಗಳು, ಮೇಲ್ವಿಚಾರಣೆ, ಫಾಲ್ಬ್ಯಾಕ್ಗಳು. ನೀವು ನಿಜವಾಗಿ ನಿರ್ಣಯಿಸುವ ಕೆಲಸವು “ಚಾಟ್ ಸರ್ವರ್ ಅನ್ನು ರನ್ ಮಾಡಿದೆ” ಹೊರತು ಬೇರೆ ಯಾವುದಾದರೂ ಆಗಿದ್ದರೆ ನಿರ್ವಹಿಸಲಾದ ಸೇವೆಯನ್ನು ಬಳಸಲು ಯಾವುದೇ ನಾಚಿಕೆಯಿಲ್ಲ.
Sider.AI ಎಲ್ಲಿ ಹೊಂದಿಕೊಳ್ಳುತ್ತದೆ—ಮತ್ತು ಎಲ್ಲಿ ಹೊಂದಿಕೆಯಾಗುವುದಿಲ್ಲ ನೀವು ವಿವೇಕಯುತ ಕ್ಲೈಂಟ್ ಅನುಭವವನ್ನು ಬಯಸಿದರೆ—ಥ್ರೆಡ್ಗಳು, ಪ್ರಾಂಪ್ಟ್ ನಿರ್ವಹಣೆ, ಸ್ಥಳೀಯ ಮತ್ತು ಕ್ಲೌಡ್ ಮಾದರಿಗಳ ನಡುವೆ ವೇಗವಾಗಿ ಬದಲಾಯಿಸುವುದು—Sider.AI ವಾಸ್ತವವಾಗಿ ಮೊದಲು ಮೂರು YAML ಫೈಲ್ಗಳನ್ನು ಓದಲು ನಿಮ್ಮನ್ನು ಬೇಡಿಕೊಳ್ಳದೆ ಕಾರ್ಯನಿರ್ವಹಿಸುತ್ತದೆ. ನಿಮ್ಮ GPU ಗೊರಕೆ ಹೊಡೆಯಲು ಪ್ರಾರಂಭಿಸಿದಾಗ ನೀವು ಅದನ್ನು OpenAI-ಹೊಂದಾಣಿಕೆಯ ಎಂಡ್ಪಾಯಿಂಟ್ನಲ್ಲಿ (FastChat ನಂತೆ) ಸೂಚಿಸಬಹುದು ಅಥವಾ ಹೋಸ್ಟ್ ಮಾಡಿದ ಮಾದರಿಗಳನ್ನು ಬಳಸಬಹುದು. ಇದು FastChat ಗೆ ಬದಲಿಯಾಗಿಲ್ಲ; ಇದು ನಿಮ್ಮ ಒರಟು ಅಂಚುಗಳನ್ನು ಯಾರಾದರೂ ಹತ್ತಿರದಲ್ಲಿ ನಿಂತು ವಿವರಿಸದೆ ಬಳಸಬಹುದಾದ ವಿಷಯವಾಗಿ ಪರಿವರ್ತಿಸುವ ಭಾಗವಾಗಿದೆ. ನಿಮ್ಮ ಆದ್ಯತೆಯು ಕಾರ್ಯಕರ್ತರು ಮತ್ತು ನಿಯಂತ್ರಕರೊಂದಿಗೆ ವ್ಯವಹರಿಸುತ್ತಿದ್ದರೆ, FastChat ನಲ್ಲಿಯೇ ಇರಿ. ಇದು ನಿಜವಾದ ಕೆಲಸವನ್ನು ಮಾಡುತ್ತಿದ್ದರೆ, ನಿಮ್ಮ FastChat ಎಂಡ್ಪಾಯಿಂಟ್ನ ಮೇಲ್ಭಾಗದಲ್ಲಿರುವ Sider ನೀವು ವಿಷಾದಿಸದ ಭಾಗವಾಗಿದೆ. FastChat ಅನ್ನು ಹೇಗೆ ಬಳಸುವುದು, ಹಂತ ಹಂತವಾಗಿ (ಕೈ-ವೇವಿಂಗ್ ಇಲ್ಲದೆ)
- ಡಿಪೆಂಡೆನ್ಸಿಗಳನ್ನು ಸ್ಥಾಪಿಸಿ: Python, CUDA ಅನ್ವಯಿಸಿದರೆ, CUDA ಯೊಂದಿಗೆ PyTorch.
- ಹೊಸ ಪರಿಸರದಲ್ಲಿ FastChat ಅನ್ನು ಸ್ಥಾಪಿಸಿ.
- ಊಹಿಸಬಹುದಾದ ಪೋರ್ಟ್ನಲ್ಲಿ ನಿಯಂತ್ರಕವನ್ನು ಪ್ರಾರಂಭಿಸಿ.
- ನೀವು ನಿಜವಾಗಿ ರನ್ ಮಾಡಬಹುದಾದ ಮಾದರಿಯನ್ನು ಡೌನ್ಲೋಡ್ ಮಾಡಿ. ಹದಿಹರೆಯದವರು ಮೊದಲ ಕಾರನ್ನು ಆಯ್ಕೆ ಮಾಡುವಂತೆ ಲೀಡರ್ಬೋರ್ಡ್ನಲ್ಲಿರುವ ದೊಡ್ಡ ವಿಷಯದೊಂದಿಗೆ ಪ್ರಾರಂಭಿಸಬೇಡಿ.
- ಆ ಮಾದರಿಯೊಂದಿಗೆ ಕಾರ್ಯಕರ್ತನನ್ನು ಪ್ರಾರಂಭಿಸಿ. VRAM ಬಳಕೆಯನ್ನು ಮತ್ತು ಮೊದಲ ಟೋಕನ್ ಅನ್ನು ಖಚಿತಪಡಿಸಿ.
- OpenAI-ಹೊಂದಾಣಿಕೆಯ API ಸರ್ವರ್ ಅನ್ನು ಪ್ರಾರಂಭಿಸಿ.
- ನಿಮ್ಮ ಸ್ಥಳೀಯ ಮೂಲ URL ಗೆ ಹೊಂದಿಸಲಾದ ನಿಮ್ಮ OpenAI ಕ್ಲೈಂಟ್ ಅನ್ನು ಬಳಸಿಕೊಂಡು ತಿಳಿದಿರುವ-ಉತ್ತಮ ಪ್ರಾಂಪ್ಟ್ನೊಂದಿಗೆ ಪರೀಕ್ಷಿಸಿ.
- ಡಿಕೋಡಿಂಗ್ ನಿಯತಾಂಕಗಳನ್ನು ಹೊಂದಿಸಿ, ಸೂಕ್ಷ್ಮ ಡೀಫಾಲ್ಟ್ಗಳನ್ನು ಹೊಂದಿಸಿ ಮತ್ತು ಕಾನ್ಫಿಗ್ನಲ್ಲಿ ಲಾಕ್ ಮಾಡಿ.
- ಬೇರೆಯವರು ಅದನ್ನು ಸ್ಪರ್ಶಿಸುವ ಮೊದಲು ಲಾಗಿಂಗ್, ಮೂಲ ದೃಢೀಕರಣ ಮತ್ತು ದರ ಮಿತಿಗಳನ್ನು ಸೇರಿಸಿ.
- ಐಚ್ಛಿಕ: ವೆಬ್ UI ಅನ್ನು ಪ್ರಾರಂಭಿಸಿ ಅಥವಾ Sider.AI ನಂತಹ ಉತ್ತಮ ಕ್ಲೈಂಟ್ ಅನ್ನು ಸಂಪರ್ಕಿಸಿ.
ಸಾಮಾನ್ಯ ಗಾಚಾಗಳು ನೀವು ನಿಖರವಾಗಿ ಒಮ್ಮೆ ಹೊಡೆಯುತ್ತೀರಿ (ನೀವು ಇದನ್ನು ಓದಿದರೆ)
- ಮಿಶ್ರ CUDA/PyTorch ಆವೃತ್ತಿಗಳು: ಮೊದಲ ನೈಜ ಲೋಡ್ ವರೆಗೆ ಇದು ಚೆನ್ನಾಗಿ ಕಾಣುತ್ತದೆ. ಉದ್ದೇಶಪೂರ್ವಕವಾಗಿ ಆವೃತ್ತಿಗಳನ್ನು ಹೊಂದಿಸಿ.
- ಟೋಕನೈಸರ್ ಹೊಂದಾಣಿಕೆಯಾಗುವುದಿಲ್ಲ: ಹಗ್ಗಿಂಗ್ ಫೇಸ್ ಮಾದರಿ vs. ಟೋಕನೈಸರ್ ಡ್ರಿಫ್ಟ್ ಸೂಕ್ಷ್ಮ ಅರ್ಥಹೀನತೆಯನ್ನು ಸೃಷ್ಟಿಸುತ್ತದೆ. ಅವುಗಳನ್ನು ಸಿಂಕ್ನಲ್ಲಿ ಇರಿಸಿ.
- ಅತಿಯಾದ ದೀರ್ಘ ಸಿಸ್ಟಮ್ ಪ್ರಾಂಪ್ಟ್ಗಳು: ನೀವು ಪೆಪ್ ಟಾಕ್ಗಳಿಗೆ ಟೋಕನ್ಗಳನ್ನು ಪಾವತಿಸುತ್ತಿದ್ದೀರಿ. ಸಿಸ್ಟಮ್ ಪ್ರಾಂಪ್ಟ್ ಅನ್ನು ಚಿಕ್ಕದಾಗಿ, ನಿರ್ದಿಷ್ಟವಾಗಿ ಮತ್ತು ಬೇಸರಗೊಳಿಸುವಂತೆ ಮಾಡಿ.
- ಸ್ಟ್ರೀಮಿಂಗ್ ಅನ್ನು ನಿರ್ಲಕ್ಷಿಸುವುದು: ಸ್ಪಂದಿಸುವಿಕೆಗಾಗಿ ಸ್ಟ್ರೀಮಿಂಗ್ ಅನ್ನು ಆನ್ ಮಾಡಿ. ಅಂತಿಮ ಬಳಕೆದಾರರು “ವೇಗವಾಗಿ ಟೈಪ್ ಮಾಡಲು ಪ್ರಾರಂಭಿಸುತ್ತದೆ” ಅನ್ನು “ಸ್ಮಾರ್ಟ್” ನೊಂದಿಗೆ ಸಮೀಕರಿಸುತ್ತಾರೆ ಮತ್ತು ಪ್ರಾಮಾಣಿಕವಾಗಿ, ಅವರು ತಪ್ಪು ಮಾಡುವುದಿಲ್ಲ.
ಸ್ಕೇಲಿಂಗ್: ಒಂದು ಕಾರ್ಯಕರ್ತ ಸಾಕಾಗದಿದ್ದಾಗ
- ಸಮತಲ ಕಾರ್ಯಕರ್ತರು: ನಿಯಂತ್ರಕಕ್ಕೆ ನೋಂದಾಯಿಸಲಾದ ಬಹು ಕಾರ್ಯಕರ್ತರು. ಇದು ರಾಕೆಟ್ ವಿಜ್ಞಾನವಲ್ಲ, ಆದರೆ ಪ್ರತಿ ಯಂತ್ರದಲ್ಲಿ ಮಾದರಿ ತೂಕಕ್ಕಾಗಿ ನಿಮಗೆ ಯೋಜನೆಯ ಅಗತ್ಯವಿದೆ.
- ಮಿಶ್ರ ಮಾದರಿಗಳು: ಸಣ್ಣ ಉತ್ತರಗಳನ್ನು ಸಣ್ಣ ಮಾದರಿಗಳಿಗೆ ಮಾರ್ಗ ಮಾಡಿ; ಕಷ್ಟಕರ ಪ್ರಶ್ನೆಗಳನ್ನು ಹೆವಿ ಹಿಟ್ಟರ್ಗೆ ಕಳುಹಿಸಿ. ನಿಮಗೆ ರೂಟಿಂಗ್ ತರ್ಕದ ಅಗತ್ಯವಿದೆ; ನಿಯಂತ್ರಕವು ನಿಮಗಾಗಿ ನಿಮ್ಮ ಅಪ್ಲಿಕೇಶನ್ ಅನ್ನು ಪೋಷಿಸುವುದಿಲ್ಲ.
- ಸಂಗ್ರಹಣೆ: ಸಾಮಾನ್ಯ ಪ್ರಾಂಪ್ಟ್ಗಳನ್ನು ಮೆಮೊರೈಸ್ ಮಾಡಿ. ನೀವು ಈಗಾಗಲೇ ಮಾಡಿದ ಕೆಲಸವನ್ನು ಬಿಟ್ಟುಬಿಡುವುದಕ್ಕಿಂತ ವೇಗವಾಗಿ ಏನೂ ಅನಿಸುವುದಿಲ್ಲ.
ಇನ್ನೊಂದು ಫ್ರೇಮ್ವರ್ಕ್ಗಿಂತ FastChat ಏಕೆ?
ಏಕೆಂದರೆ ನೀವು ಇಡೀ ಕ್ಯಾಥೆಡ್ರಲ್ ಅನ್ನು ನಿರ್ಮಿಸದೆ ನಿಯಂತ್ರಣವನ್ನು ಬಯಸುತ್ತೀರಿ. ನಿಯಂತ್ರಕ/ಕಾರ್ಯಕರ್ತ ವಿಭಜನೆಯು ವಿವೇಕಯುತವಾಗಿದೆ. OpenAI-ಹೊಂದಾಣಿಕೆಯ API ಪ್ರಾಯೋಗಿಕವಾಗಿದೆ. ಮತ್ತು ಅದು ಏನು ಎಂಬುದಕ್ಕಿಂತ ಹೆಚ್ಚಾಗಿ ನಟಿಸುವುದಿಲ್ಲ. ಥರ್ಮೋಡೈನಾಮಿಕ್ಸ್ನ ನಿಯಮಗಳೊಳಗೆ ನಿಮ್ಮ ಮಹತ್ವಾಕಾಂಕ್ಷೆಗಳನ್ನು ಇಟ್ಟುಕೊಂಡರೆ ನೀವು “ಕಲ್ಪನೆ”ಯಿಂದ “ಉಪಯುಕ್ತ”ಕ್ಕೆ ಮಧ್ಯಾಹ್ನದೊಳಗೆ ಹೋಗಬಹುದು.
ಆದರೆ ನಿಮ್ಮನ್ನು ಮೋಸಗೊಳಿಸಬೇಡಿ
FastChat ಅನ್ನು ಚೆನ್ನಾಗಿ ಬಳಸುವುದು ಎಂದರೆ ವ್ಯಾಪಾರ-ವಹಿವಾಟುಗಳನ್ನು ಒಪ್ಪಿಕೊಳ್ಳುವುದು:
- ನಮ್ಯತೆಗಾಗಿ ನೀವು ಸ್ವಲ್ಪ ಪಾಲಿಶ್ ಅನ್ನು ಬಿಟ್ಟುಕೊಡುತ್ತೀರಿ.
- ನೀವು ಲಾಗ್ಗಳನ್ನು ಓದುತ್ತೀರಿ ಮತ್ತು ಅವು ಕನಿಷ್ಠ ಒಮ್ಮೆಯಾದರೂ ಗ್ರಹಿಸಲಾಗದಂತಿರಬಹುದು.
- ನೀವು ಬೆಂಚ್ಮಾರ್ಕ್ ಡ್ರ್ಯಾಗನ್ಗಳನ್ನು ಬೆನ್ನಟ್ಟಲು ಪ್ರೇರೇಪಿಸುತ್ತೀರಿ. ವಿರೋಧಿಸಿ. ಹೆಚ್ಚಿನ ಪ್ರಾಯೋಗಿಕ ಕೆಲಸಕ್ಕಾಗಿ ಫ್ರೇಮ್ವರ್ಕ್ಗಿಂತ ಮಾದರಿ ಆಯ್ಕೆ ಮುಖ್ಯವಾಗಿದೆ.
ನೀವು ಐದು ವಿಷಯಗಳನ್ನು ಮಾತ್ರ ನೆನಪಿಟ್ಟುಕೊಂಡರೆ
- ಚಿಕ್ಕದಾಗಿ ಪ್ರಾರಂಭಿಸಿ. ಸಣ್ಣ ಮಾದರಿಗಳು, ಸಣ್ಣ ಕಾನ್ಫಿಗ್ಗಳು, ಕಡಿಮೆ ಚಲಿಸುವ ಭಾಗಗಳು.
- OpenAI-ಹೊಂದಾಣಿಕೆಯ API ಮೂಲಕ ಬೇಗ ಪರೀಕ್ಷಿಸಿ. ಆ ಮಾರ್ಗವು ಕಾರ್ಯನಿರ್ವಹಿಸಿದರೆ, ಉಳಿದವು ಕೊಳಾಯಿ ವ್ಯವಸ್ಥೆ.
- ನೀವು ಸ್ಥಿರತೆಯನ್ನು ರಾಜಿ ಮಾಡಿಕೊಳ್ಳುವ ಮೊದಲು ಕ್ವಾಂಟೈಸ್ ಮಾಡಿ. OOM ಗಳು ನಿಮ್ಮನ್ನು ವೇಗವಾಗಿ ಮಾಡುವುದಿಲ್ಲ.
- ನಂತರ ಊಹಿಸಲು ನೀವು ಬಯಸದ ಎಲ್ಲವನ್ನೂ ಲಾಗ್ ಮಾಡಿ.
- ಸಭ್ಯ ಕ್ಲೈಂಟ್ ಅನ್ನು ಬಳಸಿ. ಸರಿಯಾದ UI ಸಾಧಾರಣ ಮಾದರಿಗಳನ್ನು ಸಮರ್ಥವಾಗಿ ಅನುಭವಿಸುವಂತೆ ಮಾಡುತ್ತದೆ ಮತ್ತು ಉತ್ತಮ ಮಾದರಿಗಳನ್ನು ಉತ್ತಮವಾಗಿ ಅನುಭವಿಸುವಂತೆ ಮಾಡುತ್ತದೆ. Sider.AI ಇಲ್ಲಿ ಘನ, ತೊಂದರೆಯಿಲ್ಲದ ಲೇಯರ್ ಆಗಿದೆ.
ಸಂಗ್ರಹಿಸು: ಪ್ರಾಮಾಣಿಕ ನಿಲುವು
SaaS ಎಂದು ನಟಿಸದೆ ಮುಕ್ತ ಮೂಲವು ಉಪಯುಕ್ತವಾಗಲು ಸಾಕಷ್ಟು ಬೆಳೆದಾಗ FastChat ಏನಾಗುತ್ತದೆ. ಇದು ಮಾಡ್ಯುಲರ್, ಪ್ರಾಯೋಗಿಕ ಮತ್ತು ನಿಮ್ಮ ಕೈ ಹಿಡಿಯಲು ಗಣನೀಯವಾಗಿ ಆಸಕ್ತಿ ಹೊಂದಿಲ್ಲ. FastChat ಅನ್ನು ಹೇಗೆ ಬಳಸುವುದು ಎಂದರೆ, ಹೆಚ್ಚಾಗಿ, ಸಮಾರಂಭಕ್ಕಿಂತ ನಮ್ಯತೆಗೆ ಮೌಲ್ಯ ನೀಡುವ ಯಾವುದೇ ಪರಿಕರವನ್ನು ಹೇಗೆ ಬಳಸುವುದು: ಸ್ಪಷ್ಟ ಗುರಿಯೊಂದಿಗೆ ಪ್ರಾರಂಭಿಸಿ, ಕನಿಷ್ಠ ಕಾರ್ಯಸಾಧ್ಯವಾದ ಪೈಪ್ಲೈನ್ ಅನ್ನು ಜೋಡಿಸಿ ಮತ್ತು ಅದು ಕಾರ್ಯನಿರ್ವಹಿಸಿದಾಗ ನಿಲ್ಲಿಸಿ. ಉಳಿದವು—ಡ್ಯಾಶ್ಬೋರ್ಡ್ಗಳು, ವಿತರಿಸಿದ ಕಾರ್ಯಕರ್ತರು, ಮಾದರಿ ಮೃಗಾಲಯ—ಯಾರಾದರೂ ನಿಮ್ಮನ್ನು ಅಪ್ಟೈಮ್ ಸಂಖ್ಯೆಯನ್ನು ಕೇಳುವವರೆಗೆ ಕಾಯಬಹುದು.
ಹೆಚ್ಚಿನ ಜನರಿಗೆ, ನಿಮ್ಮ ಗಮನವನ್ನು ವ್ಯರ್ಥ ಮಾಡದ ಕ್ಲೈಂಟ್ನ ಹಿಂದೆ FastChat ಅನ್ನು ರನ್ ಮಾಡುವುದು ಉತ್ತಮ ಕ್ರಮವಾಗಿದೆ. ಟಿಂಕರರ್ಗಳಿಗೆ, ಇದು ಚೂಪಾದ ಅಂಚುಗಳನ್ನು ಹೊಂದಿರುವ ಆಟದ ಮೈದಾನವಾಗಿದೆ. ಎಲ್ಲರಿಗೂ: ನೀವು ಅದನ್ನು ವೇಗವಾಗಿ ಮಾಡಿದರೆ ಅದು ವೇಗವಾಗಿರುತ್ತದೆ, ನೀವು ಅದನ್ನು ಸರಳವಾಗಿ ಇಟ್ಟುಕೊಂಡರೆ ಸರಳವಾಗಿರುತ್ತದೆ ಮತ್ತು ನಿಮ್ಮ ಮಾದರಿ ಆಯ್ಕೆಯಂತೆ ಮಾತ್ರ ಉತ್ತಮವಾಗಿರುತ್ತದೆ. ಸಾಫ್ಟ್ವೇರ್ ಹೇಗಿರಬೇಕು, ಮತ್ತು ಅದು ವಿರಳವಾಗಿ ಹೇಗಿದೆ.
FAQ
Q1:OpenAI-ಹೊಂದಾಣಿಕೆಯ ಕ್ಲೈಂಟ್ನೊಂದಿಗೆ ನಾನು FastChat ಅನ್ನು ಹೇಗೆ ಬಳಸುವುದು?
ನಿಮ್ಮ ಕ್ಲೈಂಟ್ನ ಮೂಲ URL ಅನ್ನು FastChat API ಸರ್ವರ್ಗೆ ಸೂಚಿಸಿ ಮತ್ತು ಅದೇ ಚಾಟ್/ಪೂರ್ಣಗೊಳಿಸುವಿಕೆ ಸ್ಕೀಮಾವನ್ನು ಇರಿಸಿ. ಎಂಡ್ಪಾಯಿಂಟ್ ಹೊಂದಿಕೆಯಾಗುತ್ತದೆ, ಆದರೆ ಮಾದರಿಯ ನಡವಳಿಕೆಯು ಹೊಂದಿಕೆಯಾಗುವುದಿಲ್ಲ—ಆದ್ದರಿಂದ ನೀವು ರನ್ ಮಾಡುವ ನಿಜವಾದ ಮಾದರಿಯ ವಿರುದ್ಧ ಪ್ರಾಂಪ್ಟ್ಗಳು ಮತ್ತು ನಿಯತಾಂಕಗಳನ್ನು ಪರೀಕ್ಷಿಸಿ.
Q2:ಒಂದೇ GPU ನಲ್ಲಿ FastChat ಅನ್ನು ರನ್ ಮಾಡಲು ಉತ್ತಮ ಮಾರ್ಗ ಯಾವುದು?
ನಿಮ್ಮ VRAM ಗೆ ಸರಿಹೊಂದುವ ಮಾದರಿಯನ್ನು ಆರಿಸಿ, ವಿರಾಮಕ್ಕೆ ಜಾಗವಿರಲಿ, ಆದರ್ಶಪ್ರಾಯವಾಗಿ ಕ್ವಾಂಟೈಸ್ಡ್ (4–8 ಬಿಟ್). ಒಂದು ಕಾರ್ಯಕರ್ತನನ್ನು ಪ್ರಾರಂಭಿಸಿ, ಟೋಕನ್ಗಳನ್ನು ಸ್ಟ್ರೀಮ್ ಮಾಡಿ ಮತ್ತು ನೀವು ಲೇಟೆನ್ಸಿ ಸ್ಪೈಕ್ಗಳನ್ನು ಇಷ್ಟಪಡದ ಹೊರತು ಬ್ಯಾಚ್ ಗಾತ್ರವನ್ನು ಚಿಕ್ಕದಾಗಿ ಇರಿಸಿ.
Q3:FastChat ಏಕಕಾಲದಲ್ಲಿ ಬಹು ಮಾದರಿಗಳನ್ನು ನಿಭಾಯಿಸಬಲ್ಲದೇ?
ಹೌದು—ನಿಯಂತ್ರಕವು ಬಹು ಕಾರ್ಯಕರ್ತರು ಮತ್ತು ಮಾದರಿಗಳನ್ನು ಟ್ರ್ಯಾಕ್ ಮಾಡುತ್ತದೆ. ವಿನಂತಿಗಳನ್ನು ಉದ್ದೇಶಪೂರ್ವಕವಾಗಿ ಮಾರ್ಗ ಮಾಡಿ; ‘ಒಂದೇ API’ ಎಂದರೆ ಮಾದರಿಗಳಾದ್ಯಂತ ‘ಪರಸ್ಪರ ಬದಲಾಯಿಸಬಹುದಾದ ಫಲಿತಾಂಶಗಳು’ ಎಂದು ಭಾವಿಸಬೇಡಿ.
Q4:ಹೊಸ ಹಾರ್ಡ್ವೇರ್ ಖರೀದಿಸದೆ ನಾನು FastChat ಅನ್ನು ಹೇಗೆ ವೇಗಗೊಳಿಸುವುದು?
ಮಾದರಿಯನ್ನು ಕ್ವಾಂಟೈಸ್ ಮಾಡಿ, KV ಸಂಗ್ರಹ ಮರುಬಳಕೆಯನ್ನು ಸಕ್ರಿಯಗೊಳಿಸಿ, ಪ್ರತಿಕ್ರಿಯೆಗಳನ್ನು ಸ್ಟ್ರೀಮ್ ಮಾಡಿ ಮತ್ತು ಗರಿಷ್ಠ_ಟೋಕನ್ಗಳನ್ನು ಸರಿಹೊಂದಿಸಿ. ಸಾಮಾನ್ಯ ಪ್ರಾಂಪ್ಟ್ಗಳನ್ನು ಸಂಗ್ರಹಿಸುವುದು ಹೆಚ್ಚಿನ ನಾಬ್-ಟ್ವಿಡ್ಲಿಂಗ್ಗಿಂತ ಹೆಚ್ಚು ಸಹಾಯ ಮಾಡುತ್ತದೆ.
Q5:RAG ಪೈಪ್ಲೈನ್ಗಳಿಗೆ FastChat ಉತ್ತಮವೇ?
ಇದು ಚಾಟ್ ಲೇಯರ್ ಆಗಿ ಉತ್ತಮವಾಗಿ ಕಾರ್ಯನಿರ್ವಹಿಸುತ್ತದೆ, ಆದರೆ RAG ಗುಣಮಟ್ಟವು ಸ್ವಚ್ಛವಾದ ರಿಟ್ರೈವಲ್ ಮತ್ತು ಶಿಸ್ತುಬದ್ಧ ಪ್ರಾಂಪ್ಟ್ಗಳನ್ನು ಅವಲಂಬಿಸಿರುತ್ತದೆ. FastChat ಕಳಪೆ ಸಂದರ್ಭವನ್ನು ಸರಿಪಡಿಸುವುದಿಲ್ಲ; ಇದು ಮಾದರಿಯನ್ನು ವೇಗವಾಗಿ ಪೂರೈಸುತ್ತದೆ ಅಷ್ಟೆ.
