ನೀವು ಸಿಪಿಯುಗಳು, ಜಿಪಿಯುಗಳು ಅಥವಾ ಸಣ್ಣ ಎಡ್ಜ್ ಸಾಧನಗಳಲ್ಲಿ ರಿಯಲ್-ಟೈಮ್ AI ಅನ್ನು ನಿರ್ಮಿಸುತ್ತಿದ್ದರೆ, OpenVINO ನೆಚ್ಚಿನದು—ವಿಶೇಷವಾಗಿ Intel ಹಾರ್ಡ್ವೇರ್ನಲ್ಲಿ. ಆದರೆ ಇದು ಒಂದೇ ಆಯ್ಕೆಯಲ್ಲ. ನಿಮ್ಮ ಮಾದರಿ ಪ್ರಕಾರಗಳು, ವೇಗವರ್ಧಕ ಗುರಿಗಳು ಮತ್ತು ನಿಯೋಜನೆ ನಿರ್ಬಂಧಗಳನ್ನು ಅವಲಂಬಿಸಿ, ಕೆಲವು OpenVINO ಪರ್ಯಾಯಗಳು ನಿರ್ದಿಷ್ಟ ಹಾರ್ಡ್ವೇರ್ನಲ್ಲಿ ಉತ್ತಮ ಕಾರ್ಯಕ್ಷಮತೆಯನ್ನು ನೀಡಬಹುದು, ವ್ಯಾಪಕವಾದ ಚೌಕಟ್ಟಿನ ಬೆಂಬಲವನ್ನು ನೀಡಬಹುದು ಅಥವಾ ನಿಮ್ಮ MLOps ಪೈಪ್ಲೈನ್ ಅನ್ನು ಸರಳಗೊಳಿಸಬಹುದು.
ಈ ಮಾರ್ಗದರ್ಶಿಯಲ್ಲಿ, ನಾವು ಅತ್ಯುತ್ತಮ OpenVINO ಪರ್ಯಾಯಗಳನ್ನು, ಅವು ಯಾವುದಕ್ಕೆ ಉತ್ತಮವಾಗಿವೆ ಮತ್ತು 2025 ರಲ್ಲಿ ವಿಷನ್, NLP ಮತ್ತು ಮಲ್ಟಿಮೋಡಲ್ ಇನ್ಫರೆನ್ಸ್ಗಾಗಿ ಸರಿಯಾದ ಸ್ಟಾಕ್ ಅನ್ನು ಹೇಗೆ ಆಯ್ಕೆ ಮಾಡುವುದು ಎಂಬುದನ್ನು ವಿವರಿಸುತ್ತೇವೆ.
ಯಾವುದು OpenVINO ಗೆ ಬಲವಾದ ಪರ್ಯಾಯವಾಗಿಸುತ್ತದೆ?
- ಹಾರ್ಡ್ವೇರ್-ನೇಟಿವ್ ವೇಗವರ್ಧನೆ: NVIDIA, AMD, Apple Silicon, ARM ಅಥವಾ ವಿಶೇಷ NPUಗಳೊಂದಿಗೆ ಆಳವಾದ ಏಕೀಕರಣ.
- ಫ್ಲೆಕ್ಸಿಬಲ್ ಮಾದರಿ ಬೆಂಬಲ: ONNX, PyTorch, TensorFlow ಮತ್ತು Stable Diffusion/LLM ರನ್ಟೈಮ್ಗಳು.
- ಎಡ್ಜ್-ಸಿದ್ಧತೆ: ಕಡಿಮೆ ಲೇಟೆನ್ಸಿ, ಕ್ವಾಂಟೈಸೇಶನ್ ಮತ್ತು ಸಣ್ಣ-ಫುಟ್ಪ್ರಿಂಟ್ ರನ್ಟೈಮ್ಗಳು.
- ಪ್ರೊಡಕ್ಷನ್ ಆಪ್ಸ್: ನಿಯೋಜನೆ, ವೀಕ್ಷಣೆ, ಆಟೋಸ್ಕೇಲಿಂಗ್ ಮತ್ತು A/B ಟೆಸ್ಟಿಂಗ್.
ಸನ್ನಿವೇಶದ ಪ್ರಕಾರ ತ್ವರಿತ ಆಯ್ಕೆಗಳು
- NVIDIA-ಮೊದಲ ಸ್ಟಾಕ್ಗಳು: ಗರಿಷ್ಠ GPU ಥ್ರೋಪುಟ್ಗಾಗಿ TensorRT ಅಥವಾ TensorRT-LLM ಅನ್ನು ಆಯ್ಕೆಮಾಡಿ.
- ಕ್ರಾಸ್-ವೆಂಡರ್ ಪೋರ್ಟಬಿಲಿಟಿ: ಎಕ್ಸಿಕ್ಯೂಶನ್ ಪ್ರೊವೈಡರ್ಗಳೊಂದಿಗೆ ONNX ರನ್ಟೈಮ್ (CUDA, ROCm, DirectML, TensorRT).
- ಚಿಕ್ಕ/ಎಂಬೆಡೆಡ್ ಸಾಧನಗಳು: TFLite, MediaPipe, Core ML ಅಥವಾ ARM NN.
- ದೊಡ್ಡ ಪ್ರಮಾಣದಲ್ಲಿ LLM ಸೇವೆ: vLLM, TensorRT-LLM ಅಥವಾ ORT-GenAI ಜೊತೆಗೆ ONNX ರನ್ಟೈಮ್.
- Apple ಪರಿಸರ ವ್ಯವಸ್ಥೆ: Apple Silicon ವೇಗವರ್ಧನೆಗಾಗಿ Core ML + MLX.
- ಎಡ್ಜ್ನಲ್ಲಿ ವಿಷನ್-ಹೆವಿ ಪೈಪ್ಲೈನ್ಗಳು: OpenCV + ONNX ರನ್ಟೈಮ್ ಅಥವಾ TFLite; ಕ್ವಾಂಟೈಸೇಶನ್ ಅನ್ನು ಪರಿಗಣಿಸಿ.
- NVIDIA TensorRT ಮತ್ತು TensorRT-LLM
ಇದು ಪರ್ಯಾಯವಾಗಿರುವುದಕ್ಕೆ ಕಾರಣ: ನಿಮ್ಮ ವರ್ಕ್ಲೋಡ್ಗಳು NVIDIA GPU ಗಳಲ್ಲಿ ರನ್ ಆಗುತ್ತಿದ್ದರೆ, ಗ್ರಾಫ್ ಆಪ್ಟಿಮೈಸೇಶನ್ಗಳು, FP8/FP16, ಕರ್ನಲ್ ಫ್ಯೂಷನ್ ಮತ್ತು ಡೈನಾಮಿಕ್ ಆಕಾರಗಳೊಂದಿಗೆ ಕಡಿಮೆ-ಲೇಟೆನ್ಸಿ ಇನ್ಫರೆನ್ಸ್ಗೆ TensorRT ವೇಗವಾದ ಮಾರ್ಗವಾಗಿದೆ. TensorRT-LLM ಪುಟದ ಗಮನ ಮತ್ತು ಟೆನ್ಸರ್ ಪ್ಯಾರಲಲಿಸಮ್ ಸೇರಿದಂತೆ ಅತ್ಯಾಧುನಿಕ LLM ಗಳಿಗಾಗಿ ಆಪ್ಟಿಮೈಸ್ ಮಾಡಿದ ಕರ್ನಲ್ಗಳು ಮತ್ತು ಟೂಲಿಂಗ್ ಅನ್ನು ಸೇರಿಸುತ್ತದೆ.
ಇದಕ್ಕೆ ಉತ್ತಮ: NVIDIA ಡೇಟಾಸೆಂಟರ್ ಮತ್ತು ಎಡ್ಜ್ GPU ಗಳಲ್ಲಿ ಕಂಪ್ಯೂಟರ್ ವಿಷನ್, ಜನರೇಟಿವ್ AI ಮತ್ತು LLM ಗಳು.
ಸಾಧಕ:
- NVIDIA GPU ಗಳಲ್ಲಿ ಉದ್ಯಮ-ಪ್ರಮುಖ ಥ್ರೋಪುಟ್.
- ಬಿಗಿಯಾದ ಪರಿಸರ ವ್ಯವಸ್ಥೆ ಏಕೀಕರಣ (CUDA, cuDNN, Triton Inference Server).
- ಪ್ರಬುದ್ಧ INT8/FP8 ಕ್ವಾಂಟೈಸೇಶನ್ ಹರಿವುಗಳು.
ಕಾನ್ಸ್:
- NVIDIA-ಮಾತ್ರ; ಪೋರ್ಟಬಿಲಿಟಿ ಟ್ರೇಡ್-ಆಫ್ಗಳು.
- ಆಪ್ಟಿಮೈಸೇಶನ್ ಪೈಪ್ಲೈನ್ಗಳು ಸಂಕೀರ್ಣವಾಗಿರಬಹುದು.
- ONNX ರನ್ಟೈಮ್ (ORT)
ಇದು ಪರ್ಯಾಯವಾಗಿರುವುದಕ್ಕೆ ಕಾರಣ: ORT ಎಕ್ಸಿಕ್ಯೂಶನ್ ಪ್ರೊವೈಡರ್ಗಳನ್ನು ಬಳಸಿಕೊಂಡು CPU ಗಳು, NVIDIA GPU ಗಳು, AMD GPU ಗಳು (ROCm), DirectML ಮತ್ತು ಎಂಬೆಡೆಡ್ ಸಾಧನಗಳಲ್ಲಿ ಮಾದರಿಗಳನ್ನು ರನ್ ಮಾಡುತ್ತದೆ. ಇದು ಅತ್ಯಂತ ಪೋರ್ಟಬಲ್ ಆಗಿದೆ ಮತ್ತು ಪ್ರೊಡಕ್ಷನ್ ಇನ್ಫರೆನ್ಸ್ಗಾಗಿ ವ್ಯಾಪಕವಾಗಿ ಅಳವಡಿಸಿಕೊಳ್ಳಲಾಗಿದೆ.
ಇದಕ್ಕೆ ಉತ್ತಮ: ಅನೇಕ ಗುರಿಗಳಿಗಾಗಿ ಒಂದು ರನ್ಟೈಮ್ ಅನ್ನು ಬಯಸುವ ಕ್ರಾಸ್-ಪ್ಲಾಟ್ಫಾರ್ಮ್ ತಂಡಗಳು.
ಸಾಧಕ:
- ಅನೇಕ ಬ್ಯಾಕೆಂಡ್ಗಳಿಗಾಗಿ ಒಂದು ಮಾದರಿ ಫಾರ್ಮ್ಯಾಟ್ (ONNX).
- ಬಲವಾದ ಗ್ರಾಫ್ ಆಪ್ಟಿಮೈಸೇಶನ್ಗಳು, ಕ್ವಾಂಟೈಸೇಶನ್ ಟೂಲಿಂಗ್ ಮತ್ತು LLM ಗಳಿಗಾಗಿ ORT-GenAI.
- Triton ಅಥವಾ KServe ನೊಂದಿಗೆ ಚೆನ್ನಾಗಿ ಕೆಲಸ ಮಾಡುತ್ತದೆ.
ಕಾನ್ಸ್:
- ಪೀಕ್ ಕಾರ್ಯಕ್ಷಮತೆ ಇನ್ನೂ ವೆಂಡರ್-ನೇಟಿವ್ ಸ್ಟಾಕ್ಗಳನ್ನು ಬೆಂಬಲಿಸಬಹುದು.
- ONNX ಗೆ ಪರಿವರ್ತನೆಗೆ ಸಾಂದರ್ಭಿಕವಾಗಿ ಮಾದರಿ-ನಿರ್ದಿಷ್ಟ ಟ್ವೀಕ್ಗಳ ಅಗತ್ಯವಿದೆ.
- TensorFlow Lite (TFLite)
ಇದು ಪರ್ಯಾಯವಾಗಿರುವುದಕ್ಕೆ ಕಾರಣ: ಮೊಬೈಲ್ ಮತ್ತು ಮೈಕ್ರೋ-ಎಡ್ಜ್ ಸಾಧನಗಳಿಗೆ ಹೋಗಬೇಕಾದದ್ದು. TFLite 8-ಬಿಟ್ ಕ್ವಾಂಟೈಸೇಶನ್, ನಿಯೋಗಿಗಳು (NNAPI, GPU, Hexagon) ಮತ್ತು ಕಾಂಪ್ಯಾಕ್ಟ್ ರನ್ಟೈಮ್ ಅನ್ನು ನೀಡುತ್ತದೆ.
ಇದಕ್ಕೆ ಉತ್ತಮ: Android/iOS ಅಪ್ಲಿಕೇಶನ್ಗಳು, ಮೈಕ್ರೋ-ಕಂಟ್ರೋಲರ್ಗಳು ಮತ್ತು ಕಡಿಮೆ-ಶಕ್ತಿಯ ಎಡ್ಜ್.
ಸಾಧಕ:
- ಸಣ್ಣ ಫುಟ್ಪ್ರಿಂಟ್ ಮತ್ತು ವೇಗದ ಸ್ಟಾರ್ಟ್ಅಪ್.
- ಕ್ವಾಂಟೈಸೇಶನ್ ಮತ್ತು ನಿಯೋಗಿಗಳಿಗಾಗಿ ಪ್ರಬುದ್ಧ ಟೂಲಿಂಗ್.
ಕಾನ್ಸ್:
- ದೊಡ್ಡ LLM ಗಳಿಗೆ ಕಡಿಮೆ ಫ್ಲೆಕ್ಸಿಬಲ್.
- ಕೆಲವು ಆಪರೇಟರ್ಗಳಿಗೆ ಪರಿಹಾರಗಳ ಅಗತ್ಯವಿರಬಹುದು.
- Apple Core ML + MLX
ಇದು ಪರ್ಯಾಯವಾಗಿರುವುದಕ್ಕೆ ಕಾರಣ: Apple Silicon (M1/M2/M3/M4) ಗಾಗಿ, Core ML ಮತ್ತು MLX ನರಗಳ ಎಂಜಿನ್ ಮತ್ತು GPU ಅನ್ನು ಬಳಸಿಕೊಂಡು ಆಪ್ಟಿಮೈಸ್ ಮಾಡಿದ ಆನ್-ಡಿವೈಸ್ ಇನ್ಫರೆನ್ಸ್ ಅನ್ನು ನೀಡುತ್ತದೆ. ಗೌಪ್ಯತೆಗೆ ಮೊದಲ ಆದ್ಯತೆ ನೀಡುವ ಅಪ್ಲಿಕೇಶನ್ಗಳು ಮತ್ತು ಆಫ್ಲೈನ್ AI ಗೆ ಉತ್ತಮವಾಗಿದೆ.
ಇದಕ್ಕೆ ಉತ್ತಮ: Mac ಮತ್ತು iOS ನಿಯೋಜನೆಗಳು, ಆನ್-ಡಿವೈಸ್ LLM ಗಳು ಮತ್ತು ವಿಷನ್.
ಸಾಧಕ:
- Apple ಹಾರ್ಡ್ವೇರ್ನಲ್ಲಿ ಅತ್ಯುತ್ತಮ ಶಕ್ತಿಯ ದಕ್ಷತೆ ಮತ್ತು ವೇಗ.
- ಬಲವಾದ ಡೆವಲಪರ್ ಟೂಲಿಂಗ್ ಮತ್ತು ಪರಿವರ್ತನೆ ಮಾರ್ಗಗಳು (coremltools).
ಕಾನ್ಸ್:
- Apple-ಮಾತ್ರ ಮತ್ತು ಮಾದರಿ ಪರಿವರ್ತನೆ ಸೂಕ್ಷ್ಮ ವ್ಯತ್ಯಾಸಗಳು.
- AMD ROCm + MIGraphX
ಇದು ಪರ್ಯಾಯವಾಗಿರುವುದಕ್ಕೆ ಕಾರಣ: ನಿಮ್ಮ ಫ್ಲೀಟ್ AMD GPU ಗಳನ್ನು ಒಳಗೊಂಡಿದ್ದರೆ, ROCm CUDA-ಸಮಾನವಾದ ಅಡಿಪಾಯವನ್ನು ಒದಗಿಸುತ್ತದೆ, ಆದರೆ MIGraphX ಚೌಕಟ್ಟುಗಳು ಮತ್ತು ONNX ಗಾಗಿ ಗ್ರಾಫ್ ಕಂಪೈಲೇಷನ್ ಮತ್ತು ಇನ್ಫರೆನ್ಸ್ ಆಪ್ಟಿಮೈಸೇಶನ್ ಅನ್ನು ನೀಡುತ್ತದೆ.
ಇದಕ್ಕೆ ಉತ್ತಮ: AMD ಹಾರ್ಡ್ವೇರ್ನಲ್ಲಿ ವೆಚ್ಚ-ಆಪ್ಟಿಮೈಸ್ ಮಾಡಿದ GPU ಕ್ಲಸ್ಟರ್ಗಳು.
ಸಾಧಕ:
- ಬೆಂಬಲಿತ ಹಾರ್ಡ್ವೇರ್ನಲ್ಲಿ ಸ್ಪರ್ಧಾತ್ಮಕ ಕಾರ್ಯಕ್ಷಮತೆ.
- 2025 ರಲ್ಲಿ ಮುಕ್ತ ಪರಿಸರ ವ್ಯವಸ್ಥೆಯ ವೇಗ.
ಕಾನ್ಸ್:
- ಹಾರ್ಡ್ವೇರ್ ಬೆಂಬಲ ಮ್ಯಾಟ್ರಿಕ್ಸ್ ಮುಖ್ಯವಾಗಿದೆ; ಹೊಂದಾಣಿಕೆಯನ್ನು ಖಚಿತಪಡಿಸಿಕೊಳ್ಳಿ.
- OpenCV DNN + MediaPipe
ಇದು ಪರ್ಯಾಯವಾಗಿರುವುದಕ್ಕೆ ಕಾರಣ: ಎಡ್ಜ್ನಲ್ಲಿ ಕ್ಲಾಸಿಕ್ CV ಮತ್ತು ಲೈಟ್ ML ಗಾಗಿ, OpenCV ಯ DNN ಮಾಡ್ಯೂಲ್ ಮತ್ತು Google ನ MediaPipe ಕನಿಷ್ಠ ಓವರ್ಹೆಡ್ನೊಂದಿಗೆ ಪರಿಣಾಮಕಾರಿ ಪೈಪ್ಲೈನ್ಗಳನ್ನು ಒದಗಿಸುತ್ತವೆ. ರಿಯಲ್-ಟೈಮ್ ವೀಡಿಯೊ, ಪೋಸ್ ಮತ್ತು ಫೇಸ್ ಲ್ಯಾಂಡ್ಮಾರ್ಕ್ ಕಾರ್ಯಗಳಿಗೆ ಉತ್ತಮವಾಗಿದೆ.
ಇದಕ್ಕೆ ಉತ್ತಮ: CPU ಮತ್ತು ಮೊಬೈಲ್ GPU ಗಳಲ್ಲಿ ವಿಷನ್-ಸೆಂಟ್ರಿಕ್ ಅಪ್ಲಿಕೇಶನ್ಗಳು.
ಸಾಧಕ:
- ಲೈಟ್ವೇಟ್, ಪ್ರಾಯೋಗಿಕ ಮತ್ತು ವ್ಯಾಪಕವಾಗಿ ಬೆಂಬಲಿತವಾಗಿದೆ.
- ವೀಡಿಯೊ ಮತ್ತು ಇಮೇಜ್ ಪೈಪ್ಲೈನ್ಗಳೊಂದಿಗೆ ಸುಲಭ ಏಕೀಕರಣ.
ಕಾನ್ಸ್:
- ಸಂಪೂರ್ಣ ML ರನ್ಟೈಮ್ಗಳಿಗಿಂತ ಕಿರಿದಾದ ಆಪರೇಟರ್ ಕವರೇಜ್.
- TVM (Apache TVM)
ಇದು ಪರ್ಯಾಯವಾಗಿರುವುದಕ್ಕೆ ಕಾರಣ: TVM ಗರಿಷ್ಠ ಕಾರ್ಯಕ್ಷಮತೆಗಾಗಿ ಆಟೋ-ಟ್ಯೂನಿಂಗ್ನೊಂದಿಗೆ ಅನೇಕ ಬ್ಯಾಕೆಂಡ್ಗಳಲ್ಲಿ (CPU ಗಳು, GPU ಗಳು, ವೇಗವರ್ಧಕಗಳು) ಹೆಚ್ಚು ಆಪ್ಟಿಮೈಸ್ ಮಾಡಿದ ಕರ್ನಲ್ಗಳಿಗೆ ಮಾದರಿಗಳನ್ನು ಕಂಪೈಲ್ ಮಾಡುತ್ತದೆ.
ಇದಕ್ಕೆ ಉತ್ತಮ: ಗರಿಷ್ಠ ಪೋರ್ಟಬಿಲಿಟಿ ಮತ್ತು ವೇಗಕ್ಕಾಗಿ ಕಂಪೈಲೇಷನ್ ಮತ್ತು ಟ್ಯೂನಿಂಗ್ನಲ್ಲಿ ಹೂಡಿಕೆ ಮಾಡಲು ಸಿದ್ಧರಿರುವ ತಂಡಗಳು.
ಸಾಧಕ:
- ವೆಂಡರ್-ಅಜ್ಞೇಯತಾವಾದಿ ಕಾರ್ಯಕ್ಷಮತೆ ಟ್ಯೂನಿಂಗ್.
- ಬಲವಾದ ಸಮುದಾಯ ಮತ್ತು ಶೈಕ್ಷಣಿಕ ಬೆಂಬಲ.
ಕಾನ್ಸ್:
- ಹೆಚ್ಚಿನ ಕಲಿಕೆಯ ರೇಖೆ ಮತ್ತು ಟ್ಯೂನಿಂಗ್ ಸಮಯ.
- ARM NN + Ethos-U/NPU ಟೂಲ್ಚೈನ್ಗಳು
ಇದು ಪರ್ಯಾಯವಾಗಿರುವುದಕ್ಕೆ ಕಾರಣ: ARM-ಆಧಾರಿತ SoC ಗಳು ಮತ್ತು ಮೈಕ್ರೋ-NPU ಗಳಿಗಾಗಿ, ARM NN ಮತ್ತು ವೆಂಡರ್ ಟೂಲ್ಚೈನ್ಗಳು (ಉದಾಹರಣೆಗೆ, Ethos) ಕಡಿಮೆ-ಶಕ್ತಿಯ ಸಾಧನಗಳಲ್ಲಿ ಪರಿಣಾಮಕಾರಿ ಇನ್ಫರೆನ್ಸ್ ಅನ್ನು ಸಕ್ರಿಯಗೊಳಿಸುತ್ತವೆ.
ಇದಕ್ಕೆ ಉತ್ತಮ: IoT, ಕ್ಯಾಮೆರಾಗಳು, ರೊಬೊಟಿಕ್ಸ್ ಮತ್ತು ಬ್ಯಾಟರಿ ಚಾಲಿತ ಬಳಕೆಯ ಸಂದರ್ಭಗಳು.
ಸಾಧಕ:
- ARM CPU ಗಳು ಮತ್ತು NPU ಗಳಿಗಾಗಿ ಆಪ್ಟಿಮೈಸ್ ಮಾಡಲಾಗಿದೆ.
- ಎಡ್ಜ್ ಸನ್ನಿವೇಶಗಳಿಗಾಗಿ ಉತ್ತಮ ಕ್ವಾಂಟೈಸೇಶನ್ ಮತ್ತು ಆಪರೇಟರ್ ಕವರೇಜ್.
ಕಾನ್ಸ್:
- ಸಾಧನ-ನಿರ್ದಿಷ್ಟ ಟೂಲಿಂಗ್; ಪೋರ್ಟಬಿಲಿಟಿಯನ್ನು ಸೀಮಿತಗೊಳಿಸಬಹುದು.
- Triton Inference Server (ಬ್ಯಾಕೆಂಡ್ಗಳೊಂದಿಗೆ)
Triton ಸ್ವತಃ ರನ್ಟೈಮ್ ಅಲ್ಲ, ಆದರೆ ಇದು ಡೈನಾಮಿಕ್ ಬ್ಯಾಚಿಂಗ್, ಏಕಕಾಲಿಕ ಮಾದರಿ ಕಾರ್ಯಗತಗೊಳಿಸುವಿಕೆ ಮತ್ತು ಮೆಟ್ರಿಕ್ಗಳೊಂದಿಗೆ ಬಹು ಬ್ಯಾಕೆಂಡ್ಗಳನ್ನು (TensorRT, ONNX ರನ್ಟೈಮ್, PyTorch, Python) ಸಂಘಟಿಸುತ್ತದೆ.
ಇದಕ್ಕೆ ಉತ್ತಮ: ಮಿಶ್ರ ಚೌಕಟ್ಟುಗಳೊಂದಿಗೆ ದೊಡ್ಡ ಪ್ರಮಾಣದಲ್ಲಿ ಉತ್ಪಾದನಾ ಸೇವೆ.
ಸಾಧಕ:
- ಉತ್ಪಾದನಾ-ದರ್ಜೆಯ ಕಾರ್ಯಕ್ಷಮತೆ ವೈಶಿಷ್ಟ್ಯಗಳು.
- Kubernetes, ಆಟೋಸ್ಕೇಲಿಂಗ್, A/B ಟೆಸ್ಟಿಂಗ್ನೊಂದಿಗೆ ಚೆನ್ನಾಗಿ ಕಾರ್ಯನಿರ್ವಹಿಸುತ್ತದೆ.
ಕಾನ್ಸ್:
- ಕಾರ್ಯಾಚರಣೆಯ ಓವರ್ಹೆಡ್; ನೀವು ಇನ್ನೂ ಬ್ಯಾಕೆಂಡ್ ರನ್ಟೈಮ್ ಅನ್ನು ಆಯ್ಕೆ ಮಾಡುತ್ತೀರಿ.
- vLLM
ಇದು ಪರ್ಯಾಯವಾಗಿರುವುದಕ್ಕೆ ಕಾರಣ: PagedAttention ಮತ್ತು ಪರಿಣಾಮಕಾರಿ KV ಸಂಗ್ರಹ ನಿರ್ವಹಣೆಯೊಂದಿಗೆ ಹೆಚ್ಚಿನ-ಥ್ರೋಪುಟ್ LLM ಇನ್ಫರೆನ್ಸ್ಗಾಗಿ ವಿಶೇಷವಾಗಿದೆ. ನಿಮ್ಮ OpenVINO ಬಳಕೆಯು LLM ಗಳ ಕಡೆಗೆ ತಿರುಗುತ್ತಿದ್ದರೆ, vLLM ಸಾಮಾನ್ಯವಾಗಿ ದೊಡ್ಡ ಪ್ರಮಾಣದಲ್ಲಿ ವೇಗವಾಗಿರುತ್ತದೆ ಮತ್ತು ಸರಳವಾಗಿರುತ್ತದೆ.
ಇದಕ್ಕೆ ಉತ್ತಮ: ಜನರೇಟಿವ್ AI, ಚಾಟ್ ಮತ್ತು RAG ಪೈಪ್ಲೈನ್ಗಳು.
ಸಾಧಕ:
- ಅತ್ಯುತ್ತಮ ಟೋಕನ್ ಥ್ರೋಪುಟ್ ಮತ್ತು ಮೆಮೊರಿ ದಕ್ಷತೆ.
- ಸೇವೆ ಚೌಕಟ್ಟುಗಳು ಮತ್ತು ಅಡಾಪ್ಟರ್ಗಳೊಂದಿಗೆ ಸಂಯೋಜನೆಗೊಳ್ಳುತ್ತದೆ.
ಕಾನ್ಸ್:
- LLM-ಕೇಂದ್ರಿತ; ಸಾಮಾನ್ಯ CV ಗಾಗಿ ಅಲ್ಲ.
- DeepSpeed-Inference
ಇದು ಪರ್ಯಾಯವಾಗಿರುವುದಕ್ಕೆ ಕಾರಣ: Microsoft ನ DeepSpeed ಟೆನ್ಸರ್/ಸೀಕ್ವೆನ್ಸ್ ಆಪ್ಟಿಮೈಸೇಶನ್ಗಳು, ಕ್ವಾಂಟೈಸೇಶನ್ ಮತ್ತು ಬಹಳ ದೊಡ್ಡ ಮಾದರಿಗಳಿಗಾಗಿ ಇನ್ಫರೆನ್ಸ್ ಪ್ಯಾರಲಲಿಸಮ್ ಅನ್ನು ಒದಗಿಸುತ್ತದೆ.
ಇದಕ್ಕೆ ಉತ್ತಮ: ಮಲ್ಟಿ-GPU ಮತ್ತು ಮಲ್ಟಿ-ನೋಡ್ LLM ನಿಯೋಜನೆಗಳು.
ಸಾಧಕ:
- ದೊಡ್ಡ ಪ್ಯಾರಾಮೀಟರ್ ಎಣಿಕೆಗಳನ್ನು ಸಲೀಸಾಗಿ ನಿರ್ವಹಿಸುತ್ತದೆ.
- PyTorch ಪರಿಸರ ವ್ಯವಸ್ಥೆಗಳೊಂದಿಗೆ ಸಂಯೋಜನೆಗೊಳ್ಳುತ್ತದೆ.
ಕಾನ್ಸ್:
- ಬಹಳ ದೊಡ್ಡ ಮಾದರಿಗಳು ಮತ್ತು ಕ್ಲಸ್ಟರ್ಗಳಿಗೆ ಉತ್ತಮ ROI.
OpenVINO ವಿರುದ್ಧ TensorRT: ಪ್ರಾಯೋಗಿಕ ವಿಭಜನೆ
- ನೀವು ಎಡ್ಜ್ನಲ್ಲಿ Intel CPU/iGPU ಗಳನ್ನು ಬಳಸುತ್ತಿದ್ದರೆ, OpenVINO ಅನ್ನು ಸೋಲಿಸುವುದು ಕಷ್ಟ. ನೀವು NVIDIA GPU ಗಳನ್ನು ಬಳಸುತ್ತಿದ್ದರೆ, TensorRT ಸಾಮಾನ್ಯವಾಗಿ ಥ್ರೋಪುಟ್ ಮತ್ತು ಲೇಟೆನ್ಸಿಯಲ್ಲಿ ಗೆಲ್ಲುತ್ತದೆ. ಆ ವಿಭಜನೆಯು ಉದ್ಯಮದ ರೂಢಿಯಾಗಿದೆ ಮತ್ತು ಎರಡೂ ಸ್ಟಾಕ್ಗಳನ್ನು ಅವುಗಳ ನೇಟಿವ್ ಹಾರ್ಡ್ವೇರ್ಗಾಗಿ ಹೇಗೆ ಇಂಜಿನಿಯರಿಂಗ್ ಮಾಡಲಾಗಿದೆ ಎಂಬುದರೊಂದಿಗೆ ಹೊಂದಾಣಿಕೆಯಾಗುತ್ತದೆ.
ಸರಿಯಾದ OpenVINO ಪರ್ಯಾಯವನ್ನು ಹೇಗೆ ಆರಿಸುವುದು
- ನಿಮ್ಮ ಹಾರ್ಡ್ವೇರ್ನೊಂದಿಗೆ ಪ್ರಾರಂಭಿಸಿ:
- NVIDIA GPU: TensorRT/TensorRT-LLM, TensorRT ಬ್ಯಾಕೆಂಡ್ನೊಂದಿಗೆ Triton, ಅಥವಾ CUDA/TensorRT EP ಗಳೊಂದಿಗೆ ORT.
- AMD GPU: ONNX ರನ್ಟೈಮ್ (ROCm EP), MIGraphX, TVM.
- Apple Silicon: Core ML + MLX.
- ARM ಎಡ್ಜ್: TFLite, ARM NN, ವೆಂಡರ್ NPU ಗಳು.
- CPU-ಮಾತ್ರ: ONNX ರನ್ಟೈಮ್ (CPU EP), TVM, OpenCV DNN.
- ಮಾದರಿ ಕುಟುಂಬವನ್ನು ಹೊಂದಿಸಿ:
- ವಿಷನ್ CNN/ಟ್ರಾನ್ಸ್ಫಾರ್ಮರ್ಗಳು: TensorRT, ORT, TVM, TFLite, OpenCV DNN.
- LLM ಗಳು: TensorRT-LLM, vLLM, ORT-GenAI, DeepSpeed-Inference.
- ಮಲ್ಟಿಮೋಡಲ್: ORT/TensorRT + ವಿಶೇಷ ಪೂರ್ವ/ನಂತರದ ಪ್ರಕ್ರಿಯೆಗೊಳಿಸುವಿಕೆ.
- ಬುದ್ಧಿವಂತಿಕೆಯಿಂದ ಆಪ್ಟಿಮೈಸ್ ಮಾಡಿ:
- ಕ್ವಾಂಟೈಜ್: ಅಗತ್ಯವಿದ್ದಾಗ ಎಡ್ಜ್ ಮತ್ತು LLM ಗಳಿಗಾಗಿ INT8 ಅಥವಾ 4-ಬಿಟ್.
- ಕಂಪೈಲ್: ಕರ್ನಲ್-ಮಟ್ಟದ ಗೆಲುವುಗಳಿಗಾಗಿ TVM ಅಥವಾ ವೆಂಡರ್ ಕಂಪೈಲರ್ಗಳನ್ನು ಬಳಸಿ.
- ಪ್ರೊಫೈಲ್: ಕೇವಲ ಥ್ರೋಪುಟ್ ಅಲ್ಲ, ನಿಜವಾದ ಲೇಟೆನ್ಸಿಯನ್ನು (p50/p99) ಅಳೆಯಿರಿ.
- ವಿಶ್ವಾಸಾರ್ಹತೆಗಾಗಿ ಪ್ರೊಡಕ್ಷನೈಸ್ ಮಾಡಿ:
- ಸೇವೆ: ಟ್ರೈಟಾನ್, ಕೆಸರ್ವ್ ಅಥವಾ ಫಾಸ್ಟ್ಎಪಿಐ + ಆರ್ಕೆಸ್ಟ್ರೇಶನ್.
- ವೀಕ್ಷಣೆ: ಲೇಟೆನ್ಸಿ ಹಿಸ್ಟೋಗ್ರಾಮ್ಗಳು, GPU/CPU ಬಳಕೆ, ಡ್ರಿಫ್ಟ್.
- ಮಾದರಿಗಳಿಗಾಗಿ CI: ಪರಿವರ್ತನೆ, ಕ್ವಾಂಟೈಸೇಶನ್ ಮತ್ತು ರಿಗ್ರೆಷನ್ ಪರೀಕ್ಷೆಗಳನ್ನು ಸ್ವಯಂಚಾಲಿತಗೊಳಿಸಿ.
OpenVINO ನಿಂದ ಸಾಮಾನ್ಯ ವಲಸೆ ಮಾರ್ಗಗಳು
- OpenVINO → ONNX ರನ್ಟೈಮ್: ಮಾದರಿಯನ್ನು ONNX ಗೆ ರಫ್ತು ಮಾಡಿ; ಕನಿಷ್ಠ ಕೋಡ್ ಬದಲಾವಣೆಗಳೊಂದಿಗೆ ರನ್ಟೈಮ್ ಅನ್ನು ಬದಲಿಸಿ; CUDA/ROCm/CPU EP ಗಳೊಂದಿಗೆ ಪರೀಕ್ಷಿಸಿ.
- OpenVINO → TensorRT: ONNX ಮೂಲಕ ಪರಿವರ್ತಿಸಿ; INT8 ಗಾಗಿ ಮಾಪನಾಂಕ ನಿರ್ಣಯವನ್ನು ರನ್ ಮಾಡಿ; ಸೇವೆಗಾಗಿ ಟ್ರೈಟಾನ್ನೊಂದಿಗೆ ಸಂಯೋಜಿಸಿ.
- OpenVINO → TFLite (ಮೊಬೈಲ್): TFLite ಗೆ ಪರಿವರ್ತಿಸಿ; ತರಬೇತಿ ನಂತರದ ಕ್ವಾಂಟೈಸೇಶನ್ ಅನ್ನು ಅನ್ವಯಿಸಿ; ನಿಯೋಗಿಗಳನ್ನು ಪರೀಕ್ಷಿಸಿ.
ಉದಾಹರಣೆ ವಾಸ್ತುಶಿಲ್ಪಗಳು
- ಎಡ್ಜ್ನಲ್ಲಿ ವಿಷನ್ (CPU + ಕಡಿಮೆ-ಶಕ್ತಿಯ GPU): ಕ್ಯಾಮೆರಾ → ಪ್ರಿಪ್ರೊಕ್ → ONNX ರನ್ಟೈಮ್ (CPU ಅಥವಾ DirectML) → ಪೋಸ್ಟ್ಪ್ರೊಕ್ → ಸ್ಟ್ರೀಮ್.
- ಹೆಚ್ಚಿನ-ಥ್ರೋಪುಟ್ LLM API (NVIDIA): ಟೋಕನೈಜರ್ → TensorRT-LLM/vLLM → ಟ್ರೈಟಾನ್ → Kubernetes ನಲ್ಲಿ ಆಟೋಸ್ಕೇಲ್.
- Apple ಆನ್-ಡಿವೈಸ್ ಖಾಸಗಿ AI: Core ML ಮಾದರಿ → ಮೆಟಲ್/ANE ವೇಗವರ್ಧನೆ → ಸ್ಥಳೀಯ ಅಪ್ಲಿಕೇಶನ್ ತರ್ಕ; ಮೋಡಿಗೆ ಒಳನೋಟಗಳನ್ನು ಸಿಂಕ್ ಮಾಡಿ.
ಗಮನಿಸಬೇಕಾದ ಅಂಶ: ನೀವು ಬಹು ರನ್ಟೈಮ್ಗಳೊಂದಿಗೆ ಪ್ರಯೋಗಿಸುತ್ತಿದ್ದರೆ, ಲೇಟೆನ್ಸಿ, ಮೆಮೊರಿ ಮತ್ತು ಬ್ಯಾಕೆಂಡ್ಗಳಾದ್ಯಂತದ ನಿಖರತೆಯನ್ನು ಹೋಲಿಸಲು ಸಹಾಯ ಮಾಡುವ ಏಕೀಕೃತ ವರ್ಕ್ಫ್ಲೋ ಸಮಯವನ್ನು ಉಳಿಸಬಹುದು. LLM ಗಳಿಗಾಗಿ ಪ್ರಾಂಪ್ಟ್ ಇಂಜಿನಿಯರಿಂಗ್ ಅನ್ನು ಸುವ್ಯವಸ್ಥಿತಗೊಳಿಸುವ, ಡಾಕ್ ರನ್ಗಳನ್ನು ಸಾರಾಂಶಗೊಳಿಸುವ ಅಥವಾ ಮಾದರಿ ಡೇಟಾಸೆಟ್ಗಳ ವಿರುದ್ಧ ಪರೀಕ್ಷೆಯನ್ನು ಸ್ವಯಂಚಾಲಿತಗೊಳಿಸುವ ಪರಿಕರಗಳು ಈ ಪರ್ಯಾಯಗಳಾದ್ಯಂತ ಪುನರಾವರ್ತನೆಯನ್ನು ವೇಗಗೊಳಿಸಬಹುದು.
ರಿಯಾಲಿಟಿ ಚೆಕ್: ಸಮುದಾಯ ಪಟ್ಟಿಗಳು ಗದ್ದಲದಾಯಕವಾಗಿರಬಹುದು
ಸಂಗ್ರಹ ಪುಟಗಳು ಕೆಲವೊಮ್ಮೆ ಸಂಬಂಧವಿಲ್ಲದ ಪರಿಕರಗಳನ್ನು OpenVINO ಪರ್ಯಾಯಗಳೊಂದಿಗೆ ಬೆರೆಸುತ್ತವೆ. ಅಭ್ಯರ್ಥಿಯು MLOps ಪ್ಲಾಟ್ಫಾರ್ಮ್ ಅಥವಾ ಡೇಟಾ ಟೂಲ್ ಆಗಿರುವುದಕ್ಕಿಂತ ಹೆಚ್ಚಾಗಿ ಮಾದರಿ ಆಪ್ಟಿಮೈಸೇಶನ್/ಇನ್ಫರೆನ್ಸ್ ರನ್ಟೈಮ್ ಅನ್ನು ನಿಜವಾಗಿಯೂ ಬದಲಾಯಿಸುತ್ತದೆಯೇ ಎಂಬುದನ್ನು ಯಾವಾಗಲೂ ಮೌಲ್ಯೀಕರಿಸಿ. ಅನುಮಾನವಿದ್ದಾಗ, ನಿಮ್ಮ ನಿರ್ದಿಷ್ಟ ಮಾದರಿಗಳಿಗಾಗಿ ಹಾರ್ಡ್ವೇರ್ ಬೆಂಬಲ, ಆಪರೇಟರ್ ಕವರೇಜ್ ಮತ್ತು ಬೆಂಚ್ಮಾರ್ಕ್ ವಿಧಾನವನ್ನು ಪರಿಶೀಲಿಸಿ.
ಕ್ರಮ ತೆಗೆದುಕೊಳ್ಳಬಹುದಾದ ಮುಂದಿನ ಹಂತಗಳು
- ಹಾರ್ಡ್ವೇರ್ ಗುರಿ(ಗಳನ್ನು) ಮತ್ತು ಶಕ್ತಿ/ಲೇಟೆನ್ಸಿ ಬಜೆಟ್ಗಳನ್ನು ವ್ಯಾಖ್ಯಾನಿಸಿ.
- ಗುರಿಯ ಪ್ರಕಾರ ಎರಡು ಅಭ್ಯರ್ಥಿಗಳನ್ನು ಆಯ್ಕೆಮಾಡಿ (ಉದಾಹರಣೆಗೆ, NVIDIA ಯಲ್ಲಿ TensorRT ವಿರುದ್ಧ ORT) ಮತ್ತು A/B ಪರೀಕ್ಷೆ.
- ಬೇಗನೆ ಕ್ವಾಂಟೈಜ್ ಮಾಡಿ ಮತ್ತು ನಿಖರತೆಯ ಪರಿಣಾಮವನ್ನು ಅಳೆಯಿರಿ.
- ಪರಿವರ್ತನೆ ಪೈಪ್ಲೈನ್ಗಳನ್ನು ಸ್ವಯಂಚಾಲಿತಗೊಳಿಸಿ (ONNX ರಫ್ತು, ಮಾಪನಾಂಕ ನಿರ್ಣಯ, ಪ್ಯಾಕೇಜಿಂಗ್).
- p50/p95/p99 ಮತ್ತು ವೆಚ್ಚಕ್ಕಾಗಿ ಮೆಟ್ರಿಕ್ಗಳೊಂದಿಗೆ ಸೇವಾ ಲೇಯರ್ ಅನ್ನು ಬಳಸಿ.
ಪ್ರಮುಖ ಅಂಶಗಳು
- ಯಾವುದೇ ಒಂದು “ಅತ್ಯುತ್ತಮ” OpenVINO ಪರ್ಯಾಯವಿಲ್ಲ—ಹಾರ್ಡ್ವೇರ್, ಮಾದರಿ ಪ್ರಕಾರ ಮತ್ತು ಕಾರ್ಯಾಚರಣೆಯ ಅಗತ್ಯತೆಗಳ ಮೂಲಕ ಆಯ್ಕೆಮಾಡಿ.
- NVIDIA GPU ಗಳಿಗಾಗಿ, TensorRT ಮತ್ತು Triton ಬ್ಯಾಕೆಂಡ್ಗಳು ಸಾಮಾನ್ಯವಾಗಿ ಉನ್ನತ-ಶ್ರೇಣಿಯ ಆಯ್ಕೆಯಾಗಿವೆ.
- ವ್ಯಾಪಕ ಪೋರ್ಟಬಿಲಿಟಿಗಾಗಿ, ONNX ರನ್ಟೈಮ್ ಬಲವಾದ ಡೀಫಾಲ್ಟ್ ಆಗಿದೆ.
- ಮೊಬೈಲ್/ಎಂಬೆಡೆಡ್ಗಾಗಿ, TFLite, Core ML ಮತ್ತು ARM NN ಮಿಂಚುತ್ತವೆ.
- LLM ಗಳಿಗಾಗಿ, TensorRT-LLM, vLLM ಅಥವಾ ORT-GenAI ನಂತಹ ವಿಶೇಷ ಸ್ಟಾಕ್ಗಳನ್ನು ಬಳಸಿ.
FAQ
Q1:NVIDIA GPU ಗಳಿಗಾಗಿ ಅತ್ಯುತ್ತಮ OpenVINO ಪರ್ಯಾಯ ಯಾವುದು?
NVIDIA ಹಾರ್ಡ್ವೇರ್ಗಾಗಿ, TensorRT ಅಥವಾ TensorRT-LLM ಸಾಮಾನ್ಯವಾಗಿ ಉತ್ತಮ ಲೇಟೆನ್ಸಿ ಮತ್ತು ಥ್ರೋಪುಟ್ ಅನ್ನು ನೀಡುತ್ತದೆ, ವಿಶೇಷವಾಗಿ ವಿಷನ್ ಮತ್ತು LLM ವರ್ಕ್ಲೋಡ್ಗಳಿಗಾಗಿ. ಪೋರ್ಟಬಿಲಿಟಿಗಾಗಿ ನೀವು CUDA ಅಥವಾ TensorRT ಎಕ್ಸಿಕ್ಯೂಶನ್ ಪ್ರೊವೈಡರ್ಗಳೊಂದಿಗೆ ONNX ರನ್ಟೈಮ್ ಅನ್ನು ಸಹ ರನ್ ಮಾಡಬಹುದು.
Q2:ಎಡ್ಜ್ ಮತ್ತು ಮೊಬೈಲ್ಗೆ ಯಾವ OpenVINO ಪರ್ಯಾಯಗಳು ಉತ್ತಮವಾಗಿವೆ?
TensorFlow Lite, Core ML ಮತ್ತು ARM NN ಮೊಬೈಲ್ ಮತ್ತು ಎಂಬೆಡೆಡ್ ನಿಯೋಜನೆಗಳಿಗೆ ಬಲವಾಗಿವೆ. CPU-ಕೇಂದ್ರಿತ ಎಡ್ಜ್ ಸಾಧನಗಳಿಗಾಗಿ, CPU ಅಥವಾ DirectML ಎಕ್ಸಿಕ್ಯೂಶನ್ ಪ್ರೊವೈಡರ್ನೊಂದಿಗೆ ONNX ರನ್ಟೈಮ್ ಪ್ರಾಯೋಗಿಕ ಪರ್ಯಾಯವಾಗಿದೆ.
Q3:ONNX ರನ್ಟೈಮ್ OpenVINO ಗೆ ಉತ್ತಮ ಬದಲಿಯಾಗಿದೆಯೇ?
ಹೌದು—ONNX ರನ್ಟೈಮ್ ಎಕ್ಸಿಕ್ಯೂಶನ್ ಪ್ರೊವೈಡರ್ಗಳ ಮೂಲಕ ವ್ಯಾಪಕವಾದ ಹಾರ್ಡ್ವೇರ್ ಬೆಂಬಲ ಮತ್ತು ಬಲವಾದ ಗ್ರಾಫ್ ಆಪ್ಟಿಮೈಸೇಶನ್ಗಳೊಂದಿಗೆ ಬಹುಮುಖ ಪರ್ಯಾಯವಾಗಿದೆ. ಪೀಕ್ ಕಾರ್ಯಕ್ಷಮತೆ ಇನ್ನೂ NVIDIA ಯಲ್ಲಿ TensorRT ನಂತಹ ವೆಂಡರ್-ನೇಟಿವ್ ಸ್ಟಾಕ್ಗಳನ್ನು ಬೆಂಬಲಿಸಬಹುದು.
Q4:OpenVINO ಬದಲಿಗೆ LLM ಇನ್ಫರೆನ್ಸ್ಗಾಗಿ ನಾನು ಏನು ಬಳಸಬೇಕು?
LLM ಗಳಿಗಾಗಿ, NVIDIA ಗಾಗಿ TensorRT-LLM, ಹೆಚ್ಚಿನ ಟೋಕನ್ ಥ್ರೋಪುಟ್ಗಾಗಿ vLLM ಅಥವಾ ORT-GenAI ನೊಂದಿಗೆ ONNX ರನ್ಟೈಮ್ ಅನ್ನು ಪರಿಗಣಿಸಿ. ಬಹಳ ದೊಡ್ಡ, ಮಲ್ಟಿ-GPU ನಿಯೋಜನೆಗಳಿಗೆ DeepSpeed-Inference ಮತ್ತೊಂದು ಆಯ್ಕೆಯಾಗಿದೆ.
Q5:ನಾನು OpenVINO ನಿಂದ ಮತ್ತೊಂದು ರನ್ಟೈಮ್ಗೆ ಹೇಗೆ ವಲಸೆ ಹೋಗುವುದು?
ನಿಮ್ಮ ಮಾದರಿಯನ್ನು ONNX ಗೆ ರಫ್ತು ಮಾಡಿ, ನಂತರ TensorRT ಅಥವಾ ONNX ರನ್ಟೈಮ್ನಂತಹ ರನ್ಟೈಮ್ ಅನ್ನು ಅಳವಡಿಸಿಕೊಳ್ಳಿ ಮತ್ತು ಅಗತ್ಯವಿದ್ದರೆ ಮಾಪನಾಂಕ ನಿರ್ಣಯ/ಕ್ವಾಂಟೈಸೇಶನ್ ಅನ್ನು ಮರು-ರನ್ ಮಾಡಿ. ಉತ್ಪಾದನೆಯ ಮೊದಲು ನಿಖರತೆ, ಲೇಟೆನ್ಸಿ ಮತ್ತು ಮೆಮೊರಿಯನ್ನು ಹೋಲಿಸಲು ಸಣ್ಣ ಬೆಂಚ್ಮಾರ್ಕ್ ಹಾರ್ನೆಸ್ ಅನ್ನು ನಿರ್ಮಿಸಿ.
