How do I install OpenVINO the easiest way?

Use a virtual environment and run: pip install -U openvino openvino-dev. Verify with a quick import check and consult official Get Started docs for platform specifics.

How do I convert my model to OpenVINO IR?

Export your model to ONNX, then run the Model Optimizer (mo) to produce .xml/.bin IR files. Provide input shapes and consider FP16 for speed and memory gains.

Can OpenVINO run on CPU and integrated GPU without code changes?

Yes. Compile the model with device_name="AUTO", "CPU", or "GPU". You can switch devices with a single parameter while keeping the rest of your code intact.

How can I speed up inference with OpenVINO?

Use FP16 or INT8 quantization, the async inference API, and benchmark_app to tune threads and streams. Profile with VTune for deeper bottleneck analysis.

Does OpenVINO support NLP and generative models?

Yes. It supports a range of NLP and diffusion models; use FP16 and consider INT8 for transformers. Validate accuracy after optimization and measure latency under load.

كيفية استخدام OpenVINO: دليل عملي للاستدلال السريع والمرن للذكاء الاصطناعي

إذا حاولت يومًا تسريع استنتاج الذكاء الاصطناعي على الأجهزة اليومية وشعرت بأنك عالق بين عمليات تشغيل وحدة المعالجة المركزية (CPU) البطيئة وتعقيد وحدة معالجة الرسومات (GPU)، فقد يكون OpenVINO هو الجزء المفقود. تم تطويره بواسطة Intel، وهو يحول نماذج التعلم العميق الشائعة إلى تطبيقات سريعة ومحمولة تعمل على وحدات المعالجة المركزية (CPUs)، ووحدات معالجة الرسومات المتكاملة (integrated GPUs)، وحتى وحدات المعالجة العصبية (NPUs) - دون الحاجة إلى إعادة كتابة المكدس بأكمله.

في هذا الدليل العملي والموجه نحو الحلول، ستتعلم بالضبط كيفية استخدام OpenVINO - بدءًا من التثبيت وحتى تحويل النموذج والتحسين والنشر. سنغطي أكثر مسارات العمل شيوعًا، ونشارك نماذج التعليمات البرمجية، ونسلط الضوء على نصائح الأداء المهمة.

ما ستتعلمه في لمحة:

قم بتثبيت OpenVINO في دقائق باستخدام pip

حوّل النماذج (تصدير ONNX/TF/PyTorch) باستخدام مُحسِّن النماذج (Model Optimizer)

قم بتشغيل الاستنتاج باستخدام OpenVINO Runtime في Python

قم بالتحسين باستخدام أدوات التكميم وقياس الأداء

انشر عبر وحدة المعالجة المركزية (CPU) ووحدة معالجة الرسومات المتكاملة (iGPU) ووحدة المعالجة العصبية (NPU) بأقل تغييرات في التعليمات البرمجية

ما هو OpenVINO ولماذا نستخدمه؟ OpenVINO هي مجموعة أدوات مفتوحة المصدر لتحسين ونشر نماذج الذكاء الاصطناعي عبر أجهزة Intel وما بعدها. إنه قوي بشكل خاص لاستنتاج الإنتاج عندما تريد أداءً يمكن التنبؤ به، ووقت استجابة منخفض، وقابلية للنقل - لا يلزم إعداد CUDA مكثف إذا لم تكن بحاجة إليه. وهو يدعم تنسيقات النماذج الشائعة مثل ONNX ويتكامل بدقة مع الأطر الشائعة.

المزايا الرئيسية:

السرعة: تعمل النواة المحسّنة وتحويلات الرسوم البيانية على تسريع الاستنتاج على وحدات المعالجة المركزية (CPUs) ووحدات معالجة الرسومات (GPUs).

إمكانية النقل: يمكن للتطبيق نفسه استهداف وحدة المعالجة المركزية (CPU) ووحدة معالجة الرسومات المتكاملة (iGPU) ووحدة المعالجة العصبية (NPU) بتغيير جهاز بسطر واحد.

الكفاءة: يعمل التكميم وضغط النموذج وتحسينات وقت التشغيل على تقليل زمن الوصول والذاكرة.

البساطة: واجهة برمجة تطبيقات (API) Python النظيفة وأدوات سطر الأوامر (CLI) تجعلها سهلة الاستخدام للمبتدئين.

الخطوة 1: تثبيت OpenVINO بالنسبة لمعظم المستخدمين، فإن أسرع طريقة هي عبر pip:

تأكد من تثبيت Python 3.9-3.12 (64 بت).

قم بإنشاء وتفعيل بيئة افتراضية (موصى به).

تثبيت: pip install -U openvino openvino-dev

تحقق: python -c "import openvino; print(openvino.version)"

إذا كنت تفضل موارد رسمية خطوة بخطوة أو كنت ترغب في تتبع الملاحظات الخاصة بالإصدار ودعم النظام الأساسي، فابدأ بمستندات OpenVINO Get Started ومركز الوثائق الحالي. للحصول على مرجع سريع لتثبيت pip والتوافق، راجع صفحة PyPI.

الخطوة 2: تجهيز النموذج الخاص بك (يوصى باستخدام ONNX) يعمل OpenVINO بشكل أفضل مع نماذج IR (التمثيل الوسيط) (.xml/.bin). يقوم معظم المستخدمين بالتصدير إلى ONNX أولاً، ثم التحويل إلى IR باستخدام مُحسِّن النماذج (Model Optimizer).

المسارات الشائعة:

PyTorch: torch.onnx.export → ONNX → OpenVINO IR

TensorFlow/Keras: SavedModel → ONNX (عبر tf2onnx) → OpenVINO IR

ONNX موجود: التحويل مباشرة إلى OpenVINO IR

مثال سريع (PyTorch → ONNX):

قم بتصدير النموذج الخاص بك إلى ONNX داخل Python: torch.onnx.export(model, dummy_input, "model.onnx", opset_version=17, do_constant_folding=True)

تحقق من ONNX باستخدام onnx.checker.check_model أو قم بتشغيله مرة واحدة في onnxruntime.

الخطوة 3: التحويل إلى OpenVINO IR باستخدام مُحسِّن النماذج (Model Optimizer) يقوم مُحسِّن النماذج (Model Optimizer) بتحويل نماذج الإطار إلى OpenVINO IR ويطبق تحسينات على مستوى الرسم البياني. بعد تثبيت openvino-dev، يمكنك تشغيل:

mo --input_model model.onnx --output_dir ov_model ينتج هذا model.xml و model.bin.

علامات مفيدة:

--input_shape: فرض أبعاد الإدخال إذا كان النموذج الخاص بك ديناميكيًا.

--mean_values/--scale_values: تطبيع المدخلات أثناء المعالجة المسبقة.

--compress_to_fp16: تقليل الدقة وحجم النموذج لتحقيق مكاسب في السرعة/الذاكرة.

نصيحة: إذا كنت تستهدف استنتاج وحدة المعالجة المركزية (CPU) بزمن انتقال منخفض، فإن FP16 غالبًا ما يحقق توازنًا كبيرًا بين السرعة والدقة. احتفظ بخط أساس FP32 IR لاختبار A/B.

الخطوة 4: تشغيل الاستنتاج باستخدام OpenVINO Runtime (Python) إن سير عمل وقت التشغيل الأساسي واضح ومباشر.

مثال (تصنيف الصور):

from openvino.runtime import Core import numpy as np import cv2

core = Core model = core.read_model("ov_model/model.xml") compiled_model = core.compile_model(model, device_name="CPU") # الخيارات: "CPU", "GPU", "AUTO", "NPU" (حيث يتم دعمها)

input_layer = compiled_model.inputs. إذا كنت ترغب في تحديد النقاط الفعالة لوحدة المعالجة المركزية (CPU) واستخدام مؤشرات الترابط، فإن Intel VTune Profiler لديه وصفة خاصة لتطبيقات OpenVINO.

الخطوة 6: التحسين باستخدام التكميم (INT8) يمكن أن يؤدي التكميم بعد التدريب (PTQ) إلى تقليل حجم النموذج وزيادة السرعة مع الحد الأدنى من فقدان الدقة:

استخدم POT (أداة التحسين بعد التدريب) المضمنة والمضمنة في openvino-dev.

قم بتوفير مجموعة بيانات معايرة صغيرة تشبه بيانات الإنتاج الخاصة بك.

قم بتصدير INT8 IR وقم بقياسه. إذا كانت الدقة غير كافية، فحاول استخدام الدقة المختلطة (INT8 + FP16) أو التكميم الانتقائي.

تدفق التكميم الشائع:

جمع عينات تمثيلية.

تكوين معلمات تكميم POT (لكل موتر مقابل لكل قناة، متماثل مقابل غير متماثل).

تشغيل المعايرة والتحقق من الصحة.

قارن مؤشرات الأداء الرئيسية: زمن الوصول والإنتاجية ودقة top-1/top-5 أو المقاييس الخاصة بالمهمة.

الخطوة 7: التعامل مع المعالجة المسبقة بالطريقة الصحيحة غالبًا ما تختلف توقعات إدخال/إخراج النموذج. قم بتوحيد المعالجة المسبقة الخاصة بك:

تغيير الحجم/الاقتصاص المركزي إلى الحجم المتوقع (على سبيل المثال، 224×224)

ترتيب القنوات (RGB مقابل BGR)

التطبيع (المتوسط/الانحراف المعياري)

التخطيط (NCHW مقابل NHWC)

يمكنك تضمين خطوات المعالجة المسبقة في IR باستخدام واجهة برمجة تطبيقات (API) PrePostProcessor في OpenVINO Runtime بحيث يظل رمز التطبيق الخاص بك نظيفًا وقابلاً للنقل.

مقتطف مثال:

from openvino.runtime import Core, Layout, Type from openvino.preprocess import PrePostProcessor

core = Core model = core.read_model("ov_model/model.xml") ppp = PrePostProcessor(model) ppp.input.tensor.set_layout(Layout("NHWC")) ppp.input.preprocess.convert_element_type(Type.f32) ppp.output.tensor model = ppp.build compiled_model = core.compile_model(model, "AUTO")

الخطوة 8: التوسع إلى الفيديو والبث بالنسبة لتحليلات الفيديو، يمكنك توصيل استنتاج OpenVINO بـ OpenCV أو GStreamer. استخدم طلبات الاستنتاج غير المتزامنة والمعالجة المجمعة للحفاظ على FPS عاليًا وزمن انتقال منخفض.

نصائح:

استخدم واجهة برمجة تطبيقات (API) غير متزامنة: تعمل الطلبات المتعددة أثناء الطيران على تحسين الإنتاجية على وحدات المعالجة المركزية (CPUs).

تجميع الإطارات إذا كان النموذج الخاص بك يستفيد من التنفيذ المتجه.

تثبيت مؤشرات الترابط أو ضبط التدفقات للحصول على زمن انتقال يمكن التنبؤ به على الأنظمة متعددة النواة.

الخطوة 9: النشر بذكاء عبر الأجهزة إحدى القوى الخارقة لـ OpenVINO هي الاستهداف السلس للأجهزة:

وحدة المعالجة المركزية (CPU): افتراضي قوي؛ متاح على نطاق واسع؛ رائع للحافة والخادم.

وحدة معالجة الرسومات (GPU) (متكاملة): تسريع جيد بدون وحدة معالجة رسومات منفصلة؛ جودة برنامج التشغيل مهمة.

تلقائي (AUTO): دع وقت التشغيل يختار؛ رائع للتطبيقات المحمولة.

التنفيذ غير المتجانس: تقسيم الطبقات عبر الأجهزة حيث يكون ذلك مفيدًا.

ابدأ بـ AUTO من أجل قابلية النقل. إذا كنت بحاجة إلى تحكم أكثر إحكامًا، فقم بقياس وحدة المعالجة المركزية (CPU) مقابل وحدة معالجة الرسومات (GPU) وقرر لكل نموذج.

أمثلة عملية حسب المهمة

التصنيف (ResNet/ViT):

تحويل ONNX → IR؛ استخدم FP16؛ جهاز AUTO؛ استنتاج غير متزامن.

المعالجة المسبقة: تغيير الحجم، الاقتصاص المركزي، التطبيع.

قم بالقياس إذا كنت بحاجة إلى إنتاجية > 2 × مع انخفاض طفيف في الدقة.

اكتشاف الكائنات (YOLO/SSD):

تأكد من التعامل مع الأشكال الديناميكية أو إصلاح حجم الإدخال.

تحليل المخرجات: فك تشفير المربعات، وتطبيق NMS من جانب العميل.

استخدم INT8 لعمليات نشر الحافة لتحقيق الوقت الفعلي على وحدات المعالجة المركزية (CPUs).

تجزئة دلالية:

استخدم التجانب للصور الكبيرة.

تحسين المعالجة اللاحقة (argmax، تعيين الألوان) باستخدام NumPy المتجه.

NLP (يشبه BERT):

استخدم تحسينات OpenVINO-text عندما تكون متاحة.

تخزين مسارات الترميز مؤقتًا؛ ضع في اعتبارك INT8 للمحولات.

Stable Diffusion / توليدي:

استهدف FP16؛ تحسين جداول الجدولة/الاستنتاج.

يساعد التوصيف - مسارات الانتشار متعددة المراحل.

قائمة التحقق من الاختبار والتحقق من الصحة

قارن المخرجات مقابل خط الأساس (PyTorch/TF/ONNXRuntime) لمجموعة اختبار صغيرة.

تحقق من صحة الاختلافات العددية بعد تحويلات FP16/INT8.

قياس زمن الوصول p50/p95 والإنتاجية في ظل الحمل المتوقع.

اختبار الإجهاد: عمليات تشغيل طويلة لاكتشاف مشكلات الذاكرة أو مؤشرات الترابط.

إجابات سريعة لاستكشاف الأخطاء وإصلاحها

أخطاء التحويل مع مُحسِّن النماذج (Model Optimizer):

تحديث openvino-dev؛ جرب مجموعة عمليات أحدث؛ تبسيط الرسم البياني ONNX (onnxsim).

الأشكال غير المتطابقة:

توفير --input_shape؛ تأكيد دعم الإدخال الديناميكي.

أداء وحدة المعالجة المركزية (CPU) البطيء:

استخدم FP16/INT8، واجهة برمجة تطبيقات (API) غير متزامنة، وضبط مؤشرات الترابط/التدفقات؛ تشغيل benchmark_app.

لم يتم اكتشاف وحدة معالجة الرسومات (GPU):

تحديث برامج التشغيل؛ جرب device="AUTO"؛ تحقق من المستندات لوحدات معالجة الرسومات (GPUs) المدعومة.

موارد التعلم والمستندات الرسمية

ابدأ هنا للحصول على دروس عملية ودفاتر ملاحظات وأدلة الإعداد: OpenVINO Get Started

مدخل الوثائق الكامل لواجهات برمجة التطبيقات (APIs) ومُحسِّن النماذج (Model Optimizer) و POT وعينات: OpenVINO Docs

مرجع تثبيت Pip لعمليات التثبيت السريعة والتوافق: PyPI openvino

تحليل التوصيف والأداء لتطبيقات OpenVINO: دليل Intel VTune

بالمناسبة، إذا كنت تقوم بصياغة محتوى تقني أو دروس تعليمية أو كتيبات داخلية حول التحسين والنشر، فيمكن لأدوات مثل مساحة عمل الكتابة الخاصة بـ Sider.AI أن تساعدك في تجميع التعليمات البرمجية والمعايير والسرد معًا بسرعة - وهو أمر مفيد عند توثيق تجارب أداء OpenVINO المعقدة أو مقارنات الأجهزة المتعددة.

الخطوات التالية القابلة للتنفيذ

قم بتثبيت OpenVINO باستخدام pip وقم بتشغيل benchmark_app على IR عينة.

حوّل نموذج ONNX معروفًا جيدًا (على سبيل المثال، ResNet50) وتحقق من صحة الدقة.

جرب FP16، ثم INT8 مع POT؛ قياس زمن الوصول والإنتاجية.

قم بتبديل device_name بين وحدة المعالجة المركزية (CPU) ووحدة معالجة الرسومات (GPU) و AUTO؛ اختر الأفضل للأجهزة المستهدفة.

قم بالتوصيف باستخدام VTune إذا كنت بحاجة إلى الحصول على أداء إضافي.

النقاط الرئيسية

يجعل OpenVINO استنتاج الذكاء الاصطناعي سريعًا وقابلاً للنقل ويدرك الأجهزة.

يؤدي التحويل إلى IR بالإضافة إلى المعالجة المسبقة الذكية إلى تسريع موثوق به.

التكميم والتنفيذ غير المتزامن هما أفضل أصدقائك لتحقيق الأداء في الوقت الفعلي.

تعني مرونة الجهاز (CPU/iGPU/NPU/AUTO) قاعدة بيانات واحدة، والعديد من الأهداف.

الأسئلة الشائعة

س1: كيف يمكنني تثبيت OpenVINO بأسهل طريقة؟ استخدم بيئة افتراضية وقم بتشغيل: pip install -U openvino openvino-dev. تحقق من خلال فحص استيراد سريع وراجع مستندات Get Started الرسمية للحصول على تفاصيل خاصة بالنظام الأساسي.

س2: كيف يمكنني تحويل النموذج الخاص بي إلى OpenVINO IR؟ قم بتصدير النموذج الخاص بك إلى ONNX، ثم قم بتشغيل مُحسِّن النماذج (Model Optimizer) (mo) لإنتاج ملفات IR .xml/.bin. قم بتوفير أشكال الإدخال وفكر في FP16 لتحقيق مكاسب في السرعة والذاكرة.

س3: هل يمكن لـ OpenVINO التشغيل على وحدة المعالجة المركزية (CPU) ووحدة معالجة الرسومات (GPU) المتكاملة دون تغييرات في التعليمات البرمجية؟ نعم. قم بتجميع النموذج باستخدام device_name="AUTO" أو "CPU" أو "GPU". يمكنك تبديل الأجهزة بمعامل واحد مع الحفاظ على بقية التعليمات البرمجية الخاصة بك سليمة.

س4: كيف يمكنني تسريع الاستنتاج باستخدام OpenVINO؟ استخدم تكميم FP16 أو INT8، وواجهة برمجة تطبيقات (API) الاستنتاج غير المتزامن، و benchmark_app لضبط مؤشرات الترابط والتدفقات. قم بالتوصيف باستخدام VTune لتحليل أعمق للاختناقات.

س5: هل يدعم OpenVINO نماذج NLP والتوليد؟ نعم. وهو يدعم مجموعة من نماذج NLP والانتشار؛ استخدم FP16 وفكر في INT8 للمحولات. تحقق من صحة الدقة بعد التحسين وقياس زمن الوصول تحت الحمل.