Eğer günlük donanımlarda yapay zeka çıkarımını hızlandırmaya çalıştıysanız ve yavaş CPU çalıştırmaları ile GPU karmaşıklığı arasında sıkışıp kaldıysanız, OpenVINO eksik parça olabilir. Intel tarafından geliştirilen bu araç, yaygın derin öğrenme modellerini, tüm yığınını yeniden yazmanıza gerek kalmadan CPU'larda, entegre GPU'larda ve hatta NPU'larda çalışan hızlı, taşınabilir uygulamalara dönüştürür.
Bu pratik, çözüm odaklı kılavuzda, OpenVINO'yu kurulumdan model dönüştürmeye, optimizasyona ve dağıtıma kadar tam olarak nasıl kullanacağınızı öğreneceksiniz. En yaygın iş akışlarını ele alacak, örnek kodlar paylaşacak ve önemli performans ipuçlarını vurgulayacağız.
Bir bakışta neler öğreneceksiniz:
- OpenVINO'yu pip ile dakikalar içinde kurun
- Model Optimizer'ı kullanarak modelleri (ONNX/TF/PyTorch dışa aktarımı) dönüştürün
- Python'da OpenVINO Runtime ile çıkarım çalıştırın
- Kuvantizasyon ve kıyaslama araçlarıyla optimize edin
- Minimum kod değişikliği ile CPU, iGPU ve NPU'da dağıtım yapın
OpenVINO nedir ve neden kullanılır?
OpenVINO, yapay zeka modellerini Intel donanımları ve ötesinde optimize etmek ve dağıtmak için kullanılan açık kaynaklı bir araç setidir. Öngörülebilir performans, düşük gecikme süresi ve taşınabilirlik istediğinizde üretim çıkarımı için özellikle güçlüdür—ihtiyacınız yoksa ağır bir CUDA kurulumu gerekmez. ONNX gibi popüler model formatlarını destekler ve yaygın çerçevelerle düzgün bir şekilde entegre olur.
Temel avantajları:
- Hız: Optimize edilmiş çekirdekler ve grafik dönüşümleri, CPU'lar ve GPU'lar üzerindeki çıkarımı hızlandırır.
- Taşınabilirlik: Aynı uygulama, tek satırlık bir cihaz değişikliğiyle CPU, iGPU, NPU'yu hedefleyebilir.
- Verimlilik: Kantizasyon, model sıkıştırma ve çalışma zamanı optimizasyonları gecikmeyi ve belleği azaltır.
- Basitlik: Temiz Python API'si ve CLI araçları, onu yeni başlayanlar için uygun hale getirir.
Adım 1: OpenVINO'yu Kurun
Çoğu kullanıcı için en hızlı yol pip üzerinden geçmektir:
- Python 3.9–3.12'nin (64-bit) kurulu olduğundan emin olun.
- Sanal bir ortam oluşturun ve etkinleştirin (önerilir).
- Kurulum:
pip install -U openvino openvino-dev
- Doğrulama:
python -c "import openvino; print(openvino.version)"
Resmi adım adım kaynakları tercih ediyorsanız veya sürüme özgü notları ve platform desteğini takip etmek istiyorsanız, OpenVINO Başlangıç Belgeleri ve mevcut dokümantasyon merkezi ile başlayın. Hızlı pip kurulum referansı ve uyumluluk için PyPI sayfasına bakın.
Adım 2: Modelinizi Hazırlayın (ONNX önerilir)
OpenVINO, IR (Ara Gösterim) modelleri (.xml/.bin) ile en iyi şekilde çalışır. Çoğu kullanıcı önce ONNX'e aktarır, ardından Model Optimizer'ı kullanarak IR'ye dönüştürür.
Popüler yollar:
- PyTorch: torch.onnx.export → ONNX → OpenVINO IR
- TensorFlow/Keras: SavedModel → ONNX (tf2onnx aracılığıyla) → OpenVINO IR
- Mevcut ONNX: Doğrudan OpenVINO IR'ye dönüştürün
Hızlı örnek (PyTorch → ONNX):
- Modelinizi Python içinde ONNX'e aktarın:
torch.onnx.export(model, dummy_input, "model.onnx", opset_version=17, do_constant_folding=True)
- ONNX'i onnx.checker.check_model ile doğrulayın veya onnxruntime'da bir kez çalıştırın.
Adım 3: Model Optimizer ile OpenVINO IR'ye Dönüştürün
Model Optimizer, çerçeve modellerini OpenVINO IR'ye dönüştürür ve grafik düzeyinde optimizasyonlar uygular. openvino-dev'i kurduktan sonra şunu çalıştırabilirsiniz:
- mo --input_model model.onnx --output_dir ov_model
Bu, model.xml ve model.bin üretir.
Faydalı işaretler:
- --input_shape: Modeliniz dinamikse giriş boyutlarını zorlayın.
- --mean_values/--scale_values: Ön işleme sırasında girişleri normalleştirin.
- --compress_to_fp16: Hız/bellek kazanımları için hassasiyeti ve model boyutunu azaltın.
İpucu: Düşük gecikmeli CPU çıkarımını hedefliyorsanız, FP16 genellikle hız ve doğruluk arasında harika bir denge sağlar. A/B testi için bir temel FP32 IR'si saklayın.
Adım 4: OpenVINO Runtime ile Çıkarım Çalıştırın (Python)
Temel çalışma zamanı iş akışı basittir.
Örnek (görüntü sınıflandırması):
from openvino.runtime import Core
import numpy as np
import cv2
core = Core
model = core.read_model("ov_model/model.xml")
compiled_model = core.compile_model(model, device_name="CPU") # seçenekler: "CPU", "GPU", "AUTO", "NPU" (desteklendiği yerlerde)
input_layer = compiled_model.inputs. CPU erişim noktalarını ve iş parçacığı kullanımını profillemek istiyorsanız, Intel VTune Profiler'ın OpenVINO uygulamaları için özel bir tarifi vardır.
Adım 6: Kantizasyon ile Optimize Edin (INT8)
Eğitim sonrası kantizasyon (PTQ), minimum doğruluk kaybıyla model boyutunu küçültebilir ve hızı artırabilir:
- openvino-dev ile birlikte gelen yerleşik POT'u (Eğitim Sonrası Optimizasyon Aracı) kullanın.
- Üretim verilerinize benzeyen küçük bir kalibrasyon veri seti sağlayın.
- Bir INT8 IR'si dışa aktarın ve kıyaslayın. Doğruluk yetersizse, karma hassasiyeti (INT8 + FP16) veya seçici kantizasyonu deneyin.
Ortak kantizasyon akışı:
- Temsili örnekler toplayın.
- POT kantizasyon parametrelerini yapılandırın (tensör başına veya kanal başına, simetrik veya asimetrik).
- Kalibrasyon ve doğrulama çalıştırın.
- KPI'ları karşılaştırın: gecikme süresi, verim, ilk 1/ilk 5 doğruluk veya göreve özel metrikler.
Adım 7: Ön İşlemeyi Doğru Şekilde Ele Alın
Model G/Ç beklentileri genellikle farklılık gösterir. Ön işlemenizi standart hale getirin:
- Beklenen boyuta yeniden boyutlandırın/merkez kırpma uygulayın (örn. 224×224)
- Normalleştirme (ortalama/std)
Uygulama kodunuzun temiz ve taşınabilir kalması için ön işleme adımlarını OpenVINO Runtime'daki PrePostProcessor API'sini kullanarak IR'ye yerleştirebilirsiniz.
Örnek snippet:
from openvino.runtime import Core, Layout, Type
from openvino.preprocess import PrePostProcessor
core = Core
model = core.read_model("ov_model/model.xml")
ppp = PrePostProcessor(model)
ppp.input.tensor.set_layout(Layout("NHWC"))
ppp.input.preprocess.convert_element_type(Type.f32)
ppp.output.tensor
model = ppp.build
compiled_model = core.compile_model(model, "AUTO")
Adım 8: Video ve Akışa Ölçeklendirin
Video analitiği için, OpenVINO çıkarımını OpenCV veya GStreamer ile işleyebilirsiniz. FPS'yi yüksek ve gecikmeyi düşük tutmak için asenkron çıkarım isteklerini ve toplu işlemeyi kullanın.
İpuçları:
- Asenkron API'sini kullanın: Çok sayıda devam eden istek, CPU'lardaki verimi artırır.
- Modeliniz vektörize edilmiş yürütmeden yararlanıyorsa çerçeveleri toplu işleyin.
- Çok çekirdekli sistemlerde öngörülebilir gecikme için iş parçacıklarını sabitleyin veya akışları ayarlayın.
Adım 9: Cihazlar Arasında Akıllıca Dağıtım Yapın
OpenVINO'nun süper güçlerinden biri, sorunsuz cihaz hedeflemesidir:
- CPU: Güçlü varsayılan; yaygın olarak bulunur; uç ve sunucu için harika.
- GPU (entegre): Ayrı bir GPU olmadan iyi hızlandırma; sürücü kalitesi önemlidir.
- AUTO: Çalışma zamanının seçmesine izin verin; taşınabilir uygulamalar için harika.
- Hetero yürütme: Katmanları faydalı olan cihazlar arasında bölün.
Taşınabilirlik için AUTO ile başlayın. Daha sıkı kontrole ihtiyacınız varsa, CPU ve GPU'yu kıyaslayın ve model başına karar verin.
Göreve göre pratik örnekler
- Sınıflandırma (ResNet/ViT):
- ONNX → IR'ye dönüştürün; FP16 kullanın; AUTO cihazı; asenkron çıkarım.
- Ön işleme: yeniden boyutlandırma, merkez kırpma, normalleştirme.
- Küçük doğruluk kaybıyla >2× verime ihtiyacınız varsa kantize edin.
- Nesne algılama (YOLO/SSD):
- Dinamik şekillerin ele alındığından veya giriş boyutunun sabitlendiğinden emin olun.
- Çıktıları ayrıştırın: kutuları çözün, NMS istemci tarafını uygulayın.
- CPU'larda gerçek zamanlıya ulaşmak için uç dağıtımları için INT8 kullanın.
- Büyük görüntüler için döşeme kullanın.
- Vektörize edilmiş NumPy ile işlem sonrası (argmax, renk eşleme) optimizasyonunu yapın.
- Mevcut olduğunda OpenVINO-text optimizasyonlarını kullanın.
- Belirteçleme işlem hatlarını önbelleğe alın; dönüştürücüler için INT8'i düşünün.
- Stable Diffusion / Üretken:
- FP16'yı hedefleyin; zamanlayıcı/çıkarım döngülerini optimize edin.
- Profillendirme yardımcı olur—difüzyon işlem hatları çok aşamalıdır.
Test ve doğrulama kontrol listesi
- Küçük bir test seti için çıktıları temel çizgiyle (PyTorch/TF/ONNXRuntime) karşılaştırın.
- FP16/INT8 dönüştürmelerinden sonra sayısal farklılıkları doğrulayın.
- Beklenen yük altında gecikme p50/p95 ve verimi ölçün.
- Stres testi: bellek veya iş parçacığı sorunlarını yakalamak için uzun çalıştırmalar.
Sorun giderme hızlı cevaplar
- Model Optimizer ile dönüştürme hataları:
- openvino-dev'i güncelleyin; daha yeni bir opset deneyin; ONNX grafiğini basitleştirin (onnxsim).
- --input_shape sağlayın; dinamik giriş desteğini onaylayın.
- FP16/INT8, asenkron API'sini kullanın, iş parçacıklarını/akışları ayarlayın; benchmark_app'i çalıştırın.
- Sürücüleri güncelleyin; device="AUTO" deneyin; desteklenen GPU'lar için belgelere bakın.
Öğrenme kaynakları ve resmi belgeler
- Uygulamalı eğitimler, not defterleri ve kurulum kılavuzları için buradan başlayın: OpenVINO Get Started
- API'ler, Model Optimizer, POT, örnekler için tam dokümantasyon portalı: OpenVINO Docs
- Hızlı kurulumlar ve uyumluluk için Pip kurulum referansı: PyPI openvino
- OpenVINO uygulamaları için profilleme ve performans analizi: Intel VTune guide
Bu arada, optimizasyon ve dağıtım etrafında teknik içerik, eğitimler veya dahili oyun kitapları hazırlıyorsanız, Sider.AI'nın yazma çalışma alanı gibi araçlar, kodu, kıyaslamaları ve anlatıyı hızlı bir şekilde bir araya getirmenize yardımcı olabilir—karmaşık OpenVINO performans deneylerini veya çoklu cihaz karşılaştırmalarını belgelendirirken kullanışlıdır. Eyleme geçirilebilir sonraki adımlar
- pip ile OpenVINO'yu kurun ve bir örnek IR üzerinde benchmark_app'i çalıştırın.
- Bilinen iyi bir ONNX modelini (örn. ResNet50) dönüştürün ve doğruluğu doğrulayın.
- FP16'yı deneyin, ardından POT ile INT8'i; gecikme süresini ve verimi ölçün.
- device_name'i CPU, GPU ve AUTO arasında değiştirin; hedef donanımınız için en iyisini seçin.
- Ekstra performans elde etmeniz gerekiyorsa VTune ile profilleme yapın.
Temel çıkarımlar
- OpenVINO, yapay zeka çıkarımını hızlı, taşınabilir ve donanım farkında yapar.
- IR'ye dönüştürme ve akıllı ön işleme, güvenilir hızlandırmalar sağlar.
- Kantizasyon ve asenkron yürütme, gerçek zamanlı performans için en iyi arkadaşlarınızdır.
- Cihaz esnekliği (CPU/iGPU/NPU/AUTO) tek bir kod tabanı, birçok hedef anlamına gelir.
SSS
S1:OpenVINO'yu en kolay şekilde nasıl kurarım?
Sanal bir ortam kullanın ve şunu çalıştırın: pip install -U openvino openvino-dev. Hızlı bir içe aktarma kontrolüyle doğrulayın ve platforma özgü ayrıntılar için resmi Başlangıç Belgeleri'ne başvurun.
S2:Modelimi OpenVINO IR'ye nasıl dönüştürürüm?
Modelinizi ONNX'e aktarın, ardından .xml/.bin IR dosyaları üretmek için Model Optimizer'ı (mo) çalıştırın. Giriş şekilleri sağlayın ve hız ve bellek kazanımları için FP16'yı düşünün.
S3:OpenVINO, kod değişiklikleri olmadan CPU ve entegre GPU'da çalışabilir mi?
Evet. Modeli device_name="AUTO", "CPU" veya "GPU" ile derleyin. Kodunuzun geri kalanını değiştirmeden tek bir parametreyle cihazları değiştirebilirsiniz.
S4:OpenVINO ile çıkarımı nasıl hızlandırabilirim?
FP16 veya INT8 kantizasyonu, asenkron çıkarım API'sini kullanın ve iş parçacıklarını ve akışları ayarlamak için benchmark_app'i kullanın. Daha derin darboğaz analizi için VTune ile profilleme yapın.
S5:OpenVINO, NLP ve üretken modelleri destekliyor mu?
Evet. Bir dizi NLP ve difüzyon modelini destekler; FP16 kullanın ve dönüştürücüler için INT8'i düşünün. Optimizasyondan sonra doğruluğu doğrulayın ve yük altında gecikmeyi ölçün.
