Pendahuluan: Mengapa TensorRT-LLM layak dibangun di akhir pekan
Jika Anda pernah melihat GPU Anda hanya terpakai 60% saat LLM Anda berjalan lambat, Anda tahu ada performa gratis yang belum dimanfaatkan. TensorRT-LLM mengubah ruang lebih tersebut menjadi throughput: kernel yang digabungkan, perhatian berpindah (paged attention), kuantisasi, dan optimasi tingkat grafik yang menurunkan latensi dan meningkatkan token per detik. Dalam panduan ini, kita akan membahas semuanya secara menyeluruh—dari instalasi hingga pembuatan mesin hingga penyajian—sehingga Anda dapat dengan percaya diri menerapkan inferensi yang lebih cepat dan lebih murah pada GPU NVIDIA.
Tutorial ini ditulis dengan gaya praktis & berorientasi solusi. Kita akan menggunakan struktur berbasis pertanyaan dengan perintah yang dapat disalin, jebakan umum, dan titik keputusan untuk FP16 vs INT8, batching, dan strategi KV cache. Kami juga akan merujuk sumber daya resmi untuk pembahasan yang lebih mendalam jika diperlukan.
Apa yang akan Anda pelajari
- Cara menyiapkan lingkungan untuk TensorRT-LLM
- Cara menyiapkan model (dari Hugging Face atau checkpoints) untuk pembuatan mesin
- Cara membuat mesin FP16/INT8 dan menyetel performa
- Cara menjalankan inferensi melalui Python/C++ dan penyajian HTTP
- Cara melakukan benchmark, batch, dan debug
Untuk siapa ini
- Insinyur ML yang menerapkan LLM pada GPU NVIDIA
- Praktisi yang mengoptimalkan biaya/latensi dalam produksi
- Pembuat yang beralih dari PyTorch Transformers ke inferensi yang sangat dioptimalkan
- Apa itu TensorRT-LLM dan kapan Anda harus menggunakannya?
TensorRT-LLM adalah tumpukan inferensi yang mengkompilasi model Transformer menjadi "mesin" GPU yang sangat dioptimalkan. Dibandingkan dengan PyTorch mentah atau runtime generik, Anda biasanya mendapatkan:
- Latensi yang lebih rendah per token
- Throughput yang lebih tinggi pada ukuran batch besar
- Efisiensi memori yang lebih baik dengan paged KV cache dan kuantisasi
Gunakan saat Anda berjalan di GPU NVIDIA dan peduli dengan performa tingkat produksi. Ini sangat berharga untuk LLM khusus dekoder (misalnya, Llama, Mistral, Phi, BLOOM) dan skenario seperti chatbot, RAG, dan layanan API QPS tinggi.
- Prasyarat dan pengaturan lingkungan
Persyaratan inti
- GPU NVIDIA dengan kemampuan komputasi terbaru (misalnya, Ampere, Ada, Hopper)
- Versi CUDA dan TensorRT yang cocok, ditambah driver yang sesuai
- Python 3.8+ dan alat build jika dikompilasi dari sumber
Catatan versi: Selalu periksa matriks dukungan TensorRT resmi dan catatan rilis untuk versi dan fitur CUDA/TensorRT yang kompatibel sebelum menginstal.
Opsi mulai cepat
- Berkontainer: Gunakan kontainer NVIDIA dengan CUDA/TensorRT yang sudah diinstal—cara tercepat untuk menghindari ketidakcocokan versi.
- Instalasi asli: Ikuti mulai cepat resmi untuk TensorRT dasar, lalu lapisi TensorRT-LLM di atasnya.
- Menyiapkan model Anda (Hugging Face → TensorRT-LLM)
Sumber umum
- Hugging Face: Varian Llama/Mistral/BLOOM
- Checkpoints lokal: Fine-tune khusus
Daftar periksa persiapan
- Konfirmasikan arsitektur model didukung oleh TensorRT-LLM.
- Unduh bobot model dan tokenizer.
- Jika perlu, konversi safetensors ke format yang diharapkan atau ekspor ke ONNX melalui skrip proyek.
Tip: Mulai cepat resmi sering kali menyertakan skrip untuk mengambil model dan mengonversi ke bentuk perantara yang tepat. Untuk panduan bergaya tutorial dengan contoh BLOOM, lihat panduan Dell tentang mengonversi LLM Hugging Face ke TensorRT-LLM.
- Membangun mesin TensorRT-LLM (inti dari alur kerja)
Konsep yang harus Anda ketahui
- Mesin: Artefak yang dikompilasi dan dioptimalkan perangkat keras yang Anda muat untuk inferensi.
- Presisi: FP16/BF16 untuk baseline yang kuat; INT8 atau FP8 untuk throughput yang lebih tinggi jika akurasi dipertahankan.
- KV cache: Paged KV cache mengurangi fragmentasi memori dan meningkatkan performa konteks panjang.
Langkah-langkah tingkat tinggi
- Tentukan konfigurasi build: batch maks, panjang sequence, presisi, kuantisasi, dan arsitektur GPU.
- Arahkan ke checkpoints dan tokenizer model Anda.
- Kompilasi mesin untuk GPU target Anda.
Referensi: Membangun mesin dengan dokumen dan konfigurasi resmi. Jika Anda berencana untuk menyajikan melalui Hugging Face Text Generation Inference (TGI), lihat catatan backend TRT-LLM tentang pra-kompilasi mesin per arsitektur dan konfigurasi GPU.
Pohon keputusan pemula
- Build pertama: FP16, panjang sequence maks sedang (misalnya, 4K–8K), batch sedang (misalnya, 4–8). Validasi kebenaran.
- Peningkatan skala: Aktifkan paged KV cache. Tingkatkan ukuran batch/beam maks. Bereksperimen dengan FP8 atau INT8.
- Produksi: Sematkan konfigurasi yang memenuhi SLO latensi/QPS; buat mesin terpisah per skenario (prompts pendek vs konteks panjang).
- Menjalankan inferensi: Python, C++, dan HTTP
Anda memiliki tiga jalur umum:
- Python: Pembuatan prototipe cepat, ideal untuk pipelines dan notebooks.
- C++: Performa maksimum, integrasi ke dalam layanan asli.
- Penyajian HTTP: Gunakan TGI dengan backend TRT-LLM atau contoh penyajian runtime untuk penerapan yang dapat diskalakan.
Backend Hugging Face TGI
- Pra-kompilasi mesin untuk pengaturan GPU/presisi Anda yang tepat.
- Putar TGI dengan backend TRT-LLM dan arahkan ke direktori mesin.
- Kirim permintaan melalui rute yang kompatibel dengan /generate atau openai dan skala dengan replika.
- Penyetelan performa yang benar-benar memindahkan jarum
Tempat untuk memulai
- Presisi: FP16 adalah baseline Anda yang andal. INT8/FP8 dapat memotong latensi lebih jauh, tetapi validasi kualitas.
- Batching: Batching dinamis dan penggabungan permintaan secara dramatis meningkatkan throughput; ukur latensi ekor.
- Paged KV Cache: Penting untuk prompts panjang dan streaming; mengurangi tekanan memori.
- Panjang maks: Panjang sequence maks yang lebih besar meningkatkan ukuran mesin dan dapat mengurangi clock; buat mesin yang sesuai dengan tujuan.
Tips praktis
- Benchmark dengan prompts realistis: ukur fase prefill vs decode secara terpisah.
- Throughput tokenizer penting: lakukan di GPU jika kerangka kerja Anda mendukungnya.
- Awasi grafik CUDA/kernel yang digabungkan: mereka mengurangi overhead CPU dan latensi peluncuran kernel.
- Untuk multi-GPU: Lebih suka tensor parallel atau pipeline parallel sesuai dengan ukuran model dan persyaratan latensi Anda.
- Benchmarking: buktikan kemenangan
Daftar periksa
- Token/detik (throughput) pada ukuran batch target
- Waktu-ke-token-pertama (TTFT) dan latensi end-to-end per permintaan
- Pemanfaatan GPU dan ruang memori di bawah QPS puncak
- Akurasi: BLEU/perplexity atau evaluasi khusus tugas jika Anda melakukan kuantisasi
Gunakan seeds dan set prompt yang konsisten di seluruh baseline (PyTorch vs TensorRT-LLM) untuk memvalidasi kebenaran dan delta.
- Debugging dan jebakan umum
- Versi yang tidak cocok: Sejajarkan versi CUDA, driver, dan TensorRT sesuai matriks dukungan resmi.
- Mesin tidak valid untuk perangkat: Bangun kembali mesin khusus untuk arsitektur GPU Anda.
- OOM selama build: Kurangi panjang sequence maks atau batch; aktifkan paged KV; pertimbangkan kuantisasi.
- Penurunan akurasi dengan INT8: Kalibrasi pada data representatif domain; coba kuantisasi per-tensor dan verifikasi sensitivitas layer-wise.
- TTFT lambat meskipun throughput tinggi: Setel paged KV cache, aktifkan grafik CUDA, dan periksa kemacetan tokenizer.
- Contoh alur kerja: dari model Hugging Face ke produksi
Skenario: Anda menginginkan model obrolan latensi rendah pada A100.
- Pilih model: Varian 7B–13B Llama/Mistral.
- Siapkan: Unduh bobot dan tokenizer; verifikasi arsitektur didukung.
- Mesin pertama: FP16, input maks 4K, output maks 1K, batch 4; paged KV aktif.
- Validasi: Bandingkan output dengan baseline PyTorch Anda.
- Optimalkan: Coba INT8 atau FP8; ukur TTFT dan throughput. Tingkatkan batch untuk mode server.
- Sajikan: Gunakan backend TGI TRT-LLM; skala replika di belakang load balancer; tambahkan streaming.
- Perencanaan biaya dan kapasitas
- Throughput per GPU: Ukur token/detik pada konteks target Anda. Gunakan itu untuk menghitung kapasitas QPS.
- Harga per 1 juta token: Dengan decoding yang lebih cepat dan pemanfaatan batch yang lebih tinggi, TRT-LLM biasanya menurunkan biaya per token.
- Mesin ukuran tepat: Bangun mesin terpisah untuk bentuk pendek dan bentuk panjang untuk meminimalkan pemborosan ruang kepala.
- FAQ di dalam panduan
T: Apakah saya perlu membangun kembali mesin untuk setiap jenis GPU?
J: Ya. Mesin khusus untuk perangkat keras. Bangun untuk setiap arsitektur GPU yang akan Anda terapkan.
T: Seberapa besar INT8 memengaruhi kualitas?
J: Itu tergantung pada model dan tugas. Dengan data kalibrasi yang baik, banyak model mempertahankan kualitas mendekati FP16 sambil memberikan percepatan yang substansial.
T: Bisakah saya menjalankan konteks panjang (misalnya, 32K)?
J: Ya, tetapi rencanakan memori dengan hati-hati. Gunakan paged KV cache dan setel ukuran blok; perhatikan bahwa konteks yang lebih panjang meningkatkan jejak mesin dan biaya decode.
T: Apakah TGI diperlukan?
J: Tidak. Anda dapat menjalankan Python/C++ secara langsung. TGI nyaman untuk API HTTP tingkat produksi dengan penskalaan otomatis dan pencatatan.
Perlu dicatat untuk akselerasi alur kerja
Jika Anda sering melakukan iterasi pada prompts, membandingkan output di seluruh mesin, atau mendokumentasikan eksperimen, asisten AI side-by-side yang mendukung percobaan ulang cepat, eksekusi blok kode, dan cuplikan web dapat mempercepat loop Anda. Ngomong-ngomong, Sider.AI menawarkan pengalaman desktop yang disetel untuk insinyur—berguna untuk menangkap benchmarks, menguji prompts, dan mengatur catatan Anda saat Anda mengoptimalkan pipeline TensorRT-LLM Anda. Daftar periksa langkah selanjutnya
- Baca mulai cepat resmi untuk memvalidasi lingkungan Anda.
- Konfirmasikan kompatibilitas CUDA/TensorRT dalam matriks dukungan.
- Ikuti panduan pembuatan mesin dan pilih FP16 terlebih dahulu.
- Jika menyajikan melalui TGI, pra-kompilasi mesin dan konfigurasi backend TRT-LLM.
- Secara opsional, tinjau panduan bergaya tutorial untuk model Hugging Face seperti BLOOM.
Poin-poin penting
- TensorRT-LLM mengkompilasi Transformer Anda menjadi mesin asli GPU untuk throughput maksimum dan latensi yang lebih rendah.
- Mulailah dengan FP16, aktifkan paged KV cache, dan ukur. Kemudian jelajahi INT8/FP8 untuk kecepatan lebih.
- Mesin khusus untuk GPU dan konfigurasi; bangun per target penerapan.
- Untuk produksi, pasangkan mesin dengan lapisan penyajian yang kuat (misalnya, TGI) dan pantau TTFT, throughput, dan kualitas.
FAQ
P1: Bagaimana cara menginstal dan menyiapkan TensorRT-LLM dengan benar?
Gunakan kontainer dengan CUDA/TensorRT yang cocok atau ikuti mulai cepat dan matriks dukungan resmi untuk menghindari perbedaan versi. Verifikasi driver GPU dan alat build sebelum mengkompilasi mesin.
P2: Bagaimana cara menggunakan TensorRT-LLM dengan model Hugging Face?
Unduh model dan tokenizer, konfirmasikan dukungan, dan konversi seperlunya sebelum membangun mesin. Jika menyajikan dengan TGI, kompilasi mesin untuk GPU Anda dan arahkan backend ke direktori mesin.
P3: Haruskah saya memilih FP16, FP8, atau INT8 untuk TensorRT-LLM?
Mulailah dengan FP16 untuk stabilitas, lalu coba FP8/INT8 untuk meningkatkan throughput. Selalu validasi akurasi tugas setelah kuantisasi.
P4: Bisakah saya menyajikan TensorRT-LLM melalui HTTP?
Ya. Anda dapat menggunakan Python/C++ secara langsung atau menyajikan melalui backend TRT-LLM Hugging Face TGI untuk API siap produksi yang dapat diskalakan dengan streaming.
P5: Apa saja kemacetan performa umum saat menggunakan TensorRT-LLM?
Overhead tokenizer, batching suboptimal, dan kurangnya paged KV cache adalah masalah umum. Setel ukuran batch, aktifkan grafik CUDA, dan pantau TTFT versus keseluruhan token-per-detik.
