መግቢያ: ለምንድነው TensorRT-LLM ቅዳሜና እሁድዎን ተጠቅመው ለመገንባት የሚያስቆጭው
የእርስዎ LLM በሚንቀሳቀስበት ወቅት ጂፒዩ በ60% አጠቃቀም ላይ ሲቀመጥ ተመልክተው ከሆነ, በጠረጴዛው ላይ የቀረ ነፃ አፈፃፀም እንዳለ ያውቃሉ። TensorRT-LLM ያንን የጭንቅላት ቦታ ወደ ግብዓትነት ይለውጠዋል: የተዋሃዱ ከርነሎች፣ የገፅ ትኩረት፣ መጠናዊ ለውጥ እና የግራፍ ደረጃ ማሻሻያዎች የመዘግየትን ጊዜ ዝቅ የሚያደርጉ እና ቶከኖችን በሰከንድ ከፍ የሚያደርጉ። በዚህ የአጠቃቀም መመሪያ ውስጥ፣ ፈጣንና ርካሽ የሆነ ግምትን በNVIDIA GPUs ላይ በልበ ሙሉነት ለማሰማራት እንዲችሉ—ከመጫን ጀምሮ እስከ ሞተር ግንባታ እስከ አገልግሎት አሰጣጥ ድረስ—ሁሉንም እንሸፍናለን።
ይህ ትምህርት በተግባራዊ እና መፍትሄ ተኮር በሆነ ዘይቤ የተጻፈ ነው። ሊገለበጡ በሚችሉ ትዕዛዞች፣ የተለመዱ ስህተቶች እና ለFP16 vs INT8፣ ባችንግ እና የKV መሸጎጫ ስልቶች የውሳኔ ነጥቦች ያሉት በጥያቄ የሚመራ መዋቅር እንጠቀማለን። እንዲሁም ተገቢ በሆኑ ቦታዎች ላይ ጥልቅ ምርመራ ለማድረግ ኦፊሴላዊ ምንጮችን እንጠቅሳለን።
ምን እንደሚማሩ
- ለTensorRT-LLM አካባቢን እንዴት ማዋቀር እንደሚቻል
- ለሞተር ግንባታ ሞዴልን (ከ Hugging Face ወይም ቼክፖይንቶች) እንዴት ማዘጋጀት እንደሚቻል
- FP16/INT8 ሞተሮችን እንዴት መገንባት እና አፈፃፀምን ማስተካከል እንደሚቻል
- ግምትን በPython/C++ እና HTTP አገልግሎት በኩል እንዴት ማስኬድ እንደሚቻል
- ቤንችማርክ፣ ባች እና ማረም እንዴት እንደሚቻል
ይህ ለማን ነው
- ML መሐንዲሶች LLMዎችን በ NVIDIA GPUs ላይ የሚያሰማሩ
- ባለሙያዎች የምርት ወጪን/መዘግየትን የሚያሻሽሉ
- ገንቢዎች ከPyTorch Transformers ወደ ከፍተኛ የተሻሻለ ግምት የሚሸጋገሩ
- TensorRT-LLM ምንድን ነው እና መቼ ነው ሊጠቀሙበት የሚገባው?
TensorRT-LLM የTransformer ሞዴሎችን ወደ ከፍተኛ የተሻሻሉ የGPU “ሞተሮች” የሚያጠናቅር የግምት ቁልል ነው። ከጥሬው PyTorch ወይም ከአጠቃላይ የሩጫ ጊዜዎች ጋር ሲነጻጸር፣ በተለምዶ የሚከተለውን ያገኛሉ:
- በትላልቅ የቡድን መጠኖች ከፍተኛ ግብዓት
- በተሻሻለ የKV መሸጎጫ እና መጠናዊ ለውጥ የተሻለ የማስታወስ ችሎታ ውጤታማነት
በNVIDIA GPUs ላይ ሲሰሩ እና ስለ ምርት ደረጃ አፈጻጸም ሲጨነቁ ይጠቀሙበት። በተለይ ለአስቀያሚ-ብቻ LLMs (ለምሳሌ Llama፣ Mistral፣ Phi፣ BLOOM) እና እንደ ቻትቦቶች፣ RAG እና ከፍተኛ-QPS API አገልግሎቶች ላሉ ሁኔታዎች ጠቃሚ ነው።
- ቅድመ ሁኔታዎች እና የአካባቢ ማዋቀር
ዋና መስፈርቶች
- NVIDIA GPU በቅርብ ጊዜ የኮምፒውተር አቅም (ለምሳሌ Ampere፣ Ada፣ Hopper)
- ተዛማጅ የ CUDA እና TensorRT ስሪቶች፣ በተጨማሪም ተገቢ ነጂዎች
- Python 3.8+ እና ከምንጭ የሚጠናቅሩ ከሆነ የመገንቢያ መሣሪያዎች
የስሪት ማስታወሻ: ከመጫንዎ በፊት ሁልጊዜ ለሚጣጣሙ CUDA/TensorRT ስሪቶች እና ባህሪያት ኦፊሴላዊውን የTensorRT ድጋፍ ማትሪክስ እና የተለቀቁ ማስታወሻዎችን ያረጋግጡ።
ፈጣን ጅምር አማራጮች
- ኮንቴይነራይዝድ: አስቀድሞ በተጫነ CUDA/TensorRT የNVIDIA ኮንቴይነሮችን ይጠቀሙ — የስሪት አለመጣጣሞችን ለማስወገድ ፈጣኑ መንገድ።
- ቤተኛ ጭነት: ለመሠረታዊ TensorRT ኦፊሴላዊውን ፈጣን ጅምር ይከተሉ፣ ከዚያ TensorRT-LLM ን ከላይ ያድርጉት።
- ሞዴልዎን ዝግጁ ማድረግ (Hugging Face → TensorRT-LLM)
የተለመዱ ምንጮች
- Hugging Face: Llama/Mistral/BLOOM ልዩነቶች
- የአካባቢ ቼክፖይንቶች: ብጁ ጥሩ ማስተካከያዎች
የዝግጅት ዝርዝር
- የሞዴል አርክቴክቸር በTensorRT-LLM መደገፉን ያረጋግጡ።
- የሞዴል ክብደቶችን እና ቶከናይዘርን ያውርዱ።
- አስፈላጊ ከሆነ፣ safetensorsን ወደሚጠበቁ ቅርጸቶች ይለውጡ ወይም በፕሮጀክቱ ስክሪፕቶች በኩል ወደ ONNX ይላኩ።
ጠቃሚ ምክር: ኦፊሴላዊው ፈጣን ጅምር ብዙውን ጊዜ ሞዴሎችን ለመሳብ እና ወደ ትክክለኛው መካከለኛ ቅጽ ለመለወጥ ስክሪፕቶችን ያካትታል። በHugging Face LLMsን ወደ TensorRT-LLM ስለመቀየር የዴል መመሪያን በBLOOM ምሳሌ ይመልከቱ።
- የTensorRT-LLM ሞተር መገንባት (የስራ ፍሰቱ ልብ)
ማወቅ ያለብዎት ጽንሰ-ሐሳቦች
- ሞተር: ለግምት የሚጭኑት የተጠናቀረ፣ ሃርድዌር-የተመቻቸ ቅርጽ።
- ትክክለኛነት: ጠንካራ የመነሻ መስመር ለማግኘት FP16/BF16; ትክክለኛነት ከቀጠለ ለከፍተኛ ግብዓት INT8 ወይም FP8።
- KV መሸጎጫ: ገጽ ያለው KV መሸጎጫ የማስታወስ ችሎታ መበታተንን ይቀንሳል እና የረጅም-ዐውድ አፈፃፀምን ያሳድጋል።
ከፍተኛ ደረጃ ደረጃዎች
- የግንባታ ውቅር ይግለጹ: ከፍተኛ ባች፣ የቅደም ተከተል ርዝመቶች፣ ትክክለኛነት፣ መጠናዊ ለውጥ እና የጂፒዩ አርክቴክቸር።
- ወደ ሞዴል ቼክፖይንቶችዎ እና ቶከናይዘር ይጠቁሙ።
- ሞተሩን ለታለመው ጂፒዩ(ዎች)ዎ ያጠናቅሩ።
ማጣቀሻ: ሞተሮችን በይፋዊ ሰነዶች እና ውቅሮች መገንባት። በHugging Face Text Generation Inference (TGI) በኩል ለማገልገል ካሰቡ፣ በጂፒዩ አርክ እና ውቅር የቅድሚያ ሞተሮችን ስለማጠናቀር የTRT-LLM የጀርባ ማስታወሻዎችን ይመልከቱ።
የጀማሪ ውሳኔ ዛፍ
- የመጀመሪያ ግንባታ: FP16፣ መካከለኛ ከፍተኛ የቅደም ተከተል ርዝመት (ለምሳሌ 4K–8K)፣ መካከለኛ ባች (ለምሳሌ 4–8)። ትክክለኛነትን ያረጋግጡ።
- ማሳደግ: ገጽ ያለው KV መሸጎጫን አንቃ። ከፍተኛ የባች/ጨረር መጠኖችን ይጨምሩ። በFP8 ወይም INT8 ይሞክሩ።
- ምርት: የመዘግየትን/QPS SLOs የሚያሟሉ ውቅሮችን ይሰኩ; ለእያንዳንዱ ሁኔታ የተለዩ ሞተሮችን ይፍጠሩ (አጭር ጥያቄዎች ከረጅም-ዐውድ ጋር ሲነጻጸሩ)።
- ግምትን ማስኬድ: Python፣ C++ እና HTTP
ሶስት የተለመዱ መንገዶች አሉዎት:
- Python: ፈጣን ፕሮቶታይፕ ማድረግ፣ ለመስመሮች እና ማስታወሻ ደብተሮች ተስማሚ።
- C++: ከፍተኛ አፈጻጸም፣ ወደ ቤተኛ አገልግሎቶች ውህደት።
- HTTP አገልግሎት: ለተለዋዋጭ ማሰማራት የTRT-LLM የጀርባ ወይም የሩጫ ጊዜ የአገልግሎት ምሳሌዎችን ከTGI ጋር ይጠቀሙ።
Hugging Face TGI የጀርባ
- ለእርስዎ ትክክለኛ የጂፒዩ/ትክክለኛነት ማዋቀር ሞተሮችን አስቀድመው ያጠናቅሩ።
- TGI ን በTRT-LLM የጀርባ ያሽከርክሩ እና ወደ ሞተር ማውጫው ይጠቁሙ።
- በ /generate ወይም ከopenai ጋር በሚጣጣሙ መስመሮች በኩል ጥያቄዎችን ይላኩ እና በተገለበጡ ያሳድጉ።
- በእርግጥ መርፌውን የሚያንቀሳቅስ የአፈጻጸም ማስተካከያ
የት መጀመር
- ትክክለኛነት: FP16 የእርስዎ አስተማማኝ የመነሻ መስመር ነው። INT8/FP8 መዘግየትን የበለጠ ሊቀንስ ይችላል፣ ነገር ግን ጥራትን ያረጋግጡ።
- ባችንግ: ተለዋዋጭ ባችንግ እና የጥያቄ ውህደት በከፍተኛ ሁኔታ ግብዓትን ይጨምራሉ; የጅራት መዘግየትን ይለኩ።
- ገጽ ያለው KV መሸጎጫ: ለረጅም ጥያቄዎች እና ዥረት በጣም አስፈላጊ; የማስታወስ ችሎታ ጫናን ይቀንሳል።
- ከፍተኛ ርዝመቶች: ትላልቅ ከፍተኛ የቅደም ተከተል ርዝመቶች የሞተርን መጠን ይጨምራሉ እና ሰዓትን ሊቀንሱ ይችላሉ; ለአላማ ተስማሚ የሆኑ ሞተሮችን ይገንቡ።
ተግባራዊ ምክሮች
- በእውነተኛ ጥያቄዎች ቤንችማርክ: የቅድሚያ መሙላት ከዲኮድ ደረጃዎች በተናጠል ይለኩ።
- የቶከናይዘር ግብዓት ጉዳይ: ማዕቀፍዎ የሚደግፈው ከሆነ በጂፒዩ ላይ ያድርጉት።
- በCUDA ግራፎች/በተዋሃዱ ከርነሎች ላይ ዓይንዎን ያኑሩ: የCPU በላይ ወጪን እና የከርነል ማስጀመሪያ መዘግየትን ይቀንሳሉ።
- ለብዙ-ጂፒዩ: እንደ ሞዴልዎ መጠን እና የመዘግየት መስፈርቶች መሰረት የቴንሰር ትይዩ ወይም የመስመር ትይዩ ይምረጡ።
- ቤንችማርክ: ድሉን ያረጋግጡ
የማረጋገጫ ዝርዝር
- በታለመው የባች መጠኖች ቶከኖች/ሰከንድ (ግብዓት)
- የመጀመሪያ-ቶከን (TTFT) እና ለእያንዳንዱ ጥያቄ የመጨረሻ-ወደ-መጨረሻ መዘግየት
- በከፍተኛ QPS ስር የጂፒዩ አጠቃቀም እና የማስታወስ ችሎታ የጭንቅላት ቦታ
- ትክክለኛነት: ከተለኩ BLEU/perplexity ወይም ተግባር-ተኮር ግምገማዎች
ትክክለኛነትን እና ዴልታዎችን ለማረጋገጥ በተከታታይ ዘሮች እና ጥያቄ ስብስቦች በመነሻ መስመሮች (PyTorch vs TensorRT-LLM) ላይ ይጠቀሙ።
- ያልተዛመዱ ስሪቶች: በይፋዊው የድጋፍ ማትሪክስ መሰረት CUDA፣ ነጂዎችን እና TensorRT ስሪቶችን ያስተካክሉ።
- ሞተር ለመሣሪያው ልክ ያልሆነ: በተለይ ለጂፒዩ አርክቴክቸርዎ ሞተሮችን እንደገና ይገንቡ።
- በግንባታ ጊዜ OOM: ከፍተኛ የቅደም ተከተል ርዝመት ወይም ባች ይቀንሱ; ገጽ ያለው KV አንቃ; መጠናዊ ለውጥ ግምት ውስጥ ያስገቡ።
- በINT8 ትክክለኛነት ማነስ: በጎራ-ተወካይ መረጃ ላይ ያስተካክሉ; ለእያንዳንዱ-ቴንሰር መጠናዊ ለውጥ ይሞክሩ እና የንብርብር-ጥበብ ስሜትን ያረጋግጡ።
- ከፍተኛ ግብዓት ቢኖርም ቀርፋፋ TTFT: ገጽ ያለው KV መሸጎጫ ያስተካክሉ፣ CUDA ግራፎችን አንቃ እና የቶከናይዘር መሰናክሎችን ያረጋግጡ።
- የምሳሌ የስራ ፍሰት: ከ Hugging Face ሞዴል ወደ ምርት
ሁኔታ: በA100 ላይ ዝቅተኛ-መዘግየት የውይይት ሞዴል ይፈልጋሉ።
- ሞዴል ይምረጡ: 7B–13B Llama/Mistral ልዩነት።
- ያዘጋጁ: ክብደቶችን እና ቶከናይዘርን ያውርዱ; አርክቴክቸር መደገፉን ያረጋግጡ።
- የመጀመሪያ ሞተር: FP16፣ ከፍተኛ ግቤት 4K፣ ከፍተኛ ውጤት 1K፣ ባች 4; ገጽ ያለው KV በርቷል።
- ያረጋግጡ: ውጤቶችን ከመነሻ PyTorch ጋር ያወዳድሩ።
- ያሻሽሉ: INT8 ወይም FP8 ይሞክሩ; TTFT እና ግብዓት ይለኩ። ለአገልጋይ ሁነታ ባች ይጨምሩ።
- ያገልግሉ: TGI TRT-LLM የጀርባ ይጠቀሙ; በተጫነ ሚዛን ጀርባ ላይ ቅጂዎችን ያስፋፉ; ዥረት ያክሉ።
- በአንድ ጂፒዩ ግብዓት: በታለመው አውድዎ ቶከኖች/ሰከንድ ይለኩ። የQPS አቅምን ለማስላት ይጠቀሙበት።
- በ 1M ቶከኖች ዋጋ: ፈጣን ዲኮዲንግ እና ከፍተኛ የባች አጠቃቀምን በመጠቀም፣ TRT-LLM ብዙውን ጊዜ በአንድ ቶከን ወጪን ይቀንሳል።
- የቀኝ-መጠን ሞተሮች: የጭንቅላት ቦታ ቆሻሻን ለመቀነስ ለአጭር-ቅጽ እና ለረጅም-ቅጽ የተለዩ ሞተሮችን ይገንቡ።
- በመመሪያው ውስጥ በተደጋጋሚ የሚጠየቁ ጥያቄዎች
ጥ: ለእያንዳንዱ የጂፒዩ አይነት ሞተሮችን እንደገና መገንባት አለብኝ?
መ: አዎ። ሞተሮች ሃርድዌር-ተኮር ናቸው። በሚያሰማሩበት እያንዳንዱ የጂፒዩ አርክቴክቸር ይገንቡ።
ጥ: INT8 ጥራትን ምን ያህል ይነካዋል?
መ: በሞዴሉ እና በተግባሩ ላይ የተመሠረተ ነው። በጥሩ የማስተካከያ መረጃ፣ ብዙ ሞዴሎች ከፍተኛ የፍጥነት መጨመርን በሚያቀርቡበት ጊዜ ከFP16 ጥራት አጠገብ ይይዛሉ።
ጥ: ረጅም አውዶችን (ለምሳሌ 32K) ማስኬድ እችላለሁ?
መ: አዎ፣ ነገር ግን ማህደረ ትውስታን በጥንቃቄ ያቅዱ። ገጽ ያለው KV መሸጎጫ ይጠቀሙ እና የብሎክ መጠኖችን ያስተካክሉ; ረዘም ያሉ አውዶች የሞተርን አሻራ እና ዲኮድ ወጪን እንደሚጨምሩ ልብ ይበሉ።
ጥ: TGI ያስፈልጋል?
መ: አይ. Python/C++ ን በቀጥታ ማስኬድ ይችላሉ። TGI ራስ-ሰር ማሳደግ እና መዝገብ ጋር ለምርት-ደረጃ HTTP APIs ምቹ ነው።
ለስራ ፍሰት ማጣደፍ ጠቃሚ ማስታወሻ
በጥያቄዎች ላይ በተደጋጋሚ የሚደግሙ ከሆነ፣ ሞተሮችን አቋርጠው ውጤቶችን ያወዳድሩ፣ ወይም ሙከራዎችን ይመዘግቡ፣ ፈጣን ድጋሚ ሙከራዎችን፣ የኮድ ብሎክ አፈጻጸምን እና የድር ቁርጥራጮችን የሚደግፍ ጎን-ለጎን AI ረዳት ዑደትዎን ሊያፋጥን ይችላል። በነገራችን ላይ, Sider.AI ለኢንጂነሮች የተስተካከለ የዴስክቶፕ ተሞክሮ ያቀርባል — ቤንችማርኮችን ለመያዝ፣ ጥያቄዎችን ለመፈተሽ እና የTensorRT-LLM መስመርዎን ሲያሻሽሉ ማስታወሻዎችዎን ለማደራጀት ጠቃሚ ነው። የሚቀጥሉት ደረጃዎች የማረጋገጫ ዝርዝር
- አካባቢዎን ለማረጋገጥ ኦፊሴላዊውን ፈጣን ጅምር ያንብቡ።
- በድጋፍ ማትሪክስ ውስጥ የ CUDA/TensorRT ተኳሃኝነትን ያረጋግጡ።
- የሞተር-ግንባታ መመሪያውን ይከተሉ እና FP16 ን በመጀመሪያ ይምረጡ።
- በTGI በኩል የሚያገለግሉ ከሆነ ሞተሮችን አስቀድመው ያጠናቅሩ እና TRT-LLM የጀርባ ያዋቅሩ።
- በአማራጭ፣ እንደ BLOOM ላሉ Hugging Face ሞዴሎች የመማሪያ-ዘይቤ የእግር ጉዞን ይገምግሙ።
ቁልፍ መውሰድ
- TensorRT-LLM ትራንስፎርመርዎን ለከፍተኛ ግብዓት እና ዝቅተኛ መዘግየት ወደ ጂፒዩ-ቤተኛ ሞተር ያጠናቅራል።
- በFP16 ይጀምሩ፣ ገጽ ያለው KV መሸጎጫን ያንቁ እና ይለኩ። ከዚያ ለበለጠ ፍጥነት INT8/FP8 ን ያስሱ።
- ሞተሮች ጂፒዩ- እና ውቅር-ተኮር ናቸው; ለእያንዳንዱ የማሰማራት ዒላማ ይገንቡ።
- ለማምረት ሞተሮችን ጠንካራ የአገልግሎት ንብርብር (ለምሳሌ TGI) ያጣምሩ እና TTFT፣ ግብዓት እና ጥራትን ይቆጣጠሩ።
በተደጋጋሚ የሚጠየቁ ጥያቄዎች
Q1:TensorRT-LLM ን በትክክለኛው መንገድ እንዴት መጫን እና ማዋቀር እችላለሁ?
የስሪት መንሸራተትን ለማስወገድ ተዛማጅ CUDA/TensorRT ያለው ኮንቴይነር ይጠቀሙ ወይም ኦፊሴላዊውን ፈጣን ጅምር እና የድጋፍ ማትሪክስ ይከተሉ። ሞተሮችን ከማጠናቀርዎ በፊት የጂፒዩ ነጂዎችን እና የግንባታ መሳሪያዎችን ያረጋግጡ።
Q2:TensorRT-LLMን ከ Hugging Face ሞዴሎች ጋር እንዴት መጠቀም እንደሚቻል?
ሞዴሉን እና ቶከናይዘርን ያውርዱ፣ ድጋፍን ያረጋግጡ እና ሞተሩን ከመገንባቱ በፊት እንደ አስፈላጊነቱ ይለውጡ። በTGI የሚያገለግሉ ከሆነ ሞተሮችን ለጂፒዩዎ ያጠናቅሩ እና የጀርባውን ሞተር ማውጫ ላይ ይጠቁሙ።
Q3:ለTensorRT-LLM FP16፣ FP8 ወይም INT8 ን መምረጥ አለብኝ?
ለመረጋጋት በFP16 ይጀምሩ፣ ከዚያ ግብዓትን ለመጨመር FP8/INT8 ይሞክሩ። ሁልጊዜ ከቁጥር በኋላ የተግባርን ትክክለኛነት ያረጋግጡ።
Q4:TensorRT-LLMን በHTTP ላይ ማገልገል እችላለሁ?
አዎ. በቀጥታ Python/C++ መጠቀም ወይም ለሚመዘን፣ ለአምራችነት ዝግጁ የሆኑ APIs በዥረት መልቀቅ በ Hugging Face TGI's TRT-LLM የጀርባ በኩል ማገልገል ይችላሉ።
Q5:TensorRT-LLM ን ሲጠቀሙ የተለመዱ የአፈጻጸም እንቅፋቶች ምንድን ናቸው?
የቶከናይዘር በላይ ወጪ፣ ጥሩ ያልሆነ ባችንግ እና ገጽ ያለው KV መሸጎጫ ማጣት የተለመዱ ችግሮች ናቸው። የባች መጠኖችን ያስተካክሉ፣ CUDA ግራፎችን ያንቁ እና TTFTን ከአጠቃላይ ቶከኖች-በሰከንድ ጋር ይቆጣጠሩ።
