Ar kada bandėte įtikinti didelį kalbos modelį nustoti haliucinuoti ir pradėti elgtis kaip jūsų labai specifinis, labai mažai apmokamas asistentas? Štai ką reiškia tikslus derinimas 2025 m.: auklėjimas, bet su daugiau YAML. Geros naujienos: LLaMA-Factory padaro visą šį išbandymą stebėtinai... neblogu. Dar geresnės naujienos: praleidau savaitę klaidžiodamas tarp adapterių ir tokenizatorių, kad rasčiau geriausius LLaMA-Factory vadovus, kad jums nereikėtų.
Štai sąžiningas, Joanna stiliaus gidas apie geriausius išteklius, kada ką naudoti ir kaip išvengti trijų dažniausių veido delno momentų (spoileris: VRAM nėra pasiūlymas, tai biudžetas).
Kodėl jūs čia (ir ko iš tikrųjų norite)
- Norite tiksliai suderinti Llama 2 arba Llama 3 modelius nerašydami disertacijos apie paskirstytąjį mokymą.
- Girdėjote, kad LLaMA-Factory turi WebUI ir CLI ir net Google Colab magiją.
- Norite vadovų, kurie nemano, kad gyvenate debesų GPU ūkyje.
Tai yra geriausių/populiariausių sąrašas su praktiniais patarimais. Aš reitinguoju vadovus pagal aiškumą, modernumą (Llama 3, QLoRA, 4 bitų, WebUI darbo eigos) ir pagal tai, ar jie padės jums nuo nulio iki „mano modelis iš tikrųjų veikia“. Pradėkime.
Trumpas sąrašas: geriausi LLaMA-Factory vadovai dabar
- YouTube pagreitintas kursas vizualiai besimokantiems (ir nekantriems žmonėms)
- „Anyone can Fine Tune LLMs using LLaMA Factory: End-to-End“ YouTube kanale. Jei jūsų dėmesio trukmė yra TikTok, o jūsų GPU biudžetas yra kava, tai yra jūsų vadovas. Jis apžvelgia sąranką, duomenų paruošimą ir pilną paleidimą LLaMA-Factory sraute. Jis yra pritaikytas pradedantiesiems, rodo WebUI ir apima, kuriuos mygtukus spustelėti ir kodėl. Puikiai tinka norint pamatyti procesą tiesiogiai ir kas 12 sekundžių sustabdyti, kad nukopijuotumėte komandą.
Geriausiai tinka: vizualiai besimokantiems, savaitgalio projektams, „parodykite man veikiantį dalyką“.
Saugokitės: tikslios versijos ir vėliavos galėjo pasikeisti – dar kartą patikrinkite saugyklos numatytąsias reikšmes, jei aptinkate klaidą.
- Žingsnis po žingsnio WebUI vadovas pradedantiesiems tiksliai derinti
- „LLaMA-Factory WebUI Beginner’s Guide: Fine-Tuning LLMs“ iš DataCamp. Tai švarus, parašytas vadovas: įdiekite, įkelkite Llama 3 8B, pasirinkite LoRA arba QLoRA, įkelkite duomenų rinkinį, apmokykite, įvertinkite, eksportuokite. Jūs gaunate ekrano kopijas, konfigūracijas ir kontekstą. Jei kada nors ant jūsų rėkė CLI, tai jaučiasi kaip triukšmą slopinančios ausinės.
Geriausiai tinka: pradedantiesiems, žmonėms, kurie nori struktūros, visiems, alergiškiems docker-compose konfeti.
Saugokitės: debesų sąranka ir VRAM poreikiai nėra vienodo dydžio – tikėkitės patobulinimų, jei neturite tos pačios aparatinės įrangos.
- Colab draugiškas, greito paleidimo receptas
- „Fine-Tuning Made Easy: Your Guide to LLaMA Factory“ Medium platformoje. Tai praktiškas Colab pagrįstas vadovas, kuris naudoja LoRA su Llama 3. Puiku, jei norite išvengti vietinių įdiegimų ir tiesiog išbandyti su nemokamu/pigiu GPU laiku. Nukopijuokite sąsiuvinį, pakeiskite duomenų rinkinio kelią ir bum: gimsta jūsų pirmasis modelio vaikas. Tai nuomonės turintis, bet gerai: LoRA, Colab ir minimalus triukšmas.
Geriausiai tinka: Colab vartotojams, biudžetinių GPU tyrinėtojams, „aš tiesiog noriu, kad kažkas veiktų per valandą“.
Saugokitės: nemokamas Colab jus apriboja. Mokymas gali nutrūkti arba būti apribotas. Išsaugokite kontrolinius taškus anksti ir dažnai.
Gerai, bet ką iš tikrųjų LLaMA-Factory daro už mane?
Mąstykite apie LLaMA-Factory kaip apie tikslaus derinimo IKEA: ji duoda jums visas dalis, paženklina daugumą jų ir įteikia jums mažytį Allen raktą (WebUI), kad galėtumėte surinkti savo mandagiai sukonfigūruotą LLM. Jis abstrahuoja baisesnes dalis – QLoRA kiekybinį įvertinimą, adapterius, tokenizatorius – už išankstinių nustatymų ir protingų numatytųjų reikšmių. Jums vis tiek reikia atsinešti duomenų rinkinį ir GPU su manieromis, bet jums nereikia statyti sofos iš neapdorotų medžių.
Kaip pasirinkti tinkamą vadovą savo naudojimo atvejui
- Niekada gyvenime nieko tiksliai nederinau: pradėkite nuo DataCamp WebUI vadovo, tada pažiūrėkite YouTube peržiūrą. Vienas parodo, ką spustelėti, kitas parodo, kaip atrodo, kai tai iš tikrųjų veikia (ir kur tai elegantiškai nepavyksta).
- Man tiesiog reikia greito POC su ribotu biudžetu: naudokite Colab vadovą. Laikykite savo duomenų rinkinį mažą, o lūkesčius – dar mažesnius. Tada eksportuokite adapterį ir išbandykite jį savo vietinėje mašinoje arba pigiame debesyje.
- Noriu tai daryti „teisingai“ darbo stotyje arba debesies GPU: pradėkite nuo WebUI vadovo, kad išmoktumėte sąvokas, tada pereikite prie CLI, kad galėtumėte kurti eksperimentus ir sekti vykdymus kaip profesionalas. Sumaišykite su QLoRA, kad pasiektumėte 4 bitų efektyvumą, jei jūsų VRAM nesijaučia galingas.
Penkių minučių pagreitintas kursas: LLaMA-Factory pagrindai
- WebUI prieš CLI: WebUI yra greitesnis išmokti, puikiai tinka pirmiesiems vykdymams ir patikrinimams. CLI yra tai, kaip jūs grupuojate, automatizuojate ir versijuojate eksperimentus be savo valdymo skydelio ašarų.
- LoRA prieš QLoRA: LoRA prideda lengvus adapterio sluoksnius – greitas ir efektyvus. QLoRA prideda kiekybinį įvertinimą, kad galėtumėte tiksliai suderinti didelius modelius mažesniuose GPU. Tai IKEA plokščia pakuotė mokymo versija.
- Duomenų rinkiniai: laikykite juos tvarkingus ir švarius. Jei jūsų duomenų rinkinys atrodo kaip jūsų koledžo esė juodraščiai, jūsų modelis taip pat atrodys.
- Kontroliniai taškai ir įvertinimas: išsaugokite dažnai. Įvertinkite anksti. Taip, jūsų modelis „mokosi“, bet ar jis mokosi to, ko jūs manote? Kaip ir mažylis su žymekliais, priežiūra yra raktas.
Stern stiliaus mini sąrankos vadovas (naudoti su bet kuriuo vadovu)
- Pasirinkite savo modelį: Llama 3 8B yra draugiškas startas. Norite mažesnio? Išbandykite instrukcijomis suderintą 7–8B variantą, kad sumažintumėte mokymo skausmą.
- Nuspręskite dėl savo biudžeto: mažiau nei 16 GB VRAM? Eikite į QLoRA. Apie 24 GB? LoRA jaučiasi patogiai. 48 GB+? Jūs esate išrankus; apsvarstykite didesnius konteksto langus arba pilnus tikslius derinius, jei žinote, ką darote.
- Paruoškite duomenis: naudokite JSON arba CSV su aiškiais raginimo/atsako laukais. Pradėkite nuo 2–10 tūkst. aukštos kokybės pavyzdžių prieš didindami mastelį.
- Pasirinkite savo kelią: WebUI (lengviausias) arba CLI (geriau mastelio keitimas). Aukščiau pateikti vadovai rodo abu stilius: YouTube ir DataCamp vadovai linksta į WebUI; Medium straipsnis linksta į sąsiuvinio/CLI hibridą.
- Mokykitės protingai: pradėkite nuo mažo – nedaug epochų, didesnis mokymosi greitis, maža poskyris. Jei tai nepasitaiso per 10–20 minučių, ką nors pakeiskite ir bandykite iš naujo. Iteracija įveikia aklą tikėjimą.
- Įvertinkite kaip skeptikas: sukurkite 50–100 pavyzdžių testavimo rinkinį, kuris atspindėtų tikrą naudojimą. Užduokite sunkius klausimus. Apdovanokite tiesą, o ne žodžių gausą.
Geriausių vadovų reitingavimas (ir kodėl)
- DataCamp LLaMA-Factory WebUI vadovas – geriausias bendras rašytinis vadovas
- Kodėl tai puiku: jis yra naujausias, naudoja Llama 3 ir neužverčia jūsų teorija. Tai „surinkite tai su Allen raktu“ pamoka, kurios iš tikrųjų norite.
- Kas turėtų jį naudoti: visi, kurie yra nauji tikslaus derinimo arba WebUI srityje. Tai pasitikėjimo stiprintuvas su tikra išvestimi.
- YouTube End-to-End vaizdo įrašas – geriausias vaizdinis gruntas ir pagreičio stiprintuvas
- Kodėl tai puiku: jūs matote srautą, tempą ir klaidas. Tai artimiausias dalykas tam, kad ekrane turėtumėte draugą, kuris spustelėja prieš jus.
- Kas turėtų jį naudoti: vizualiai besimokantys, nekantrūs statytojai, savaitgalio meistrai.
- Medium Colab vadovas – geriausias eksperimentams be įdiegimo
- Kodėl tai puiku: jums nereikia kovoti su PyTorch ratais savo nešiojamajame kompiuteryje. Paleiskite, stebėkite, eksportuokite.
- Kas turėtų jį naudoti: žmonės, kurie bando jėgas arba vengia vietinės CUDA dramos.
Ko šiems vadovams trūksta (ir kaip užpildyti spragas)
- Versijos prisegimas: įrankiai juda greitai. Jei jūsų paleidimas nutrūksta, patikrinkite LLaMA-Factory versiją, naudojamą vadove, ir tą, kurią įdiegėte. Sulygiuokite juos arba perskaitykite saugyklos pakeitimų žurnalą taip, tarsi tai būtų siužeto posūkis.
- Tokenizatoriaus neatitikimas: jei atsakymai atrodo kaip abėcėlės sriuba, patikrinkite, ar tokenizatorius atitinka bazinį modelį. Tai tarsi bandymas skaityti audioknygą su neteisingais subtitrais.
- VRAM biudžeto sudarymas: vadovai dažnai rodo „štai kaip aš tai padariau“, o ne „štai kaip tai padidinti“. Jei gaunate CUDA atminties trūkumo klaidų, sumažinkite partijos dydį, naudokite gradientinį kontrolinį tašką ir įjunkite 4 bitų QLoRA. Jūsų GPU jums padėkos.
Jūsų pirmasis tikslus derinimas: šabloninis planas, kurį galite iš tikrųjų pavogti
- Tikslas: tiksliai suderinti Llama 3 8B su QLoRA, kad sukurtumėte klientų aptarnavimo stiliaus pokalbių robotą.
- Aparatinė įranga: 16 GB GPU (taip, tikrai) arba debesies T4/A10G/A100, jei galite sau leisti daugiau.
- Duomenys: 5 000 kuruojamų klausimų ir atsakymų porų iš jūsų domeno. Švarus, nuoseklus stilius. Jokių dublikatų. Paskirkite 500 patvirtinimui.
- Vykdykite DataCamp WebUI vadovą, kad paleistumėte aplinką ir UI.
- Mokymo nustatymuose pasirinkite: Base model = Llama 3 8B Instruct; Method = QLoRA; Load in 4-bit; Batch size small (1–2); Gradient accumulation to simulate bigger batches; 1–2 epochs.
- Pradėkite nuo 10% duomenų poskyrio. Jei nuostolis mažėja ir patvirtinimas yra prasmingas, pereikite prie viso rinkinio.
- Eksportuokite adapterį ir išbandykite jį išvadų scenarijuje. Jei atsakymai yra per daug žodingi, patobulinkite sistemos raginimus ir sumažinkite temperatūrą.
- Paskalaukite ir pakartokite: nustatykite mokymosi greitį, epochų skaičių ir pašalinkite žemos kokybės pavyzdžius.
- Sėkmės patikrinimas: jūsų modelis trumpai atsako į domeno klausimus, nurodo teisingus terminus ir neišranda politikos. Jei jis vaidina jūsų kūrybinio rašymo praktikantą, jūs per daug prisitaikėte arba nepakankamai išvalėte.
Trikčių šalinimas paveikia jūsų GPU? Išbandykite šiuos
- „CUDA OOM“: sumažinkite partijos dydį, įjunkite gradientinį kontrolinį tašką arba naudokite 4 bitų. Jei vis dar įstrigote, perjunkite į mažesnį modelį arba išsinuomokite didesnį GPU paskutinei epochai.
- „Nuostolis nepasikeis“: blogi duomenys arba per maži. Padidinkite duomenų įvairovę, sumažinkite mokymosi greitį arba patikrinkite, ar jūsų LoRA reitingai nėra per maži.
- „Išvestis yra nemandagi/keista“: sulygiuokite stilių naudodami instrukcijomis suderintus bazinius modelius ir nuoseklų atsako formatą savo duomenų rinkinyje. Modeliai imituoja tai, ką mato – mokykite taip, kaip norite.
Diegimas: iš laboratorijos į nešiojamąjį kompiuterį (ir už jos ribų)
- Eksportuokite LoRA adapterius ir, jei reikia, sujunkite. Kraštiniams įrenginiams laikykite adapterius atskirai, kad būtų galima perkelti. Serveriams sujunkite, kad būtų paprasčiau ir greičiau.
- Kiekybiškai įvertinkite išvadoms. Jei mokėte 4 bitais, išbandykite 4, 5 ir 8 bitų išvadas, kad subalansuotumėte delsą ir tikslumą.
- Pridėkite apsaugas. Paprastas raginimo apvalkalas su pavyzdžiais daro stebuklus. Arba naudokite mažą taisyklių tikrintuvo modelį, kuris filtruoja nesąmones prieš joms pasiekiant jūsų vartotojus.
Ar turėtumėte pasirinkti WebUI ar CLI ilgainiui?
- WebUI yra jūsų mėgstamiausia kavinė: patogi, greita, maža trintis.
- CLI yra jūsų namų virtuvė: daugiau rankenėlių, daugiau netvarkos, daugiau kontrolės. Jei tiksliai derinsite kas savaitę, galiausiai norėsite scenarijų, eksperimentų stebėjimo priemonių ir atkuriamų konfigūracijų. Pradėkite WebUI, pereikite prie CLI.
Verta paminėti: Sider.AI gali padėti „paaiškinti tai man taip, tarsi aš būčiau išgėręs trečią espresą“ momentais. Jei įklijuosite savo konfigūraciją arba žurnalus į Sider.AI pokalbį, galite gauti greitų pasiūlymų dėl parametrų, kuriuos reikia patobulinti, kurį vadovo žingsnį greičiausiai praleidote, ir sveiko proto patikrinimą prieš skirdami dvi valandas neteisingam mokymosi greičiui. Tai tarsi turėti draugišką TA, kuris jūsų nevertina – tiesiog paspartina jus. Greitas palyginimas: kuris vadovas laimi kurį darbą
- Geriausias visiems pradedantiesiems: DataCamp WebUI vadovas (aiškūs žingsniai, modernūs modeliai).
- Geriausias „parodykite man dabar“: YouTube End-to-End (vaizdinis srautas, kopijuokite paspaudimus).
- Geriausias eksperimentams be įdiegimo: Medium Colab vadovas (paleiskite greitai, išleiskite mažai).
Išplėstiniai priedai (kai būsite pasiruošę pakilti į aukštesnį lygį)
- PEFT adapteriai už LoRA ribų: išbandykite skirtingus reitingus ir alfa. Maži pakeitimai, dideli efektai.
- Mokymo programa: pradėkite nuo bendrų instrukcijų duomenų, tada pereikite prie siaurų domeno duomenų.
- Mišrios tikslumo ir atminties gudrybės: bf16, jei palaikoma; flash attention; priverskite savo GPU murkti.
- Įvertinimo rinkiniai: sukurkite pasirinktinį įvertinimo rinkinį ir kelias viešas užduotis. Stebėkite perviršį stebėdami skirtumą tarp savo val rinkinio ir mažo nedomeninio rinkinio.
Mažas žodynėlis, kad nereikėtų linkčioti ir apsimesti
- LoRA: lengvi adapterio sluoksniai, kuriuos apmokote vietoj viso didžiulio modelio. Taupo laiką ir VRAM.
- QLoRA: kaip ir LoRA, bet baziniai svoriai yra suspausti (kiekybiškai įvertinti) mokymo metu. Sveiki, 4 bitai.
- Adapterio suliejimas: sujunkite adapterio svorius su baziniu modeliu, kad diegimas būtų paprastesnis.
- Tokenizatorius: dalykas, kuris susmulkina sakinius į tokenus. Neteisingas tokenizatorius = kiaušinienė.
Mano nuomonė: nuo kurio vadovo turėtumėte pradėti?
Jei jūsų tikslas yra greitas pasiekimas, pradėkite nuo DataCamp. Suporuokite jį su YouTube peržiūra – žiūrėkite, spustelėkite, laimėkite. Tada, antram važiavimui, paleiskite Colab vadovą, kad pamatytumėte kitą kelią. Išmoksite daugiau atlikdami du mažus važiavimus nei skaitydami vieną didelę giją. Ir jūsų GPU nepateiks skundo Žmogiškųjų išteklių skyriui.
Stern apibendrinimas: tikslus derinimas dabar yra visiškai įmanomas. LLaMA-Factory „nusivylimo uolą“ pavertė laiptais su turėklais. Pasirinkite vadovą, pradėkite nuo mažo ir kartokite. Jūsų būsimas tiksliai suderintas modelis jums padėkos už tai, kad nehalucinuoja jūsų grąžinimo politikos.
Nuorodos, kurias iš tikrųjų naudosite
- YouTube: End-to-End LLaMA-Factory tikslaus derinimo peržiūra.
- DataCamp: LLaMA-Factory WebUI pradedančiųjų vadovas.
- Medium: Colab pagrįstas LLaMA-Factory greitas paleidimas.
Veiksmų planas per 90 sekundžių
- Pasirinkite DataCamp vadovą ir nustatykite WebUI.
- Paruoškite mažą duomenų rinkinį (500–1 000 porų). Laikykite jį švarų.
- Mokykitės su QLoRA, 4 bitų, mažomis partijomis.
- Įvertinkite 100 rankomis atrinktų klausimų.
- Pakartokite du ar tris kartus. Tada pereikite prie ilgesnių važiavimų ir didesnių duomenų.
Dabar eikite ir tiksliai suderinkite ką nors naudingo. Ir atminkite: jei jūsų GPU rėkia, jis tiesiog sako „sumažinkite partijos dydį“.
DUK
1 klausimas: kuris yra geriausias LLaMA-Factory vadovas tikriems pradedantiesiems?
Pradėkite nuo LLaMA-Factory WebUI vadovo iš DataCamp – jis yra aiškus, dabartinis ir naudoja Llama 3. Suporuokite jį su YouTube galutine peržiūra, kad patikrintumėte vizualiai, kad žinotumėte, kaip atrodo sėkmė, prieš spustelėdami mokyti.
2 klausimas: ar galiu tiksliai suderinti LLaMA-Factory modelius Google Colab?
Taip, Colab pagrįstas vadovas padaro LLaMA-Factory tikslų derinimą stebėtinai neskausmingu. Tiesiog stebėkite savo seanso laiką ir VRAM apribojimus, dažnai išsaugokite kontrolinius taškus ir laikykite duomenų rinkinius mažus pirmajam paleidimui.
3 klausimas: ar turėčiau naudoti LoRA arba QLoRA su LLaMA-Factory?
Jei turite ribotą VRAM, QLoRA yra jūsų draugas – 4 bitų mokymas, mažesnis atminties pėdsakas. Jei turite daugiau GPU atsargų, standartinė LoRA yra paprastesnė ir vis dar labai efektyvi tiksliai derinti.
4 klausimas: kaip pataisyti CUDA atminties trūkumo klaidas mokymo metu?
Sumažinkite partijos dydį, įjunkite gradientinį kontrolinį tašką ir naudokite 4 bitų QLoRA. Jei tai vis dar nepavyksta, išbandykite mažesnį bazinį modelį arba išsinuomokite GPU su daugiau VRAM sunkiausiam žingsniui.
5 klausimas: kaip sužinoti, ar mano LLaMA-Factory tikslus derinimas iš tikrųjų veikė?
Sukurkite mažą, realistišką įvertinimo rinkinį ir palyginkite išvestis prieš ir po tikslaus derinimo. Jei jūsų modelis atsako greičiau, tiksliau ir nehalucinuoja jūsų įmonės atostogų politikos, einate teisingu keliu.
