Pernahkah Anda mencoba meyakinkan model bahasa besar untuk berhenti berhalusinasi dan mulai bertingkah seperti asisten Anda yang sangat spesifik dan dibayar sangat rendah? Itulah rasanya fine-tuning di tahun 2025: seperti mengasuh anak, tetapi dengan lebih banyak YAML. Kabar baiknya: membuat seluruh prosesnya secara mengejutkan... tidak mengerikan. Kabar yang lebih baik: Saya menghabiskan seminggu untuk menemukan tutorial terbaik agar Anda tidak perlu melakukannya.
Berikut adalah panduan jujur ala Joanna tentang sumber daya terbaik, kapan menggunakannya, dan cara menghindari tiga momen memalukan yang paling umum (spoiler: VRAM bukanlah saran, tetapi anggaran).
Mengapa Anda di sini (dan apa yang sebenarnya Anda inginkan)
- Anda ingin melakukan fine-tune model atau tanpa menulis disertasi tentang pelatihan terdistribusi.
- Anda pernah mendengar bahwa memiliki WebUI dan CLI, bahkan keajaiban .
- Anda menginginkan tutorial yang tidak menganggap Anda tinggal di dalam pusat GPU cloud.
Ini adalah daftar Terbaik/Teratas dengan sedikit nasihat praktis tentang cara melakukannya. Saya memberi peringkat tutorial berdasarkan kejelasan, kemodernan (, , 4-bit, alur kerja WebUI), dan apakah mereka membawa Anda dari nol hingga "model saya benar-benar berjalan." Mari kita mulai.
Daftar pendek: Tutorial terbaik saat ini
- Kursus kilat untuk pembelajar visual (dan orang yang tidak sabar)
- "Siapa Pun Dapat Melakukan Fine Tune LLM menggunakan : Ujung ke Ujung" di . Jika rentang perhatian Anda seperti dan anggaran GPU Anda seperti kopi, ini adalah tutorial untuk Anda. Tutorial ini menjelaskan penyiapan, persiapan data, dan menjalankan ujung ke ujung dalam alur . Ini ramah pemula, menunjukkan WebUI, dan membahas tombol apa yang harus diklik dan mengapa. Cocok untuk melihat proses secara langsung dan menjeda setiap 12 detik untuk menyalin perintah.
Terbaik untuk: Pembelajar visual, proyek akhir pekan, "tunjukkan saya hal yang berfungsi."
Perhatikan: Versi dan bendera yang tepat mungkin telah berubah—periksa kembali default repositori jika Anda mengalami kesalahan.
- Panduan WebUI langkah demi langkah untuk fine-tuner pemula
- "Panduan Pemula WebUI : Fine-Tuning LLM" dari . Yang ini adalah panduan tertulis yang bersih: instal, muat 8B, pilih atau , masukkan dataset, latih, evaluasi, ekspor. Anda mendapatkan tangkapan layar, konfigurasi, dan konteks. Jika Anda pernah dimarahi oleh CLI, yang ini terasa seperti headphone peredam bising.
Terbaik untuk: Pemula, orang yang menginginkan struktur, siapa pun yang alergi terhadap confetti docker-compose.
Perhatikan: Penyiapan cloud dan kebutuhan VRAM tidak cocok untuk semua orang—harapkan penyesuaian jika Anda tidak menggunakan perangkat keras yang sama.
- Resep mulai cepat yang ramah
- "Fine-Tuning Dimudahkan: Panduan Anda ke " di . Ini adalah tutorial berbasis praktis yang menggunakan dengan . Bagus jika Anda ingin menghindari instalasi lokal dan hanya menguji coba dengan waktu GPU gratis/murah. Salin buku catatan, ubah jalur dataset, dan boom: model anak pertama Anda lahir. Ini beropini dengan cara yang baik: , , dan sedikit keributan.
Terbaik untuk: Pengguna Colab, penjelajah GPU dengan anggaran terbatas, "Saya hanya ingin sesuatu yang berfungsi dalam satu jam."
Perhatikan: Batas Colab gratis membatasi Anda. Pelatihan dapat kehabisan waktu atau throttling. Simpan checkpoints lebih awal dan sering.
Oke, tetapi apa sebenarnya yang dilakukan LLaMA-Factory untuk saya?
Pikirkan LLaMA-Factory sebagai IKEA dari fine-tuning: ia memberi Anda semua bagian, memberi label sebagian besar bagian, dan memberi Anda kunci Allen kecil (WebUI) sehingga Anda dapat merakit LLM Anda sendiri yang dikonfigurasi dengan sopan. Ini mengabstraksi bagian yang lebih menakutkan—kuantisasi QLoRA, adapter, tokenizer—di balik preset dan default yang masuk akal. Anda masih perlu membawa dataset dan GPU dengan sopan santun, tetapi Anda tidak perlu membangun sofa dari pohon mentah.
Cara memilih tutorial yang tepat untuk kasus penggunaan Anda
- Saya belum pernah melakukan fine-tune apa pun dalam hidup saya: Mulailah dengan panduan WebUI , lalu tonton panduan . Yang satu menunjukkan apa yang harus diklik, yang lain menunjukkan seperti apa tampilannya ketika benar-benar berfungsi (dan di mana gagal dengan anggun).
- Saya hanya memerlukan POC cepat dengan anggaran terbatas: Gunakan tutorial . Jaga agar dataset Anda tetap kecil dan harapan Anda lebih kecil. Kemudian ekspor adapter dan uji di mesin lokal Anda atau cloud murah.
- Saya ingin melakukan ini "dengan benar" di workstation atau GPU cloud: Mulailah dengan tutorial WebUI untuk mempelajari konsep, lalu pindah ke CLI sehingga Anda dapat membuat skrip eksperimen dan melacak proses seperti seorang profesional. Campurkan dengan untuk efisiensi 4-bit jika VRAM Anda tidak fleksibel.
Kursus kilat lima menit: Hal penting tentang
- WebUI vs. CLI: WebUI lebih cepat dipelajari, bagus untuk proses pertama dan pemeriksaan kewarasan. CLI adalah cara Anda melakukan batch, mengotomatiskan, dan membuat versi eksperimen tanpa membuat trackpad Anda menangis.
- vs. : menambahkan lapisan adapter ringan—cepat dan efisien. menambahkan kuantisasi sehingga Anda dapat melakukan fine-tune model besar pada GPU yang lebih kecil. Ini adalah versi kemasan datar IKEA dari pelatihan.
- Dataset: Jaga agar tetap ketat dan bersih. Jika dataset Anda terlihat seperti draf esai kuliah Anda, model Anda juga akan terlihat seperti itu.
- Checkpoints dan evaluasi: Simpan sesering mungkin. Evaluasi lebih awal. Ya, model Anda "belajar," tetapi apakah ia belajar apa yang Anda pikirkan? Seperti balita dengan spidol, pengawasan adalah kunci.
Panduan penyiapan mini ala Stern (untuk digunakan dengan tutorial apa pun)
- Pilih model Anda: 8B adalah awal yang ramah. Ingin yang lebih kecil? Coba varian 7–8B yang disetel instruksi untuk mengurangi rasa sakit pelatihan.
- Tentukan anggaran Anda: Di bawah 16GB VRAM? Gunakan . Sekitar 24GB? nyaman. 48GB+? Anda mewah; pertimbangkan jendela konteks yang lebih besar atau fine-tune penuh jika Anda tahu apa yang Anda lakukan.
- Siapkan data: Gunakan JSON atau CSV dengan bidang prompt/respons yang jelas. Mulailah dengan 2–10K contoh berkualitas tinggi sebelum melakukan penskalaan.
- Pilih jalur Anda: WebUI (termudah) atau CLI (penskalaan lebih baik). Tutorial di atas menunjukkan kedua gaya: panduan dan condong ke WebUI; karya condong ke hybrid buku catatan/CLI.
- Latih dengan cerdas: Mulailah dari yang kecil—beberapa epoch, laju pembelajaran lebih tinggi, subset kecil. Jika tidak membaik dalam 10–20 menit, ubah sesuatu dan coba lagi. Iterasi mengalahkan keyakinan buta.
- Evaluasi seperti seorang skeptis: Buat set pengujian 50–100 contoh yang mencerminkan penggunaan nyata. Ajukan pertanyaan sulit. Beri penghargaan pada kebenaran, bukan verbositas.
Memberi peringkat tutorial terbaik (dan mengapa)
- Panduan WebUI dari — Panduan tertulis terbaik secara keseluruhan
- Mengapa ini hebat: Ini baru, menggunakan , dan tidak mengubur Anda dalam teori. Ini adalah pelajaran "rakit ini dengan kunci Allen" yang sebenarnya Anda inginkan.
- Siapa yang harus menggunakannya: Siapa pun yang baru mengenal fine-tuning atau WebUI. Ini adalah pembangun kepercayaan diri dengan hasil nyata.
- Video Ujung ke Ujung — Pengantar visual dan pendorong momentum terbaik
- Mengapa ini hebat: Anda melihat alur, kecepatan, dan kesalahan. Ini adalah hal terdekat untuk memiliki teman di layar yang mengeklik sebelum Anda melakukannya.
- Siapa yang harus menggunakannya: Pembelajar visual, pembangun tidak sabar, tukang reparasi akhir pekan.
- Panduan dari — Terbaik untuk eksperimen tanpa instalasi
- Mengapa ini hebat: Anda tidak perlu melawan roda di laptop Anda. Jalankan, tonton, ekspor.
- Siapa yang harus menggunakannya: Orang yang menguji coba atau menghindari drama lokal.
Apa yang terlewat dari tutorial ini (dan cara mengisi celah)
- Penyematan versi: Perkakas bergerak cepat. Jika proses Anda rusak, periksa versi yang digunakan dalam tutorial dan yang Anda instal. Cocokkan keduanya, atau baca changelog repositori seperti plot twist.
- Ketidakcocokan Tokenizer: Jika respons terlihat seperti sup alfabet, verifikasi tokenizer cocok dengan model dasar. Ini seperti mencoba membaca buku audio dengan subtitle yang salah.
- Penganggaran VRAM: Tutorial sering menunjukkan "begini cara saya melakukannya" bukan "begini cara menskalakannya." Jika Anda mendapatkan kesalahan kehabisan memori , turunkan ukuran batch, gunakan gradient checkpointing, dan aktifkan 4-bit. GPU Anda akan berterima kasih.
Fine-tune pertama Anda: rencana templat yang benar-benar dapat Anda curi
- Tujuan: Fine-tune 8B dengan untuk chatbot gaya dukungan pelanggan.
- Perangkat keras: GPU 16GB (ya, sungguh), atau cloud T4/A10G/A100 jika Anda mampu lebih banyak.
- Data: 5.000 pasang Tanya & Jawab yang dikurasi dari domain Anda. Gaya yang bersih dan konsisten. Tidak ada duplikat. Dedikasikan 500 untuk validasi.
- Ikuti tutorial WebUI untuk menjalankan lingkungan dan UI.
- Di bawah pengaturan pelatihan, pilih: Model dasar = 8B Instruct; Metode = ; Muat dalam 4-bit; Ukuran batch kecil (1–2); Akumulasi gradien untuk mensimulasikan batch yang lebih besar; 1–2 epoch.
- Mulai dengan subset data 10%. Jika kerugian menurun dan validasi masuk akal, lulus ke set lengkap.
- Ekspor adapter dan uji dalam skrip inferensi. Jika jawaban terlalu bertele-tele, sesuaikan perintah sistem dan kurangi suhu.
- Bilas dan ulangi: Sesuaikan laju pembelajaran, jumlah epoch, dan potong contoh berkualitas rendah.
- Pemeriksaan keberhasilan: Model Anda menjawab pertanyaan domain secara ringkas, mengacu pada istilah yang benar, dan tidak menemukan kebijakan. Jika ia bermain peran sebagai karyawan magang penulisan kreatif Anda, Anda telah terlalu cocok atau kurang bersih.
Pemecahan masalah menghantam Anda di GPU? Coba ini
- " OOM": Kecilkan ukuran batch, aktifkan gradient checkpointing, atau gunakan 4-bit. Jika Anda masih macet, beralih ke model yang lebih kecil atau sewa GPU yang lebih besar untuk epoch terakhir.
- "Kerugian tidak akan bergeming": Data buruk atau terlalu kecil. Tingkatkan variasi data, turunkan laju pembelajaran, atau periksa apakah peringkat Anda terlalu kecil.
- "Outputnya kasar/aneh": Selaraskan gaya melalui model dasar yang disetel instruksi dan format respons yang konsisten dalam dataset Anda. Model meniru apa yang mereka lihat—berlatih seperti yang Anda maksudkan.
Penyebaran: dari lab ke laptop (dan seterusnya)
- Ekspor adapter dan gabungkan jika perlu. Untuk perangkat edge, pisahkan adapter untuk portabilitas. Untuk server, gabungkan untuk kesederhanaan dan kecepatan.
- Kuantisasi untuk inferensi. Jika Anda berlatih pada 4-bit, uji inferensi 4-, 5-, dan 8-bit untuk menyeimbangkan latensi dan fidelitas.
- Tambahkan pagar pembatas. Pembungkus prompt sederhana dengan contoh melakukan keajaiban. Atau gunakan model pemeriksa aturan kecil yang menyaring omong kosong sebelum mencapai pengguna Anda.
Haruskah Anda memilih WebUI atau CLI untuk jangka panjang?
- WebUI adalah kedai kopi favorit Anda: nyaman, cepat, gesekan rendah.
- CLI adalah dapur rumah Anda: lebih banyak kenop, lebih banyak kekacauan, lebih banyak kendali. Jika Anda akan melakukan fine-tune setiap minggu, pada akhirnya Anda akan menginginkan skrip, pelacak eksperimen, dan konfigurasi yang dapat direproduksi. Mulai di WebUI, lulus ke CLI.
Perlu dicatat: Sider.AI dapat membantu momen "jelaskan ini kepada saya seperti saya sedang minum espresso ketiga saya". Jika Anda menempelkan konfigurasi atau log Anda ke obrolan Sider.AI, Anda bisa mendapatkan saran cepat untuk parameter yang akan disesuaikan, langkah tutorial mana yang mungkin Anda lewatkan, dan pemeriksaan kewarasan sebelum Anda menghabiskan dua jam untuk laju pembelajaran yang salah. Ini seperti memiliki TA ramah yang tidak menilai Anda—hanya mempercepat Anda. Perbandingan cepat: tutorial mana yang menang untuk pekerjaan mana
- Terbaik untuk pemula total: Panduan WebUI (langkah-langkah jelas, model modern).
- Terbaik untuk "tunjukkan saya sekarang": Ujung ke Ujung (alur visual, salin-klik).
- Terbaik untuk eksperimen tanpa instalasi: Panduan dari (jalankan cepat, habiskan sedikit).
Add-on lanjutan (ketika Anda siap untuk naik level)
- Adapter PEFT di luar : Coba peringkat dan alfa yang berbeda. Perubahan kecil, efek besar.
- Fine-tuning kurikulum: Mulailah dengan data instruksi umum, lalu pindah ke data domain sempit.
- Presisi campuran dan trik memori: bf16 jika didukung; flash attention; buat GPU Anda mendengkur.
- Suite evaluasi: Bangun set eval khusus plus beberapa tugas publik. Lacak overfitting dengan memantau perbedaan antara set val Anda dan set di luar domain kecil.
Glosarium kecil sehingga Anda tidak perlu mengangguk dan berpura-pura
- : Lapisan adapter ringan yang Anda latih alih-alih seluruh model raksasa. Menghemat waktu dan VRAM.
- : Seperti , tetapi bobot dasar dikompresi (dikuantisasi) selama pelatihan. Halo, 4-bit.
- Penggabungan adapter: Gabungkan bobot adapter dengan model dasar untuk penyebaran yang lebih sederhana.
- Tokenizer: Hal yang memotong kalimat menjadi token. Tokenizer yang salah = orak-arik telur.
Pendapat saya: Tutorial mana yang harus Anda mulai?
Jika tujuan Anda adalah kecepatan menuju kesuksesan pertama, mulailah dengan . Pasangkan dengan panduan —tonton, klik, menangkan. Kemudian, untuk proses kedua Anda, putar panduan untuk melihat jalur lain. Anda akan belajar lebih banyak dengan melakukan dua proses kecil daripada dengan membaca satu thread raksasa. Dan GPU Anda tidak akan mengajukan keluhan ke HR.
Rangkuman Stern: Fine-tuning benar-benar dapat dilakukan sekarang. mengubah "jurang keputusasaan" menjadi tangga dengan pegangan tangan. Pilih tutorial, mulai kecil, dan ulangi. Model fine-tune masa depan Anda akan berterima kasih dengan tidak menghalusinasi kebijakan pengembalian uang Anda.
Tautan yang benar-benar akan Anda gunakan
- : Panduan fine-tune Ujung ke Ujung.
Rencana aksi dalam 90 detik
- Pilih panduan dan siapkan WebUI.
- Siapkan dataset kecil (500–1.000 pasang). Jaga agar tetap bersih.
- Latih dengan , 4-bit, batch kecil.
- Evaluasi pada 100 pertanyaan pilihan.
- Ulangi dua atau tiga kali. Kemudian lulus ke proses yang lebih lama dan data yang lebih besar.
Sekarang lakukan fine-tune sesuatu yang berguna. Dan ingat: jika GPU Anda berteriak, itu hanya mengatakan "kurangi ukuran batch."
FAQ
Q1:Tutorial LLaMA-Factory mana yang terbaik untuk pemula sejati?
Mulailah dengan panduan WebUI LLaMA-Factory dari DataCamp—ini jelas, terbaru, dan menggunakan Llama 3. Pasangkan dengan panduan ujung ke ujung YouTube untuk pemeriksaan kewarasan visual sehingga Anda tahu seperti apa kesuksesan sebelum Anda mengklik latih.
Q2:Bisakah saya melakukan fine-tune model LLaMA-Factory di Google Colab?
Ya, tutorial berbasis Colab membuat fine-tuning LLaMA-Factory sangat mudah. Perhatikan saja waktu sesi dan batas VRAM Anda, simpan checkpoints sesering mungkin, dan jaga dataset tetap kecil untuk proses pertama Anda.
Q3:Haruskah saya menggunakan LoRA atau QLoRA dengan LLaMA-Factory?
Jika Anda terbatas pada VRAM, QLoRA adalah teman Anda—pelatihan 4-bit, footprint memori lebih kecil. Jika Anda memiliki lebih banyak ruang kepala GPU, LoRA standar lebih sederhana dan masih sangat efisien untuk fine-tuning.
Q4:Bagaimana cara memperbaiki kesalahan kehabisan memori CUDA selama pelatihan?
Turunkan ukuran batch Anda, aktifkan gradient checkpointing, dan gunakan QLoRA 4-bit. Jika itu masih gagal, coba model dasar yang lebih kecil atau sewa GPU dengan lebih banyak VRAM untuk langkah terberat.
Q5:Bagaimana saya tahu jika fine-tune LLaMA-Factory saya benar-benar berhasil?
Bangun set evaluasi yang kecil dan realistis dan bandingkan output sebelum dan sesudah fine-tuning. Jika model Anda menjawab lebih cepat, lebih akurat, dan tidak menghalusinasi kebijakan liburan perusahaan Anda, Anda berada di jalur yang benar.
