Pernahkah Anda berharap AI Anda terdengar tidak seperti robot cuaca, tetapi lebih seperti… Anda?
Bayangkan ini: Anda meminta AI Anda untuk meringkas email pelanggan, dan AI itu merespons seolah-olah sedang menarasikan Prakiraan Pelayaran. Secara teknis benar; secara spiritual tidak membantu. Yang Anda inginkan sebenarnya adalah AI Anda—nada bicara Anda, jargon Anda, preferensi Anda—tanpa harus membangun laboratorium penelitian di garasi Anda.
Di situlah berperan. Dan jika Anda pernah mendengar desas-desus tentang “,” Anda berada di tempat yang tepat. Ini adalah panduan tentang cara melakukan model AI Anda sendiri dengan —jadi lain kali Anda mengetik “Buat draf respons,” Anda mendapatkan sesuatu yang terdengar seperti tim Anda, bukan sepupu HAL 9000.
Kami akan membahas semuanya: apa arti , cara menyiapkan data Anda, cara menjalankan dengan , dan cara agar tidak menghabiskan anggaran Anda (atau kesabaran Anda). Saya bahkan akan memberi tahu Anda di mana berada—karena itu hebat, tetapi bukan ibu peri.
Peringatan tentang kata kunci: kami akan sering mengatakan “cara menggunakan ,” karena itulah pertanyaan yang membuat Anda datang ke sini. Kami juga akan menyertakan istilah ekor panjang seperti “ model AI Anda sendiri,” “tutorial ,” “persiapan untuk ,” dan “menerapkan model yang di-.” Jika itu terdengar banyak, jangan khawatir—saya akan tetap membuatnya mudah dipahami.
Apa itu —dan bukan
Jika model AI umum adalah pisau Swiss Army, adalah Anda yang berkata, “Dengar, pisau, kita akan membuatmu sangat, sangat bagus dalam membuka paket.” Anda tidak menciptakan pisau itu. Anda mengajarinya kardus favorit Anda.
Dalam praktiknya, berarti Anda mengambil model dasar (yang sudah dilatih pada lautan teks internet) dan mendorongnya dengan contoh Anda—gaya penulisan Anda, tanya jawab khusus domain Anda, skrip dukungan Anda—sehingga ia merespons seperti yang Anda inginkan. Ini seperti menyerahkan panduan gaya dan setumpuk kuis latihan kepada model.
Tetapi bukanlah mantra ajaib. Ia tidak akan tiba-tiba mempelajari fakta yang belum pernah dilihatnya kecuali data Anda mengajarkan pola tersebut. Ia juga tidak akan “mengingat” dokumen kepemilikan yang besar kecuali Anda memasukkan cuplikan representatif. Dan jika data Anda berantakan, kontradiktif, atau kecil, model Anda akan mewarisi kebiasaan tersebut seperti band remaja mewarisi tempo pemain drumnya.
Itinerary singkat
Berikut adalah gambaran singkat tentang cara menggunakan untuk melakukan model AI Anda sendiri:
- Siapkan yang bersih dan seimbang dengan perintah dan respons ideal.
- Buat pekerjaan dengan hiperparameter yang jelas.
- Pantau pelatihan, evaluasi hasil dengan set pengujian yang disimpan.
- Terapkan dan panggil model yang di- Anda dalam produksi.
- Ulangi jika Anda melihat keanehan.
Kami akan membahasnya langkah demi langkah, dengan contoh gaya kode yang dapat Anda tempel, dan tips yang membuat saya tidak berteriak di depan layar.
Langkah 1: Pilih model dasar Anda seperti Anda memilih mobil sewaan
Anda tidak akan menyewa van 15 tempat duduk untuk parkir paralel di Manhattan. Demikian pula, jangan memilih model raksasa jika Anda memerlukan balasan yang cepat dan murah untuk jutaan permintaan harian. biasanya menawarkan beberapa keluarga model—ringan, ukuran menengah, dan “wow, itu pintar.”
- Jika Anda membutuhkan kecepatan dan penghematan biaya: pilih basis yang lebih kecil.
- Jika Anda membutuhkan nuansa, penalaran, atau penulisan bentuk panjang: pilih basis yang lebih besar.
- Jika domain Anda memiliki banyak jargon (medis, hukum, makro dukungan): model menengah hingga besar melakukan dengan lebih berhasil.
Kiat pro: Mulai dari yang lebih kecil untuk membuat prototipe. Jika metrik utama Anda melonjak, pindahkan yang sama ke basis yang lebih besar.
Langkah 2: Siapkan Anda seperti kartu resep, bukan laci sampah Anda
Anda adalah tuas tunggal terbesar untuk kualitas. Model belajar dengan meniru; jika contohnya tidak jelas, model belajar untuk tidak jelas. Jika contohnya tajam, konsisten, dan bervariasi, model Anda menjadi rekan kerja yang membantu yang benar-benar membaca memo.
Bidik format JSONL (JSON Lines) dengan pasangan instruksi-respons eksplisit. Untuk gaya obrolan, sertakan peran seperti sistem/pengguna/asisten. Jaga agar setiap contoh tetap pendek hingga sedang; lusinan contoh berkualitas tinggi mengalahkan ribuan contoh yang berisik.
Contoh (gaya instruksi):
{"instruction": "Ringkas tiket dukungan ini dalam 2 kalimat, dengan nada ramah.", "input": "Pelanggan melaporkan kesalahan 404 saat mengklik 'Lacak Pesanan'", "output": "Terima kasih telah melaporkan ini! Situs menampilkan 404 saat pelanggan mengklik 'Lacak Pesanan.' Kami sedang menyelidiki tautan yang rusak di halaman pelacakan pesanan dan akan menindaklanjuti dengan perbaikan."}
Contoh (gaya obrolan):
{"messages": [
{"role": "system", "content": "Anda adalah agen dukungan yang ringkas dan ramah. Gunakan Bahasa Inggris yang sederhana."},
{"role": "user", "content": "Langganan saya diperpanjang tetapi kartu kedaluwarsa. Bantu?"},
{"role": "assistant", "content": "Maaf atas ketidaknyamanannya! Saya telah memeriksa ulang paket Anda—perpanjangan dicoba pada kartu yang kedaluwarsa. Harap perbarui kartu Anda di halaman Penagihan; Saya akan mencoba ulang penagihan setelah disimpan."}
]}
Tips untuk persiapan untuk :
- Konsistensi adalah yang utama. Selalu gunakan nada, tanda tangan, dan struktur yang sama.
- Seimbangkan topik Anda. Jika 90% contoh adalah pengembalian dana, model Anda menjadi Peri Pengembalian Dana.
- Beri label kasus-kasus sulit. Sertakan contoh negatif (apa yang tidak boleh dikatakan), jika mendukung sinyal preferensi.
- Jaga keamanannya. Hapus data pribadi. Jika Anda bekerja dengan informasi sensitif, anonimkan atau sintesiskan.
Simpan 10–20% data Anda sebagai set pengujian. Jika Anda memberi nilai pada set pelatihan, Anda akan menipu diri sendiri dengan berpikir bahwa model itu jenius. Tanya saya bagaimana saya tahu.
Langkah 3: Unggah data Anda ke tanpa air mata
Sebagian besar platform menawarkan titik akhir penyimpanan. Dengan , Anda biasanya akan:
- Buat sumber daya (misalnya, POST /datasets)
- Validasi skema ( biasanya mengembalikan laporan praktis: jumlah OK, kesalahan, bidang aneh)
Contoh pseudo (mirip curl):
curl -X POST -H "Authorization: Bearer YOUR_TINKER_KEY" -F "file=@my_finetune_data.jsonl" -F "purpose=finetune"
Jika mendukung CLI, hidup menjadi lebih mudah:
Unggah
tinker datasets upload my_finetune_data.jsonl --purpose finetune
Validasi
tinker datasets validate DATASET_ID
Kesalahan validasi adalah teman Anda. Mereka terasa menghakimi, tetapi mereka menyelamatkan Anda dari kegagalan pelatihan misterius pada pukul 2 pagi.
Langkah 4: Mulai pekerjaan dan pilih pengaturan yang masuk akal
Anda akan memulai pekerjaan yang menunjuk ke Anda dan model dasar yang Anda pilih. Sebagian besar titik akhir menerima parameter seperti , laju pembelajaran, ukuran , dan frekuensi evaluasi. Terjemahan: berapa banyak lintasan data Anda, seberapa agresif model belajar, berapa banyak contoh yang dipelajari sekaligus, dan seberapa sering ia menunjukkan laporan kemajuan kepada Anda.
Contoh permintaan:
curl -X POST -H "Authorization: Bearer YOUR_TINKER_KEY" -H "Content-Type: application/json" -d '{
"base_model": "tinker-large-1",
"dataset_id": "ds_abc123",
"epochs": 3,
"learning_rate": 1e-5,
"batch_size": 8,
"eval_dataset_id": "ds_eval789",
"suffix": "support-tone-v1"
}'
Nilai default yang masuk akal:
- : 3–5 untuk kecil hingga menengah. Lebih banyak tidak selalu lebih baik; terkadang itu hanya dengan langkah ekstra.
- Laju pembelajaran: mulai konservatif (1e-5 atau 2e-5). Jika model belajar terlalu cepat, ia melupakan kecerdasannya secara umum.
- Ukuran : apa pun yang diizinkan oleh kuota Anda, tetapi jangan khawatir—peningkatan kinerja sebagian besar berasal dari data yang baik.
- Penghentian awal: jika menawarkannya, aktifkan. Ini adalah “apakah kita sudah sampai?” dari pembelajaran mesin yang kadang-kadang berkata, “Ya.”
Langkah 5: Pantau pelatihan seperti elang—tetapi elang yang santai
biasanya mengalirkan log: kehilangan pelatihan, kehilangan evaluasi, dan mungkin metrik khusus yang Anda tentukan (seperti kecocokan persis untuk Tanya Jawab). Inilah cara membaca daun teh:
- Kehilangan pelatihan menurun, kehilangan evaluasi datar atau naik? Anda mengalami —menghafal jawaban pelatihan Anda tetapi mengacaukan jawaban baru.
- Keduanya cenderung turun? Anda berada di jalur yang benar.
- Kehilangan memantul seperti tongkat pogo? Laju pembelajaran Anda mungkin terlalu tinggi, atau Anda tidak konsisten.
Periksa keluaran parsial jika menawarkan generasi pratinjau di tengah pelatihan. Contoh beberapa perintah dari set pengujian Anda dan lihat nada/akurasinya. Ya, itu kualitatif—tetapi Anda sedang melatih gaya, bukan bukti fisika.
Langkah 6: Beri nama, terapkan, panggil
Ketika pekerjaan selesai, akan memberkati Anda dengan ID model seperti ft:tinker-large-1:support-tone-v1:abc123. Anda kemudian dapat menerapkannya di belakang titik akhir dan memanggilnya seperti model dasar—hanya saja sekarang ia berbicara seperti tim Anda.
Contoh panggilan generasi:
curl -X POST -H "Authorization: Bearer YOUR_TINKER_KEY" -H "Content-Type: application/json" -d '{
"model": "ft:tinker-large-1:support-tone-v1:abc123",
"messages": [
{"role": "system", "content": "Anda adalah agen dukungan yang ringkas dan ramah."},
{"role": "user", "content": "Pengembalian dana saya terlambat dan saya kesal."}
],
"temperature": 0.4
}'
Anda juga dapat mengatur “” yang lebih tinggi atau “suhu” yang lebih rendah jika model Anda menjadi terlalu banyak bicara atau terlalu singkat. Dokumentasi akan menjelaskan tombol-tombolnya—jangan malu untuk bereksperimen.
Langkah 7: Evaluasi seperti pelatih, bukan hakim
Anda akan menginginkan kartu skor otomatis dan kartu skor manusia. Metrik otomatis (BLEU, ROUGE, akurasi) rapi tetapi buta terhadap nada. Manusia menangkap masalah “ini terdengar ketus”.
Siapkan rubrik kecil:
- Mengikuti instruksi (1–5)
Contoh 50–100 keluaran dari set yang Anda simpan. Minta dua orang untuk menilainya secara independen. Jika rata-rata kategori di bawah 3, lacak kembali ke Anda dan tambahkan lebih banyak contoh yang menunjukkan perilaku yang Anda inginkan.
Langkah 8: Biaya dan kinerja: apa yang menjadi perhatian CFO dan server Anda
dengan membutuhkan biaya di dua tempat: pelatihan dan inferensi. Pelatihan adalah sprint satu kali; inferensi adalah maraton.
- Kurangi panjang token. Perintah dan keluaran yang lebih pendek = tagihan yang lebih kecil.
- Gunakan perintah sistem yang membingkai gaya Anda, tetapi jangan ulangi instruksi besar pada setiap panggilan jika mendukung tingkat penerapan.
- Simpan perintah umum di jika memungkinkan.
- Pertimbangkan strategi perutean: gunakan model besar yang di- Anda hanya jika diperlukan; jika tidak, kembali ke model yang lebih kecil dan lebih murah.
Latensi juga penting. Jika model yang di- Anda berjalan lebih lambat, coba jendela konteks yang lebih kecil, atau gunakan model kecil untuk klasifikasi dan model besar hanya untuk teks generatif.
Langkah 9: Pemecahan masalah: terhebat
- Model mengulangi dirinya sendiri seperti rekaman yang rusak.
- Turunkan suhu; tambahkan contoh dengan jawaban yang tajam dan pendek; kurangi lebar jika itu adalah pilihan.
- Ia mengabaikan instruksi.
- Perkuat perintah sistem dan sertakan contoh pelatihan yang menunjukkan kepatuhan instruksi yang ketat.
- Ia menghalusinasi fakta dengan sombong.
- Sertakan contoh yang mengatakan “Saya tidak tahu” atau tautkan ke sumber; turunkan suhu; pasangkan dengan pengambilan untuk mendasarkan respons.
- Ia terlalu baik. (Ya, itu ada.)
- Tambahkan contoh pelatihan yang menetapkan batasan dan mengklarifikasi kebijakan—“Kami tidak dapat melakukan X, tetapi inilah Y.”
- Pelatihan gagal di tengah jalan.
- Periksa validasi , karakter aneh, dan panjang token maksimum. Coba ukuran yang lebih kecil atau yang lebih sedikit.
Langkah 10: Kapan melakukan vs. kapan menggunakan perintah atau pengambilan
Saya suka , tetapi itu bukan satu-satunya palu. Tiga strategi umum:
- Hanya rekayasa perintah: Termurah, tercepat. Bagus jika Anda hanya memerlukan perubahan nada atau konsistensi sederhana.
- Generasi tambahan pengambilan (RAG): Bagus untuk fakta segar dan basis pengetahuan yang besar. Model membaca dokumen Anda saat .
- : Terbaik untuk gaya, struktur, dan pola domain yang tidak berubah setiap hari.
Seringkali, resep kemenangan adalah sedikit dari masing-masing: gunakan RAG untuk mengambil fakta, lalu berikan ke model yang di- Anda sehingga ia menjawab dengan suara khas Anda.
Tutorial cepat yang dapat Anda salin-tempel
Berikut adalah panduan terpadu dan fiktif yang mencerminkan banyak platform gaya . Ganti titik akhir dan ID dengan yang sebenarnya.
curl -X POST -H "Authorization: Bearer $TINKER_KEY" -F "[email protected]" -F "purpose=finetune" curl -X POST -H "Authorization: Bearer $TINKER_KEY" -F "[email protected]" -F "purpose=eval" curl -X POST -H "Authorization: Bearer $TINKER_KEY" -H "Content-Type: application/json" -d '{
"base_model": "tinker-medium-1",
"dataset_id": "ds_train",
"eval_dataset_id": "ds_eval",
"epochs": 4,
"learning_rate": 2e-5,
"suffix": "email-summarizer-v1"
}'
curl -N -H "Authorization: Bearer $TINKER_KEY"
curl -X POST -H "Authorization: Bearer $TINKER_KEY" -H "Content-Type: application/json" -d '{
"model": "ft:tinker-medium-1:email-summarizer-v1:xyz",
"prompt": "Ringkas email berikut dalam dua poin, dengan nada ramah:\n\n[TEMPEL EMAIL]",
"max_tokens": 160,
"temperature": 0.4
}'
Skenario kehidupan nyata: apa yang terjadi ketika…
- Anda melakukan pada makro dukungan Anda
- Tiba-tiba, AI Anda menjawab dalam struktur yang sama dengan yang digunakan agen Anda: permintaan maaf, tindakan, tindak lanjut. CSAT sering meningkat karena orang lebih menyukai konsistensi daripada kejutan.
- Anda melakukan pada suara merek Anda
- Model memaku gaya “kami membantu tetapi tidak lengket” Anda. Ia menghindari antusiasme 17-tanda seru. Pemasaran tidur lebih nyenyak.
- Anda melakukan untuk saran kode
- Sertakan pasangan deskripsi tugas dan cuplikan kode ideal. Jaga agar contoh tetap pendek dan fokus; kode berisik mengarah pada penyelesaian yang berisik.
- Anda melakukan untuk klasifikasi
- Ya, Anda bisa. Berikan contoh berlabel dan panggil model dengan perintah pendek. Untuk label yang ketat, atur suhu ke nol.
Keamanan pertama, terakhir, dan selalu
Jika kasus penggunaan Anda menyentuh area yang diatur atau sensitif, tarik garis terang dalam perintah sistem Anda dan data pelatihan Anda. Tambahkan contoh yang menunjukkan penolakan dengan anggun. Catat keluaran dan biarkan pengguna melaporkan masalah. Model yang di- dapat percaya diri—latih mereka untuk berhati-hati dengan percaya diri.
Di mana Sider.AI cocok (dan di mana tidak)
Inilah kejutan: Sider.AI dapat menjadi teman yang hebat saat Anda mencari tahu cara menggunakan . Ini seperti memiliki rekan pilot yang berhati-hati yang membaca dokumen tanpa mengeluh. Anda dapat membuat draf contoh di bilah sisi saat menjelajahi email atau basis pengetahuan Anda yang ada, lalu mengekspor JSONL yang bersih dan konsisten. Itu tidak akan menjalankan pekerjaan pelatihan untuk Anda—itu jalur —tetapi untuk membuat draf, memfaktorkan ulang, dan memastikan kualitas contoh Anda, itu sangat praktis. Coba tanyakan, “Tulis ulang balasan ini dengan suara dukungan yang tenang dan sederhana, dua kalimat,” dan saksikan kualitas Anda melonjak. Hal-hal yang saya harapkan seseorang memberi tahu saya
- Lebih banyak data tidak selalu lebih baik—data yang lebih representatif adalah.
- Jangan terlalu terpaku pada nada. Simpan beberapa contoh sehingga model dapat berimprovisasi ketika pengguna menjadi kreatif.
- Versikan semuanya: v1.1, model v1.2, templat perintah v3.0. Anda di masa depan akan mengirimkan muffin terima kasih.
- Simpan tombol . Jika baru keluar jalur, terapkan kembali model sebelumnya dengan cepat.
- Evaluasi dengan perintah pengguna yang sebenarnya, bukan hanya contoh terindah Anda. Pengguna adalah penyair kekacauan.
Satu hal terakhir…
dengan bukan tentang membangun Skynet. Ini tentang menghilangkan tepi kasar sehingga AI Anda terasa seperti bagian dari tim Anda. Mulai dari yang kecil, ukur tanpa ampun, dan jangan takut untuk mengakui ketika trik yang lebih sederhana (seperti perintah yang lebih baik) menyelesaikan pekerjaan.
Karena ketika AI Anda akhirnya menjawab seperti yang Anda inginkan? Itu bukan hanya efisiensi. Itu kewarasan.
lembar contekan
- Cara menggunakan untuk melakukan model AI Anda sendiri: siapkan pasangan JSONL yang bersih dan konsisten; unggah; mulai dengan yang masuk akal; evaluasi dengan manusia dan metrik; terapkan dan ulangi.
- Gunakan untuk gaya dan pola stabil; gunakan pengambilan untuk fakta segar.
- Kendalikan biaya dengan perintah yang lebih pendek, model yang lebih kecil, dan perutean.
- Jadikan keselamatan sebagai bagian eksplisit dari Anda.
- Biarkan alat seperti Sider.AI membantu Anda membuat contoh yang lebih baik sebelum Anda menekan “Latih.”
FAQ
Q1:Bagaimana cara menyiapkan data untuk melakukan model AI saya sendiri dengan ?
Gunakan JSONL dengan pasangan gaya instruksi–respons atau obrolan yang jelas. Jaga agar nada tetap konsisten, anonimkan informasi sensitif, dan simpan 10–20% untuk pengujian agar Anda tidak membodohi diri sendiri dengan skor yang meningkat.
Q2: Apakah fine-tuning dengan Tinker API lebih baik daripada *prompt engineering*?
Gunakan *prompt* untuk penyesuaian nada cepat dan perilaku sederhana; gunakan *fine-tuning* ketika Anda membutuhkan gaya, struktur, atau pola domain yang tahan lama. Banyak tim menggabungkan keduanya—RAG untuk fakta, *fine-tune* untuk gaya bahasa.
Q3: Berapa banyak data yang saya butuhkan untuk melakukan *fine-tune* model dengan Tinker API?
Kualitas lebih penting daripada kuantitas. Beberapa ratus contoh yang kuat dapat mengungguli ribuan contoh yang kurang baik. Mulailah dari yang kecil, evaluasi, kemudian tambahkan contoh yang ditargetkan di mana model mengalami kesulitan.
Q4: Bagaimana cara menerapkan model yang telah di-*fine-tune* di Tinker API?
Setelah pelatihan, Tinker mengembalikan ID model yang dapat Anda panggil melalui *endpoint completions* atau *chat* standar. Atur *system prompt* yang bermanfaat, sesuaikan suhu, dan pantau keluaran dalam lalu lintas nyata.
Q5: Bagaimana cara menghentikan model yang telah saya *fine-tune* dari berhalusinasi?
Latih dengan contoh yang mengakui ketidakpastian, turunkan suhu, dan gabungkan dengan *retrieval* untuk fakta. Jadikan “sebutkan sumber” atau “katakan Anda tidak tahu” sebagai bagian dari instruksi dan data pelatihan.
