તમારા AIને હવામાન રોબોટ કરતાં ઓછું અને… તમારી જેમ લાગવાની ઈચ્છા કદી થઈ છે?
આ કલ્પના કરો: તમે તમારા AIને ગ્રાહકના ઇમેઇલનો સારાંકન કરવા માટે પૂછો છો અને તે Shipping Forecastનું વર્ણન કરે તેવો જવાબ આપે છે. ટેકનિકલી બરાબર; પરંતુ આત્માનાં દ્રષ્ટિકોણે મદદરૂપ નથી. તમે ખરેખર એવું માંગો છો કે તમારું AI—તમારું ટોન, તમારું જર્ગન, તમારી પસંદગીઓ—બનાવવી હોય પણ અનુભવશાળી સંશોધન કે લેબ બનાવવાની જરૂર ના પડે.
અહીં ફાઈન-ટ્યુનિંગ કામમાં આવે છે. અને જો તમે 'Tinker API' વિશે સાંભળ્યું હશે તો તમે યોગ્ય જગ્યાએ છો. આ Tinker API સાથે તમારું AI મોડેલ કેવી રીતે ફાઇન-ટ્યુન કરવું તેની માર્ગદર્શિકા છે—તેમ ભાવિ વખતે જ્યારે તમે 'જવાબ તૈયાર કરો' ટાઇપ કરશો ત્યારે તે તમારી ટીમની ભાષા જેવા જવાબ આપે, HAL 9000 ના મિતનું નહીં.
અમે સમગ્ર પ્રક્રિયા સમજાવશું: ફાઇન-ટ્યુનિંગ શું છે, ડેટા કેવી રીતે તૈયાર કરવો, Tinker API સાથે ફાઇન-ટ્યુન કેવી રીતે ચલાવવી, અને તમારી બજેટ અથવા ધૈર્ય ન ખોટું પડી શકે તે કેવી રીતે ટાળવું. હું તમને આમાં છુપાયેલા સાવધાની ટિપ્સ પણ આપીશ—કારણ કે ફાઇન-ટ્યુનિંગ શક્તિશાળી છે, પરંતુ કોઈ જાદુગરી સ્ત્રી નથી.
મુખ્ય વાક્યાં પર ધ્યાનમાં રાખો: અમે ઘણીવાર 'Tinker API કેવી રીતે ઉપયોગ કરવો' કહેશુ, કારણ કે એજ તમારું પ્રશ્ન છે. અમે 'તમારું પોતાનું AI મોડેલ ફાઇન-ટ્યુન કરવું', 'Tinker API ટ્યુટોરિયલ', 'ફાઇન-ટ્યુનિંગ માટે ડેટાસેટ તૈયારી' અને 'ફાઇન-ટ્યુન મોડેલ ડિપ્લોયમેન્ટ' જેવા લાંબા ટર્મ પણ જોડશું. જો આ બધું વધારે લાગી રહ્યું હોય તો ચિંતિત ન થાઓ—હું સાદા ભાષામાં સમજાવીશ.
ફાઇન-ટ્યુનિંગ શું છે—અને શું નથી
જો સામાન્ય AI મોડેલ એક સ્વિસ આર્મી ચાકૂ હોય તો ફાઇન-ટ્યુનિંગ એ તમે કહેવું, “ચાકૂ, અમે તને પેકેજ ખુલવા માટે ખાસ બનાવવા જઈ રહ્યા છીએ.” તમે ચાકૂ શોધી રહ્યો નથી. તમે તેને તમારું મનપસંદ કાર્ડબોર્ડ શીખવી રહ્યા છો.
વાસ્તવમાં, ફાઇન-ટ્યુનિંગનો અર્થ છે કે તમે મૂળ મોડેલ (જે પહેલેથી બધી ઇન્ટરનેટ લેખનની જાણકારી મેળવી ચૂક્યું છે) તમારા ઉદાહરણોથી નડેજો—તમારી લખાણ શૈલી, વિશિષ્ટ ડોમેનના પ્રશ્નો-જવાબ, સપોર્ટ સ્ક્રિપ્ટ્સ—જે તેતમ અનુસાર જવાબ આપે. તે મોડેલને સ્ટાઈલ ગાઇડ અને પ્રેક્ટિસ પ્રશ્નાવળી આપવી જેવી છે.
પરંતુ ફાઇન-ટ્યુનિંગ કોઈ જાદુઈ ફોર્મ્યુલા નહીં. તે તેવા તથ્ય શીખશે નહીં જેને તેણે ક્યારેય નહીં જોયા હોય જો સુધી તમારું ડેટા તે શીખવતું ન હોય. તે મોટા માલિકાનિયા દસ્તાવેજ યાદ નહીં રાખી શકે જો સુધી તમે પ્રતિનિધિ ટુકડા ન આપો. અને જો તમારું ડેટા ગંદુ, વિવાદાસ્પદ, કે નાનું હોય તો તમારું મોડેલ તે જ આદતો અપનાવી ખૂણાનો ટેમ્પો ધરાવતો કિશોર રૉક બેન્ડ જેવું બની જશે.
ઝડપી ઝાંખી
અહીં Tinker API ઉપયોગ કરીને તમાર owno AI મોડેલ ફાઇન-ટ્યુન કેવી રીતે કરવું તેનો વ્યાપક દૃશ્ય છે:
- Tinker API માં એક આધારભૂત મોડેલ પસંદ કરો.
- પ્રોમ્પ્ટ અને આદર્શ જવાબો સાથે સાફ અને સંતુલિત ડેટાસેટ તૈયાર કરો.
- તમારૂં ડેટાસેટ Tinker પર અપલોડ કરો.
- સાપડ હાઇપરપેરામીટર્સ સાથે ફાઇન-ટ્યુનિન્ગ જૉબ બનાવો.
- ટ્રેનિંગનું નિરીક્ષણ કરો, હોલ્ડઆઉટ ટેસ્ટ સેટથી મૂલ્યાંકન કરો.
- તબાદ ડિપ્લોય કરો અને પ્રોડક્શનમાં ફાઇન-ટ્યુન કરેલા મોડેલને کال કરો.
- જ્યારે અજરૂબી દેખાય ત્યારે પુનરાવૃત્તિ કરો.
અમે દરેક પગલાં સાથ આપવામાં કોડ ઉદાહરણો અને ટિપ્સ આપીશું જેનાથી તમારી ફરિયાદ કરવાની જરૂર ન રહે.
પગલું 1: આધારભૂત મોડેલ પસંદ કરો જેમ તમે ભાડાની કાર પસંદ કરો
તમે મૅનહેટન માં પૅરલલ પાર્કિંગ માટે 15-સીટની વાન ભાડે લેવા નથી જતાં. એજ રીતે, જો તમને ઝડપી અને સસ્તા જવાબોની જરૂર હોય તો મોટી અને ભારે મોડેલ ન પસંદ કરો. Tinker API સામાન્ય રીતે કેટલાક મોડેલ ફેમિલીઝ આપે છે—લાઇટવેઈટ, મધ્યમ, અને 'વાહ, આ તો સ્માર્ટ છે'.
- જો ઝડપ અને ખર્ચ બચાવવો હોય: નાનું આધારભૂત મોડેલ પસંદ કરો.
- જો વિગતવાર વિચારશીલતા, તાર્કિકતા અથવા લાંબા લખાણની જરૂર હોય: મોટું આધારભૂત મોડેલ પસંદ કરો.
- જો તમારું ક્ષેત્ર ઘણું જર્ગન ધરાવે છે (ચિક્ષા, કાનૂની, સપોર્ટ માક્રોઝ): માધ્યમ કે મોટાં મોડેલ વધુ ફળદાયક રીતે ફાઇન-ટ્યુન થાય છે.
પ્રોફેશનલ ટીપ: શરૂઆત નાના મોડેલથી કરો પ્રોટોટાઇપ માટે. જો તમારી મુખ્ય માપદંડો સુધરે, તો એ જ ડેટાસેટને મોટા મોડેલ પર લઈ જાઓ.
પગલું 2: ડેટાસેટ તૈયાર કરો જેમ રસોઈનું રેસીપી કાર્ડ, વગર ઈચ્છનીય વસ્તુઓના ડબ્બામાંથી નહીં
તમારું ડેટાસેટ ગુણવત્તા માટે સૌથી મોટું સાધન છે. મોડેલ નકલ કરીને શીખે છે; જો ઉદાહરણ અમૂર્ત છે, તો મોડેલ અમૂર્ત બની જશે. যদি উদাহরণ crisp, consistent, અને વિવિધ છે, તો તમારું મોડેલ એક મદદરૂપ સાથીદારો બની જશે જે મેમો વાંચે છે.
જયસે JSONL (JSON Lines) ફોર્મેટમાં વિગતવાર સુચનાઓ-પ્રતિસાદ પેઅર્સ હોવા જોઈએ. ચેટ-સ્ટાઇલ ફાઇન-ટ્યુનિંગ માટે 'system/user/assistant' જેવા રોલ્સ શામેલ કરો. દરેક ઉદાહરણ નાનું કે મધ્યમ રાખો; ઘણા ગુણવત્તાવાળા ઉદાહરણો ઘણો અવાજ કરતા ઊંચા છે.
ઉદાહરણ (સૂચના-શૈલી):
{"instruction": "આ સપોર્ટ ટિકિટને 2 વાક્યમાં સારાંશ આપો, دوستانه ટોનમાં.", "input": "ગ્રાહકે 'ટ્રેક ઓર્ડર' પર ક્લિક કરતાં 404 ખોટી બતાવી છે", "output": "આ સમસ્યાની જાણકારી માટે આભાર! સાઇટ જ્યારે ગ્રાહકો 'ટ્રેક ઓર્ડર' પર ક્લિક કરે ત્યારે 404 બતાવે છે. અમે ઓર્ડર-ટ્રેકિંગ પૃષ્ઠમાં તૂટેલા લિંકની તપાસ કરી રહ્યા છીએ અને સમાધાન આપશું."}
ઉદાહરણ (ચેટ-શૈલી):
{"messages": [
{"role": "system", "content": "તમે સંક્ષિપ્ત અને મૈત્રીપૂર્ણ સપોર્ટ એજન્ટ եք. સરળ અંગ્રેજી નો ઉપયોગ કરો."},
{"role": "user", "content": "મારો સબ્સ્ક્રિપ્શન નવીનીકૃત થયો, પણ કાર્ડ મિયાદ પૂરી થઈ ગઈ. મદદ?"},
{"role": "assistant", "content": "આ સમસ્યાથી દુઃખ છે! મેં તમારું પ્લાન તપાસ્યું—મિયાદ પૂરી થઈ ગયેલા કાર્ડથી નવીનીકરણ થયું. કૃપા કરીને બિલિંગ પેનલ પર તમારું કાર્ડ અપડેટ કરો; હું ફરીથી ચાર્જ પ્રયત્ન કરીશ."}
]}
ફાઇન-ટ્યુનિંગ માટે ડેટાસેટ તૈયાર કરવા માટે ટિપ્સ:
- સતતતા સૌથી મહત્વપૂર્ણ છે. હંમેશા એક જ ટોન, સહી અને બંધારણનો ઉપયોગ કરો.
- વિષયોમાં સંતુલન રાખો. જો 90% ઉદાહરણ રિફંડ છે, તો તમારું મોડેલ 'રિફંડ ફેરિ' બની જશે.
- જટિલ કિસ્સાઓને લેબલ કરો. નકારાત્મક ઉદાહરણો (શું ન કહેવું) શામેલ કરો, જો Tinker API પસંદગીઓ સપોર્ટ કરે.
- સુરક્ષિત રાખો. વ્યક્તિગત માહિતી દૂર કરો. જો સંવેદનશીલ માહિતી હોય તો એનોનિમાઇઝ કે სინ્થેટિક બનાવો.
તમારા ડેટાનું 10-20% હોલ્ડઆઉટ તરીકે રાખો ટેસ્ટ માટે. ટ્રેનિંગ સેટ પર જ જોમ મૂલ્યાંકન કરશો તો તમે ખોટી ઊંઝાણમાં પડી જશો.
પગલું 3: Tinker API પર ડેટા અપલોડ કરો સરળતાથી
ઘણાં ફાઇન-ટ્યુનિંગ પ્લેટફોર્મ સ્ટોર્સૌએન્ડપોઇન્ટ આપે છે. Tinker API માં તમને સામાન્ય રીતે:
- ડેટાસેટ સ્રોત બનાવો (ઉદાહરણ, POST /datasets)
- તમારું JSONL ફાઈલ અપલોડ કરો
- સ્કીમા ચકાસો (Tinker સામાન્ય રીતે ઉપયોગી રિપોર્ટ આપે છે: યોગ્ય ગણી, ભૂલો, અજોઈ ફીલ્ડ)
આ રીતે કોર્ડ-માટેનું ઉદાહરણ (curl જેવા):
curl -X POST -H "Authorization: Bearer YOUR_TINKER_KEY" -F "file=@my_finetune_data.jsonl" -F "purpose=finetune"
જો Tinker API CLI સપોર્ટ કરે તો આગળ જીવન સરળ થાય છે:
અપલોડ કરો
tinker datasets upload my_finetune_data.jsonl --purpose finetune
ચાલુ ચકાસણી
tinker datasets validate DATASET_ID
ચકાસણી ભૂલો તમારા મિત્ર છે. તે પરખ્યા જેવું લાગે છે, પરંતુ તે તમને અજાણેલા ત્રુଟિથી સવારે 2 વાગ્યે બચાવે છે.
પગલું 4: ફાઇન-ટ્યુન જૉબ શરુ કરો અને યોગ્ય સેટિંગ્સ પસંદ કરો
તમારા ડેટાસેટ અને પસંદ કરેલા આધારભૂત મોડેલ બતાવતા જૉબ શરૂ કરી શકો. Tinker API ફાઇન-ટ્યુન એન્ડપોઈન્ટ પર સામાન્ય પેરામીટર્સ જેમ કે epochs, લર્નિંગ રેટ, બેચ સાઇઝ અને મૂલ્યાંકન આવૃત્તિ આવે છે. મતલબ: તમારું ડેટા કેટલા વખતથી પસાર થવું, મોડેલ શીખવામાં કેટલું ઝડપી, કેટલાં ઉદાહરણ એકસાથે શીખવા, અને તમે દરેક કેટલાય વખત પ્રગતિ રિપોર્ટ જોઈ શકો.
ઉદાહરણ વિનંતી:
curl -X POST -H "Authorization: Bearer YOUR_TINKER_KEY" -H "Content-Type: application/json" -d '{
"base_model": "tinker-large-1",
"dataset_id": "ds_abc123",
"epochs": 3,
"learning_rate": 1e-5,
"batch_size": 8,
"eval_dataset_id": "ds_eval789",
"suffix": "support-tone-v1"
}'
યોગ્ય ડિફૉલ્ટ્સ:
- ઇપોક્સ: નાના થી મધ્યમ ડેટાસેટ માટે 3-5. વધુ હમેશા સારું નહીં; કેટલીક વખત વધુ પગલાં સાથે ઓવરફિટિંગ થાય છે.
- લર્નિંગ રેટ: સંરક્ષૂંક સ્તરે શરુ (1e-5 કે 2e-5). જો મોડેલ ખૂબ ઝડપથી શીખે તો તે તેની સામાન્ય સમજ ભૂલી શકે.
- બેચ સાઇઝ: તમારી ક્વોટા મુજબ, પણ વધુ મહત્ત્વનું મૂળભૂત ડેટા ગુણવત્તા છે.
- અન્ય-બંધ કરવું (અગાઉ અટકાવવી): જો Tinker API આપે તો તે ચાલુ કરો. તે એક રીતે 'અમે પહોંચ્યા કે નહિ?' સહાયક છે.
પગલું 5: દબદબાવાળા બગલા જેવું ટ્રેનિંગનું નિરીક્ષણ કરો - પણ શાંત બગલા
Tinker સામાન્ય રીતે લોગ્સ સ્ટ્રીમ કરે છે: ટ્રેનિંગ નુકસાન, મૂલ્યાંકન નુકસાન, અને કસ્ટમ મેટ્રિક્સ (જેમ કે Q&A માટે સચોટ મેળ) પણ તમને આપે. આ રીતે વાંચો:
- ટ્રેનિંગ નુકસાન ઘટે અને મૂલ્યાંકન નુકસાન વધે/ફ્લેટ છે? તમે ઓવરફિટિંગ કરી રહ્યા છો—ટ્રેનિંગ જવાબો યાદ રાખો છો, નવા પ્રશ્નો માટે ખોટા જવાબો.
- બન્ને ઘટી રહ્યા છે? રાસ્તે છે.
- લોસ પોગો સ્ટિકના જેમ ઊછળતો હોય? તમારી લર્નિંગ રેટ વધારે અથવા ડેટાસેટ અસંગત હોઈ શકે.
જો Tinker ટ્રેનિંગ દરમ્યાન પૂર્વાવલોકન આપે તો કેટલાક પરીક્ષણ ઉદાહરણો ચકાસો અને ટોન/સચોટતા તપાસો. હા, આ ગુણવત્તામાં છે—પરંતુ તમે શૈલી ટ્રેન કરી રહ્યાં છો, ફિઝિક્સ ના નિયમ નહીં.
પગલું 6: નામ આપો, ડિપ્લોય કરો અને કોલ કરો
જ્યારે જૉબ પૂરી થાય ત્યારે Tinker API તમને મોડેલ ID આપે છે જેમ કે ft:tinker-large-1:support-tone-v1:abc123. પછી તમે તેને એન્ડપોઇન્ટ પાછળ લાગાડી શકો છો અને મૂળભૂત મોડેલ જેવો જ કોલ કરી શકો છો—પણ હવે તે તમારી ટીમ જેવી ભાષા બોલે છે.
ઉદાહરણ જનરેશન કોલ:
curl -X POST -H "Authorization: Bearer YOUR_TINKER_KEY" -H "Content-Type: application/json" -d '{
"model": "ft:tinker-large-1:support-tone-v1:abc123",
"messages": [
{"role": "system", "content": "તમે સંક્ષિપ્ત, મૈત્રીપૂર્ણ સપોર્ટ એજન્ટ છો."},
{"role": "user", "content": "મારું રિફંડ મોડું છે અને હું રોષિત છું."}
],
"temperature": 0.4
}'
જો તમારું મોડેલ વધુ વાતરૂપ કે વધારે ટૂંકું લાગે તો તમે ‘presence_penalty’ વધારે અથવા ‘temperature’ ઓછું કરી શકો. Tinker ના દસ્તાવેજો તરફાઓ આપે છે, નિર્ભય બનીને અજમાવજો.
પગલું 7: коच તરીકે મૂલ્યાંકન કરો, નિ્યાયક તરીકે નહીં
તમારે એક આપમેળે સ્કોરકાર્ડ અને માનવ જોબમાં મૂલ્યાંકન જોઈએ. આપમેળે મેટ્રિક્સ (BLEU, ROUGE, સાચું પરિણામ) સુસજ્જ છતાં ટોનને ઓળખી શકતું નથી. માનવો આ બાબતો પકડી શકે છે કે ‘આ ઉગ્ર લાગે છે’.
નાનું રૂબ્રિક બનાવો:
- સૂચના અનુસારનું પાલન (1–5)
તમારા હોલ્ડઆઉટ સેટમાંથી 50–100 આઉટપુટ નમૂનાઓ લવો. બે લોકોથી વિભાજીત રીતે રેટ કરાવો. જો કોઈ કેટેગરી 3થી નીચે આવે તો તે ડેટાસેટ પર જાઓ અને તે વર્તન દર્શાવતા વધુ ઉદાહરણો ઉમેરો.
પગલું 8: ખર્ચ અને કામગીરી: તમારી CFO અને સર્વર કેમ ચિંતિત હોય
Tinker API સાથે ફાઇન-ટ્યુનિંગ ખર્ચ ટ્રેનિંગ અને ઈન્ફરન્સ બે જગ્યાએ થાય છે. ટ્રેનિંગ એક-વારનું ઝડપભર્યું કાર્ય છે; ઈન્ફરન્સ દોડ જેવી છે.
- ટોકન લંબાઈ ઘટાડો. ટૂંકા પ્રોમ્પ્ટ અને આઉટપુટ = ઓછા બિલ.
- સિસ્ટમ પ્રોમ્પ્ટ ઉપયોગ કરો જે તમારી શૈલી પરથી ફ્રેમ કરે, પણ ભારે સૂચનાઓ દરેક કૉલ પર ન આપશો જો Tinker ડિપ્લોયમેન્ટ ડિફોલ્ટ આપે.
- સામાન્ય પ્રોમ્પ્ટોને કેશ કરો જ્યાં શક્ય હોય.
- રૂટિંગ સ્ટ્રેટેજી વિચારજો: આકાર્યક્ષમ મોટા ફાઇન-ટ્યુન મોડેલ જ ઉપયોગમાં લો; નહીંતર નાનું સસ્તું મોડેલ વાપરો.
લેટન્સી પણ મહત્વપૂર્ણ છે. જો તમારું ફાઇન-ટ્યુન મોડેલ ધીમું છે તો નાનું કન્ટેક્ષટ વિંડો અથવા નાનું મોડેલ વર્ગીકરણ માટે અને મોટું તે જ તરીકે ટેક્સ્ટ જનરેટ કરવા આપો.
પગલું 9: ટ્રબલશૂટિંગ: વાંધા અને ઉપાય
- મોડેલ પોતાને પુનરાવર્તન કરે છે.
- ટેમ્પરેચર ઘટાડો; ટૂંકા સ્પષ્ટ જવાબ સાથે ઉદાહરણ ઉમેરો; જો બીમ વિથ ઓપ્શન હોય તો તે ઓછુ કરો.
- સિસ્ટમ પ્રોમ્પ્ટ મજબૂત બનાવો અને કડક સૂચના પાલન બતાવતા ટ્રેનિંગ ઉદાહરણો શામેલ કરો.
- તે તથ્યોમાં જોવા મળતા ધૂકડાઓ કરે છે.
- ‘મને ખબર નથી’ જેવા ઉદાહરણો ઉમેરો અથવા સ્રોતો જોડો; ટેમ્પરેચર ઓછું કરો; રીટ્રીવલ સાથે જોડીને જવાબોની સ્થિરતા વધારો.
- તે ખૂબ નમ્ર છે. (હા, આવું પણ થાય છે.)
- ટ્રેનિંગ ઉદાહરણો ઉમેરો જે મર્યાદા નક્કી કરે અને નીતિઓ સ્પષ્ટ કરે—“અમે X કરી શકતા નથી, પરંતુ અહીં Y છે.”
- ટ્રેનિંગ અડધામાં જ નિષ્ફળ જાય છે.
- ડેટાસેટ માન્યતા, અપ્રાકૃતિક અક્ષરો અનેmaxlength token ચકાસો. નાનું બેચ સાઇઝ અથવા ઓછા ઇપોક્સ અજમાવો.
પગલું 10: ક્યારે ફાઇન-ટ્યુન કરવું અને ક્યારે પ્રોમ્પ્ટ કે રીટ્રીવલ વાપરવું
મને ફાઇન-ટ્યુનિંગ પસંદ છે, પરંતુ બસ એજ સાધન નથી. ત્રણ સામાન્ય રીતો:
- પ્રોમ્પ્ટ એન્જિનિયરિંગ: સસ્તું, ઝડપી. માત્ર ટોન અથવા સરળ ધોરણ માટે ઉત્તમ.
- રીટ્રીવલ-એજમેન્ટેડ જનરેશન (RAG): તાજી માહિતી અને મોટા જ્ઞાન સંગ્રહો માટે શ્રેષ્ઠ. મોડેલ દિલ્હીનો સમય પર તમારી દસ્તાવેજો વાંચે છે.
- ફાઇન-ટ્યુનિંગ: શૈલી, બંધારણ અને ડોમેન પેટર્ન માટે શ્રેષ્ઠ જે દરરોજ બદલાતા નથી.
જ્યારે જીતનાર મિશ્રણ હોય છે: RAGથી તથ્યો મેળવો અને તેને ફાઇન-ટ્યુન મોડેલને આપો જેથી તે તમારી અનન્ય અવાજમાં જવાબ આપે.
એક ઝડપી Tinker API ટ્યુટોરિયલ કે જે તમે કૉપિ-પેસ્ટ કરી શકો
અહીં એક સમન્વયિત, કલ્પિત પગલાં છે જે Tinker પ્રકારના ઘણા પ્લેટફોર્મો માટે સામાન્ય છે. એન્ડપોઈન્ટ અને આઈડીને તમારી વાસ્તવિક સાથે બદલો.
- ડેટાસેટ બનાવો અને અપલોડ કરો
curl -X POST -H "Authorization: Bearer $TINKER_KEY" -F "[email protected]" -F "purpose=finetune" curl -X POST -H "Authorization: Bearer $TINKER_KEY" -F "[email protected]" -F "purpose=eval" curl -X POST -H "Authorization: Bearer $TINKER_KEY" -H "Content-Type: application/json" -d '{
"base_model": "tinker-medium-1",
"dataset_id": "ds_train",
"eval_dataset_id": "ds_eval",
"epochs": 4,
"learning_rate": 2e-5,
"suffix": "email-summarizer-v1"
}'
curl -N -H "Authorization: Bearer $TINKER_KEY"
curl -X POST -H "Authorization: Bearer $TINKER_KEY" -H "Content-Type: application/json" -d '{
"model": "ft:tinker-medium-1:email-summarizer-v1:xyz",
"prompt": "આ ઇમેઇલને બે બિંદુઓમાં સારાંશ કરો, મિત્રો જેવા ટોનમાં:\n\n[IMEL PASTE KARO]",
"max_tokens": 160,
"temperature": 0.4
}'
વ્યવહારિક પરિસ્થિતિઓ: શું થાય જ્યારે…
- તમે તમારાં સપોર્ટ માક્રોઝ પર ફાઇન-ટ્યુન કરો
- અચાનક તમારું AI એ જ બંધારણમાં જવાબ આપે છે જેમ તમારી એજન્ટ્સ આપે: માફી, કાર્યવાહી, અનુસરણ. CSAT વધારે થાય છે કેમ કે લોકો આશ્ચર્ય કરતાં સુસંગતતા વધુ પસંદ કરે છે.
- તમે તમારાં બ્રાન્ડ અવાજ પર ફાઇન-ટ્યુન કરો
- મોડેલ તમારું 'અમે મદદરૂપ પણ ગ્રહણશીલ નથી' શૈલી ઓળખી લે છે. તે 17-એક્સક્લેમેશન માર્ક enthusiasms ટાળે છે. માર્કેટિંગ માણે.
- તમે કોડ સૂચનો માટે ફાઇન-ટ્યુન કરો
- કાર્ય વર્ણનના દંપતીઓ અને આદર્શ કોડ સ્નિપેટ્સ આપો. ઉદાહરણો ટૂંકા અને કેન્દ્રિત રાખો; અવાજવાળા કોડથી અવાજવાળું પૂર્ણ થાય છે.
- તમે વર્ગીકરણ માટે ફાઇન-ટ્યુન કરો
- હા, તમે કરી શકો. લેબલવાળા ઉદાહરણ આપો અને ટૂંકા પ્રોમ્પ્ટ્સ સાથે મોડેલને કોલ કરો. સ્ટ્રીક્ટ લેબલ્સ માટે ટેમ્પરેચર શૂન્ય કરો.
સુરક્ષા પહેલું, છેલ્લું અને હંમેશા
જો તમારું ઉપયોગ સંવેદનશીલ કે નિયમિત ક્ષેત્રોને સ્પર્શે તો સ્પષ્ટ મર્યાદાઓ સિસ્ટમ પ્રોમ્પ્ટ અને તાલીમ ડેટામાં મૂકો. નમ્રતાપૂર્વક નામંજુર કરવાના ઉદાહરણો ઉમેરો. આઉટપુટ લૉગ કરો અને વપરાશકર્તાઓને સમસ્યાઓ રિપોર્ટ કરવાની મંજૂરી આપો. ફાઇન-ટ્યુન મોડેલ વિશ્વાસભર્યું, પરંતુ સાવધાનીથી વર્તે તે જ રીતે ટ્રેન કરો.
ક્યાં Sider.AI કામમાં આવે (અને ક્યાં નહીં)
આ એક આશ્ચર્ય છે: Sider.AI તમારા માટે Tinker API કેવી રીતે વાપરવું તે શીખતી વખતે એક સારું સાથીદારો બની શકે છે. તે એ રીતે છે જેમ કે એક કાળજીભર્યો કોપાઇલટ જે દસ્તાવેજો વાંચે અને ફરિયાદ કરતો નથી. તમે Sider ની સાઇડબાર માં ડેટાસેટ ઉદાહરણો ડ્રાફ્ટ કરી શકો છો જ્યારે તમે તમારા ઈમેઇલ અથવા જ્ઞાનભંડાર જોઈ રહ્યા હોય, અને પછી સાફ, અનુસૂચિત JSONL નિકાસ કરી શકો. તે ટ્રેનિંગ જૉબ ચલાવતું નથી—એ Tinkerનું કામ છે—પણ ઉદાહરણો તૈયાર કરવા, પુનર્લેખન અને ક્યૂએ માટે તે અદ્ભુત છે. તેને પૂછો, “આ જવાબને શાંતિભર્યા, સરળ અંગ્રેજી ટોનમાં બે વાક્યોમાં ફરી લખો,” અને જોઈ જુઓ કે તમારું ડેટાસેટ ગુણવત્તા કેવી રીતે વધે છે. જેણાં વિષે મને કોઈએ કહ્યુ નહોતું
- વધુ ડેટા હંમેશા સારું નથી—વધુ પ્રતિનિધિ ડેટા સારું છે.
- ટોન પર ઓવરફિટ નહીં કરો. થોડા વાઇલ્ડકાર્ડ ઉદાહરણો રાખો જેથી મોડેલ જલાદી કલાકારો જેમ નવા વિચાર સાથે રચી શકે.
- બધું વર્ઝનિંગ કરો: ડેટાસેટ v1.1, મોડેલ v1.2, પ્રોમ્પ્ટ ટેમ્પ્લેટ v3.0. ભાવિ-તમે તમારું આભાર માનશે.
- રોલબૅક બટન રાખો. જો નવું ફાઇન-ટ્યુનિંગ ખોટું જાય તો ઝડપથી પહેલાનું મોડેલ ફરી ડિપ્લોય કરો.
- જયારે મૂલ્યાંકન કરો ત્યારે વપરાશકર્તા દ્વારા કરાયેલા ખરાબ નથી, પરંતુ વાસતવિક વપરાશકર્તા પ્રોમ્પ્ટ લઈ મૂલ્યાંકન કરો. વપરાશકર્તા કાવ્યકાર નિવૃત્તિના કવિઓ છે.
અન્ય એક તમને…
Tinker API સાથે ફાઇન-ટ્યુનિંગ Skynet બનાવવા માટે નથી. તે rough એજ બજાવવાનું છે જેથી તમારું AI તમારી ટીમ જેવી લાગણી આપેએ. નાનાથી શરૂ કરો, કડક માપો અને ઓળખો જ્યારે સરળ રીત (જેમ કે વધારે યોગ્ય પ્રોમ્પ્ટ્સ) કામ કરે.
કેમ કે જ્યારે તમારું AI આખરે તમારા જેવો જવાબ આપે? એ માત્ર કાર્યક્ષમતા નથી. એ સમજદારી છે.
ચીટ શીટ
- તમારું AI મોડેલ ફાઇન-ટ્યુન કરવા માટે Tinker API કેવી રીતે વાપરવું: સાફ, અનુસૂચિત JSONL પેઅર્સ તૈયાર કરો; અપલોડ કરો; યોગ્ય ડિફૉલ્ટ સેટિંગ સાથે ફાઇન-ટ્યુન શરૂ કરો; માનવ અને મેટ્રિક્સ સાથે મૂલ્યાંકન કરો; ડિપ્લોય કરો અને પુનરાવર્તન કરો.
- શૈલી અને સ્થિર પેટર્ન માટે ફાઇન-ટ્યુન ઉપયોગ કરો; તાજા તથ્યો માટે રીટ્રીવલનો ઉપયોગ કરો.
- ટૂંકા પ્રોમ્પ્ટ્સ, નાનું મોડેલ અને રૂટિંગથી ખર્ચ નિયંત્રિત કરો.
- તમારા ડેટાસેટને સુરક્ષા માટે વિશિષ્ટ બનાવો.
- Sider.AI જેવા ટૂલ્સને ટ્રેનિંગ પહેલાં સુંદર ઉદાહરણો બનાવવામાં મદદ કરો.
FAQ
Q1: હું Tinker API સાથે મને પોતાનું AI મોડેલ ફાઇન-ટ્યુન કરવા માટે ડેટા કેવી રીતે તૈયાર કરું?
જવાબ: JSONL ફોર્મેટમાં સ્પષ્ટ સૂચના-પ્રતિસાદ કે ચેટ-શૈલીના જોડીનો ઉપયોગ કરો. ટોન એકસમાન રાખો, સંવેદનશીલ માહિતી એનોનિમાઇઝ કરો અને 10–20% ડેટા ટેસ્ટ માટે અલગ રાખો જેથી તમે ખોટા પ્રમાણમાં મોડેલને બુદ્ધિમાન ન માનશો.
પ્રશ્ન 2: શું ટિંકર API સાથે ફાઇન-ટ્યુનિંગ પ્રોમ્પ્ટ એન્જિનિયરિંગ કરતાં વધુ સારું છે?
ઝડપી ટોન ટ્વીક્સ અને સરળ વર્તણૂકો માટે પ્રોમ્પ્ટ્સનો ઉપયોગ કરો; જ્યારે તમારે ટકાઉ શૈલી, માળખું અથવા ડોમેન પેટર્નની જરૂર હોય ત્યારે ફાઇન-ટ્યુનિંગનો ઉપયોગ કરો. ઘણી ટીમો બંનેને જોડે છે - તથ્યો માટે RAG, વોઇસ માટે ફાઇન-ટ્યુન.
પ્રશ્ન 3: ટિંકર API સાથે મોડેલને ફાઇન-ટ્યુન કરવા માટે મારે કેટલો ડેટા જોઈએ છે?
ગુણવત્તા જથ્થાને માત આપે છે. થોડા સો મજબૂત ઉદાહરણો હજારો ઘોંઘાટીયા ઉદાહરણો કરતાં વધુ સારો દેખાવ કરી શકે છે. નાનું શરૂ કરો, મૂલ્યાંકન કરો, પછી લક્ષિત ઉદાહરણો ઉમેરો જ્યાં મોડેલ સંઘર્ષ કરે છે.
પ્રશ્ન 4: હું ટિંકર API માં ફાઇન-ટ્યુન કરેલ મોડેલને કેવી રીતે જમાવી શકું?
તાલીમ પછી, ટિંકર એક મોડેલ ID પરત કરે છે જેને તમે પ્રમાણભૂત પૂર્ણતાઓ અથવા ચેટ એન્ડપોઇન્ટ દ્વારા કૉલ કરી શકો છો. મદદરૂપ સિસ્ટમ પ્રોમ્પ્ટ સેટ કરો, તાપમાનને ટ્યુન કરો અને વાસ્તવિક ટ્રાફિકમાં આઉટપુટનું નિરીક્ષણ કરો.
પ્રશ્ન 5: હું મારા ફાઇન-ટ્યુન કરેલા મોડેલને આભાસી થવાથી કેવી રીતે રોકી શકું?
અનિશ્ચિતતાને સ્વીકારતા ઉદાહરણો સાથે તાલીમ આપો, તાપમાન ઓછું કરો અને તથ્યો માટે પુનઃપ્રાપ્તિ સાથે જોડો. "સ્ત્રોતો ટાંકો" અથવા "કહો કે તમને ખબર નથી" ને સૂચના અને તાલીમ ડેટાનો ભાગ બનાવો.
