మీ AI వాయిస్ వాతావరణ యంత్రం లాగా కాకుండా… మీలా వినిపిస్తుందని ఎప్పుడైనా కోరుకున్నారా?
ఇలా అనుకోండి: మీరు మీ AIని కస్టమర్ ఇమెయిల్ను సరాంశం చేయమని అడుగుతారు, అది షిప్పింగ్ ఫోర్కాస్ట్ చెప్పినట్లుగా స్పందిస్తుంది. సాంకేతికంగా సరైనది, కానీ ఉపయోగకరంగా కాదు. మీరు నిజంగా కోరేది మీ AI—మీ టోన్, మీ భాష, మీ ఇష్టాలు—అందుకోడానికి మీ గ్యారేజ్లో పరిశోధనా ప్రదేశం నిర్మించాల్సిన అవసరం లేకుండా.
ఇక్కడ ఫైన్-ట్యూనింగ్ వస్తుంది. మీరు 'Tinker API' గురించి వినిపించినట్లయితే, మీరు సరైన చోటున్నారు. ఇది Tinker APIతో మీ స్వంత AI మోడల్ను ఫైన్-ట్యూన్ చేసుకోవడానికి ఎలా అనేది గైడ్.
మేము పూర్తి ప్రక్రియను తెలుసుకుంటాం: ఫైన్-ట్యూనింగ్ అంటే ఏమిటి, మీ డేటాను ఎలా తయారు చేయాలి, Tinker APIతో ఫైన్-ట్యూన్ ఎలా చేయాలి, ఇంకా బడ్జెట్ లేదా సహనం ఖర్చు కాకుండా ఉండటానికి సూచనలు. మీరు ఎక్కడ జాగ్రత్త పెట్టాలి అనేది కూడా చెప్తాను—ఫైన్-ట్యూనింగ్ శక్తివంతమైనది, కానీ ఒక ఫెయిరీ గాడ్మదర్ కాదు.
కీవర్డ్స్ గురించి: 'Tinker API ఎలా ఉపయోగించాలి' అనే ప్రశ్నను చాలా ఉర్దూ తిరుగుతాం, ఎందుకంటే మీరు కొనుగోలు చేసిన ప్రశ్న అది. అలాగే 'ఫైన్-ట్యూన్ యోర్ ఓన్ AI మోడల్,' 'Tinker API ట్యుటోరియల్,' 'డేటాసెట్ ప్రిపరేషన్ ఫర్ ఫైన్-ట్యూనింగ్,' 'డిప్లాయింగ్ ఎ ఫైన్-ట్యూన్డ్ మోడల్' వంటి పదాలు కలిపి చెప్పనున్నాం. ఇది ఎక్కువగా అనిపిస్తుంటే, చింతించకండి—నేను దీన్ని సులభంగా, మనుష్యానికోసం మార్చుతాను.
ఫైన్-ట్యూనింగ్ అంటే ఏమిటి — మరియు అది ఏమి కాదు
జనరల్ AI మోడల్ ఒక స్విస్ ఆర్మీ కత్తి అయితే, ఫైన్-ట్యూనింగ్ అంటే 'కత్తి, మేము నిన్ను ప్యాకేజ్లు తెరవడంలో చాలా మంచిగా చేస్తాం' అని చెప్పటంలా ఉంటుంది. మీరు కత్తిని సృష్టించడం కాదు, మీరు మీ ఇష్టమైన కాగితాన్ని నేర్పిస్తున్నారు.
ప్రాక్టికల్గా, ఫయిన్-ట్యూనింగ్ అంటే మీరు ఒక బేస్ మోడల్ (ఇంటర్నెట్ టెక్స్ట్లపై ముందే శిక్షణ పొందినది) తీసుకుని, మీ ఉదాహరణలతో—మీ రచనా శైలి, డొమైన్-స్పెసిఫిక్ ప్రశ్నలు, సపోర్ట్ స్క్రిప్టులు—తప్పక స్పందించడానికి అలా మారుస్తారు. ఇది మోడల్కు స్టైల్ గైడ్ మరియు ప్రాక్టీస్ క్విజ్ల stack ఇవ్వడంలా ఉంటుంది.
కానీ ఫైన్-ట్యూనింగ్ ఒక మాంత్రికాలు కాదు. అది ట్రైనింగ్ డేటాలో లేని వివరాలు వెంటనే నేర్చుకోదు. పెద్ద ప్రైవేటు డాక్యుమెంట్లను 'మరచిపోదు'—మీరు ప్రతినిధి స్నిపెట్లు ఇవ్వాలి. మరియు మీరు డేటా గందరగోళంగా, విరుద్ధంగా లేదా చిన్నదిగా ఉంటే, మీ మోడల్ ఆ అలవాట్లను తీసుకుంటుంది, ఒక టీనేజర్ రాక్ బ్యాండ్ డ్రమ్మర్ టెంపో తెలియజేసినట్లుగా.
తేలికైన పనుల జాబితా
Tinker APIతో మీ స్వంత AI మోడల్ ఫైన్-ట్యూన్ చేసుకోవడానికి పంచతత్వ దృక్పథం ఇక్కడ:
- Tinker APIలో ఒక బేస్ మోడల్ ఎంచుకోండి.
- ప్రాంప్ట్స్ మరియు ఇడియల్ రిప్లైలతో శుభ్రంగా సమతుల్య డేటాసెట్ తయారు చేయండి.
- మీ డేటాసెట్ Tinkerకు అప్లోడ్ చేయండి.
- స్పష్టమైన హైపర్పారామీటర్లు తో ఫైన్-ట్యూనింగ్ జాబ్ క్రియేట్ చేయండి.
- ట్రైనింగ్ను పర్యవేక్షించండి, హోల్డ్-ఔట్ టెస్ట్ సెట్తో ఫలితాలు మూల్యాంకనం చేయండి.
- ఫైన్-ట్యూన్డ్ మోడల్ను ప్రొడక్షన్లో డిప్లాయ్ చేయండి మరియు కాల్ చేయండి.
- వింతలు కనపడితే మళ్లీ ప్రయత్నించండి.
ప్రతి దశలో సహాయక కోడ్ ఉదాహరణలతో మరియు నేను స్క్రీన్పై అరవకుండా ఉండటానికి అనుసరించిన చిట్కాలతో సడలింపు.
దశ 1: బేస్ మోడల్ను వాడుకునే రెంటల్ కార్లా ఎంచుకోండి
మాంహట్టన్లో పారలల్ పార్కింగ్ కోసం 15 సీటర్ల వెన్ తీసుకోరు. అంతేలా, మీకు వేగవంతమైన, తక్కువ ఖర్చు రిప్లైలు కావాలంటే భారీ మోడల్ ఎంచుకోవద్దు. Tinker API సాధారణంగా కొన్ని మోడల్ ఫ్యామిలీస్ అందిస్తుంది—లైట్వెయిట్, మిడ్-సైజ్, మరియు 'అహా, అది తెలివైనది'.
- వేగం మరియు ఖర్చు ఆదా కావాలంటే: చిన్న బేస్ ఎంచుకోండి.
- సూక్ష్మత, తార్కికత లేదా దీర్ఘరేఖ వ్రాత అవసరమైతే: పెద్ద బేస్ ఎంచుకోండి.
- మీ డొమైన్లో బాగా జార్గన్ ఉంటే (మెడికల్, లీగల్, సపోర్ట్ మాక్రోస్): మధ్య నుండి పెద్ద మోడల్స్ ఫైన్-ట్యూన్ చేయడం మరింత ఫలితప్రదం.
ప్రొ టిప్: ప్రొటోటైపు కోసం చిన్నదానితో మొదలు పెట్టండి. ముఖ్యమైన అంకెలు పెరిగితే, అదే డేటాసెట్ను పెద్ద బేస్లోకి మార్చండి.
దశ 2: మీ డేటాసెట్ను రెసిపీ కార్డ్లా, కుంపె పెట్టెలా కాకుండా సిద్ధం చేయండి
మీ డేటాసెట్ క్వాలిటీకి ఏకైక పెద్ద షక్తి. మోడల్ అనుకరణ ద్వారా నేర్చుకుంటుంది; ఉదాహరణలు అస్పష్టమైతే, మోడల్ అస్పష్టంగా నేర్చుకుంటుంది. స్పష్టంగా, సెకండ్, మరియు వైవిధ్యంగా ఉంటే, మీ మోడల్ సహాయక సహోద్యోగి లాంటిది అవుతుంది.
సూచనలు-ప్రత్యుత్తర జంటలతో JSONL (JSON లైన్స్) ఫార్మాట్లో ఉంచండి. చాల్-స్టైల్ ఫైన్-ట్యూనింగ్ కోసం system/user/assistant వంటి పాత్రలను చేర్చండి. ప్రతి ఉదాహరణను చిన్నదో మిధ్యమో ఉంచండి; చాలా రకమైన మెళకువలతో పన్ను మంచి.
ఉదాహరణ (సూచన-శైలి):
{"instruction": "ఈ సపోర్ట్ టికెట్ను 2 వాక్యాలలో స్నేహపూర్వక శైలిలో సరాంశం చెయ్యి.", "input": "కస్టమర్ 'ట్రాక్ ఆర్డర్' పై క్లిక్ చేస్తే 404 ఎర్రర్ ఉంటుందని చెప్తున్నారు", "output": "ధన్యవాదాలు ఇది తెలియపెట్టినకి! కస్టమర్లు 'ట్రాక్ ఆర్డర్' పై క్లిక్ చేస్తే వెబ్సైట్ 404 చూపిస్తోంది. మేము ఆర్డర్-ట్రాకింగ్ పేజీలోని లింక్ సరికాదని పరిశీలిస్తున్నాం; త్వరలో పరిష్కారం ఇస్తాం."}
ఉదాహరణ (చాట్-స్టైల్):
{"messages": [
{"role": "system", "content": "మీరు సారాంశంగా, స్నేహపూర్వక సపోర్ట్ ఏజెంట్. సాధారణ ఆంగ్ల భాషను వాడండి."},
{"role": "user", "content": "నా సబ్స్క్రిప్షన్ రీన్యూ అయింది కానీ కార్డ్ కాలాజీ అయింది. సహాయం చేస్తారా?"},
{"role": "assistant", "content": "సమస్యకు క్షమించండి! నేను మీ ప్లాన్ని తిరిగి తనిఖీ చేసాను—రిన్యువల్ కాలని కార్డ్తో ప్రయత్నం జరిగింది. దయచేసి మీ బిల్లింగ్ పేజీలో కార్డ్ని నవీకరించండి; అది సేవ్ అయిన తరువాత నేను రీచార్జ్ ప్రయత్నిస్తాను."}
]}
ఫైన్-ట్యూనింగ్ డేటాసెట్ తయారీలో చిట్కాలు:
- కన్సిస్టెన్సీ అత్యంత ముఖ్యం. ఎప్పుడూ అదే టోన్, సంతకాల్లు, మరియు నిర్మాణం వాడండి.
- మీ టాపిక్స్ను బ్యాలన్స్ చేయండి. 90% ఉదాహరణలు రిఫండ్లై ఉంటే, మీ మోడల్ రీఫండ్ ఫ్యారీ అవుతుంది.
- మురికి సందర్భాలను లేబుల్ చేయండి. నెగటివ్ ఉదాహరణలు చేర్చండి (ఏం చెప్పకూడదు), ఇది Tinker APIలో ప్రిఫరెన్స్ సిగ్నల్ ఉంటే సహాయపడుతుంది.
- భద్రంగా ఉంచండి. వ్యక్తిగత డేటాను తీసివేయండి. సున్నితమైన సమాచారం ఉంటే అనామకరింపు లేదా సింథసిస్ చేసుకోండి.
10-20% డేటాను పరీక్షా సెట్గా వదిలేయండి. ట్రైనింగ్ సెట్పై గ్రేడ్ చేస్తే, మీరు మీ మోడల్ను అతి తెలివైనది అనుకుంటారు. నాకు తెలుసు ఎందుకు అని అడగండి.
దశ 3: Tinker APIకి మీ డేటాను తోడాద बिना బాధల వల్ల అప్లోడ్ చేయండి
చాలా ఫైన్-ట్యూనింగ్ ప్లాట్ఫారమ్లు స్టోరేజ్ ఎండ్పాయింట్ను అందిస్తాయి. Tinker APIలో సాధారణంగా:
- డేటాసెట్ రిసోర్సును సృష్టించండి (ఉదాహరణకు, POST /datasets)
- మీ JSONL ఫైలు అప్లోడ్ చేయండి
- స్కీమాను వాలిడేట్ చేయండి (Tinker సాధారణంగా ఆల్ రిపోర్ట్ ఇస్తుంది: సరైన కౌంట్లు,లోపాలు, విచిత్ర ఫీల్డ్స్)
ఉదాహరణ (కర్ల్-స్టైల్):
curl -X POST -H "Authorization: Bearer YOUR_TINKER_KEY" -F "file=@my_finetune_data.jsonl" -F "purpose=finetune"
Tinker API CLI కి మద్దతు ఉంటే, జీవితం సులభం అవుతుంది:
అప్లోడ్ చేయండి
tinker datasets upload my_finetune_data.jsonl --purpose finetune
వాలిడెట్ చేయండి
tinker datasets validate DATASET_ID
వాలిడేషన్ లోపాలు మిమ్మల్ని రక్షిస్తాయి. అవి కొంచెం కఠినంగా అనిపిస్తాయంటే, కాని రాత్రిలో ట్రైనింగ్ లోపాల నుంచి మిమ్మల్ని కాపాడతాయి.
దశ 4: ఫైన్-ట్యూన్ జాబ్ ప్రారంభించి సవ్యమైన సెట్టింగ్స్ ఎంచుకోండి
మీరు మీ డేటాసెట్ను మరియు ఎంచుకున్న బేస్ మోడల్ను పాయింట్ చేసే జాబ్ను ప్రారంభిస్తారు. Tinker API ఫైన్-ట్యూనింగ్ ఎండ్పాయింట్లు epochs, learning rate, batch size, మరియు evaluation frequency వంటి పారామీటర్లను అంగీకరిస్తాయి. అర్థం: మీ డేటాకు ఎన్ని సార్లు పాస్ ఇవ్వాలి, మోడల్ ఎంత వేగంగా నేర్చుకోవాలి, ఎన్ని ఉదాహరణలు ఒకసారి చదవాలి, మరియు ఎన్ని సార్లు ప్రగతి నివేదిక చూపాలి.
ఉదాహరణ అభ్యర్థన:
curl -X POST -H "Authorization: Bearer YOUR_TINKER_KEY" -H "Content-Type: application/json" -d '{
"base_model": "tinker-large-1",
"dataset_id": "ds_abc123",
"epochs": 3,
"learning_rate": 1e-5,
"batch_size": 8,
"eval_dataset_id": "ds_eval789",
"suffix": "support-tone-v1"
}'
సవ్యమైన డిఫాల్ట్స్:
- Epochs: చిన్న నుండి మధ్యాన్య డేటాసెట్ కోసం 3–5. ఎక్కువ యత్నాలు ఎప్పుడు మంచి అయినా అవసరం కాదు; కొన్నిసార్లు అది ఓవరఫిట్టింగ్ ఫలితం.
- Learning rate: సంయమనం తో మొదలు పెట్టండి (1e-5 లేదా 2e-5). మోడల్ చాలా త్వరగా నేర్చుకుంటే, దాని సాధారణ తెలివితేటలు మర్చిపోతుంది.
- Batch size: మీ క్వోటా అనుమతించే మేరకు, కానీ దీని మీద ఎక్కువ ఫోకస్ పెట్టకండి—పర్ఫార్మెన్స్ ముఖ్యంగా మంచి డేటాకి ఉంటుంది.
- Early stopping: Tinker API అందిస్తే, దీన్ని యాక్టివేట్ చేయండి. ఇది 'మళ్ళీ వెళ్లామా?' అంటున్న మిషీన్ లెర్నింగ్ ఫీచర్.
దశ 5: శిక్షణను గ్రహిస్తూ పర్యవేక్షించండి
Tinker సాధారణంగా లాగ్స్ ను స్ట్రీమ్ చేస్తుంది: ట్రైనింగ్ లాస్, ఈవాల్యుయేషన్ లాస్, మరియు మీరు నిర్వచించిన స్టాండర్డ్ మీట్రిక్స్ (ఉదా: Q&Aకి ఎక్సాక్ట్ మ్యాచ్). ఇక్కడ తెలివిగా చూడటం ఎలా:
- ట్రైనింగ్ లాస్ తగ్గుతూ, ఈవాల్ను లాస్ స్థిరంగా లేదా పెరుగుతుంటే? మీరు ఓవర్ఫిటింగ్ చేస్తున్నారు—మీ ట్రైనింగ్ జవాబులను మర్చిపోకుండా జ్ఞాపకం పట్టుకుంటున్నారు కానీ కొత్త వాటిని తప్పుతారు.
- రెండు కూడా తగ్గుతున్నట్లైతే? మీరు సరైన దిశలో ఉన్నారు.
- లాస్ తలపడుతూ పరిగెత్తితే? మీ లెర్నింగ్ రేటు ఎక్కువగా ఉండొచ్చు, లేదా డేటాసెట్ అస్థిరంగా ఉండొచ్చు.
Tinker మధ్యలో ప్రివ్యూ జనరేషన్ ఇచ్చితే, కొంత పొందిన అవుట్పుట్ను అంధంగా చూడండి. పర్ఫార్మెన్స్, టోన్, నిర్ధారిత విధంగా అంచనా వేయండి. అవును, ఇది సబ్జెక్టివ్, కానీ మీరు శైలిని శిక్షణ ఇస్తున్నారు, ఫిజిక్స్ సిద్ధాంతాలు కాదు.
దశ 6: పేరు పెట్టండి, డిప్లాయ్ చేయండి, కాల్ చేయండి
జాబ్ పూర్తయిన తర్వాత, Tinker API మీకు ఫైన్-ట్యూన్ మోడల్ ID ఇస్తుంది, ఉదా: ft:tinker-large-1:support-tone-v1:abc123. అందును డిప్లాయ్ చేసి, బేస్ మోడల్ లాగే కాల్ చేయండి—ఇప్పుడు మీ జట్టు స్టైల్లో మాట్లాడుతుంది.
ఉదాహరణ జనరేషన్ కాల్:
curl -X POST -H "Authorization: Bearer YOUR_TINKER_KEY" -H "Content-Type: application/json" -d '{
"model": "ft:tinker-large-1:support-tone-v1:abc123",
"messages": [
{"role": "system", "content": "మీరు సారాంశంగా, స్నేహపూర్వక సపోర్ట్ ఏజెంట్."},
{"role": "user", "content": "నా రీఫండ్ ఆలస్యం అవుతుంది, నేను ఇబ్బంది పడుతున్నాను."}
],
"temperature": 0.4
}'
మీ మోడల్ ఎక్కువ మాటలు మాట్లాడితే లేదా కాస్త తక్కువ పాయం ఉంటే 'presence_penalty' పెంచండి లేదా 'temperature' తగ్గించండి. Tinker డాక్యుమెంట్స్ అన్ని నియంత్రణల వివరాలు ఇస్తాయి—పరీక్షించ భయపడకండి.
దశ 7: కోచ్ లా మూల్యాంకనం చేయండి, తీర్పుదారు లాగా కాదు
మీకు ఆటోమేటిక్ స్కోర్కార్డ్ మరియు మానవ స్కోర్ కావాలి. ఆటో మీట్రిక్స్ (BLEU, ROUGE, accuracy) సరిగా ఉంటాయి కానీ టోన్ కనిపెట్టలేవు. మానవులు 'ఇది కొంచెం కోపంగా ఉంది' వంటి అంశాలను కనుగొంటారు.
స్నేహపూర్వక రుబ్రిక్ సెట్ చేయండి:
హోల్డ్-ఔట్ సెట్ నుండి 50–100 అవుట్పుట్లు ఎంపిక చేసుకుని, ఇద్దరు వ్యక్తులు వేరుగా రేటింగ్ ఇవ్వండి. ఒక క్యాటగిరీ మాధ్యమం 3 కంటే తక్కువ అయితే, మీ డేటాసెట్లను తిరిగి చూడండి మరియు కావలసిన ప్రవర్తన చూపించే మరిన్ని ఉదాహరణలు చేర్చండి.
దశ 8: ఖర్చు మరియు పనితనం: మీ CFO మరియు సర్వర్ పట్టుకునే విషయాలు
Tinker APIతో ఫైన్-ట్యూనింగ్కు రెండు చోట్ల ఖర్చు వస్తుంది: ట్రైనింగ్ మరియు ఇన్ఫరెన్స్. ట్రైనింగ్ ఒకసారి జరిగే వేగం; ఇన్ఫరెన్స్ మారథాన్ లాంటిది.
- టోకెన్ పొడవును తగ్గించండి. చిన్న ప్రాంప్ట్లు మరియు అవుట్పుట్లు అంటే తక్కువ బిల్లు.
- మీ శైలిని మీరు ఇచ్చే సిస్టమ్ ప్రాంప్ట్ ఉపయోగించండి, కానీ ప్రతిసారీ భారీ సూచనలు ఇవ్వవద్దు, Tinker డిప్లాయ్మెంట్ స్థాయి డిఫాల్ట్ మద్దతిస్తే.
- ప్రముఖ ప్రాంప్ట్లను క్యాచ్ చేయండి, అందుకే అవసరమైన చోటాలే తిరిగి వాడుకోండి.
- రూటింగ్ స్ట్రాటజీ కన్సిడర్ చేయండి: మీ ఫైన్-ట్యూన్ పెద్ద మోడల్ను అవసరం ఉన్నప్పుడు మాత్రమే వాడండి; లేకపోతే చిన్న మరియు చౌకైనదిని వాడండి.
లేటెన్సీ కూడా ముఖ్యం. ఫైన్-ట్యూన్ మోడల్ నెమ్మదిగా ఉంటే, చిన్న కాన్టెక్స్ట్ విండోస్ వాడండి, లేదా క్లాసిఫికేషన్కు చిన్న మోడల్ మరియు జనరేటివ్ టెక్స్ట్కు పెద్దది వాడండి.
దశ 9: సమస్యలు: గ్రెంలిన్స్ ప్రధాన సమస్యలు
- మోడల్ స్వరంగా మరియొకటే మాటలు పునరావృతం చేస్తుంది.
- టెంపరేచర్ తగ్గించండి; స్పష్టమైన, చిన్న జవాబులతో ఉదాహరణలు జోడించండి; బీమ్ వెడ్త్ ఉంటే దాన్ని తగ్గించండి.
- ఇన్స్ట్రక్షన్స్ను పట్టించుకోదు.
- సిస్టమ్ ప్రాంప్ట్ బలపరిచండి మరియు కఠిన ఇన్స్ట్రక్షన్ అనుసరించే ట్రైనింగ్ ఉదాహరణలు చేర్చండి.
- అవాస్తవాలు ధైర్యంగా హెచ్చుకుంటుంది.
- 'నాకు తెలియదు' చెప్పే ఉదాహరణలు చేర్చండి లేదా మూలాలకు లింక్ చేయండి; టెంపరేచర్ తగ్గించండి; రెట్రీవల్ తో జత చేసుకోండి.
- అత్యధిక స్నేహపూర్వకంగా ఉంటుంది (అది ఒక విషయం).
- పాలసీలను క్లారిఫై చేసే మరియు బౌండరీలు చూపించే ట్రైనింగ్ ఉదాహరణలు జోడించండి—"మేము X చేయలేము, కానీ Y ఇస్తాము."
- ట్రైనింగ్ మధ్యలో ఫెయిలవుతుంది.
- డేటాసెట్ వాలిడేషన్, విచిత్ర అక్షరాలు, టోకెన్ పరిమితులు తనిఖీ చేయండి. చిన్న బ్యాచ్ సైజ్ లేదా తక్కువ epochs ప్రయత్నించండి.
దశ 10: ఎప్పుడు ఫైన్-ట్యూన్ చేయాలి, ఎప్పుడు ప్రాంప్ట్ లేదా రెట్రీవల్ ఉపయోగించాలి
నేను ఫైన్-ట్యూనింగ్ బాగా ఇష్టపడతాను, కానీ అది ఒక్క తుపాకీ కాదు. మూడు సాధారణ వ్యూహాలు:
- ప్రాంప్ట్ ఇంజనీరింగ్ మాత్రమే: తక్కువ ఖర్చు, వేగవంతం. టోన్ సవరించడానికి లేదా సింపుల్ కాన్సిస్టెన్సీ కోసం చక్కగా వుంది.
- రిట్రీవల్-ఆగ్మెంటెడ్ జనరేషన్ (RAG): తాజా వాస్తవాలు మరియు పెద్ద జ్ఞాన బేస్లకు బాగుంది. మోడల్ రన్ టైమ్లో మీ డాక్యుమెంట్లను చదువుతుంది.
- ఫైన్-ట్యూనింగ్: స్టైల్, నిర్మాణం, డొమైన్ నమూనాల కోసం ఉత్తమం, అవి రోజూ మారవు.
చాలావార్తలు, గెలిచే పন্থా మిశ్రమం ఉంటుంది: RAG వాడి వాస్తవాలు తెచ్చుకోండి, తర్వాత వాటిని మీ ఫైన్-ట్యూన్డ్ మోడల్కు ఇవ్వండి, అది మీ సంతక శైలిలో సమాధానం ఇస్తుంది.
మీరు కాపీ-పేస్ట్ చేసుకోవచ్చునీ త్వరిత Tinker API ట్యుటోరియల్
ఇది అనేక Tinker-స్టైల్ ప్లాట్ఫారమ్లను ప్రతిబింబించే కల్పిత వాక్త్రూ. ఎండ్పాయింట్లు మరియు IDs మీ వాస్తవ వాటితో మార్చండి.
- డేటాసెట్లు సృష్టించండి మరియు అప్లోడ్ చేయండి
curl -X POST -H "Authorization: Bearer $TINKER_KEY" -F "[email protected]" -F "purpose=finetune" curl -X POST -H "Authorization: Bearer $TINKER_KEY" -F "[email protected]" -F "purpose=eval" - ఫైన్-ట్యూనింగ్ ప్రారంభించండి
curl -X POST -H "Authorization: Bearer $TINKER_KEY" -H "Content-Type: application/json" -d '{
"base_model": "tinker-medium-1",
"dataset_id": "ds_train",
"eval_dataset_id": "ds_eval",
"epochs": 4,
"learning_rate": 2e-5,
"suffix": "email-summarizer-v1"
}'
curl -N -H "Authorization: Bearer $TINKER_KEY"
- ఫైన్-ట్యూన్డ్ మోడల్ వాడండి
curl -X POST -H "Authorization: Bearer $TINKER_KEY" -H "Content-Type: application/json" -d '{
"model": "ft:tinker-medium-1:email-summarizer-v1:xyz",
"prompt": "ఈ ఇమెయిల్ను రెండు బుల్లెట్లలో, స్నేహపూర్వక టోన్తో సరాంశం చేయండి:\n\n[ఇమెయిల్ పేస్ట్ చేయండి]",
"max_tokens": 160,
"temperature": 0.4
}'
ప్రకృతి ఘటనలు: ఇలా జరుగుతుంది…
- మీ సపోర్ట్ మాక్రోస్పై ఫైన్-ట్యూన్ చేస్తారు
- హఠాత్తు, మీ AI మీ ఏజెంట్లు వాడే పరిస్థితిలో జవాబిస్తది: క్షమాపణ, చర్య, అనుసరణ. CSAT మెరుగవుతుంది ఎందుకంటే ప్రజలు ఆశ్చర్యాల కన్నా సరసమైనతనాన్ని ఇష్టపడతారు.
- మీ బ్రాండ్ వాయిస్పై ఫైన్-ట్యూన్ చేస్తారు
- మోడల్ మీ 'మేము సహాయకులం కానీ ఒత్తిడి చేయని' శైలిని పట్టుకుంటుంది. 17 ఎగ్జ్లమేషన్ మార్కుల ఉత్సాహం నివారిస్తుంది. మార్కెటింగ్ సంతోషంగా నిద్రపోతుంది.
- కోడ్ సూచనల కోసం ఫైన్-ట్యూన్ చేస్తారు
- పనివివరణల మరియు ఆదర్శ కోడ్ స్నిపెట్ల జంటలు ఇవ్వండి. ఉదాహరణలు చిన్నవి మరియు కేంద్రితంగా ఉంచండి; ఆస్పృశ్యమైన కోడ్ కారణంగా అస్పృశ్యమైన పూర్తయిన టెక్స్ట్ వస్తుంది.
- క్లాసిఫికేషన్ కోసం ఫైన్-ట్యూన్ చేస్తారు
- అవును, మీరు చేయవచ్చు. లేబుల్ చేసిన ఉదాహরণలు ఇవ్వండి మరియు క్షిప్రమైన ప్రాంప్ట్లతో మోడల్ను కాల్ చేయండి. కఠిన లేబుల్స్ కోసం, టెంపరేచర్ ను సున్నా చేయండి.
భద్రత ముందు, చివర మరియు ఎప్పుడూ
మీ వినియోగం నియంత్రిత లేదా సున్నితమైన అంశాలు కట్టుబడితే, మీ సిస్టమ్ ప్రాంప్ట్ మరియు ట్రైనింగ్ డేటాలో స్పష్టమైన సరిహద్దులు చెయ్యండి. సుసంస్కృత తిరస్కరణలు చూపించే ఉదాహరణలు జోడించండి. అవుట్పుట్లను లాగ్ చేయండి మరియు వినియోగదారులు సమస్యలు నివేదించేందుకు వీలు కల్పించండి. ఫైన్-ట్యూన్డ్ మోడల్స్ ధృడమైన భద్రత ఉన్నవిగా శిక్షణ ఇవ్వండి.
Sider.AI ఎక్కడ సరిపోతుంది (మరియు ఎక్కడ కాదు)
ఒక ఆశ్చర్యం: Sider.AI మీరు Tinker API ఎలా ఉపయోగించాలో తెలుసుకునే సమయంలో అద్భుతమైన సహచరుడు అవుతుంది. అది డాక్స్ చదివే, ఉగ్గలేదు ఎలాంటి ఫిర్యాదు లేనివారి సహయ చక్రవర్గం లాంటిది. మీరు మీ మొజుసలు లేదా నోలేజ్ బేస్ను బ్రౌస్ చేస్తూ Sider సైడ్బార్లో డేటాసెట్ ఉదాహరణలు తయారుచేసుకోవచ్చు, అప్పుడు క్లీనుగా, స్థిరంగా JSONL ఎగుమతి చేయవచ్చు. ఇది శిక్షణ జాబ్ను నడుపదు—that Tinker పని—కానీ ఉదాహరణల రచనా, పునర్వ్రుత్తి, QAకి చాలా ఉపయోగకరం. దీన్ని అడిగి చూడండి: “ఈ జవాబును శాంతిగా, సాధారణ ఆంగ్ల సపోర్ట్ వాయిస్లో మార్చండి, రెండు వాక్యాలు” మరియు మీ డేటాసెట్ నాణ్యత ఎలా పెరిగిందో గమనించండి. మాట్లు నేను ఎప్పుడైనా తెలుసుకోవాలనుకున్న విషయాలు
- చాలా డేటా కాదు, మరింత ప్రాతినిధ్యం ఉన్న డేటా ముఖ్యం.
- టోన్ ఓవరఫిట్ చేయవద్దు. కొంత వైల్డ్కార్డ్ ఉదాహరణలు ఉంచండి, అలా მოდల్ వినియోగదారులు సృజనాత్మకత చూపినప్పుడు బెస్ట్ అన్ప్రెడిక్టబుల్ నిల్వచేయగలదు.
- ప్రతి వస్తువును వెర్షన్ చేయండి: డేటాసెట్ v1.1, మోడల్ v1.2, ప్రాంప్ట్ టెంప్లేట్ v3.0. భవిష్యత్తు మీరు మీకు దన్య కేకను పంపుతుంది.
- మళ్లీ వెనుకకు వెళ్ళే బటన్ ఉంచండి. కొత్త ఫైన్-ట్యూన్ ఇబ్బంది కలిగిస్తే, పాత మోడల్ని త్వరగా తిరిగి డిప్లాయ్ చేయండి.
- కేవలం మీ అందమైన ఉదాహరణలు కాకుండా నిజమైన వినియోగదారుల ప్రాంప్ట్లతో మూల్యాంకనం చేయండి. వినియోగదారులుే చావు కవులు.
ఒక చివరి విషయం…
Tinker APIతో ఫైన్-ట్యూనింగ్ అంటే Skynet నిర్మించడం కాదు. అది మీ AIని మీ జట్టు భాగంగా అనిపించే విధంగా రఫ్ ఎడ్జ్లు తొలగించడం. చిన్నగా మొదలు పెట్టండి, తీవ్రమైన కొలతలు వేసుకోండి, మరియు సరళమైన ట్రిక్ (మంచి ప్రాంప్ట్లు) పని చేస్తే దాన్ని ఒప్పుకోండి.
మీ AI చివరకు మీలా సమాధానం ఇస్తే? అది కేవలం సమర్థత లేదు. అది మానసిక శాంతి.
చీట్ షీట్
- Tinker APIని ఎలా ఉపయోగించి మీ స్వంత AI మోడల్ను ఫైన్-ట్యూన్ చేయాలి: శుభ్రంగా, స్థిరమైన JSONL జంటలు తయారుచేయండి; అప్లోడ్ చేయండి; సవ్యమైన డిఫాల్ట్లతో ఫైన్-ట్యూన్ ప్రారంభించండి; మానవులు మరియు మీట్రిక్స్తో మూల్యాంకనం చేయండి; డిప్లాయ్ చేసి మళ్లీ ప్రయత్నించండి.
- చిరస్థాయి నమూనాల కోసం ఫైన్-ట్యూనింగ్ వాడండి; తాజా వాస్తవాల కోసం రెట్రీవల్ వాడండి.
- చిన్న ప్రాంప్ట్లు, చిన్న మోడల్స్, మరియు రూటింగ్తో ఖర్చు నియంత్రించండి.
- భద్రతను మీ డేటాసెట్లో స్పష్టంగా చేర్చండి.
- Sider.AI వంటి టూల్స్ మీకు 'ట్రెయిన్' ట్రిగ్గర్ చేయకముందే మంచి ఉదాహరణలు రూపొందించడంలో సహాయం చేస్తాయని గుర్తుంచుకోండి.
సాధారణ ప్రశ్నలు
Q1: Tinker APIతో నా స్వంత AI మోడల్ను ఫైన్-ట్యూన్ చేయడానికి డేటాను ఎలా సిద్ధం చేయాలి?
స్పష్టమైన సూచనలు-జవాబు లేదా చాట్-స్టైల్ జంటలతో JSONL వాడండి. టోన్ స్థిరంగా ఉంచండి, సున్నితమైన సమాచారాన్ని అనానిమైజ్ చేయండి, 10-20% డేటాను పరీక్షా కోసం వదిలేయండి, తద్వారా ఫలితాలపై మోసం కాకుండా ఉంటారు.
Q2: టింకర్ APIతో ఫైన్-ట్యూనింగ్ చేయడం ప్రాంప్ట్ ఇంజినీరింగ్ కంటే మెరుగైనదా?
శీఘ్ర స్వరం మార్పులు మరియు సాధారణ ప్రవర్తనల కోసం ప్రాంప్ట్లను ఉపయోగించండి; మీకు మన్నికైన శైలి, నిర్మాణం లేదా డొమైన్ నమూనాలు అవసరమైనప్పుడు ఫైన్-ట్యూనింగ్ ఉపయోగించండి. చాలా జట్లు రెండింటినీ మిళితం చేస్తాయి— వాస్తవాల కోసం RAG, స్వరం కోసం ఫైన్-ట్యూన్.
Q3: టింకర్ APIతో మోడల్ను ఫైన్-ట్యూన్ చేయడానికి నాకు ఎంత డేటా అవసరం?
పరిమాణం కంటే నాణ్యత ముఖ్యం. కొన్ని వందల బలమైన ఉదాహరణలు వేలాది శబ్ద ఉదాహరణలను అధిగమించగలవు. చిన్నగా ప్రారంభించండి, మూల్యాంకనం చేయండి, ఆపై మోడల్ కష్టపడుతున్న చోట లక్ష్య ఉదాహరణలను జోడించండి.
Q4: టింకర్ APIలో ఫైన్-ట్యూన్ చేసిన మోడల్ను నేను ఎలా అమలు చేయాలి?
శిక్షణ తర్వాత, టింకర్ ప్రామాణిక పూర్తి లేదా చాట్ ఎండ్పాయింట్ ద్వారా మీరు కాల్ చేయగల మోడల్ IDని అందిస్తుంది. సహాయక సిస్టమ్ ప్రాంప్ట్ను సెట్ చేయండి, ఉష్ణోగ్రతను ట్యూన్ చేయండి మరియు నిజమైన ట్రాఫిక్లో అవుట్పుట్లను పర్యవేక్షించండి.
Q5: ఫైన్-ట్యూన్ చేసిన నా మోడల్ భ్రమలు కలిగించకుండా నేను ఎలా ఆపాలి?
అనిశ్చితిని అంగీకరించే ఉదాహరణలతో శిక్షణ ఇవ్వండి, ఉష్ణోగ్రతను తగ్గించండి మరియు వాస్తవాల కోసం తిరిగి పొందే దానితో జత చేయండి. “మూలాలను పేర్కొనండి” లేదా “నాకు తెలియదని చెప్పండి” అనే సూచన మరియు శిక్షణ డేటాలో భాగంగా చేయండి.
