Pridėkime dirbtinį intelektą į jūsų programėlę nebankrutuojant (arba neišprotėjant)
Ar kada bandėte surinkti IKEA baldus be šešiabriaunio rakto? Būtent taip jaučiasi dirbtinio intelekto pridėjimas, kai jums sako: „Tiesiog įveskite savo API raktą ir paleiskite atsiskaitymo paskyrą.“ Aišku, ir tuo pačiu pervesiu laidus namuose ir paleisiu palydovą.
Geros naujienos: jums nereikia API raktų, naudojimo prietaisų skydelių ar antrosios hipotekos, kad pridėtumėte protingų, naudingų DI funkcijų į mėgstamą programėlę. Šiame vadove aptarsime, kaip pridėti dirbtinį intelektą į mėgstamą programėlę (nereikia API raktų, nereikia papildomo apmokestinimo), naudojant praktinius modelius, platformos funkcijas ir kelias gudrias išeitis. Vertimas: galite pateikti naudingų DI funkcijų, kurios vartotojams atrodo magiškos, neatsibudę su 3 842 USD sąskaita, nes kažkas panaudojo jūsų pokalbių langelį, kad parašytų epą apie bulvę.
Tai praktinis vadovas. Parodysiu, kaip sukurti išmanias funkcijas, kur gauti modelių be raktų ir kaip išlaikyti išlaidas ties nuliu (arba arti jo) naudojant DI įrenginyje, serverio pusės apvalkalus ir šiek tiek produkto nuovokos.
Ką turime omenyje sakydami „nereikia API raktų“ ir „nereikia papildomo apmokestinimo“
Greitas šifratorius:
- Nereikia API raktų: neprašote vartotojų įklijuoti savo raktų ir nesaugote ar nerotuoja raktų jų vardu.
- Nereikia papildomo apmokestinimo: nepersiunčiate savo vartotojų į žetonais pagrįstą skaitiklį. Jūs arba vykdote DI įrenginyje, įtraukiate išlaidas į esamą planą, arba naudojate dosnius nemokamus lygius, kuriuos kontroliuojate.
Esmė nėra vengti mokėti amžinai. Tai sukurti mėgstamą programėlę su išmaniu DI, kuris yra nuspėjamas, privatus ir neįsodina jūsų į CFO kalėjimą.
Mėgstamos programėlės kontrolinis sąrašas: ką DI iš tikrųjų turėtų daryti
Prieš ką nors prijungdami, apibrėžkite, ką reiškia „mėgstamas“ jūsų programėlei:
- Jis akimirksniu išsprendžia vieną skausmingą, dažną užduotį. Suvestinės santrauka vienu palietimu. Perrašymas vienu spustelėjimu. Viena išmani paieška.
- Jis pakankamai greitas, kad jaustųsi lokalus. Jei jūsų DI sukasi kaip įkėlimo spurgos, jūs jau pralaimėjote.
- Pagal numatytuosius nustatymus jis gerbia privatumą. Vartotojams neturėtų reikėti pasitikėti paslaptingu debesiu dėl pagrindinių funkcijų.
- Jis paaiškinamas. Mažas užuomina, pavyzdžiui, „Patobulintas tonas ir pataisyta gramatika“, paverčia magiją pasitikėjimu.
Jei jūsų funkcijos idėja nepažymi šių langelių, jums nereikia DI. Jums reikia pogulio.
1 strategija: DI įrenginyje (dar žinomas kaip MVP be raktų ir sąskaitų)
Norite lengviausio kelio į „nereikia raktų, nereikia sąskaitų“? Paleiskite modelį vartotojo įrenginyje. Tai tarsi kokteilių gaminimas namuose, o ne užsakymas už 12 USD su kviečių želmenų doze.
Kur DI įrenginyje laimi:
- Privatumas: duomenys nepalieka įrenginio.
- Nuspėjama kaina: 0 USD už užklausą. Jūsų kaina yra inžinerijos laikas ir šiek tiek programėlės dydžio.
- Greitis: daugeliui užduočių – santraukoms, pataisoms, klasifikavimui – šiuolaikiniai įrenginiai yra pakankamai greiti.
Praktiniai variantai:
- Naudokite platformos sistemas:
- iOS/macOS: Apple Core ML su mažu kalbos modeliu. Puikiai tinka klasifikavimui, tono koregavimams ir trumpoms santraukoms.
- Android: TensorFlow Lite su kompaktišku LLM arba užduotims skirtu modeliu.
- Desktop/Web: WebGPU + WebAssembly vykdymo laikai, skirti paleisti 7B ir mažesnius modelius naršyklėje (taip, iš tikrųjų).
- Pasirinkite mažus, bet galingus modelius:
- 3B–7B parametrų modeliai gali atlikti gramatikos pataisymus, punktų santraukas ir pagrindinius klausimus ir atsakymus.
- Naudokite kiekybines versijas (pvz., 4 bitų), kad sumažintumėte atmintį ir įkėlimo laiką.
- UX modeliai, kurie puikiai veikia įrenginyje:
- Mygtukas „Perrašyti“ su pasirenkamais tonais: draugiškas, glaustas, formalus.
- „Apibendrinti pasirinkimą“ dokumentams, el. laiškams ar pastaboms.
- „Ištraukti veiksmų elementus“ iš susitikimo pastabų.
- „Ieškoti šiame puslapyje“ semantinis ieškiklis.
Patarimas: pasiūlykite „Greitąjį režimą“ (įrenginyje) ir pasirinktinį „Galingąjį režimą“ (debesyje) – nereikia raktų. Daugiau apie tai po minutės.
2 strategija: Atsineškite savo modelį... bet ne savo vartotojų raktus
Vis dar galite naudoti debesų modelius neperduodami vartotojams raktų pakabuko. Jūs paslepiate raktą savo serveryje, ribojate skambučių skaičių ir ribojate išlaidas. Vartotojo požiūriu, nėra API rakto, o jūsų požiūriu, nėra nekontroliuojamo apmokestinimo.
Kaip tai padaryti saugiai:
- Serverio pusės tarpinis serveris: jūsų programėlė skambina į jūsų serverį; jūsų serveris skambina modelio tiekėjui. Jūs valdote droselį.
- Biudžeto apsaugos: nustatykite dienos arba mėnesio išlaidų limitus, kvotas vienam vartotojui ir skirtuosius laikus.
- Kaupimas talpykloje: talpinkite dažnus raginimus ir rezultatus, kad sumažintumėte skambučių skaičių.
- Kai pasiekiate limitus, pereikite prie DI įrenginyje, o ne klaidos ekrano.
Kada tai naudoti:
- Jums reikia geresnio argumentavimo, ilgesnio konteksto arba daugiarūšio palaikymo, nei gali apdoroti mažas vietinis modelis.
- Norite, kad nemokamas planas būtų paprastas, o mokami lygiai – su didesniu kiekiu – vis tiek neatskleidžiant rakto.
3 strategija: iš anksto įdėkite intelektą (šablonai geriau nei žetonai)
Štai paslaptis, kurią sužino kiekvienas puikus DI produktų vadovas: dauguma vartotojų nenori „raginti“. Jie nori mygtukų, kurie daro teisingą dalyką.
Kurkite savo DI aplink šablonus ir struktūrizuotus veiksmus, o ne neapdorotus pokalbių langelius. Gausite geresnių rezultatų, mažiau žetonų ir mažiau kraštutinių atvejų.
Šablonų pavyzdžiai, kurie atrodo mėgstami:
- „Padarykite tai draugiškesniu, bet palikite tą pačią reikšmę.“
- „Ištraukite datas, vardus ir veiksmų elementus iš šio teksto.“
- „Sugeneruokite tris alternatyvius antraštes, kurių ilgis neviršija 60 simbolių.“
- „Paverskite šį susitikimo nuorašą darbotvarke su savininkais ir įvykdymo datomis.“
Galite paleisti juos su mažais modeliais įrenginyje arba prireikus įjungti debesį. Bet kuriuo atveju jūs kontroliuojate raginimą – taigi kontroliuojate išlaidas ir kokybę.
4 strategija: naudokite paiešką, kad atrodytumėte protingai, negalvodami
Dideli modeliai haliucinuoja. Maži modeliai haliucinuoja greičiau. Paieška neleidžia abiem sugalvoti dalykų.
- Sukurkite vietinį vartotojo turinio indeksą (dokumentus, pastabas, bilietus) ir pirmiausia atlikite semantinę paiešką.
- Į modelį įkelkite tik geriausius fragmentus. Mažesnis raginimas, geresnis tikslumas.
- Privatumui svarbioms programėlėms indeksą laikykite vietiniame, kad niekas nepaliktų įrenginio.
Rezultatas: jūsų programėlė atrodo puikiai, o jūsų modelis atlieka mažiau darbo. Pagalvokite apie tai, kaip DI duodate atviro kodo testą, o ne prašote jo prisiminti visą biblioteką.
5 strategija: pasiūlykite veikimą neprisijungus pirmiausia su pasirenkamomis internetinėmis supergaliomis
Jūsų vartotojai yra lėktuvuose, traukiniuose ir kartais rūsyje su viena juosta. Padarykite, kad jūsų DI veiktų neprisijungus. Tada, kai yra ryšys, pasiūlykite pasirinktinį „Galingąjį režimą“.
Kaip tai vyksta:
- Neprisijungus: pagrindinis perrašymas, apibendrinimas ir ištraukimas naudojant DI modelius įrenginyje.
- Prisijungus: didesni konteksto langai, geresnis argumentavimas ir vaizdų supratimas per jūsų serverio tarpinį serverį.
- UI: mažas jungiklis „Žaibas“, kuris paaiškina kompromisą: „Greičiau ir privačiau (neprisijungus)“ prieš „Protingiau, bet naudoja debesį (prisijungus)“.
Nereikia raktų; jokių staigių sąskaitų. Tiesiog pasirinkimas.
6 strategija: apsaugos priemonės, kurios išlaiko funkcijas mėgstamas, o ne bylinėtinas
Mėgstama programėlė yra naudinga, nuspėjama ir... nuobodžiai saugi. Įdiekite apsaugos priemones:
- Turinio filtrai: blokuokite žalingus arba politiką pažeidžiančius raginimus, kol jie pasieks bet kurį modelį.
- Skaidrios etiketės: „DI sugeneruotos“ žymos su redagavimo istorija.
- Atkuriamumas: registruokite raginimus ir nustatymus vietoje (su vartotojo sutikimu), kad rezultatus būtų galima pakartoti.
- Atsisakymas mokymo: jei ką nors tikslinate, klauskite. Ir padarykite „Ne“ lengvu mygtuku.
Projektas: kaip pridėti dirbtinį intelektą į mėgstamą programėlę (nereikia API raktų, nereikia papildomo apmokestinimo)
Paverskime tai žingsnis po žingsnio, nuo servetėlės eskizo iki išsiųstos funkcijos.
- Pasirinkite vieną automatizuojamą užduotį
- Pasirinkite vieną dažną užduotį, kurią jūsų vartotojai atlieka kasdien. Pavyzdys: „Apibendrinkite pasirinktą tekstą penkiais punktais.“
- Parašykite sėkmės eilutę paprasta anglų kalba: „Vartotojas paryškina tekstą, paliečia Apibendrinti, gauna penkis aiškius punktus per mažiau nei dvi sekundes.“
- Pasirinkite savo pėdsaką: pirmiausia įrenginyje
- Pradėkite nuo mažo kiekybinio modelio. Laikykite naudingas apkrovas mažas, kaupkite modelį talpykloje po pirmojo paleidimo.
- Nustatykite griežtą žetonų limitą. Jei tekstas ilgas, suskaidykite jį ir apibendrinkite kiekvieną fragmentą.
- Sukurkite šabloną, o ne pokalbių langelį
- Sunku užkoduoti instrukcijas su keliais aiškiais pavyzdžiais. Atskleiskite tik vartotojams skirtas rankenėles, kurios yra svarbios: toną, ilgį.
- Pridėkite paaiškinimo eilutę prie rezultatų: „Sutrumpinta, kad būtų aiškiau. Pašalintas užpildas.“
- Pridėkite paiešką kontekstui
- Jei apibendrinate dokumentą, kuriame nurodomi kiti dokumentai, indeksuokite vietoje ir įtraukite atitinkamus fragmentus.
- Parodykite šaltinius su paliečiamomis citatomis. Pasitikėjimas yra funkcija.
- Sukurkite Galingąjį režimą (pasirinktinai)
- Jei rezultatai neprisijungus yra silpni kraštutiniams atvejams, pridėkite debesies „Galingąjį režimą“.
- Nukreipkite per savo serverį, o ne vartotojo raktą. Pridėkite kvotas ir dienos limitus.
- Išbandykite, ar teikia malonumą, o ne tikslumą
- Išmatuokite laiką iki pirmojo žetono ir užbaigimo laiką.
- A/B testo kopija: „Perrašyti“ prieš „Poliruoti“. Spoileris: žodžiai yra svarbūs.
- Registruokite vartotojo redagavimus po DI išvesties (su sutikimu). Jei visi redaguoja pirmąjį punktą, jūsų šablonui reikia darbo, o ne didesnio modelio.
- Nustatykite kainą be papildomo atsiskaitymo dramos
- Įtraukite DI funkciją į savo esamus planus.
- Naudokite švelnius limitus: „20 Galingojo režimo paleidimų/dieną Pro.“
- Siūlykite neribotus paleidimus neprisijungus – nes DI įrenginyje yra nemokamas.
Realaus pasaulio scenarijai, kurie iš tikrųjų veikia
Trys nedideli receptai, kuriuos galite išsiųsti šį mėnesį, nereikia raktų pagrindinei patirčiai:
- Užduotis: išvalykite toną el. laiškuose ir pranešimuose.
- Kaip: DI modelis įrenginyje su fiksuotu raginimu išlaikyti reikšmę, pašalinti gramatikos problemas ir pakoreguoti toną.
- UX: įterpta redagavimo peržiūra su jungikliu Draugiškas, Formalus, Glaustas. Parodykite skirtumą, kad vartotojai išmoktų.
- Užduotis: konvertuokite susitikimo pastabas į veiksmų elementus.
- Kaip: skaidytas apibendrinimas įrenginyje, tada pasirinktinai Galingasis režimas ilgiems nuorašams.
- UX: rezultatai sugrupuoti pagal savininką su pasiūlymais dėl įvykdymo datos. Palietus galima nukopijuoti į savo užduočių įrankį.
- Užduotis: raskite atitinkamą informaciją vartotojo dokumentuose.
- Kaip: vietinis vektorių indeksas + seklus LLM sintezei.
- UX: paryškinimai su šaltinių nuorodomis ir pastaba „Kodėl šis rezultatas?“. Jaučiasi taip, lyg Ctrl+F gavo daktaro laipsnį.
Našumo patarimai, kad jūsų DI nesijaustų kaip telefono ryšys
- Suaktyvinkite modelį paleidžiant programėlę su maža bandomąja išvada, kad pirmoji užklausa nebūtų lėta.
- Kaupkite įterpinius ir dalinius rezultatus; pakartotinai naudokite juos tarp seansų.
- Srautiniu būdu perduokite atsakymus ir atvaizduokite eilutę po eilutės. Žmonėms patinka jausti pažangą, net jei tai tik trys šokantys taškai.
- Kontroliuokite raginimus. Šablonai > esė.
Privatumas be 10 puslapių manifesto
- Pagal numatytuosius nustatymus apdorokite vietoje. Padarykite apdorojimą debesyje pasirinktiniu kiekvienai funkcijai.
- Paaiškinkite vienu sakiniu: „Tai veikia jūsų įrenginyje. Niekas neįkeliama.“ Arba: „Tai naudoja mūsų serverį. Anonimizuota, niekada neparduodama.“
- Pateikite vieno palietimo duomenų ištrynimo mygtuką. Niekas nenori el. pašto grandinės, kad ištrintų savo bakalėjos prekių sąrašą iš 2021 m.
Verta paminėti: patogus šio kelio bendrapilotis
Verta paminėti: jei norite patikrinti DI, ar viskas gerai, kol kuriate raginimus, Sider.AI gali sėdėti jūsų naršyklėje kaip draugiškas kaimynas, kuris iš tikrųjų skaito HOA taisykles. Galite kurti raginimus, palyginti išvestis ir greitai kartoti šablonus prieš įdėdami juos į savo programėlę – nevaldydami pusės tuzino prietaisų skydelių. Tai nėra reklama; tai nuoroda. Penkių minučių integracijos planas (dar žinomas kaip jūsų lipnus lapelis)
- Pradėkite nuo vienos užduoties. Išsiųskite mažiausią mėgstamą versiją.
- Paleiskite jį įrenginyje su kompaktišku, kiekybiniu modeliu.
- Apvyniokite jį šablonu, o ne pokalbių langeliu.
- Pridėkite paiešką, kad atrodytumėte protingai, o ne psichikai.
- Siūlykite Galingąjį režimą per savo serverį su griežtais limitais.
- Viską aiškiai pažymėkite. Pirmiausia privatumas. Antra – malonumas. Visa kita – trečia.
Ko vengti, kad jūsų programėlė netaptų DI informacine reklama
- Stebuklingos lazdelės spąstai: nežadėkite, kad ji „rašo kaip žmogus“. Ji rašo kaip DI, kuris išgėrė kavos.
- Neriboti teiginiai: žetonų skaitikliai visada randa būdą sugadinti gerą dieną.
- Raginimo žaidimų aikštelės galutiniams vartotojams: puikiai tinka demonstracijoms, bet menkai kasdieniam naudojimui.
- Vieno dydžio modeliai visiems: pasirinkite mažiausią dalyką, kuris atlieka užduotį. Didesnis nereiškia geresnis; geresnis yra geresnis.
Greiti klausimai ir atsakymai skeptiškam produktų vadovui
- „Ar tikrai galime tai padaryti be API raktų?“ Taip. Pirmiausia įrenginyje, serverio tarpinis serveris pasirinktinai. Vartotojai niekada nemato raktų.
- „O kaip su kokybe?“ Sutelktoms užduotims maži modeliai yra stebėtinai puikūs – ypač su paieška ir šablonais.
- „Ar mes peraugsime vietinius modelius?“ Galbūt. Tam skirtas Galingasis režimas. Susiekite jį su savo planu, o ne su vartotojo kreditine kortele.
- „Kaip išvengti staigmenų?“ Limitas, talpinimas talpykloje ir aiškus numatytasis režimas neprisijungus. Jūs esate suaugęs žmogus kambaryje.
Mažas atvejo tyrimas trimis pastraipomis
Maža pastabų programėlė pridėjo mygtuką „Apibendrinti“ įrenginyje. Jis paleido 4 bitų 3B modelį su fiksuotu šablonu ir 500 žetonų limitu. Vidutinis atsako laikas: 1,6 sekundės naujausiuose telefonuose.
Vartotojams tai patiko kasdieniams fragmentams, tačiau jie skundėsi dėl ilgų tyrimų pastabų. Komanda pridėjo pasirinktinį Galingąjį režimą, nukreiptą per jų serverį su kvotomis vienam vartotojui per dieną. Pasitenkinimas padidėjo, išlaidos išliko nuspėjamos.
Svarbiausia: sumažėjo pagalbos bilietų, nes nereikėjo kovoti su API raktais, nebuvo el. laiškų „Kodėl man buvo apmokestinta 27 USD?“ ir nebuvo baisių greičio apribojimo ekranų.
Apibendrinimas: jūsų mėgstama DI programėlė, be atsiskaitymo pagirių
Štai planas: sukurkite vieną sutelktą DI funkciją, kuri veikia neprisijungus. Apvyniokite jį šablonu, kurį vartotojai supranta. Patobulinkite jį paieška. Siūlykite ribotą Galingąjį režimą, kurį valdo jūsų serveris. Būkite sąžiningi dėl privatumo. Ir išbandykite, ar teikia malonumą, lyg tai būtų jūsų darbas – nes tai ir yra.
Štai kaip pridedate DI į mėgstamą programėlę (nereikia API raktų, nereikia papildomo apmokestinimo). Dabar, jei tik IKEA išsiųstų kiekybinį šešiabriaunį raktą.
DUK
Q1:Ar galiu pridėti DI funkcijų neprašydamas vartotojų API raktų?
Taip. Vykdykite mažus DI modelius įrenginyje pagrindinėms funkcijoms ir, jei reikia, nukreipkite skambučius į debesį per savo serverio tarpinį serverį su limitais. Vartotojai niekada neliečia raktų, o jūs išlaikote nuspėjamas išlaidas.
Q2:Ar DI įrenginyje bus pakankamai tikslus mano programėlei?
Sutelktoms užduotims, tokioms kaip perrašymas, apibendrinimas ir ištraukimas, kompaktiški modeliai veikia puikiai – ypač su šablonais ir paieška. Išsaugokite sudėtingą argumentavimą ar didžiulį kontekstą pasirinktiniam Galingajam režimui.
Q3:Kaip išvengti staigių DI išlaidų be papildomo apmokestinimo?
Pagal numatytuosius nustatymus apdorokite įrenginyje ir agresyviai kaupkite talpykloje. Debesų patobulinimams nustatykite serverio pusės kvotas, dienos limitus ir skirtuosius laikus – tada grįžkite prie vietinių rezultatų.
Q4:Kokia geriausia UX DI, kurį vartotojai iš tikrųjų mėgsta?
Mygtukai, kurie gerai atlieka vieną užduotį, nugalės atvirus pokalbius. Naudokite šablonus su aiškiais tonais ir ilgiais, parodykite skirtumą ar paaiškinimą ir pažymėkite privatumą: Galingasis režimas neprisijungus ir debesyje.
Q5:Kaip išlaikyti DI privatų ir atitinkantį reikalavimus?
Pagal numatytuosius nustatymus apdorokite vietoje, atskleiskite, kada naudojate debesį, ir pateikite vieno palietimo duomenų ištrynimą. Pridėkite turinio filtrus ir cituokite šaltinius, kad sukurtumėte pasitikėjimą be privatumo romano.
