Lisame sinu rakendusele tehisintellekti ilma, et see su rahakotti (või aju) põletaks
Kas oled kunagi proovinud kokku panna IKEA mööblit ilma kuuskantvõtmeta? Umbes selline tunne on tehisintellekti lisamine, kui sulle öeldakse: "Lihtsalt ühenda oma API võti ja käivita arveldusteenus." Muidugi, ja kui ma juba asjaga tegelen, siis juhtmestan ka maja ümber ja lasen satelliidi orbiidile.
Head uudised: sa ei vaja API võtmeid, kasutusgraafikuid ega teist hüpoteeki, et lisada armastatud rakendusele nutikaid ja kasulikke tehisintellekti funktsioone. Selles juhendis räägime, kuidas lisada tehisintellekti armastatud rakendusele (ilma API võtmete ja lisakuludeta), kasutades praktilisi mustreid, platvormipõhiseid funktsioone ja mõningaid nutikaid lahendusi. Tõlge: saad luua kasulikke tehisintellekti funktsioone, mis tunduvad kasutajatele maagilised, ilma et peaksid ärkama 3842-dollarise arve peale, sest keegi kasutas su jutukasti, et kirjutada eepos kartulist.
See on praktiline läbikäik. Ma näitan sulle, kuidas kujundada nutikaid funktsioone, kust saada mudeleid ilma võtmeteta ja kuidas hoida kulud nullis (või selle lähedal) seadmesisese tehisintellekti, serveripoolsete ümbriste ja väikese tootetunnetusega.
Mida me mõtleme "ilma API võtmeteta" ja "ilma lisakuludeta" all
Kiire dekooder:
- Ilma API võtmeteta: Sa ei palu kasutajatel oma võtmeid kleepida ja sa ei salvesta ega roteeri võtmeid nende nimel.
- Ilma lisakuludeta: Sa ei suuna oma kasutajaid tokenipõhisele arvestile. Sa kas kasutad seadmesisest tehisintellekti, lisad kulud oma olemasolevasse plaani või kasutad heldeid tasuta tasemeid, mida sa kontrollid.
Point ei ole igavesti maksmisest kõrvale hiilida. Eesmärk on kujundada armastatud rakendus nutika tehisintellektiga, mis on ennustatav, privaatne ja ei vii sind finantsjuhi vanglasse.
Armastatud rakenduse kontrollnimekiri: mida tehisintellekt tegelikult tegema peaks
Enne kui midagi ühendame, määratle, mida "armastatud" sinu rakenduse jaoks tähendab:
- See lahendab ühe valuliku, sagedase töö koheselt. Ühe puutega kokkuvõte. Ühe klõpsuga ümberkirjutamine. Üks nutikas otsing.
- See on piisavalt kiire, et tunduda lokaalne. Kui sinu tehisintellekt keerleb nagu laadimisketas, oled juba kaotanud.
- See austab vaikimisi privaatsust. Kasutajad ei tohiks vajada salapärase pilve usaldamist põhifunktsioonide jaoks.
- See on seletatav. Väike vihje nagu "Puhastas tooni ja parandas grammatikat" muudab maagia usalduseks.
Kui sinu funktsiooni idee ei vasta neile tingimustele, ei vaja sa tehisintellekti. Sa vajad uinakut.
Strateegia #1: Seadmesisene tehisintellekt (ehk võtmevaba, arveteta MVP)
Soovid lihtsaimat teed "võtmevaba, arveteta" juurde? Käivita mudel kasutaja seadmes. See on nagu smuutide valmistamine kodus selle asemel, et tellida 12-dollarine smuuti nisuidu shot'iga.
Kus seadmesisene tehisintellekt võidab:
- Privaatsus: Andmed ei lahku seadmest.
- Ennustatav kulu: 0 dollarit taotluse kohta. Sinu kulu on inseneritöö aeg ja natuke rakenduse suurus.
- Kiirus: Paljude ülesannete jaoks – kokkuvõtted, parandused, klassifitseerimine – on kaasaegsed seadmed piisavalt kiired.
Praktilised valikud:
- Kasuta platvormipõhiseid raamistikke:
- iOS/macOS: Apple'i Core ML väikese keelemudeliga. Suurepärane klassifitseerimiseks, tooni korrigeerimiseks ja lühikeste kokkuvõtete jaoks.
- Android: TensorFlow Lite kompaktse LLM-i või ülesandepõhise mudeliga.
- Desktop/Web: WebGPU + WebAssembly runtime'id 7B ja väiksemate mudelite käitamiseks brauseris (jah, tõesti).
- Vali pisikesed, kuid võimsad mudelid:
- 3B–7B parameetriga mudelid saavad teha grammatikaparandusi, punktloendite kokkuvõtteid ja põhilisi küsimusi ja vastuseid.
- Kasuta kvantiseeritud versioone (nt 4-bit), et vähendada mälu ja laadimisaega.
- UX mustrid, mis seadmesiseselt säravad:
- "Kirjuta ümber" nupp valitavate toonidega: sõbralik, lühike, ametlik.
- "Võta valik kokku" dokumentide, e-kirjade või märkmete jaoks.
- "Eralda tegevuspunktid" koosoleku märkmetest.
- "Otsi sellelt lehelt" semantiline leidja.
Pro tip: Paku "Kiire režiimi" (seadmesisene) ja valikulist "Võimsusrežiimi" (pilv) – võtmeid pole vaja. Sellest lähemalt hetke pärast.
Strateegia #2: Too oma mudel… aga mitte oma kasutajate võtmed
Sa saad ikka kasutada pilvemudeleid ilma oma kasutajatele võtmehoidjat üle andmata. Sa peidad võtme oma serveris, piirad kõnede sagedust ja piirad kulusid. Kasutaja vaatenurgast pole API võtit ja sinu vaatenurgast pole kontrollimatut arveldust.
Kuidas seda turvaliselt teha:
- Serveripoolne puhverserver: Sinu rakendus helistab sinu serverisse; sinu server helistab mudelipakkujale. Sa omad drosselit.
- Eelarve kaitsepiirded: Määra päevased või kuised kulupiirid, kasutajapõhised kvoodid ja ajalõpud.
- Vahemällu salvestamine: Salvesta sagedased viiped ja tulemused vahemällu, et kõnesid vähendada.
- Kuku piirangute saavutamisel tagasi seadmesisesele, mitte veateatele.
Millal seda kasutada:
- Sa vajad paremat arutlusvõimet, pikemat konteksti või multimodality toetust, kui väike lokaalne mudel suudab pakkuda.
- Sa soovid hoida tasuta plaani lihtsana, pakkudes samal ajal tasulisi tasemeid, millel on rohkem jõudu – ikka ilma võtit paljastamata.
Strateegia #3: Küpseta intelligentsus ette (mallid on paremad kui tokenid)
Siin on saladus, mida iga suurepärane tehisintellekti tootejuht õpib: enamik kasutajaid ei taha "viipasid" anda. Nad tahavad nuppe, mis teevad õigeid asju.
Ehita oma tehisintellekt üles mallide ja struktureeritud tegevuste ümber, mitte toorete jutukastide ümber. Sa saad paremaid tulemusi, vähem tokeneid ja vähem äärmusjuhtumeid.
Mallide näited, mis tunduvad armastusväärsed:
- "Tee see sõbralikumaks, kuid säilita sama tähendus."
- "Tõmba sellest tekstist välja kuupäevad, nimed ja tegevuspunktid."
- "Genereeri kolm alternatiivset pealkirja, mis on alla 60 tähemärgi."
- "Muuda see koosoleku transkriptsioon päevakorraks koos omanike ja tähtaegadega."
Sa saad neid käitada pisikeste mudelitega seadmes või pilve kiirendada, kui vaja. Mõlemal juhul kontrollid sa viipa – seega kontrollid sa kulusid ja kvaliteeti.
Strateegia #4: Kasuta otsingut, et nutikas välja näha ilma kõvasti mõtlemata
Suured mudelid hallutsineerivad. Pisikesed mudelid hallutsineerivad kiiremini. Otsing takistab mõlemal asju välja mõelda.
- Ehita kohalik register kasutaja sisust (dokumendid, märkmed, piletid) ja tee kõigepealt semantiline otsing.
- Sööda oma mudelile ainult parimad katkendid. Väiksem viip, parem täpsus.
- Privaatsust esmatähtsaks pidavate rakenduste puhul hoia register kohalikuna, et midagi ei lahkuks seadmest.
Tulemus: Sinu rakendus näeb välja geniaalne, samal ajal kui sinu mudel teeb vähem tööd. Mõtle sellele kui tehisintellektile avatud raamatu testi andmisele selle asemel, et paluda tal meeles pidada kogu raamatukogu.
Strateegia #5: Paku võrguühenduseta esmalt valikuliste veebipõhiste supervõimetega
Sinu kasutajad on lennukites, rongides ja aeg-ajalt keldris ühe ribaga. Tee oma tehisintellekt võrguühenduseta tööd. Seejärel, kui on olemas ühendus, paku valikulist "Võimsusrežiimi".
Kuidas see välja mängib:
- Võrguühenduseta: Põhiline ümberkirjutamine, kokkuvõtmine ja eraldamine seadmesiseste mudelite kaudu.
- Veebis: Suuremad kontekstiaknad, parem arutlusvõime ja pildi mõistmine sinu serveri puhverserveri kaudu.
- UI: Väike "Välk" lüliti, mis selgitab kompromissi: "Kiirem ja privaatne (võrguühenduseta)" vs "Nutikam, kuid kasutab pilve (veebis).".
Võtmeid pole vaja; üllatusarveid pole. Lihtsalt valik.
Strateegia #6: Kaitsepiirded, mis hoiavad funktsioonid armastusväärsed, mitte kohtuasjaks kõlblikud
Armastusväärne rakendus on kasulik, ennustatav ja… igavalt turvaline. Küpseta sisse kaitsepiirded:
- Sisu filtrid: Blokeeri kahjulikud või eeskirjadevastased viipad enne, kui need mõne mudelini jõuavad.
- Läbipaistvad sildid: "AI-ga genereeritud" sildid koos redigeerimisajaloo jaotisega.
- Taasesitatavus: Logi viipad ja sätted kohapeal (kasutaja nõusolekul), et tulemusi saaks korrata.
- Koolitusest loobumine: Kui sa midagi peenhäälestad, siis küsi. Ja tee "Ei" lihtsaks nupuks.
Põhiplaan: Kuidas lisada tehisintellekti armastatud rakendusele (ilma API võtmete ja lisakuludeta)
Muudame selle samm-sammult, salvrätiku visandist tarnitud funktsioonini.
- Vali üks automatiseeritav töö
- Vali üks sagedane ülesanne, mida sinu kasutajad iga päev teevad. Näide: "Võta valitud tekst kokku viie punktina."
- Kirjuta edulugu lihtsas inglise keeles: "Kasutaja tõstab teksti esile, puudutab nuppu Võta kokku ja saab alla kahe sekundiga viis selget punkti."
- Vali oma jalajälg: esmalt seadmes
- Alusta väikese kvantiseeritud mudeliga. Hoia koormused väikesed, salvesta mudel pärast esimest käitamist vahemällu.
- Määra range tokenite piir. Kui tekst on pikk, tükelda see ja võta kokku tükkide kaupa.
- Ehita mall, mitte jutukast
- Kõvakodeeri juhis paari selge näitega. Paljasta ainult kasutajapoolsed nupud, mis on olulised: toon, pikkus.
- Lisa tulemustele selgitusrida: "Tihendatud selguse huvides. Eemaldatud täitesõnad."
- Lisa konteksti jaoks otsing
- Kui võtad kokku dokumenti, mis viitab teistele dokumentidele, indekseeri need kohapeal ja tõmba sisse asjakohased osad.
- Näita allikaid puudutatavate tsitaatidega. Usaldus on funktsioon.
- Kujunda võimsusrežiim (valikuline)
- Kui võrguühenduseta tulemused on äärmusjuhtumite puhul nõrgad, lisa pilve "Võimsusrežiim."
- Suuna läbi oma serveri, mitte oma kasutaja võtme. Lisa kvoodid ja päevased piirangud.
- Testi rõõmu, mitte ainult täpsust
- Mõõda aega esimese tokenini ja lõpetamise aega.
- A/B test koopia: "Kirjuta ümber" vs "Lihvi". Spoiler: sõnadel on tähtsust.
- Logi kasutajate redigeerimised pärast AI väljundit (nõusolekul). Kui kõik redigeerivad esimest punkti, vajab sinu mall tööd, mitte suuremat mudelit.
- Hinda seda ilma lisakuludeta draamata
- Bundle AI funktsioon oma olemasolevatesse plaanidesse.
- Kasuta pehmeid piiranguid: "20 Võimsusrežiimi käitamist/päevas Pro versioonis."
- Paku piiramatuid võrguühenduseta käitamisi – sest seadmesisene on tasuta.
Reaalsed stsenaariumid, mis tegelikult töötavad
Kolm suupärast retsepti, mida saad sel kuul tarnida, põhikogemuse jaoks pole võtmeid vaja:
- Töö: Puhasta toon e-kirjades ja sõnumites.
- Kuidas: Seadmesisene mudel fikseeritud viipaga, et säilitada tähendus, eemaldada grammatikaprobleemid ja kohandada tooni.
- UX: Reaalajas redigeerimise eelvaade lülitiga Sõbralik, Ametlik, Lühike. Näita erinevust, et kasutajad õpiksid.
- Töö: Teisenda koosoleku märkmed tegevuspunktideks.
- Kuidas: Tükeldatud kokkuvõte seadmes, seejärel valikuline Võimsusrežiim pikkade transkriptsioonide jaoks.
- UX: Tulemused on rühmitatud omaniku järgi koos tähtaja soovitustega. Puudutatavad, et kopeerida oma ülesannete tööriista.
- Töö: Leia asjakohane teave kasutaja dokumentidest.
- Kuidas: Kohalik vektorindeks + madal LLM sünteesi jaoks.
- UX: Esiletõstmised koos allikalinkidega ja märkusega "Miks see tulemus?". Tundub nagu Ctrl+F sai doktorikraadi.
Jõudlusnipid, et sinu AI ei tunduks nagu modem
- Soojenda mudel rakenduse käivitamisel väikese näidisjäreldusega, et esimene taotlus ei oleks aeglane.
- Salvesta vahemällu manused ja osalised tulemused; kasuta neid seansside vahel uuesti.
- Voogesita vastuseid ja renderda rida rea haaval. Inimestele meeldib tunda edenemist, isegi kui see on ainult kolm tantsivat punkti.
- Hoia viipad kontrolli all. Mallid > esseed.
Privaatsus ilma 10-leheküljelise manifestita
- Vaikimisi kohalik töötlemine. Tee pilvetöötlus valikuliseks funktsiooni kohta.
- Selgita ühe lausega: "See töötab sinu seadmes. Midagi ei laadita üles." Või: "See kasutab meie serverit. Anonüümne, mitte kunagi müüdud."
- Paku ühe puutega andmete kustutamise nuppu. Keegi ei taha e-kirjaketti, et kustutada oma 2021. aasta poenimekiri.
Väärib märkimist: kasulik kaaspiloot sellel teekonnal
Väärib märkimist: kui soovid tehisintellekti mõistlikkuse kontrolli viipade prototüübi loomise ajal, saab Sider.AI istuda sinu brauseris nagu sõbralik naaber, kes tegelikult HOA reegleid loeb. Sa saad koostada viipasid, võrrelda väljundeid ja kiiresti mallide peal itereerida enne, kui sa need oma rakendusse sisse küpsetad – ilma poolt tosinat juhtpaneeli žongleerimata. See pole reklaam; see on otsetee. Viie minuti integreerimisplaan (ehk sinu kleeps)
- Alusta ühe tööga. Tarneta väikseim armastusväärne versioon.
- Käivita see seadmes kompaktse kvantiseeritud mudeliga.
- Mähi see malli, mitte jutukasti.
- Lisa otsing, et nutikas välja näha, mitte psüühiline.
- Paku Võimsusrežiimi oma serveri kaudu kõvade piirangutega.
- Sildista kõik selgelt. Privaatsus esikohal. Rõõm teisel kohal. Kõik muu kolmandal kohal.
Mida vältida, et sinu rakendus ei muutuks AI reklaamiks
- Maagilise võlukepi lõks: Ära luba, et see "kirjutab nagu inimene". See kirjutab nagu AI, kes jõi kohvi.
- Piiramatud väited: Tokenite arvestid leiavad alati viisi head päeva rikkuda.
- Viipade mänguväljakud lõppkasutajatele: Suurepärane demode jaoks, meh igapäevaseks kasutamiseks.
- Üks suurus sobib kõigile mudelitele: Vali väikseim asi, mis töö ära teeb. Suurem pole parem; parem on parem.
Kiired küsimused ja vastused skeptilisele tootejuhile
- "Kas me saame seda tõesti teha ilma API võtmeteta?" Jah. Seadmes esmalt, serveri puhverserver valikuline. Kasutajad ei näe kunagi võtmeid.
- "Aga kvaliteet?" Keskendunud ülesannete puhul on väikesed mudelid üllatavalt suurepärased – eriti otsingu ja mallidega.
- "Kas me kasvame kohalikest mudelitest välja?" Võib-olla. Selleks ongi Võimsusrežiim. Seo see oma plaaniga, mitte oma kasutaja krediitkaardiga.
- "Kuidas me üllatusi väldime?" Piirangud, vahemällu salvestamine ja selge võrguühenduseta vaikesäte. Sa oled toas täiskasvanu.
Väike juhtumiuuring kolmes lõigus
Väike märkmete rakendus lisas seadmesse nupu "Võta kokku". See käitas 4-bitist 3B mudelit fikseeritud malli ja 500-tokenite piiranguga. Keskmine reageerimisaeg: 1,6 sekundit uuematel telefonidel.
Kasutajatele meeldis see igapäevaste lõikude jaoks, kuid nad kurtsid pikkade uurimismärkmete üle. Meeskond lisas valikulise Võimsusrežiimi, mis suunati läbi nende serveri koos kasutajapõhiste päevaste kvootidega. Rahulolu suurenes, kulud jäid ennustatavaks.
Põhjus: Tugipiletite arv vähenes, sest polnud API võtmeid, millega võidelda, polnud "Miks ma 27 dollarit maksin?" e-kirju ega hirmutavaid sageduse piirangu ekraane.
Kokkuvõte: sinu armastusväärne AI rakendus, miinus arvelduse pohmell
Siin on mäng: Ehita üks keskendunud AI funktsioon, mis töötab võrguühenduseta. Mähi see malli, millest kasutajad aru saavad. Täienda seda otsinguga. Paku piiratud Võimsusrežiimi, mida sinu server kontrollib. Ole privaatsuse osas aus. Ja testi rõõmu, nagu oleks see sinu töö – sest see ongi.
Nii lisad sa tehisintellekti armastatud rakendusele (ilma API võtmete ja lisakuludeta). Nüüd, kui ainult IKEA tarniks kvantiseeritud kuuskantvõtit.
KKK
K1:Kas ma saan lisada AI funktsioone ilma kasutajatelt API võtmeid küsimata?
Jah. Käivita põhiliste funktsioonide jaoks väikesed seadmesisesed mudelid ja vajadusel suuna pilvekõned läbi oma serveripuhverserveri koos piirangutega. Kasutajad ei puutu kunagi võtmeid ja sa hoiad kulutused ennustatavaks.
K2:Kas seadmesisene AI on minu rakenduse jaoks piisavalt täpne?
Keskendunud tööde, nagu ümberkirjutamine, kokkuvõtmine ja eraldamine, jaoks sobivad kompaktsed mudelid suurepäraselt – eriti mallide ja otsinguga. Säästa keeruline arutlusvõime või hiiglaslik kontekst valikulise Võimsusrežiimi jaoks.
K3:Kuidas ma saan vältida üllatuslikke AI kulusid ilma lisakuludeta?
Vaikimisi seadmesisene töötlemine ja vahemällu salvestamine agressiivselt. Pilvevõimenduste jaoks määra serveripoolsed kvoodid, päevased piirangud ja ajalõpud – seejärel kuku sujuvalt tagasi kohalikele tulemustele.
K4:Mis on parim UX AI jaoks, mida kasutajad tegelikult armastavad?
Nupud, mis teevad ühe töö hästi, on paremad kui avatud vestlus. Kasuta malle selgete toonide ja pikkustega, näita erinevust või selgitust ja sildista privaatsust: võrguühenduseta vs pilve Võimsusrežiim.
K5:Kuidas ma saan hoida AI privaatse ja nõuetekohasena?
Töötle vaikimisi kohapeal, avalikusta, kui sa kasutad pilve, ja paku ühe puutega andmete kustutamist. Lisa sisufiltrid ja tsiteeri allikaid, et ehitada usaldust ilma privaatsusromaanita.
