Dodajmo umetno inteligenco (UI) vaši aplikaciji, ne da bi obremenili vašo denarnico (ali možgane)
Ste kdaj poskušali sestaviti pohištvo IKEA brez imbus ključa? Takšen občutek imate, ko dodajate UI in vam rečejo: »Samo priključite svoj API ključ in aktivirajte obračunski račun.« Seveda, in medtem bom tudi prežičil hišo in izstrelil satelit.
Dobra novica: ne potrebujete API ključev, nadzornih plošč za uporabo ali druge hipoteke, da dodate pametne, uporabne funkcije UI vaši ljubi aplikaciji. V tem priročniku bomo govorili o tem, kako dodati UI ljubi aplikaciji (brez API ključev, brez dodatnega obračunavanja) z uporabo praktičnih vzorcev, funkcij, vgrajenih v platformo, in nekaj pametnih rešitev. Prevod: lahko dostavite uporabne funkcije UI, ki se uporabnikom zdijo čarobne, ne da bi se zbudili z računom v višini {3.842} $, ker je nekdo uporabil vaše okno za klepet, da bi napisal epsko zgodbo o krompirju.
To je praktičen vodnik. Pokazal vam bom, kako oblikovati pametne funkcije, kje dobiti modele brez ključev in kako ohraniti stroške na nič (ali blizu nič) z UI na napravi, ovojnicami na strani strežnika in malo občutka za izdelek.
Kaj mislimo z »brez API ključev« in »brez dodatnega obračunavanja«
Hiter razlagalnik:
- Brez API ključev: Ne zahtevate od uporabnikov, da prilepijo svoje ključe, in ne shranjujete ali rotirate ključev v njihovem imenu.
- Brez dodatnega obračunavanja: Ne preusmerjate svojih uporabnikov na merilnik, ki temelji na žetonih. Bodisi izvajate UI na napravi, vključujete stroške v svoj obstoječi načrt ali uporabljate radodarne brezplačne ravni, ki jih nadzorujete.
Bistvo ni v tem, da se za vedno izognete plačilu. Gre za oblikovanje ljubke aplikacije s pametno UI, ki je predvidljiva, zasebna in vas ne spravi v zapor CFO.
Kontrolni seznam ljubke aplikacije: kaj bi UI dejansko morala početi
Preden karkoli priključimo, definirajte, kaj pomeni »ljubka« za vašo aplikacijo:
- Takoj reši eno bolečo, pogosto nalogo. Povzetek z enim dotikom. Prepisovanje z enim klikom. Eno pametno iskanje.
- Je dovolj hitra, da se zdi lokalna. Če se vaša UI vrti kot krof za nalaganje, ste že izgubili.
- Privzeto spoštuje zasebnost. Uporabnikom ne bi smelo biti treba zaupati skrivnostnemu oblaku za osnovne funkcije.
- Je razložljiva. Majhen namig, kot je »Očiščen ton in popravljena slovnica«, spremeni čarovnijo v zaupanje.
Če vaša ideja za funkcijo ne potrdi teh polj, ne potrebujete UI. Potrebujete počitek.
Strategija št. 1: UI na napravi (a.k.a. MVP brez ključev, brez računov)
Želite najlažjo pot do »brez ključev, brez računov«? Zaženite model na uporabnikovi napravi. To je kot priprava smutijev doma namesto naročanja za {12} $ s šoto iz pšenične trave.
Kje UI na napravi zmaga:
- Zasebnost: Podatki ne zapustijo naprave.
- Predvidljivi stroški: {0} $ na zahtevo. Vaši stroški so čas inženiringa in malo velikosti aplikacije.
- Hitrost: Za številne naloge – povzetki, popravki, razvrščanje – so sodobne naprave dovolj hitre.
Praktične možnosti:
- Uporabite okvire, vgrajene v platformo:
- iOS/macOS: Apple Core ML z majhnim jezikovnim modelom. Odlično za razvrščanje, prilagajanje tona in kratke povzetke.
- Android: TensorFlow Lite s kompaktnim LLM ali modelom, specifičnim za nalogo.
- Namizje/splet: WebGPU + WebAssembly runtime za izvajanje modelov {7B} in manjših v brskalniku (ja, res).
- Izberite majhne, a močne modele:
- Modeli s parametri {3B–7B} lahko popravijo slovnico, povzamejo točke in opravljajo osnovna vprašanja in odgovore.
- Uporabite kvantizirane različice (npr. {4-bit}), da zmanjšate pomnilnik in čas nalaganja.
- Vzorci UX, ki blestijo na napravi:
- Gumb »Prepiši« z izbranimi toni: prijazen, jedrnat, formalen.
- »Povzemi izbor« za dokumente, e-pošto ali zapiske.
- »Izvleči akcijske elemente« iz zapisnikov sestankov.
- »Išči po tej strani« semantični iskalnik.
Strokovni nasvet: Ponudite »Hiter način« (na napravi) in izbirni »Močni način« (v oblaku) – ključi niso potrebni. Več o tem v minuti.
Strategija št. 2: Prinesite svoj model ... vendar ne uporabnikovih ključev
Še vedno lahko uporabljate modele v oblaku, ne da bi uporabnikom predali ključe. Ključ skrijete na svojem strežniku, omejite število klicev in omejite stroške. Z uporabnikovega vidika ni API ključa, z vašega pa ni neobvladljivega obračunavanja.
Kako to storiti varno:
- Posredniški strežnik: Vaša aplikacija pokliče vaš strežnik; vaš strežnik pokliče ponudnika modela. Vi ste lastnik dušilke.
- Varovalke za proračun: Nastavite dnevne ali mesečne omejitve porabe, kvote na uporabnika in časovne omejitve.
- Predpomnjenje: Predpomnite pogoste pozive in rezultate za zmanjšanje klicev.
- Vrnite se na UI na napravi, ko dosežete omejitve, ne pa na zaslon z napako.
Kdaj to uporabiti:
- Potrebujete boljše sklepanje, daljši kontekst ali multimodalno podporo, kot jo lahko obvlada majhen lokalni model.
- Želite ohraniti preprost brezplačni načrt, hkrati pa ponuditi plačljive ravni z več moči – še vedno brez izpostavljanja ključa.
Strategija št. 3: Vnaprej pripravite inteligenco (predloge premagajo žetone)
Tukaj je skrivnost, ki se je nauči vsak odličen vodja izdelkov UI: večina uporabnikov ne želi »pozivati«. Želijo gumbe, ki naredijo pravo stvar.
Zgradite svojo UI okoli predlog in strukturiranih dejanj namesto surovih oken za klepet. Dobili boste boljše rezultate, manj žetonov in manj mejnih primerov.
Primeri predlog, ki se zdijo ljubki:
- »Naj bo to prijaznejše, vendar ohranite isti pomen.«
- »Iz tega besedila izvlecite datume, imena in akcijske elemente.«
- »Ustvarite tri alternativne naslove pod {60} znakov.«
- »Spremenite ta zapisnik sestanka v dnevni red z lastniki in roki.«
To lahko zaženete z majhnimi modeli na napravi ali po potrebi prenesete v oblak. Kakor koli že, vi nadzirate poziv – tako nadzirate stroške in kakovost.
Strategija št. 4: Uporabite pridobivanje, da izgledate pametno, ne da bi veliko razmišljali
Veliki modeli halucinirajo. Majhni modeli halucinirajo hitreje. Pridobivanje preprečuje, da bi si oboji izmišljevali stvari.
- Zgradite lokalni indeks uporabnikove vsebine (dokumenti, zapiski, vstopnice) in najprej opravite semantično iskanje.
- Svojemu modelu posredujte samo najboljše izsečke. Manjši poziv, boljša natančnost.
- Za aplikacije, ki so prvenstveno usmerjene v zasebnost, naj bo indeks lokalni, tako da nič ne zapusti naprave.
Rezultat: Vaša aplikacija izgleda briljantno, medtem ko vaš model opravlja manj dela. Pomislite na to, kot da UI omogočate preizkus z odprto knjigo, namesto da bi jo prosili, da si zapomni celotno knjižnico.
Strategija št. 5: Ponudite najprej brez povezave z izbirnimi spletnimi supermočmi
Vaši uporabniki so na letalih, vlakih in občasno v kleti z enim stolpcem. Naj vaša UI deluje brez povezave. Nato, ko je povezava vzpostavljena, ponudite možnost vklopa »Močnega načina«.
Kako se to odvija:
- Brez povezave: Osnovno prepisovanje, povzemanje in izvleček prek modelov na napravi.
- Splet: Večja okna s kontekstom, boljše sklepanje in razumevanje slik prek vašega posredniškega strežnika.
- UI: Majhno stikalo »Strela«, ki pojasnjuje kompromis: »Hitreje in zasebno (brez povezave)« proti »Pametnejše, vendar uporablja oblak (spletno)«.
Ključi niso potrebni; brez presenetljivih računov. Samo izbira.
Strategija št. 6: Varovalke, ki ohranjajo funkcije ljubke, ne pa primerne za tožbo
Ljubka aplikacija je koristna, predvidljiva in ... dolgočasno varna. Vgradite varovalke:
- Filtri vsebine: Blokirajte škodljive pozive ali pozive, ki niso v skladu s pravilnikom, preden dosežejo kateri koli model.
- Prozorne oznake: Oznake »Ustvarjeno z UI« z zgodovino urejanja.
- Ponovljivost: Lokalno beležite pozive in nastavitve (s privolitvijo uporabnika), da je mogoče rezultate ponoviti.
- Izključitve za usposabljanje: Če karkoli natančno prilagodite, vprašajte. In naj bo »Ne« preprost gumb.
Načrt: Kako dodati UI ljubki aplikaciji (brez API ključev, brez dodatnega obračunavanja)
Spremenimo to v korak za korakom, od skice na servieti do dostavljene funkcije.
- Izberite eno nalogo za avtomatizacijo
- Izberite eno pogosto nalogo, ki jo vaši uporabniki opravljajo vsak dan. Primer: »Povzemi izbrano besedilo v petih točkah.«
- Napišite vrstico uspeha v preprosti angleščini: »Uporabnik označi besedilo, tapne Povzemi in dobi pet jasnih točk v manj kot dveh sekundah.«
- Izberite svoj odtis: najprej na napravi
- Začnite z majhnim kvantiziranim modelom. Naj bodo koristne obremenitve majhne, predpomnite model po prvem zagonu.
- Nastavite strogo omejitev žetonov. Če je besedilo dolgo, ga razdelite na dele in povzemite po delih.
- Zgradite predlogo, ne okna za klepet
- Trdo kodirajte navodila z nekaj jasnimi primeri. Izpostavite samo gumbe, ki so pomembni za uporabnika: ton, dolžina.
- Rezultatom dodajte vrstico z razlago: »Strnjeno za jasnost. Odstranjeno polnilo.«
- Dodajte pridobivanje za kontekst
- Če povzemate dokument, ki se sklicuje na druge dokumente, indeksirajte lokalno in povlecite ustrezne dele.
- Pokažite vire s citati, na katere je mogoče tapniti. Zaupanje je funkcija.
- Oblikujte Močni način (izbirno)
- Če so rezultati brez povezave šibki za mejne primere, dodajte »Močni način« v oblaku.
- Usmerjajte prek svojega strežnika, ne prek uporabnikovega ključa. Dodajte kvote in dnevne omejitve.
- Testirajte za užitek, ne samo za natančnost
- Izmerite čas do prvega žetona in čas dokončanja.
- A/B testna kopija: »Prepiši« proti »Poliraj«. Spojler: besede so pomembne.
- Beležite uporabniške urejanja po izhodu UI (s privolitvijo). Če vsi urejajo prvo točko, vaša predloga potrebuje delo, ne pa večji model.
- Cenite ga brez dodatne obračunske drame
- Vključite funkcijo UI v svoje obstoječe načrte.
- Uporabite mehke omejitve: »{20} zagonov Močnega načina/dan v načrtu Pro.«
- Ponudite neomejeno število zagonov brez povezave – ker je UI na napravi brezplačna.
Scenariji iz resničnega sveta, ki dejansko delujejo
Trije recepti majhnosti grižljaja, ki jih lahko dostavite ta mesec, za osnovno izkušnjo ne potrebujete ključev:
- Naloga: Očistite ton v e-poštnih sporočilih in sporočilih.
- Kako: Model na napravi s fiksnim pozivom za ohranitev pomena, odstranitev slovničnih težav in prilagoditev tona.
- UX: Predogled urejanja v vrstici s stikalom za Prijazno, Formalno, Jedrnato. Pokažite razlike, da se uporabniki učijo.
- Naloga: Spremenite zapisnike sestankov v akcijske elemente.
- Kako: Povzemanje na napravi v delih, nato izbirni Močni način za dolge prepise.
- UX: Rezultati, združeni po lastniku s predlogi rokov. Možnost tapkanja za kopiranje v orodje za opravila.
- Naloga: Poiščite ustrezne informacije v uporabnikovih dokumentih.
- Kako: Lokalni vektorski indeks + plitki LLM za sintezo.
- UX: Označuje s povezavami do virov in opombo »Zakaj ta rezultat?«. Zdi se, kot da je Ctrl+F doktoriral.
Nasveti za učinkovitost, da se vaša UI ne bo zdela kot dial-up
- Ogrejte model ob zagonu aplikacije z majhnim lažnim sklepanjem, tako da prva zahteva ni počasna.
- Predpomnite vgnezdenja in delne rezultate; jih ponovno uporabite med sejami.
- Pretakajte odgovore in upodabljajte vrstico za vrstico. Ljudje radi občutijo napredek, tudi če so to samo tri pike, ki plešejo.
- Ohranite nadzor nad pozivi. Predloge > eseji.
Zasebnost brez manifesta na {10} straneh
- Privzeto nastavite lokalno obdelavo. Naj bo obdelava v oblaku prijavna na funkcijo.
- Pojasnite v enem stavku: »To se izvaja v vaši napravi. Nič ni naloženo.« Ali: »To uporablja naš strežnik. Anonimizirano, nikoli prodano.«
- Zagotovite gumb za brisanje podatkov z enim dotikom. Nihče ne želi e-poštne verige, da bi izbrisal svoj seznam živil iz leta 2021.
Omeniti velja: priročen kopilot za to pot
Omeniti velja: če želite preveriti zdravje UI med prototipiranjem pozivov, lahko Sider.AI sedi v vašem brskalniku kot prijazen sosed, ki dejansko prebere pravila HOA. Lahko pripravite pozive, primerjate izhode in hitro ponavljate predloge, preden jih vgradite v svojo aplikacijo – ne da bi žonglirali s pol ducata nadzornih plošč. To ni oglas; to je bližnjica. Petminutni načrt integracije (a.k.a. vaša samolepilna opomba)
- Začnite z eno nalogo. Dostavite najmanjšo ljubko različico.
- Zaženite ga na napravi s kompaktnim kvantiziranim modelom.
- Zavijte ga v predlogo, ne v okno za klepet.
- Dodajte pridobivanje, da izgledate pametno, ne pa psihično.
- Ponudite Močni način prek svojega strežnika s trdimi omejitvami.
- Vse jasno označite. Zasebnost na prvem mestu. Užitek na drugem mestu. Vse ostalo na tretjem mestu.
Čemu se izogniti, da vaša aplikacija ne bo postala oglasna kampanja za UI
- Past čarobne palice: Ne obljubljajte, da »piše kot človek«. Piše kot UI, ki je pila kavo.
- Neomejene trditve: Merilniki žetonov vedno najdejo način, da uničijo dober dan.
- Igralnice za pozive za končne uporabnike: Odlične za predstavitve, slabe za vsakodnevno uporabo.
- Modeli, ki ustrezajo vsem: Izberite najmanjšo stvar, ki opravlja delo. Večje ni boljše; boljše je boljše.
Hitra vprašanja in odgovori za skeptičnega vodjo izdelkov
- »Ali lahko to res storimo brez API ključev?« Da. Najprej na napravi, posredniški strežnik izbiren. Uporabniki nikoli ne vidijo ključev.
- »Kaj pa kakovost?« Za osredotočene naloge so majhni modeli presenetljivo odlični – zlasti s pridobivanjem in predlogami.
- »Ali bomo prerasli lokalne modele?« Morda. Za to je Močni način. Povežite ga s svojim načrtom, ne s kreditno kartico uporabnika.
- »Kako preprečimo presenečenja?« Omejitve, predpomnjenje in jasna privzeta nastavitev brez povezave. Vi ste odrasli v sobi.
Majhna študija primera v treh odstavkih
Majhna aplikacija za zapiske je dodala gumb »Povzemi« na napravi. Izvajala je {4-bitni} model {3B} s fiksno predlogo in omejitvijo {500} žetonov. Povprečni odzivni čas: {1,6} sekunde na nedavnih telefonih.
Uporabniki so jo imeli radi za dnevne izsečke, vendar so se pritoževali nad dolgimi raziskovalnimi zapiski. Skupina je dodala izbirni Močni način, usmerjen prek njihovega strežnika z dnevnimi kvotami na uporabnika. Zadovoljstvo se je povečalo, stroški so ostali predvidljivi.
Presenetljivo: Vstopnice za podporo so se zmanjšale, ker ni bilo treba spopadati z API ključi, ni bilo e-poštnih sporočil »Zakaj mi je bilo zaračunano {27} $?« in ni bilo strašljivih zaslonov z omejitvijo števila zahtev.
Povzetek: vaša ljubka aplikacija UI, minus mačka po obračunu
Tukaj je igra: Zgradite eno osredotočeno funkcijo UI, ki deluje brez povezave. Zavijte jo v predlogo, ki jo uporabniki razumejo. Izboljšajte jo s pridobivanjem. Ponudite omejen Močni način, ki ga nadzoruje vaš strežnik. Bodite pošteni glede zasebnosti. In testirajte za užitek, kot da bi to bilo vaše delo – ker tudi je.
Tako dodate UI ljubki aplikaciji (brez API ključev, brez dodatnega obračunavanja). Zdaj, če bi IKEA le dostavila kvantiziran imbus ključ.
Pogosta vprašanja
V1: Ali lahko dodam funkcije UI, ne da bi od uporabnikov zahteval API ključe?
Da. Zaženite majhne modele na napravi za osnovne funkcije in po potrebi usmerjajte klice v oblak prek svojega posredniškega strežnika z omejitvami. Uporabniki se nikoli ne dotaknejo ključev in ohranjate predvidljivo porabo.
V2: Ali bo UI na napravi dovolj natančna za mojo aplikacijo?
Za osredotočene naloge, kot so prepisovanje, povzemanje in izvleček, se kompaktni modeli odlično obnesejo – zlasti s predlogami in pridobivanjem. Prihranite kompleksno sklepanje ali velik kontekst za izbirni Močni način.
V3: Kako se izognem presenetljivim stroškom UI brez dodatnega obračunavanja?
Privzeto nastavite obdelavo na napravi in agresivno predpomnite. Za povečanje v oblaku nastavite kvote na strani strežnika, dnevne omejitve in časovne omejitve – nato se elegantno vrnite na lokalne rezultate.
V4: Kakšna je najboljša UX za UI, ki jo uporabniki dejansko obožujejo?
Gumbi, ki dobro opravljajo eno nalogo, premagajo odprt klepet. Uporabite predloge z jasnimi toni in dolžinami, pokažite razlike ali razlage in označite zasebnost: način brez povezave proti Močnemu načinu v oblaku.
V5: Kako ohranjam UI zasebno in skladno?
Privzeto obdelujte lokalno, razkrijte, kdaj uporabljate oblak, in zagotovite brisanje podatkov z enim dotikom. Dodajte filtre vsebine in navedite vire, da zgradite zaupanje brez romana o zasebnosti.
