શું તમે ક્યારેય નાના કાર્ટૂનવાળા માણસ વિના IKEA ફર્નિચરનો ટુકડો જોડવાનો પ્રયાસ કર્યો છે? લોકલ AI મોડેલ્સને સ્પિનિંગ કરવું એવું જ લાગે છે. ઘણા ભાગો, રહસ્યમય નામો અને એક ડર કે તમે “LLM runtime” લેબલવાળો સ્ક્રૂ ચૂકી ગયા હશો. Ollama માં પ્રવેશ કરો. તે તમારી પોતાની મશીન પર મોટા લેંગ્વેજ મોડેલ્સ ચલાવવા માટેનું એલન રેંચ છે—ઝડપી, ખાનગી અને આશ્ચર્યજનક રીતે ત્રાસ આપવાનું સાધન નથી.
આ માર્ગદર્શિકામાં, અમે ખરેખર Ollama નો ઉપયોગ કરવા જઈ રહ્યા છીએ. ફક્ત તેના વિશે વાંચવા માટે નહીં. અમે તેને ડાઉનલોડ કરીશું, મોડેલ ચલાવીશું, તેને કસ્ટમાઇઝ કરીશું, તેને તમારા મનપસંદ ટૂલ્સમાં પાઇપ કરીશું, "મારો પંખો કેમ ચીસો પાડી રહ્યો છે?" ક્ષણ ઠીક કરીશું અને એક એવા સેટઅપ સાથે દૂર જઈશું જેના પર તમે કામ કરવા માટે વિશ્વાસ મૂકી શકો. હા, ઑફલાઇન પણ. હા, પ્લેનમાં પણ. ના, તમારે Ph.D. અથવા સર્વર ફાર્મની જરૂર નથી.
તમારી લેપટોપને બગાડ્યા વિના અથવા તમારી માનસિક શાંતિ ગુમાવ્યા વિના Ollama નો ઉપયોગ કેવી રીતે કરવો તે અહીં છે.
Ollama શું છે (અને તમારે શા માટે તેની કાળજી લેવી જોઈએ)?
Ollama એ મોટા લેંગ્વેજ મોડેલ્સ (LLMs) ને સ્થાનિક રીતે ચલાવવાની એક સરળ રીત છે. ChatGPT વિચારો, પરંતુ મોડેલ તમારા કમ્પ્યુટર પર રહે છે. તેના ફાયદા:
- ગોપનીયતા: તમારો ડેટા તમારા મશીન પર જ રહે છે. કોઈ રહસ્યમય ક્લાઉડ ટ્રિપ નહીં.
- ઝડપ: સર્વર માટે રાહ જોવાની જરૂર નથી. તે તમારા CPU/GPU નો ચમકવાનો સમય છે.
- નિયંત્રણ: મોડેલ, સંસ્કરણ, કદ અને વર્તન પસંદ કરો.
જો તમે ક્યારેય વિચાર્યું હોય કે, "હું મારી અંગત નોંધોને નેપ્ચ્યુન પર મોકલ્યા વિના AI ને પ્રશ્નો પૂછી શકું તો સારું", તો આ તમારા માટે છે.
Ollama નો ઉપયોગ કરવાની સૌથી ઝડપી રીત
તમે કેવી રીતે કરવું તે જાણવા આવ્યા છો. ચાલો કેવી રીતે કરવું તે કરીએ.
પગલું 1: Ollama ઇન્સ્ટોલ કરો
- macOS: સત્તાવાર સાઇટ પરથી ઇન્સ્ટોલરનો ઉપયોગ કરો અથવા
brew install --cask ollama જો તમને શક્તિશાળી લાગવું ગમે છે.
- Windows: ઇન્સ્ટોલર મેળવો. તે એક સામાન્ય સેટઅપ છે—નેક્સ્ટ, નેક્સ્ટ, ઇન્સ્ટોલ.
- Linux: સત્તાવાર સ્ક્રિપ્ટ દ્વારા વન-લાઇનર. 30 સેકન્ડ માટે તમારા આંતરિક સિસએડમિનને ચેનલ કરો.
એકવાર ઇન્સ્ટોલ થઈ ગયા પછી, Ollama એક લોકલ સર્વિસ ચલાવે છે. તમે તેની સાથે ટર્મિનલ, પાવરશેલ અથવા અન્ય એપ્લિકેશન્સ દ્વારા વાત કરો છો જે તેની સાથે સંકલિત થાય છે.
પગલું 2: તમારું પહેલું મોડેલ ખેંચો
તમારા ટર્મિનલમાં:
પહેલીવાર, Ollama મોડેલ વેઇટ્સ ડાઉનલોડ કરે છે. તેને મોટી Netflix મૂવીને કેશિંગ કરવા જેવું વિચારો. તે પછી, તે ત્વરિત છે. તમને એક પ્રોમ્પ્ટ મળશે જ્યાં તમે ટાઇપ અને ચેટ કરી શકો છો.
એક પરીક્ષણ અજમાવો: "પેંગ્વિન પર વિકિપીડિયાની એન્ટ્રીનો 2-વાક્યનો સારાંશ લખો—કોઈ વધારાની માહિતી નહીં." જો તે પેંગ્વિન TED ટોક સાથે જવાબ આપે છે, તો તમને ખબર છે કે તે જીવંત છે.
પગલું 3: પ્લેલિસ્ટ્સ બદલો તેમ મોડેલ્સ બદલો
તમે અજમાવી શકો તેવા લોકપ્રિય મોડેલ્સ:
દરેકની અલગ-અલગ શક્તિઓ છે. Mistral ઝડપી છે. Llama 3.1 સારી રીતે ગોઠવાયેલ છે. Phi હલકું છે અને તેના કદ માટે આશ્ચર્યજનક રીતે હોશિયાર છે. તમે ચોક્કસ ટૅગ્સ ખેંચી શકો છો, દા.ત., llama3:8b-instruct અથવા નાના ક્વોન્ટાઇઝ્ડ વેરિઅન્ટ્સ.
પ્રો ટીપ: અગાઉથી ડાઉનલોડ કરવા માટે ollama pull <model> નો ઉપયોગ કરો. તમારી પાસે શું છે તે જોવા માટે ollama list નો ઉપયોગ કરો અને જો તમારી SSD રડી રહી હોય તો ollama rm <model> નો ઉપયોગ કરો.
પગલું 4: સામાજિક કુશળતા ધરાવતા હેકરની જેમ ટર્મિનલમાંથી ચેટ કરો
- સત્ર શરૂ કરો:
ollama run llama3
- સિસ્ટમ સંદેશ પ્રદાન કરો:
ollama run llama3 --system "તમે એક સંક્ષિપ્ત કોડિંગ સહાયક છો."
- ચેટ મોડમાં પ્રવેશ્યા વિના વન-ઑફ પ્રોમ્પ્ટ આપો:
ollama run llama3 -p "મને પાંચ વર્ષનો બાળક હોઉં તેમ Kubernetes સમજાવો."
તમે એક જાદુગર જેવા અવાજ કરવા લાગશો. એક નમ્ર જાદુગર.
પગલું 5: તમારી મનપસંદ એપ્લિકેશન્સ સાથે Ollama નો ઉપયોગ કરો
Ollama નો ઉપયોગ કેવી રીતે કરવો તે અહીં મનોરંજક બને છે. Ollama HTTP બોલે છે. તેનો અર્થ એ થાય છે કે ઘણા બધા ટૂલ્સ તેની સાથે વાત કરી શકે છે.
- લોકલ વેબ UI: ઘણા AI ચેટ UI તમારા Ollama એન્ડપોઇન્ટ સાથે કનેક્ટ થઈ શકે છે. તમને એક સુંદર વિન્ડો, અલગ ચેટ્સ અને ઇતિહાસ મળે છે.
- કોડ એડિટર્સ: VS Code માટેના એક્સ્ટેન્શન્સ તમારા પ્રોમ્પ્ટ્સને Ollama પર રૂટ કરી શકે છે—ઇનલાઇન કોડ સમજૂતીઓ, રિફેક્ટર્સ અને પરીક્ષણો.
- નોટટેકિંગ એપ્લિકેશન્સ: કેટલીક તમને સારાંશ અને બ્રેઇનસ્ટોર્મિંગ માટે લોકલ મોડેલ સાથે કનેક્ટ થવા દે છે. મીટિંગ નોટ્સ માટે પરફેક્ટ જે ખરેખર ક્યાંક જાય છે.
ધ્યાન રાખો: જો તમને સુપર ક્લીન, બ્રાઉઝર-આધારિત ચેટ અને સંશોધન વર્કફ્લો જોઈએ છે, તો નોંધવું યોગ્ય છે—Sider.AI લોકલ અને ક્લાઉડ મોડેલ્સ સાથે કનેક્ટ થઈ શકે છે, ચેટ્સને વ્યવસ્થિત કરી શકે છે અને તમને બાજુ-બાજુ પ્રોમ્પ્ટ્સનું પરીક્ષણ કરવામાં મદદ કરે છે. જ્યારે હું "મોડેલ A સ્માર્ટ છે" અને "મોડેલ B ઝડપી છે" વચ્ચે ફાટી ગયો હોઉં, ત્યારે તે મને પ્રમાણિક રાખે છે. શરૂઆત કરનારની બ્લુપ્રિન્ટ: Ollama સાથેનો તમારો પ્રથમ ઉત્પાદક કલાક
તમારી પાસે 60 મિનિટ છે. ચાલો "હં?" ને "હેક યસ" માં ફેરવીએ.
- Ollama ઇન્સ્ટોલ કરો. કોફીનો ઘૂંટડો ભરો. થઈ ગયું.
llama3:8b-instruct ખેંચો. તે મોટાભાગના લેપટોપ પર ગુણવત્તા અને ઝડપ માટે એક સારો સ્પોટ છે.
- તમારા કાર્યને બંધબેસતો સિસ્ટમ પ્રોમ્પ્ટ બનાવો: "તમે મારા સંશોધન સહાયક છો. હંમેશા સ્ત્રોતો અને બુલેટ પોઇન્ટ્સ પ્રદાન કરો. જ્યાં સુધી હું કહું નહીં ત્યાં સુધી જવાબો 200 શબ્દોથી ઓછા રાખો."
- તમે ખરેખર કરો છો તેવા ત્રણ કાર્યોનું પરીક્ષણ કરો:
- 250 શબ્દોથી ઓછામાં એક લેખ પેસ્ટ-ઇનનો સારાંશ આપો.
- તમારા ન્યૂઝલેટર માટે 10 શીર્ષક વિચારોનું બ્રેઇનસ્ટોર્મ કરો.
- મીટિંગ નોટ્સને માલિકો અને તારીખો સાથે એક્શન આઇટમ્સમાં ફેરવો.
- તમને ગમતા પ્રોમ્પ્ટ્સ સાચવો. તેનો ફરીથી ઉપયોગ કરો. આ રીતે તમે AI સાથે રમવાથી લઈને ખરેખર તેનો ઉપયોગ કરવા સુધી જાઓ છો.
બોનસ: જો તમે કોડ લખો છો, તો codellama અથવા કોડ-ટ્યૂન્ડ મોડેલ ખેંચો અને તેને તમારું ફંક્શન ફીડ કરો. પરીક્ષણો, રિફેક્ટર્સ અથવા ડોકસ્ટ્રિંગ્સ માટે પૂછો. તમે 30% વધુ સ્માર્ટ અનુભવશો, જે લોકલ AI માટે કાનૂની મર્યાદા છે.
યોગ્ય મોડેલ કેવી રીતે પસંદ કરવું (માથાનો દુખાવો વિના)
મોડેલ પસંદ કરવું એ સ્ટ્રીમિંગ પ્લાન પસંદ કરવા જેવું છે: તમે જે વસ્તુઓની જરૂર નથી તેના માટે તમે ચોક્કસપણે વધારે ચૂકવણી કરી શકો છો.
- લેખન અને બ્રેઇનસ્ટોર્મિંગ:
llama3 અથવા mistral મહાન છે.
- સુપર હલકા લેપટોપ:
phi3 અથવા મોટા મોડેલોના નાના ક્વોન્ટાઇઝ્ડ વર્ઝન અજમાવો.
- કોડિંગ સહાય:
codellama, deepseek coder, અથવા કોડ-ઑપ્ટિમાઇઝ્ડ વેરિઅન્ટ.
- બહુભાષી:
qwen પરિવારો નક્કર બહુભાષી કાર્ય કરે છે.
- લાંબા સંદર્ભ: જો તમે મોટા દસ્તાવેજો ફીડ કરો છો, તો મોટા સંદર્ભ વિન્ડો સાથે લેબલવાળા મોડેલ્સ શોધો.
જો દરેક વખતે તમે પ્રોમ્પ્ટ કરો છો ત્યારે તમારો પંખો હેલિકોપ્ટરમાં ફેરવાય છે, તો મોડેલનું કદ ઘટાડો અથવા વધુ આક્રમક ક્વોન્ટાઇઝેશનનો પ્રયાસ કરો.
સિક્રેટ સોસ: મોડેલફાઇલ્સ અને કસ્ટમ વર્તણૂકો
Ollama અહીં આશ્ચર્યજનક રીતે આનંદદાયક બને છે. તમે મોડેલફાઇલ બનાવી શકો છો—મૂળભૂત રીતે એક રેસીપી—જે તમારા મોડેલ વત્તા તેના વ્યક્તિત્વ અને ડિફૉલ્ટ્સને વ્યાખ્યાયિત કરે છે.
ઉદાહરણ મોડેલફાઇલ (સૈદ્ધાંતિક):
FROM llama3:8b-instruct
SYSTEM "તમે એક ચપળ, મૈત્રીપૂર્ણ સહાયક છો. બુલેટ પોઇન્ટ્સ અને ટૂંકા વાક્યોનો ઉપયોગ કરો."
PARAMETER temperature 0.5
તેને ફોલ્ડરમાં મોડેલફાઇલ તરીકે સાચવો, પછી ચલાવો:
ollama create crisp-assistant -f Modelfile
ollama run crisp-assistant
હવે તમારી પાસે એક કસ્ટમ સહાયક છે જેનો તમે દરેક જગ્યાએ ફરીથી ઉપયોગ કરી શકો છો. તે તમારી પોતાની ખાનગી ChatGPT ફ્લેવર બનાવવા જેવું છે—વેનીલા, એસ્પ્રેસો શૉટ્સ સાથે.
મારી સાથે JSON માં વાત કરો: Ollama ના HTTP API નો ઉપયોગ કરવો
જો તમારી પાસે હળવા ડેવલપર વલણો પણ હોય, તો API તમને સ્મિત કરાવશે.
- એન્ડપોઇન્ટ: ` ટેક્સ્ટ જનરેશન માટે.
model, prompt અને વૈકલ્પિક stream સાથે JSON પેલોડ મોકલો.
- તમને સ્ટ્રીમમાં ટોકન્સ પાછા મળશે. તે વાસ્તવિક સમયમાં એક સમયે એક અક્ષરની જેમ નવલકથા વાંચવા જેવું લાગે છે.
API નો ઉપયોગ શા માટે કરવો?
- ન્યૂઝલેટર સારાંશને સ્વચાલિત કરો.
- તમારા દસ્તાવેજો પર ચેટબોટ બનાવો.
- ઉત્પાદન વર્ણનોને જથ્થાબંધ ફરીથી લખવા માટે સ્ક્રિપ્ટ્સ બનાવો. (ફક્ત તે બધાને રોબોટ જેવા અવાજ ન કરો જેણે એકવાર ઇમ્પ્રૂવ લીધું હતું.)
તમારી પોતાની ફાઇલો સાથે Ollama નો ઉપયોગ કેવી રીતે કરવો (ગુસ્સા વિના RAG)
RAG—રીટ્રીવલ-ઓગમેન્ટેડ જનરેશન—તમારી ફાઇલોને મોડેલમાં ફીડ કરે છે જેથી તે તેની અસ્પષ્ટ મેમરીથી નહીં, પરંતુ તમારી સામગ્રીના તથ્યો સાથે જવાબ આપે.
મૂળભૂત પાથ:
- તમારા દસ્તાવેજોને ઇન્ડેક્સ કરવા માટે લોકલ એમ્બેડિંગ ટૂલનો ઉપયોગ કરો.
- દરેક પ્રશ્ન પર, ટોચના ભાગો માટે શોધો.
- Ollama ને તમારા પ્રોમ્પ્ટમાં સંદર્ભ તરીકે સૌથી સુસંગત ટેક્સ્ટ મોકલો.
તેને AI માટે ઓપન-બુક પરીક્ષણ જેવું વિચારો. તેને તમારી કર્મચારી હેન્ડબુકને "યાદ રાખવાની" જરૂર નથી—તેને ફક્ત તેનો ઉલ્લેખ કરવાની જરૂર છે.
પ્રો મૂવ: તમારા ભાગોને નાના (200–600 શબ્દો) રાખો, હેડિંગ્સ ઉમેરો અને પ્રોમ્પ્ટમાં સ્ત્રોત લિંક્સ શામેલ કરો જેથી મોડેલ ટાંકવાનું શીખે.
પર્ફોર્મન્સ ટ્યુનિંગ: Ollama ને ઉડાન ભરો (તમારી ડેસ્કને ઓગાળ્યા વિના)
- ક્વોન્ટાઇઝેશન મહત્વપૂર્ણ છે: Q4 નાનું/ઝડપી છે, Q8 મોટું/સ્માર્ટ છે. નાનાથી શરૂ કરો, ઉપર જાઓ.
- જો ઉપલબ્ધ હોય તો GPU નો ઉપયોગ કરો: Apple સિલિકોન મહાન કાર્ય કરે છે. નવા NVIDIA કાર્ડ્સ? શેફનું ચુંબન.
- તાપમાન: ચોક્કસ જવાબો માટે નીચું (0.2–0.5); સર્જનાત્મક અંધાધૂંધી માટે ઊંચું (0.8+).
- મહત્તમ ટોકન્સ: જ્યાં સુધી તમને ખરેખર જરૂર ન હોય ત્યાં સુધી 3,000-શબ્દોની નવલકથા માટે પૂછશો નહીં. તમારું લેપટોપ જીવવા માંગે છે.
જો જવાબો સુસ્ત લાગે છે:
- Chrome ટૅબ્સ બંધ કરો. હા, બધા 47.
- હંગામી રૂપે બેકગ્રાઉન્ડ સિંક એપ્લિકેશન્સને અક્ષમ કરો.
સુરક્ષા અને ગોપનીયતા: વાસ્તવિક કારણ કે લોકો Ollama નો ઉપયોગ કરે છે
લોકલ એટલે લોકલ. પરંતુ ચાલો બેદરકાર ન બનીએ.
- સંવેદનશીલ ડેટા: તમે ક્લાઉડ કરતાં વધુ સુરક્ષિત છો, પરંતુ તમારી ડ્રાઇવને એન્ક્રિપ્ટ કરો અને સુરક્ષિત રીતે બેક અપ લો.
- મોડેલ સ્ત્રોતો: વિશ્વસનીય રેપોમાંથી ખેંચો. જો મોડેલનું વર્ણન કીબોર્ડ પર ચાલતી બિલાડી દ્વારા લખાયેલું હોય તેવું લાગે છે, તો કદાચ તેને છોડી દો.
- નેટવર્ક એક્સેસ: Ollama સ્થાનિક રીતે ચાલે છે; જ્યાં સુધી તમે શું કરી રહ્યા છો તે જાણતા ન હો ત્યાં સુધી જાહેર નેટવર્ક્સ પર પોર્ટને ખુલ્લો ન કરો.
દૈનિક વર્કફ્લો જેનો તમે ખરેખર ઉપયોગ કરશો
કારણ કે "વાહ સરસ" એ "હું આનો દરરોજ ઉપયોગ કરું છું" જેવું નથી. વાસ્તવિક જીવનમાં Ollama નો ઉપયોગ કેવી રીતે કરવો તે અહીં છે:
- મીટિંગ ક્લીનર: નોંધો પેસ્ટ કરો, વ્યક્તિ દ્વારા એક્શન આઇટમ્સ માટે પૂછો અને ફોલો-અપ ઇમેઇલ ડ્રાફ્ટની વિનંતી કરો.
- સંશોધન મિત્ર: એક લેખ પેસ્ટ કરો. દાવાઓને માન્ય કરવા માટે એક વિરોધી દલીલ, 3 સ્ત્રોતો અને 60-સેકન્ડનો સારાંશ પૂછો.
- કોડિંગ કોપાયલોટ: ડોકસ્ટ્રિંગ્સ, પરીક્ષણો અથવા સલામત રેજેક્સ માટે પૂછો. તેને સાદા અંગ્રેજીમાં તમને પાછા ફેરફાર સમજાવવા માટે કહો.
- લેખન સ્પ્રિન્ટ: પહેલા રૂપરેખા બનાવો, પછી વિસ્તૃત કરો, પછી સ્વરને કડક બનાવો. તમારી વાણીને વ્યાખ્યાયિત કરતો સિસ્ટમ સંદેશ રાખો.
- શીખવું: મને SSH શીખવો જેમ કે તમે મારા ધૈર્યવાન મોટા પિતરાઈ ભાઈ છો. પછી મારી પરીક્ષા લો.
ધ્યાન રાખો: જો તમને આ બધું એક જ જગ્યાએ રાખવું ગમે છે—ચેટ ઇતિહાસ, બાજુ-બાજુ મોડેલ પરીક્ષણો અને ઝડપી વેબ લૂકઅપ્સ—Sider.AI લોકલ મોડેલ્સ સાથે સરસ રીતે રમે છે અને તમને એક સ્વચ્છ કોકપીટ આપે છે. તે તમારા પ્રોમ્પ્ટ્સ માટે મિશન કંટ્રોલ જેવું છે. મુશ્કેલીનિવારણ: જ્યારે Ollama મૂડી બને છે
- "મોડેલ મળ્યું નથી." તમે તેને હજી સુધી ખેંચ્યું નથી.
ollama pull <model>.
- "મેમરી પૂરી થઈ ગઈ." નાનું ક્વોન્ટાઇઝેશન અથવા મોડેલનું કદ વાપરો.
- "તે એટલું ધીમું છે કે હું મારા લેપટોપને વૃદ્ધ થતો સાંભળી શકું છું." મહત્તમ ટોકન્સ ઘટાડો, મોડેલ્સ બદલો અથવા GPU પ્રવેગકનો ઉપયોગ કરો.
- "જવાબો ખૂબ જ અસ્પષ્ટ છે." તાપમાન ઓછું કરો અને તમારા પ્રોમ્પ્ટમાં ઉદાહરણો ઉમેરો.
- "તે મારી સૂચનાઓને અવગણવાનું ચાલુ રાખે છે." વપરાશકર્તા પ્રોમ્પ્ટમાં નહીં, પરંતુ સિસ્ટમ પ્રોમ્પ્ટમાં નિયમો મૂકો.
પ્રો ટીપ: કામ કરતા પ્રોમ્પ્ટ્સ સાચવો. સારા પ્રોમ્પ્ટ્સ સારી કોફી રેસિપી જેવા હોય છે. ભવિષ્યમાં તમે ભૂતકાળના તમેનો આભાર માનશો.
અદ્યતન ચાલ: મલ્ટિ-મોડેલ, ટૂલ્સ અને ઓટોમેશન
- ચેઇન-ઑફ-થોટ લાઇટ: જવાબ આપતા પહેલા પગલાંની સૂચિ બનાવવા માટે કહો. "પહેલા રૂપરેખા બનાવો, પછી ફકરા દ્વારા ફકરો લખો."
- મલ્ટિ-મોડેલ વર્કફ્લો: સર્જનાત્મક મોડેલ સાથે બ્રેઇનસ્ટોર્મ કરો, ચોક્કસ સાથે ચકાસો. બડી કોપ મૂવી વિચારો.
- ટૂલનો ઉપયોગ: સ્ક્રિપ્ટ્સ દ્વારા Ollama ની આસપાસ વેબ શોધ, કેલ્ક્યુલેટર અથવા કોડ એક્ઝેક્યુશન રેપ કરો. મોડેલને કયું ટૂલ કૉલ કરવું તે નક્કી કરવા દો, પરંતુ આઉટપુટને માન્ય કરો.
- બેચ જોબ્સ: API ને કૉલ કરતી અને પરિણામો પાછા લખતી સ્ક્રિપ્ટમાં ઉત્પાદન વર્ણનોની CSV પાઇપ કરો. કોફી, ચલાવો, થઈ ગયું.
ટીમ્સમાં Ollama નો સુરક્ષિત રીતે ઉપયોગ કેવી રીતે કરવો
જો તમે બિનસત્તાવાર IT વ્યક્તિ છો (માફ કરશો), તો ગાર્ડરેલ્સ સેટ કરો:
- થોડા મંજૂર મોડેલો પર પ્રમાણિત કરો.
- ટીમ વૉઇસ અને ફોર્મેટિંગ માટે મોડેલફાઇલ શેર કરો.
- પુનરાવર્તિત કાર્યો માટે પ્રોમ્પ્ટ લાઇબ્રેરી રાખો.
- ચોક્કસ વર્કફ્લો માટે ઇનપુટ/આઉટપુટ લૉગ કરો—સ્થાનિક રીતે—જેથી તમે લોકો પર છૂપાયા વિના ગુણવત્તાની સમીક્ષા કરી શકો.
"શું મારે ક્લાઉડની જરૂર છે?" પ્રશ્ન
કેટલીકવાર હા. જો તમને વિશાળ-સંદર્ભ સંશોધન, અતિ-આધુનિક તર્ક અથવા મલ્ટિ-મોડલ જાદુગરીની જરૂર હોય, તો ક્લાઉડ મોડેલ હજી પણ જીતી શકે છે. હાઇબ્રિડ ચાલ સ્માર્ટ છે:
- ડ્રાફ્ટ્સ, ખાનગી દસ્તાવેજો અને ઝડપી પુનરાવર્તન માટે Ollama નો સ્થાનિક રીતે ઉપયોગ કરો.
- જટિલ તર્ક અથવા વિશાળ ઇનપુટ્સ માટે ક્લાઉડ મોડેલનો ઉપયોગ કરો.
- એક જ ઇન્ટરફેસમાં પરિણામોની તુલના કરો જેથી તમે તમારી આંખોથી પસંદ કરી રહ્યા હો, વાઇબ્સથી નહીં.
નોંધવું યોગ્ય છે: Sider.AI તે સરખામણીને પીડારહિત બનાવે છે. તમે સમાન પ્રોમ્પ્ટને લોકલ Ollama અને ક્લાઉડ મોડેલ પર રૂટ કરી શકો છો, પછી શ્રેષ્ઠ પ્રતિસાદ પસંદ કરી શકો છો અથવા તેમને મર્જ કરી શકો છો. તે બે કોફીનું સ્વાદ-પરીક્ષણ કરવા અને એ સમજવા જેવું છે કે તમે તેમને મિક્સ કરી શકો છો. ઓફિસ Ollama વ્હીસ્પરર બનવા માટે તમારી એક-સપ્તાહની યોજના
દિવસ 1: ઇન્સ્ટોલ કરો, llama3 ખેંચો, સિસ્ટમ પ્રોમ્પ્ટ સેટ કરો.
દિવસ 2: તમારા સ્વર માટે મોડેલફાઇલ બનાવો. બે મોડેલો અજમાવો અને તફાવતોની નોંધ લો.
દિવસ 3: નોટટેકિંગ અથવા કોડિંગ ટૂલને Ollama માં વાયર કરો.
દિવસ 4: થોડા PDF સાથે નાનો RAG પ્રોટોટાઇપ બનાવો.
દિવસ 5: API સાથે એક કંટાળાજનક કાર્યને સ્વચાલિત કરો.
દિવસ 6: તમારી ટીમ સાથે પ્રોમ્પ્ટ લાઇબ્રેરી શેર કરો.
દિવસ 7: શું કામ કર્યું તેની સમીક્ષા કરો, શું કામ ન કર્યું તેને દૂર કરો અને ડિફૉલ્ટ્સ સેટ કરો.
તે સમયે તમે ફક્ત Ollama નો ઉપયોગ કેવી રીતે કરવો તે જાણશો નહીં—તમે તેના વિશે વિચાર્યા વિના તેનો ઉપયોગ કરશો, જે આપણે રાખીએ છીએ તે ટૂલ્સનો સંપૂર્ણ મુદ્દો છે.
બોટમ લાઇન
Ollama નો ઉપયોગ કેવી રીતે કરવો તે ત્રણ બાબતો પર આવે છે:
- શરૂ કરવા માટે તેને સ્થાનિક અને સરળ રાખો. એક મોડેલ ખેંચો, ત્રણ વાસ્તવિક કાર્યો કરો.
- સિસ્ટમ પ્રોમ્પ્ટ્સ અને મોડેલફાઇલ્સ સાથે વર્તનને કસ્ટમાઇઝ કરો જેથી તે તમારા મગજને બંધબેસે, બીજી રીતે નહીં.
- તેને જ્યાં તમે કામ કરો છો—એડિટર, બ્રાઉઝર, નોટ્સ—ત્યાં સંકલિત કરો જેથી તે બીજી ટેબ ન હોય જેને તમે ભૂલી જાઓ.
Ollama તમારા લેપટોપને જાદુઈ બનાવશે નહીં. તે તેને તમારું વધુ બનાવશે. અને એવી દુનિયામાં જ્યાં દરેક એપ્લિકેશન તમારા ડેટાને કોઈ બીજાના સર્વર પર શટલ કરવાનો પ્રયાસ કરે છે, તે એક તાજગીપૂર્ણ અપગ્રેડ છે.
હવે તમારા લોકલ AI ને વધુ સારી આઉટ-ઓફ-ઓફિસ સંદેશ લખવા માટે કહો. અને કદાચ તમને ખરેખર રજા લેવાનું યાદ અપાવવા માટે.
FAQ
Q1:Ollama સાથે શરૂઆત કરવાનો સૌથી સરળ રસ્તો કયો છે?
તેને ઇન્સ્ટોલ કરો, llama3:8b-instruct જેવા મૈત્રીપૂર્ણ મોડેલને ખેંચો અને થોડા વાસ્તવિક કાર્યો ચલાવો—સારાંશ, રૂપરેખા અથવા ઇમેઇલ ડ્રાફ્ટ્સ. સ્પષ્ટ, અનુમાનિત જવાબો માટે તાપમાન ઓછું રાખો અને સારી રીતે કામ કરતા કોઈપણ પ્રોમ્પ્ટ્સને સાચવો.
Q2:મારે Ollama માં લેખન અને કોડિંગ માટે કયું મોડેલ વાપરવું જોઈએ?
લેખન માટે, સંતુલિત ગુણવત્તા અને ઝડપ માટે llama3 અથવા mistral થી શરૂઆત કરો. કોડિંગ માટે, codellama અથવા કોડ-ઓપ્ટિમાઇઝ્ડ મોડેલ અજમાવો; ઓછી ભ્રમણાઓ માટે તાપમાન 0.2–0.4 ની આસપાસ રાખો.
Q3:શું હું Ollama (RAG) સાથે મારા પોતાના દસ્તાવેજોનો ઉપયોગ કરી શકું?
હા—એમ્બેડિંગ ટૂલ વડે તમારી ફાઇલોને ઇન્ડેક્સ કરો, દરેક ક્વેરી પર ટોચના ભાગો પુનઃપ્રાપ્ત કરો અને તે ભાગોને Ollama ને તમારા પ્રોમ્પ્ટમાં સંદર્ભ તરીકે શામેલ કરો. તે તમારા AI માટે ઓપન-બુક મોડ જેવું છે, અને તે તથ્યાત્મક ચોકસાઈમાં ધરખમ સુધારો કરે છે.
Q4:મારું લેપટોપ પર Ollama ધીમું કેમ છે અને હું તેને કેવી રીતે ઝડપી બનાવી શકું?
નાના ક્વોન્ટાઇઝ્ડ મોડેલનો ઉપયોગ કરો (દા.ત., Q4), મહત્તમ ટોકન્સ ઘટાડો અને જો જરૂરી હોય તો તાપમાન ઓછું કરો. જો તમારી પાસે Apple સિલિકોન અથવા આધુનિક NVIDIA GPU છે, તો નોંધપાત્ર વધારા માટે હાર્ડવેર પ્રવેગકને સક્ષમ કરો.
Q5:Sider.AI Ollama વર્કફ્લોમાં કેવી રીતે બંધ બેસે છે?
Sider.AI તમારા લોકલ Ollama મોડેલ્સ અને ક્લાઉડ મોડેલ્સને એક જ ઇન્ટરફેસમાં કનેક્ટ કરી શકે છે, જેનાથી આઉટપુટ્સની તુલના કરવી અને ચેટ્સને વ્યવસ્થિત કરવી સરળ બને છે. પ્રોમ્પ્ટ્સનું પરીક્ષણ કરવા, ઇતિહાસને વ્યવસ્થિત રાખવા અને પાંચ એપ્લિકેશન્સને જુગલ કર્યા વિના શ્રેષ્ઠ જવાબ પસંદ કરવા માટે તે સરળ છે. 
