Hai mai provato ad assemblare un mobile IKEA senza il piccolo omino dei cartoni animati? Ecco, avviare modelli di IA locali può sembrare proprio così. Un sacco di pezzi, nomi misteriosi e la paura persistente di aver perso una vite etichettata come “runtime LLM”. Ecco che entra in gioco Ollama. È la chiave a brugola per eseguire modelli linguistici di grandi dimensioni sulla tua macchina: veloce, privato e, sorprendentemente, non uno strumento di tortura.
In questa guida, useremo effettivamente Ollama. Non solo leggeremo qualcosa al riguardo. Lo scaricheremo, eseguiremo un modello, lo personalizzeremo, lo integreremo nei tuoi strumenti preferiti, risolveremo il momento “perché la mia ventola sta urlando?” e ce ne andremo con una configurazione di cui puoi fidarti per lavorare davvero. Sì, anche offline. Sì, anche su un aereo. No, non ti serve un dottorato di ricerca o una server farm.
Ecco come usare Ollama da professionista, senza danneggiare il tuo laptop o la tua sanità mentale.
Cos'è Ollama (e perché dovrebbe interessarti)?
Ollama è un modo leggero per eseguire modelli linguistici di grandi dimensioni (LLM) localmente. Pensa a ChatGPT, ma il modello risiede sul tuo computer. I vantaggi:
- Privacy: i tuoi dati rimangono sulla tua macchina. Nessun misterioso viaggio nel cloud.
- Velocità: nessuna attesa per un server. È il momento del tuo CPU/GPU di brillare.
- Controllo: scegli il modello, la versione, la dimensione e il comportamento.
Se hai mai pensato: “Vorrei poter chiedere cose a un'IA senza spedire i miei appunti personali a Nettuno”, questo fa per te.
Il modo più rapido per usare Ollama
Sei qui per la guida pratica. Facciamo la guida pratica.
Passaggio 1: installa Ollama
- macOS: usa il programma di installazione dal sito ufficiale oppure
brew install --cask ollama se ti piace sentirti potente.
- Windows: scarica il programma di installazione. È una configurazione normale: avanti, avanti, installa.
- Linux: una riga di comando tramite lo script ufficiale. Canalizza il tuo sysadmin interiore per 30 secondi.
Una volta installato, Ollama esegue un servizio locale. Ci parli tramite Terminale, PowerShell o altre app che si integrano con esso.
Passaggio 2: scarica il tuo primo modello
Nel tuo terminale:
La prima volta, Ollama scarica i pesi del modello. Pensalo come la memorizzazione nella cache di un grande film di Netflix. Dopodiché, è istantaneo. Otterrai un prompt in cui puoi digitare e chattare.
Prova un test: “Scrivi un riassunto di 2 frasi della voce di Wikipedia sui pinguini, senza fronzoli.” Se risponde con un TED Talk sui pinguini, sai che è vivo.
Passaggio 3: cambia modello come cambi playlist
Modelli popolari che puoi provare:
Ognuno ha punti di forza diversi. Mistral è scattante. Llama 3.1 è completo. Phi è leggero e sorprendentemente intelligente per le sue dimensioni. Puoi scaricare tag specifici, ad esempio, llama3:8b-instruct o varianti quantizzate più piccole.
Suggerimento da professionista: usa ollama pull <model> per scaricare in anticipo. Usa ollama list per vedere cosa hai e ollama rm <model> se il tuo SSD sta piangendo.
Passaggio 4: chatta dal terminale come un hacker con abilità sociali
- Avvia una sessione:
ollama run llama3
- Fornisci un messaggio di sistema:
ollama run llama3 --system "Sei un assistente di programmazione conciso."
- Dai un prompt una tantum senza entrare in modalità chat:
ollama run llama3 -p "Spiega Kubernetes come se avessi cinque anni."
Inizierai a sembrare un mago. Un mago educato.
Passaggio 5: usa Ollama con le tue app preferite
Ecco dove come usare Ollama diventa divertente. Ollama parla HTTP. Ciò significa che molti strumenti possono parlargli.
- UI web locali: molte UI di chat AI possono connettersi al tuo endpoint Ollama. Ottieni una bella finestra, chat separate e cronologia.
- Editor di codice: le estensioni per VS Code possono instradare i tuoi prompt a Ollama: spiegazioni del codice in linea, refactoring e test.
- App per prendere appunti: alcune ti consentono di connetterti a un modello locale per riassunti e brainstorming. Perfetto per gli appunti delle riunioni che vanno effettivamente da qualche parte.
Attenzione: se desideri una chat e un flusso di lavoro di ricerca basati su browser super puliti, vale la pena notare che Sider.AI può connettersi a modelli locali e cloud, organizzare chat e aiutarti a testare i prompt affiancati. Quando sono combattuto tra “il modello A è più intelligente” e “il modello B è più veloce”, mi aiuta a essere onesto. Il progetto per principianti: la tua prima ora produttiva con Ollama
Hai 60 minuti. Trasformiamo “eh?” in “accidenti, sì.”
- Installa Ollama. Un sorso di caffè. Fatto.
- Scarica
llama3:8b-instruct. È un punto di riferimento per qualità e velocità sulla maggior parte dei laptop.
- Crea un prompt di sistema adatto al tuo lavoro: “Sei il mio assistente di ricerca. Fornisci sempre fonti ed elenchi puntati. Mantieni le risposte sotto le 200 parole a meno che non lo dica io.”
- Prova tre attività che fai realmente:
- Riassumi un articolo incollato in meno di 250 parole.
- Brainstorming di 10 idee per titoli per la tua newsletter.
- Trasforma gli appunti delle riunioni in elementi di azione con proprietari e date.
- Salva i prompt che ti piacciono. Riutilizzali. È così che passi dal giocare con l'IA all'usarla davvero.
Bonus: se scrivi codice, scarica codellama o un modello ottimizzato per il codice e inserisci la tua funzione. Chiedi test, refactoring o docstring. Ti sentirai più intelligente del 30%, che è il limite legale per l'IA locale.
Come scegliere il modello giusto (senza mal di testa)
Scegliere un modello è come scegliere un piano di streaming: puoi assolutamente pagare troppo per cose di cui non hai bisogno.
- Scrittura e brainstorming:
llama3 o mistral sono ottimi.
- Laptop super leggeri: prova
phi3 o versioni quantizzate più piccole di modelli più grandi.
- Aiuto per la codifica:
codellama, deepseek coder o una variante ottimizzata per il codice.
- Multilingue: le famiglie
qwen svolgono un solido lavoro multilingue.
- Contesto più lungo: cerca modelli etichettati con finestre di contesto più grandi se inserisci documenti di grandi dimensioni.
Se la tua ventola si trasforma in un elicottero ogni volta che dai un prompt, riduci le dimensioni del modello o prova una quantizzazione più aggressiva.
La salsa segreta: Modelfiles e comportamenti personalizzati
Ecco dove Ollama diventa sorprendentemente delizioso. Puoi creare un Modelfile, fondamentalmente una ricetta, che definisce il tuo modello più la sua personalità e le impostazioni predefinite.
Esempio di Modelfile (concettuale):
FROM llama3:8b-instruct
SYSTEM "Sei un assistente chiaro e amichevole. Usa elenchi puntati e frasi brevi."
PARAMETER temperature 0.5
Salvalo come Modelfile in una cartella, quindi esegui:
ollama create crisp-assistant -f Modelfile
ollama run crisp-assistant
Ora hai un assistente personalizzato che puoi riutilizzare ovunque. È come creare il tuo sapore privato di ChatGPT: vaniglia, con aggiunta di caffè espresso.
Parla JSON con me: usando l'API HTTP di Ollama
Se hai anche solo lievi tendenze da sviluppatore, l'API ti farà sorridere.
- Endpoint: ` per la generazione di testo.
- Invia un payload JSON con
model, prompt e stream facoltativo.
- Riceverai token in un flusso. Sembra di leggere un romanzo in tempo reale, un personaggio alla volta.
Perché usare l'API?
- Automatizza i riassunti delle newsletter.
- Crea un chatbot sulla tua documentazione.
- Crea script per riscrivere in blocco le descrizioni dei prodotti. (Solo non farli sembrare tutti un robot che ha fatto improvvisazione una volta.)
Come usare Ollama con i tuoi file (RAG senza rabbia)
RAG (retrieval-augmented generation) fornisce i tuoi file al modello in modo che risponda con fatti tratti dai tuoi dati, non dalla sua memoria vaga.
Percorso di base:
- Usa uno strumento di embedding locale per indicizzare i tuoi documenti.
- Per ogni domanda, cerca i blocchi migliori.
- Invia il testo più pertinente come contesto nel tuo prompt a Ollama.
Pensalo come un test a libro aperto per l'IA. Non ha bisogno di “ricordare” il manuale del dipendente, ha solo bisogno di citarlo.
Mossa da professionista: mantieni i tuoi blocchi piccoli (200–600 parole), aggiungi intestazioni e includi collegamenti di origine nel prompt in modo che il modello impari a citare.
Ottimizzazione delle prestazioni: fai volare Ollama (senza sciogliere la tua scrivania)
- La quantizzazione è importante: Q4 è più piccola/veloce, Q8 è più grande/intelligente. Inizia in piccolo, sali di livello.
- Usa la GPU se disponibile: Apple Silicon fa un ottimo lavoro. Schede NVIDIA più recenti? Bacio dello chef.
- Temperatura: più bassa (0,2–0,5) per risposte precise; più alta (0,8+) per caos creativo.
- Token massimi: non chiedere un romanzo di 3.000 parole a meno che tu non ne abbia realmente bisogno. Al tuo laptop piacerebbe vivere.
Se le risposte ti sembrano lente:
- Prova un modello più piccolo.
- Chiudi le schede di Chrome. Sì, tutte e 47.
- Disabilita temporaneamente le app di sincronizzazione in background.
Sicurezza e privacy: il vero motivo per cui le persone usano Ollama
Locale significa locale. Ma non diventiamo sciattoni.
- Dati sensibili: sei più sicuro del cloud, ma crittografa il tuo disco e fai backup in modo sicuro.
- Origini del modello: scarica da repository affidabili. Se la descrizione di un modello sembra scritta da un gatto che cammina su una tastiera, forse saltala.
- Accesso alla rete: Ollama viene eseguito localmente; non esporre la porta su reti pubbliche a meno che tu non sappia cosa stai facendo.
Flussi di lavoro quotidiani che userai effettivamente
Perché “wow, che bello” non è la stessa cosa di “lo uso quotidianamente”. Ecco come usare Ollama nella vita reale:
- Pulitore di riunioni: incolla gli appunti, chiedi elementi di azione per persona e richiedi una bozza di email di follow-up.
- Compagno di ricerca: incolla un articolo. Chiedi un contro-argomento, 3 fonti per convalidare le affermazioni e un riassunto di 60 secondi.
- Copilota di codifica: chiedi docstring, test o un'espressione regolare più sicura. Fagli spiegare la modifica in inglese semplice.
- Sprint di scrittura: delinea prima, quindi espandi, quindi stringi il tono. Mantieni un messaggio di sistema che definisca la tua voce.
- Apprendimento: insegnami SSH come se fossi mio cugino maggiore paziente. Quindi interrogami.
Attenzione: se ti piace tenere tutto questo in un unico posto (cronologia delle chat, test affiancati del modello e ricerche web rapide), Sider.AI funziona bene con i modelli locali e ti offre un cockpit più pulito. È come il controllo missione per i tuoi prompt. Risoluzione dei problemi: quando Ollama diventa lunatico
- “Modello non trovato.” Non l'hai ancora scaricato.
ollama pull <model>.
- “Memoria insufficiente.” Usa una quantizzazione o una dimensione del modello più piccola.
- “È così lento che riesco a sentire il mio laptop invecchiare.” Riduci i token massimi, cambia modello o usa l'accelerazione GPU.
- “Le risposte sono troppo vaghe.” Abbassa la temperatura e aggiungi esempi al tuo prompt.
- “Continua a ignorare le mie istruzioni.” Metti le regole nel prompt di sistema, non solo nel prompt dell'utente.
Suggerimento da professionista: salva i prompt che funzionano. I buoni prompt sono come le buone ricette di caffè. Il te del futuro ringrazierà il te del passato.
Mosse avanzate: multi-modello, strumenti e automazione
- Chain-of-thought lite: chiedigli di elencare i passaggi prima di rispondere. “Prima delinea, poi scrivi paragrafo per paragrafo.”
- Flusso di lavoro multi-modello: brainstorming con un modello creativo, verifica con uno preciso. Pensa a un film di poliziotti amici.
- Uso degli strumenti: avvolgi le ricerche web, le calcolatrici o l'esecuzione del codice attorno a Ollama tramite script. Lascia che il modello decida quale strumento chiamare, ma convalida gli output.
- Lavori batch: convoglia un CSV di descrizioni di prodotti in uno script che chiama l'API e riscrive i risultati. Caffè, esecuzione, fatto.
Come usare Ollama in modo sicuro nei team
Se sei la persona IT non ufficiale (scusa), imposta delle protezioni:
- Standardizza su alcuni modelli approvati.
- Condividi un Modelfile per la voce e la formattazione del team.
- Mantieni una libreria di prompt per attività ripetute.
- Registra input/output per determinati flussi di lavoro, localmente, in modo da poter rivedere la qualità senza spiare le persone.
La domanda “Ho bisogno del cloud?”
A volte sì. Se hai bisogno di una ricerca con un contesto gigante, un ragionamento all'avanguardia o una magia multi-modale, un modello cloud potrebbe comunque vincere. La mossa ibrida è intelligente:
- Usa Ollama localmente per bozze, documenti privati e iterazioni rapide.
- Usa un modello cloud per ragionamenti complessi o input enormi.
- Confronta i risultati nella stessa interfaccia in modo da scegliere con i tuoi occhi, non con le vibrazioni.
Vale la pena notare: Sider.AI rende quel confronto indolore. Puoi instradare lo stesso prompt a Ollama locale e a un modello cloud, quindi scegliere la risposta migliore o unirli. È come assaggiare due caffè e rendersi conto che puoi mescolarli. Il tuo piano di una settimana per diventare il sussurratore di Ollama dell'ufficio
Giorno 1: Installa, scarica llama3, imposta un prompt di sistema.
Giorno 2: crea un Modelfile per il tuo tono. Prova due modelli e annota le differenze.
Giorno 3: collega uno strumento per prendere appunti o per la codifica a Ollama.
Giorno 4: crea un piccolo prototipo RAG con alcuni PDF.
Giorno 5: automatizza un'attività noiosa con l'API.
Giorno 6: condividi una libreria di prompt con il tuo team.
Giorno 7: rivedi cosa ha funzionato, elimina ciò che non ha funzionato e imposta le impostazioni predefinite.
A quel punto non saprai solo come usare Ollama, lo userai senza pensarci, che è lo scopo principale degli strumenti che conserviamo.
La conclusione
Come usare Ollama si riduce a tre cose:
- Mantienilo locale e semplice per iniziare. Scarica un modello, fai tre attività reali.
- Personalizza il comportamento con prompt di sistema e Modelfiles in modo che si adatti al tuo cervello, non al contrario.
- Integralo dove lavori (editor, browser, note) in modo che non sia un'altra scheda che ti dimentichi.
Ollama non renderà magico il tuo laptop. Lo renderà più tuo. E in un mondo in cui ogni app cerca di trasferire i tuoi dati al server di qualcun altro, è un aggiornamento piuttosto rinfrescante.
Ora vai a chiedere alla tua IA locale di scrivere un messaggio di fuori ufficio migliore. E magari di ricordarti di prenderti davvero il giorno libero.
FAQ
D1: Qual è il modo più semplice per iniziare con Ollama?
Installalo, scarica un modello amichevole come llama3:8b-instruct ed esegui alcune attività reali: riassunti, schemi o bozze di email. Mantieni bassa la temperatura per risposte chiare e prevedibili e salva tutti i prompt che funzionano bene.
D2: Quale modello dovrei usare in Ollama per la scrittura e la codifica?
Per la scrittura, inizia con llama3 o mistral per una qualità e una velocità bilanciate. Per la codifica, prova codellama o un modello ottimizzato per il codice; mantieni la temperatura intorno a 0,2–0,4 per meno allucinazioni.
D3: Posso usare i miei documenti con Ollama (RAG)?
Sì: indicizza i tuoi file con uno strumento di embedding, recupera i primi blocchi su ogni query e includi tali blocchi come contesto nel tuo prompt a Ollama. È come la modalità libro aperto per la tua IA e migliora drasticamente l'accuratezza fattuale.
D4: Perché Ollama è lento sul mio laptop e come posso velocizzarlo?
Usa un modello quantizzato più piccolo (ad esempio, Q4), riduci i token massimi e abbassa la temperatura se necessario. Se hai Apple Silicon o una moderna GPU NVIDIA, abilita l'accelerazione hardware per un aumento notevole.
D5: Come si inserisce Sider.AI in un flusso di lavoro Ollama?
Sider.AI può connettersi ai tuoi modelli Ollama locali e ai modelli cloud in un'unica interfaccia, rendendo facile confrontare gli output e organizzare le chat. È utile per testare i prompt, mantenere la cronologia ordinata e scegliere la risposta migliore senza destreggiarsi tra cinque app. 
