Hiç küçük çizgi film karakteri olmadan bir IKEA mobilyasını monte etmeyi denediniz mi? Yerel yapay zeka modellerini çalıştırmak da böyle bir his verebilir. Birçok parça, gizemli isimler ve "LLM çalışma zamanı" etiketli bir vidayı kaçırdığınıza dair sürekli bir korku. İşte Ollama burada devreye giriyor. Kendi makinenizde büyük dil modellerini çalıştırmak için kullanılan bir alyan anahtarı gibi—hızlı, özel ve şaşırtıcı bir şekilde işkence aleti değil.
Bu kılavuzda, Ollama'yı gerçekten kullanacağız. Sadece hakkında okumayacağız. Onu indireceğiz, bir modeli çalıştıracağız, özelleştireceğiz, favori araçlarınıza bağlayacağız, "fanım neden bağırıyor?" anını düzelteceğiz ve gerçekten iş yapacağına güvenebileceğiniz bir kurulumla uzaklaşacağız. Evet, çevrimdışı bile. Evet, uçakta bile. Hayır, doktora derecesine veya bir sunucu çiftliğine ihtiyacınız yok.
İşte dizüstü bilgisayarınızı veya akıl sağlığınızı kaybetmeden Ollama'yı bir profesyonel gibi nasıl kullanacağınız.
Ollama nedir (ve neden umursamalısınız)?
Ollama, büyük dil modellerini (LLM'ler) yerel olarak çalıştırmanın hafif bir yoludur. gibi düşünün, ancak model bilgisayarınızda yaşıyor. Avantajları:
- Gizlilik: Verileriniz makinenizde kalır. Gizemli bir bulut yolculuğu yok.
- Hız: Bir sunucu beklemek yok. CPU/GPU'nuzun parlaması için zamanı geldi.
- Kontrol: Modeli, sürümü, boyutu ve davranışı seçin.
Eğer hiç, "Kişisel notlarımı Neptün'e göndermeden bir yapay zekaya bir şeyler sorabilseydim," diye düşündüyseniz, bu tam size göre.
Ollama'yı Kullanmanın En Hızlı Yolu
Nasıl yapılır rehberi için geldiniz. Hadi nasıl yapılır'ı yapalım.
Adım 1: Ollama'yı Kurun
- macOS: Resmi siteden yükleyiciyi kullanın veya güçlü hissetmek istiyorsanız
brew install --cask ollama.
- Windows: Yükleyiciyi indirin. Normal bir kurulum—ileri, ileri, kur.
- Linux: Resmi komut dosyası aracılığıyla tek satırlık. İçinizdeki sistem yöneticisini 30 saniye boyunca ortaya çıkarın.
Kurulduktan sonra, Ollama yerel bir hizmet çalıştırır. Terminal, PowerShell veya onunla entegre olan diğer uygulamalar aracılığıyla onunla konuşursunuz.
Adım 2: İlk modelinizi çekin
Terminalinizde:
İlk seferde, Ollama model ağırlıklarını indirir. Bunu büyük bir filmini önbelleğe almak gibi düşünün. Ondan sonra, anında olur. Yazıp sohbet edebileceğiniz bir istem alacaksınız.
Bir test yapın: "Penguenler hakkındaki girişinin 2 cümlelik bir özetini yazın—gereksiz detay yok." Eğer bir penguen konuşmasıyla yanıt verirse, canlı olduğunu bilirsiniz.
Adım 3: Çalma listesi değiştirir gibi modelleri değiştirin
Deneyebileceğiniz popüler modeller:
Her birinin farklı güçlü yönleri var. hızlıdır. llama3:8b-instruct çok yönlüdür. hafiftir ve boyutu için şaşırtıcı derecede zekidir. Belirli etiketleri çekebilirsiniz, örneğin, llama3:8b-instruct veya daha küçük nicelenmiş varyantlar.
Profesyonel ipucu: Önceden indirmek için ollama pull <model> kullanın. Neye sahip olduğunuzu görmek için ollama list ve ollama rm <model> kullanın eğer SSD'niz ağlıyorsa.
Adım 4: Sosyal becerilere sahip bir hacker gibi terminalden sohbet edin
- Bir oturum başlatın:
ollama run llama3
- Bir sistem mesajı sağlayın:
ollama run llama3 --system "Sen özlü bir kodlama asistanısın."
- Sohbet moduna girmeden tek seferlik bir istem verin:
ollama run llama3 -p "Kubernetes'i beş yaşındaymışım gibi açıklayın."
Bir sihirbaz gibi ses çıkarmaya başlayacaksınız. Kibar bir sihirbaz.
Adım 5: Ollama'yı favori uygulamalarınızla kullanın
İşte Ollama'nın nasıl kullanılacağının eğlenceli hale geldiği yer. Ollama konuşur. Bu, birçok aracın onunla konuşabileceği anlamına gelir.
- Yerel web arayüzleri: Birçok yapay zeka sohbet arayüzü uç noktanıza bağlanabilir. Güzel bir pencere, ayrı sohbetler ve geçmiş elde edersiniz.
- Kod düzenleyiciler: için uzantılar, istemlerinizi 'ya yönlendirebilir—satır içi kod açıklamaları, yeniden düzenlemeler ve testler.
- Not alma uygulamaları: Bazıları özetler ve beyin fırtınası için yerel bir modele bağlanmanıza izin verir. Gerçekten bir yere giden toplantı notları için mükemmeldir.
Dikkat: Süper temiz, tarayıcı tabanlı bir sohbet ve araştırma iş akışı istiyorsanız, belirtmekte fayda var—Sider.AI, yerel ve bulut modellerine bağlanabilir, sohbetleri düzenleyebilir ve istemleri yan yana test etmenize yardımcı olabilir. "A modeli daha akıllı" ve "B modeli daha hızlı" arasında kaldığımda, beni dürüst tutuyor. Yeni Başlayanlar İçin Plan: Ollama ile İlk Verimli Saatiniz
60 dakikanız var. Hadi "ha?"yı "kesinlikle evet"e dönüştürelim.
- 'yı kurun. Kahve yudumu. Tamamlandı.
llama3:8b-instruct'ı çekin. Çoğu dizüstü bilgisayarda kalite ve hız için tatlı bir nokta.
- İşinize uygun bir sistem istemi oluşturun: "Sen benim araştırma asistanımsın. Her zaman kaynaklar ve madde işaretleri sağlayın. Cevapları ben söylemedikçe 200 kelimenin altında tutun."
- Gerçekten yaptığınız üç görevi test edin:
- Bir makale yapıştırmasını 250 kelimenin altında özetleyin.
- Bülteniniz için 10 başlık fikri için beyin fırtınası yapın.
- Toplantı notlarını sahipleri ve tarihleriyle birlikte eylem öğelerine dönüştürün.
- Beğendiğiniz istemleri kaydedin. Onları tekrar kullanın. İşte yapay zeka ile oynamaktan onu gerçekten kullanmaya geçişiniz.
Bonus: Kod yazıyorsanız, codellama'yı veya kod ayarlı bir modeli çekin ve fonksiyonunuzu ona verin. Testler, yeniden düzenlemeler veya belge dizeleri isteyin. %30 daha zeki hissedeceksiniz, ki bu yerel yapay zeka için yasal sınırdır.
Doğru Modeli Nasıl Seçersiniz (Baş Ağrısı Olmadan)
Bir model seçmek, bir yayın planı seçmek gibidir: ihtiyacınız olmayan şeyler için kesinlikle fazla ödeme yapabilirsiniz.
- Yazma ve beyin fırtınası:
llama3 veya mistral harikadır.
- Süper hafif dizüstü bilgisayarlar:
phi3'ü veya daha büyük modellerin daha küçük nicelenmiş versiyonlarını deneyin.
- Kodlama yardımı:
codellama, deepseek coder veya kod optimize edilmiş bir varyant.
- Çok dilli:
qwen aileleri sağlam çok dilli işler yapar.
- Daha uzun bağlam: Büyük belgeler besliyorsanız, daha büyük bağlam pencereleriyle etiketlenmiş modelleri arayın.
İstediğiniz her seferde fanınız bir helikoptere dönüşürse, model boyutunu küçültün veya daha agresif bir nicemleme deneyin.
Gizli Sos: Model Dosyaları ve Özel Davranışlar
İşte Ollama'nın şaşırtıcı derecede keyifli hale geldiği yer. Modelinizi artı kişiliğini ve varsayılanlarını tanımlayan bir Model Dosyası—temel olarak bir tarif—oluşturabilirsiniz.
Örnek Model Dosyası (kavramsal):
FROM llama3:8b-instruct
SYSTEM "Sen net, arkadaş canlısı bir asistansın. Madde işaretleri ve kısa cümleler kullan."
PARAMETER temperature 0.5
Bir klasörde Model Dosyası olarak kaydedin, ardından şunu çalıştırın:
ollama create crisp-assistant -f Modelfile
ollama run crisp-assistant
Şimdi her yerde yeniden kullanabileceğiniz özel bir asistanınız var. Kendi özel lezzetinizi yapmak gibi—vanilyalı, espresso shot'lı.
Benimle JSON Konuş: Ollama'nın HTTP API'sini Kullanmak
Hafif geliştirici eğilimleriniz bile varsa, API sizi sırıtacaktır.
- Uç nokta: ` metin oluşturma için.
model, prompt ve isteğe bağlı stream ile bir JSON yükü gönderin.
- Bir akışta geri jetonlar alacaksınız. Gerçek zamanlı olarak bir roman okumak gibi hissettiriyor, her seferinde bir karakter.
Neden API'yi kullanmalısınız?
- Bülten özetlerini otomatikleştirin.
- Belgelerinizde bir sohbet robotu oluşturun.
- Ürün açıklamalarını toplu olarak yeniden yazmak için komut dosyaları oluşturun. (Sadece hepsinin bir zamanlar doğaçlama dersi almış bir robot gibi ses çıkarmasına izin vermeyin.)
Ollama'yı Kendi Dosyalarınızla Nasıl Kullanırsınız (Öfke Olmadan RAG)
RAG—geri alma ile artırılmış oluşturma—dosyalarınızı modele besler, böylece bulanık hafızasından değil, sizin eşyalarınızdaki gerçeklerle yanıt verir.
Temel yol:
- Belgelerinizi indekslemek için yerel bir gömme aracı kullanın.
- Her soruda, en iyi parçaları arayın.
- En alakalı metni, isteminizde Ollama'ya bağlam olarak gönderin.
Bunu yapay zeka için açık kitap testi gibi düşünün. Çalışan el kitabınızı "hatırlaması" gerekmiyor—sadece ondan alıntı yapması gerekiyor.
Profesyonel hareket: Parçalarınızı küçük (200–600 kelime) tutun, başlıklar ekleyin ve modelin alıntı yapmayı öğrenmesi için istemde kaynak bağlantıları ekleyin.
Performans Ayarı: Ollama'yı Uçurun (Masanızı Eritmeden)
- Nicemleme önemlidir: daha küçük/daha hızlıdır, daha büyük/daha akıllıdır. Küçük başlayın, yukarı doğru hareket edin.
- Mevcutsa GPU kullanın: harika iş çıkarır. Daha yeni kartları? Şefin öpücüğü.
- Sıcaklık: Kesin cevaplar için daha düşük (0.2–0.5); yaratıcı kaos için daha yüksek (0.8+).
- Maksimum jeton: Gerçekten ihtiyacınız olmadıkça 3.000 kelimelik bir roman istemeyin. Dizüstü bilgisayarınız yaşamak ister.
Yanıtlar yavaş hissediliyorsa:
- Daha küçük bir model deneyin.
- sekmelerini kapatın. Evet, 47'sinin de.
- Arka plan senkronizasyon uygulamalarını geçici olarak devre dışı bırakın.
Güvenlik ve Gizlilik: İnsanların Ollama'yı Kullanmasının Gerçek Nedeni
Yerel, yerel demektir. Ama dikkatsiz olmayalım.
- Hassas veriler: Buluttan daha güvendesiniz, ancak sürücünüzü şifreleyin ve güvenli bir şekilde yedekleyin.
- Model kaynakları: Güvenilir depolardan çekin. Bir model açıklaması bir klavyede yürüyen bir kedi tarafından yazılmış gibi görünüyorsa, belki de atlayın.
- Ağ erişimi: Ollama yerel olarak çalışır; ne yaptığınızı bilmiyorsanız, bağlantı noktasını herkese açık ağlarda açmayın.
Gerçekten Kullanacağınız Günlük İş Akışları
Çünkü "vay canına" "bunu günlük olarak kullanıyorum" ile aynı şey değil. İşte Ollama'yı gerçek hayatta nasıl kullanacağınız:
- Toplantı temizleyici: Notları yapıştırın, kişiye göre eylem öğeleri isteyin ve bir takip e-postası taslağı isteyin.
- Araştırma arkadaşı: Bir makale yapıştırın. Bir karşı argüman, iddiaları doğrulamak için 3 kaynak ve 60 saniyelik bir özet isteyin.
- Kodlama yardımcı pilotu: Belge dizeleri, testler veya daha güvenli bir regex isteyin. Değişikliği size düz İngilizce ile açıklamasını sağlayın.
- Yazma sprinti: Önce ana hatları çizin, sonra genişletin, sonra tonu sıkın. Sesinizi tanımlayan bir sistem mesajı tutun.
- Öğrenme: Bana 'yi sabırlı büyük kuzenimmiş gibi öğretin. Sonra beni sınava çekin.
Dikkat: Tüm bunları tek bir yerde—sohbet geçmişleri, yan yana model testleri ve hızlı web aramaları—tutmayı seviyorsanız, Sider.AI yerel modellerle iyi geçinir ve size daha temiz bir kokpit verir. İstekleriniz için görev kontrolü gibi. Sorun Giderme: Ollama Huysuzlaştığında
- "Model bulunamadı." Henüz çekmediniz.
ollama pull <model>.
- "Bellek yetersiz." Daha küçük bir nicemleme veya model boyutu kullanın.
- "O kadar yavaş ki dizüstü bilgisayarımın yaşlandığını duyabiliyorum." Maksimum jetonları azaltın, modelleri değiştirin veya GPU hızlandırmayı kullanın.
- "Cevaplar çok belirsiz." Sıcaklığı düşürün ve isteminize örnekler ekleyin.
- "Talimatlarımı görmezden gelmeye devam ediyor." Kuralları sadece kullanıcı istemine değil, sistem istemine koyun.
Profesyonel ipucu: İşe yarayan istemleri kaydedin. İyi istemler, iyi kahve tarifleri gibidir. Gelecekteki siz geçmişteki size teşekkür edecektir.
Gelişmiş Hareketler: Çoklu Model, Araçlar ve Otomasyon
- Düşünce zinciri lite: Cevaplamadan önce adımları listelemesini isteyin. "Önce ana hatları çizin, sonra paragraf paragraf yazın."
- Çoklu model iş akışı: Yaratıcı bir modelle beyin fırtınası yapın, kesin bir modelle doğrulayın. Kanka polisi filmi gibi düşünün.
- Araç kullanımı: Web aramalarını, hesap makinelerini veya kod yürütmeyi komut dosyaları aracılığıyla Ollama'nın etrafına sarın. Modelin hangi aracı çağıracağına karar vermesine izin verin, ancak çıktıları doğrulayın.
- Toplu işler: Bir ürün açıklamaları 'sini API'yi çağıran ve sonuçları geri yazan bir komut dosyasına yönlendirin. Kahve, çalıştır, tamamlandı.
Ollama'yı Ekiplerde Güvenli Bir Şekilde Nasıl Kullanırsınız
Eğer gayri resmi personeliyseniz (üzgünüm), koruyucu önlemler belirleyin:
- Birkaç onaylı model üzerinde standartlaştırın.
- Ekip sesi ve biçimlendirmesi için bir Model Dosyası paylaşın.
- Tekrarlanan görevler için bir istem kitaplığı tutun.
- Belirli iş akışları için—yerel olarak—girdi/çıktıyı kaydedin, böylece insanları gizlice izlemeden kaliteyi inceleyebilirsiniz.
"Buluta İhtiyacım Var mı?" Sorusu
Bazen evet. Dev bağlam araştırmasına, son teknoloji akıl yürütmeye veya çok modlu sihirbazlığa ihtiyacınız varsa, bir bulut modeli hala kazanabilir. Hibrit hareket akıllıcadır:
- Taslaklar, özel belgeler ve hızlı yineleme için Ollama'yı yerel olarak kullanın.
- Karmaşık akıl yürütme veya büyük girdiler için bir bulut modeli kullanın.
- Aynı arayüzde sonuçları karşılaştırın, böylece titreşimlerle değil, gözlerinizle seçim yapıyorsunuz.
Belirtmekte fayda var: Sider.AI bu karşılaştırmayı ağrısız hale getirir. Aynı istemi yerel Ollama'ya ve bir bulut modeline yönlendirebilir, ardından en iyi yanıtı seçebilir veya bunları birleştirebilirsiniz. İki kahveyi tadıp karıştırabileceğinizi fark etmek gibi. Ofis Ollama Fısıltıcısı Olmak İçin Bir Haftalık Planınız
1. Gün: Kurun, PDF'ü çekin, bir sistem istemi ayarlayın.
2. Gün: Tonunuz için bir Model Dosyası oluşturun. İki model deneyin ve farklılıkları not edin.
3. Gün: Bir not alma veya kodlama aracını Ollama'ya bağlayın.
4. Gün: Birkaç PDF ile küçük bir prototipi oluşturun.
5. Gün: API ile sıkıcı bir görevi otomatikleştirin.
6. Gün: Ekibinizle bir istem kitaplığı paylaşın.
7. Gün: Neyin işe yaradığını inceleyin, neyin yaramadığını budayın ve varsayılanları ayarlayın.
O noktada sadece Ollama'yı nasıl kullanacağınızı bilmekle kalmayacak—onu düşünmeden kullanacaksınız, ki bu tuttuğumuz araçların asıl amacıdır.
Sonuç
Ollama'nın nasıl kullanılacağı üç şeye dayanır:
- Başlamak için yerel ve basit tutun. Bir model çekin, üç gerçek görevi yapın.
- Sistem istemleri ve Model Dosyaları ile davranışı özelleştirin, böylece beyninize uyar, tam tersi değil.
- Onu çalıştığınız yere—düzenleyici, tarayıcı, notlar—entegre edin, böylece hakkında unuttuğunuz başka bir sekme olmaz.
Ollama dizüstü bilgisayarınızı sihirli yapmayacak. Onu daha çok sizin yapacak. Ve her uygulamanın verilerinizi başka birinin sunucusuna göndermeye çalıştığı bir dünyada, bu oldukça ferahlatıcı bir yükseltme.
Şimdi gidin ve yerel yapay zekanızdan daha iyi bir ofis dışı mesajı yazmasını isteyin. Ve belki de size gerçekten izin gününü almanız gerektiğini hatırlatmasını.
SSS
S1:Ollama'ya başlamanın en kolay yolu nedir?
Kurun, llama3:8b-instruct gibi arkadaş canlısı bir modeli çekin ve birkaç gerçek görev çalıştırın—özetler, ana hatlar veya e-posta taslakları. Net, tahmin edilebilir yanıtlar için sıcaklığı düşük tutun ve iyi çalışan tüm istemleri kaydedin.
S2:Ollama'da yazma ve kodlama için hangi modeli kullanmalıyım?
Yazma için, dengeli kalite ve hız için llama3 veya mistral ile başlayın. Kodlama için codellama veya kod optimize edilmiş bir model deneyin; daha az halüsinasyon için sıcaklığı 0.2–0.4 civarında tutun.
S3:Ollama ile kendi belgelerimi kullanabilir miyim (RAG)?
Evet—dosyalarınızı bir gömme aracıyla indeksleyin, her sorguda en iyi parçaları alın ve bu parçaları Ollama'ya isteminizde bağlam olarak ekleyin. Yapay zekanız için açık kitap modu gibi ve gerçek doğruluğu önemli ölçüde artırıyor.
S4:Ollama dizüstü bilgisayarımda neden yavaş ve nasıl hızlandırabilirim?
Daha küçük bir nicelenmiş model (örn. Q4) kullanın, maksimum jetonları azaltın ve gerekirse sıcaklığı düşürün. Apple Silicon veya modern bir NVIDIA GPU'nuz varsa, fark edilebilir bir artış için donanım hızlandırmayı etkinleştirin.
S5:Sider.AI bir Ollama iş akışına nasıl uyuyor?
Sider.AI yerel Ollama modellerinize ve bulut modellerinize tek bir arayüzde bağlanabilir, bu da çıktıları karşılaştırmayı ve sohbetleri düzenlemeyi kolaylaştırır. İstekleri test etmek, geçmişi düzenli tutmak ve beş uygulama arasında hokkabazlık yapmadan en iyi cevabı seçmek için kullanışlıdır. 
