Kendi Lokalinizde LLM Çalıştırmak: Ollama Kurulum Rehberi

Verilerimizin internette uçuştuğu, yazdığımız her satırın ve gönderdiğimiz her prompt’un bir yerlerde sunuculara kaydedildiği bu dönemde, veri gizliliği yani privacy meselesi her zamankinden daha kritik bir hale geldi. Peki, OpenAI veya Anthropic gibi devlere mahkum olmadan, tamamen kendi bilgisayarınızda çalışan bir yapay zeka kurmak mümkün mü? Cevap kesinlikle evet. Ollama sayesinde, internet bağlantısına bile ihtiyaç duymadan local llm dünyasına adım atabilir; bilgisayarınızda llama, mistral ve Phi-3 gibi devasa açık kaynaklı modelleri koşturabilirsiniz. Bu yazıda, “Benim bilgisayarım bunu kaldırır mı?” korkusunu bir kenara bırakıp, adım adım kendi yapay zekamızı nasıl kuracağımızı test edip göreceğiz.

Neden Kendi Bilgisayarımızda LLM Çalıştıralım?

Bulut tabanlı modeller harika iş çıkarıyor, orası kesin. Ancak her sorgu için internete bağımlı olmak, API ücretleri ödemek ve en önemlisi gizli verilerinizi (örneğin şirket içi belgelerinizi veya kişisel günlüklerinizi) üçüncü parti sunuculara göndermek her zaman iyi bir fikir olmayabilir. Local LLM çalıştırmak size tam bir egemenlik verir. Bilgisayarınızın fişini çekseniz bile yapay zekanız çalışmaya devam eder. Üstelik tamamen ücretsizdir ve sansürsüz model kullanma özgürlüğü sunar.

Ollama Nedir ve Nasıl Çalışır?

Eskiden kendi bilgisayarımızda model çalıştırmak tam bir işkenceydi. Python kütüphaneleriyle boğuşur, CUDA sürücü hataları alır, en sonunda bilgisayara format atmak isterdik. Ollama, bu karmaşayı tek bir paketle çözen bir runtime ve model yönetim aracıdır. Docker kullanmaya aşina olanlar için söyleyelim; Ollama, LLM’ler için Docker neyse tam olarak odur. Modeli tek bir komutla indirir, arka planda API sunucusunu başlatır ve sizin için hazır hale getirir.

[Görsel: Mac terminalinde Ollama kurulum adımları ve ilk indirme ekranı]

Adım Adım Ollama Kurulumu

Ollama; macOS ve Linux platformlarında yerel olarak, Windows’ta ise önizleme sürümüyle harika çalışıyor. Biz bu rehberde Mac ve Linux adımlarına odaklanacağız.

macOS Kurulumu

Mac kullanıcıları için süreç oldukça konforlu. Resmi web sitesinden indireceğiniz bir DMG dosyasıyla kurulumu saniyeler içinde tamamlayabilirsiniz. Veya bilgisayarınızda Homebrew kuruluysa terminalden şu komutu vermeniz yeterli:

brew install ollama

Linux Kurulumu

Linux kullanıcıları için de süreç tek bir curl komutundan ibaret. Terminalinizi açın ve aşağıdaki komutu yapıştırın:

curl -fsSL https://ollama.com/install.sh | sh

İlk Modeli Ayaklandırmak

Kurulum bittikten sonra en keyifli kısma geliyoruz: Modeli indirmek ve onunla konuşmak. Ollama kütüphanesinde pek çok model var ancak başlangıç için Meta’nın popüler modeli Llama 3 veya Microsoft’un küçük ama yetenekli modeli Phi-3 harika birer seçenektir.

Terminalinize şu komutu yazın ve arkaya yaslanın:

ollama run llama3

Bu komut, modelin yaklaşık 4.7 GB boyutundaki “8B” (8 milyar parametreli) sürümünü otomatik olarak indirecek ve ardından size bir sohbet satırı açacaktır. Artık kendi bilgisayarınızda çalışan, tamamen offline bir yapay zekanız var!

GPU Olmadan Performans Optimizasyonu (CPU ile Hayatta Kalmak)

Peki ya güçlü bir Nvidia ekran kartınız ya da Apple Silicon (M1/M2/M3) işlemciniz yoksa? Sadece standart bir işlemci (CPU) ve RAM ile bu modelleri çalıştırabilir misiniz? Evet, ama bazı kurallara dikkat ederek.

Modellerin boyutları küçüldükçe, ihtiyaç duydukları donanım gücü de azalır. LLM dünyasında bu durum quantization (kuantizasyon) denilen bir yöntemle çözülür. Büyük modeller matematiksel olarak sıkıştırılır. Örneğin, 8B parametreli bir modeli CPU ile çalıştırmak yerine, Microsoft’un 3.8B parametreli Phi-3 modelini çalıştırmak çok daha mantıklıdır. Phi-3, boyutu küçük olmasına rağmen mantık yürütme konusunda devasa modellerle yarışır seviyededir.

Performans için altın kurallar:

• En az 16 GB sistem RAM’ine sahip olduğunuzdan emin olun.
• Eğer model çok yavaş yanıt veriyorsa (saniyede 1-2 kelime), hemen ollama run phi3 komutuyla daha hafif bir modele geçiş yapın.
• Arka plandaki yüksek RAM tüketen uygulamaları (evet, Chrome sekmelerinden bahsediyorum) kapatın.

Terminalden Sıkılanlara: Open WebUI Entegrasyonu

Terminalde siyah ekrana bakarak yapay zekayla sohbet etmek bir süre sonra sıkıcı gelebilir. Kendinize tıpkı ChatGPT arayüzü gibi şık bir arayüz kurmak istemez misiniz? İşte burada devreye Open WebUI giriyor.

[Görsel: Open WebUI arayüzünde Llama 3 ile Türkçe sohbet örneği]

Eğer bilgisayarınızda Docker kuruluysa, Open WebUI’yi kurmak ve Ollama ile bağlamak tek bir satır komutla mümkün:

docker run -d -p 3000:8080 --add-host=host.docker.internal:host-gateway -v open-webui:/app/backend/data --name open-webui --restart always ghcr.io/open-webui/open-webui:main

Bu komutun ardından tarayıcınızdan http://localhost:3000 adresine giderek, kendi bilgisayarınızda çalışan muhteşem bir yapay zeka arayüzüne kavuşabilirsiniz. Buradan geçmiş sohbetlerinizi görebilir, belgelerinizi yükleyip onlar üzerinde analizler yapabilirsiniz.

Model Karşılaştırmaları

Peki hangi modeli ne zaman kullanmalısınız? Sizin için en popüler üç modeli karşılaştırdık:

Model Adı	Parametre Boyutu	Güçlü Yönleri	Zayıf Yönleri
Llama 3 (8B)	8 Milyar	Genel kültür, Türkçe dil desteği, yaratıcı yazarlık.	RAM tüketimi yüksektir, eski CPU’larda yavaş çalışır.
Mistral (7B)	7 Milyar	Kod yazma becerisi, hızlı yanıt süresi, dengeli performans.	Bazen karmaşık mantık yürütme adımlarında tökezleyebilir.
Phi-3 (3.8B)	3.8 Milyar	Çok hızlıdır, inanılmaz düşük sistem kaynağı tüketir.	Uzun metin yazımlarında yaratıcılığı görece düşüktür.

Maliyetler ve Ücretsiz Alternatifler

Ollama tamamen ücretsiz ve açık kaynaklıdır. İndirdiğiniz modeller için hiçbir ücret ödemezsiniz. Tek maliyetiniz, bilgisayarınızın harcayacağı elektrik faturası olacaktır.

Eğer Ollama’ya alternatif daha görsel bir araç arıyorsanız, LM Studio harika bir seçenektir. LM Studio da tamamen ücretsizdir (kapalı kaynak kodlu olsa da) ve arayüzü üzerinden tek tıkla Hugging Face üzerindeki binlerce modeli indirip test etmenize olanak tanır.

Sonuç: Gelecek Bizim Disklerde

Kendi bilgisayarınızda bir LLM çalıştırmak sadece teknik bir fantezi değil; aynı zamanda veri egemenliğinizi geri kazanma hareketidir. Ollama bize gösteriyor ki, çok da uzak olmayan bir gelecekte her birimizin kişisel asistanı tamamen kendi cihazlarımızda, internete bile ihtiyaç duymadan çalışacak. Siz de bugün ufak bir adım atın, terminalinizi açın ve bu benzersiz deneyimi kendi lokalinizde test edin!