Kendi Lokalinizde LLM Çalıştırmak: Ollama Kurulum Rehberi

Yapay zeka hayatımızın merkezine oturdu ama her sorduğumuz sorunun OpenAI ya da Google sunucularına gitmesi canınızı sıkmıyor mu? Çözüm local LLM (yerel büyük dil modeli). Tamamen kendi bilgisayarınızda çalışan, internete ihtiyaç duymayan ve gizlilik (privacy) endişelerinizi ortadan kaldıran bir yapay zeka deneyimi artık hayal değil. Bu yazıda işi çocuk oyuncağına çeviren Ollama’ya bakıyor, Mac ve Linux sistemlerimizde Llama ve Mistral gibi modelleri nasıl çalıştıracağımızı adım adım inceliyoruz.

Neden bulut değil de local LLM?

ChatGPT ya da Claude kullanırken verilerimizi sürekli uzak sunuculara emanet ediyoruz. Şirket sırları, kişisel günlükler, üzerinde çalıştığınız yeni bir startup fikri… Hepsi birilerinin veri merkezinde işleniyor. Yapay zekayı kendi bilgisayarınızda çalıştırmak ise tam bir veri egemenliği verir.

“Çevrimdışı çalışabilme” rahatlığı da cabası. Metroda, uçakta ya da internetin çekmediği bir kamp alanında kod yazarken takıldığınız yeri yapay zekaya sorabildiğinizi düşünün. API ücreti de aylık abonelik de yok. Bilgisayarınızın elektriği ve donanımı yettiği sürece sınırsız kullanabilirsiniz.

Ollama nedir, ne işe yarar?

Eskiden lokalde model çalıştırmak işkenceydi. Hugging Face’ten gigabaytlarca dosya indirmeniz, doğru Python kütüphanelerini (PyTorch, llama.cpp vb.) kurmanız ve uyumluluk sorunlarıyla boğuşmanız gerekirdi. Ollama bu karmaşayı tek satırlık bir komutla çözüyor. Kendisini yapay zeka modellerinin “Docker”ı olarak düşünebilirsiniz: Modelleri paketler, yönetir ve sisteminizde optimize biçimde çalıştırır.

Adım adım Ollama kurulumu

Lafı uzatmadan başlayalım. Bu yazıda Mac ve Linux üzerinden gideceğiz, ama Ollama’nın artık resmi bir Windows desteği de olduğunu belirtelim.

macOS kurulumu

Mac’te süreç çok basit. Sisteminizde Homebrew kuruluysa terminali açıp şu komutu yazmanız yeterli:

brew install ollama

İsterseniz Ollama’nın resmi web sitesinden bir `.dmg` dosyası indirip uygulamalar klasörünüze sürükleyebilirsiniz.

Linux kurulumu

Linux’ta tek satırlık bir script yetiyor. Terminalinizi açın ve aşağıdaki komutu yapıştırın:

curl -fsSL https://ollama.com/install.sh | sh

İlk modeli ayağa kaldırmak: Llama 3, Mistral ve Phi-3

Kurulum bittiğine göre motoru çalıştırabiliriz. Ollama kütüphanesinde onlarca model var. Biz en popüler üç tanesini test ettik:

Llama 3 (8B): Meta’nın geliştirdiği amiral gemisi. Genel yetenekleri ve Türkçe anlama kapasitesi oldukça yüksek.
Mistral (7B): Fransız menşeili Mistral AI’ın modeli. Özellikle kodlama ve mantık yürütmede boyutuna göre güçlü.
Phi-3 (3.8B): Microsoft’un “küçük ama zehir gibi” modeli. Düşük sistem kaynakları için ideal.

Önce Meta’nın Llama 3 modelini indirip çalıştıralım:

ollama run llama3

Bu komutu verdiğinizde Ollama önce yaklaşık 4.7 GB boyutundaki modeli arka planda indirir, ardından terminalinizi interaktif bir chat ekranına dönüştürür.

Deneyim ve raporlama: gerçekten hızlı mı?

Doğrudan test sonuçlarımıza geçelim. Testi M1 MacBook Air (16 GB RAM) üzerinde yaptık.

Llama 3 (8B) modeline Türkçe bir soru sorduğumuzda hız saniyede yaklaşık 15-18 token civarındaydı. Metin ekrana rahatça okuyabileceğinizden daha hızlı akıyor. Microsoft’un Phi-3 modelinde hız saniyede 30-35 token seviyesine çıktı. Yani GPU olmadan, yalnızca Apple Silicon işlemcinin gücüyle bile akıcı bir deneyim mümkün.

Terminalden sıkılanlara: Open WebUI entegrasyonu

Terminalde yapay zekayla sohbet etmek havalı görünüyor ama uzun vadede ChatGPT benzeri, sohbet geçmişini tutan temiz bir arayüz istiyoruz. Burada Open WebUI devreye giriyor.

Open WebUI’ı bilgisayarınızda çalıştırmanın en temiz yolu Docker kullanmak. Docker kuruluysa terminale şu komutu yazarak arayüzü başlatabilirsiniz:

docker run -d -p 3000:8080 --add-host=host.docker.internal:host-gateway -v open-webui:/app/backend/data --name open-webui --restart always ghcr.io/open-webui/open-webui:main

Ardından tarayıcınızı açıp http://localhost:3000 adresine gittiğinizde yerel ağınızda çalışan şık bir ChatGPT klonuyla karşılaşırsınız. Ollama ile indirdiğiniz tüm modeller sol üstteki açılır menüde otomatik olarak görünür.

GPU olmadan performans optimizasyonu

Güçlü bir ekran kartınız (NVIDIA RTX serisi gibi) ya da Apple Silicon Mac’iniz yoksa, saf CPU gücüyle LLM çalıştırmak bilgisayarınızı biraz terletebilir. Yine de pes etmeyin, uygulayabileceğiniz birkaç optimizasyon var:

Kuantize (quantized) modeller seçin: Ollama varsayılan olarak modellerin 4-bit kuantize edilmiş sürümlerini indirir. Yani modelin ağırlıklarını biraz küçültüp zekasından çok az ödün vererek RAM kullanımını 1/4 oranına düşürür. Sizin ekstra bir şey yapmanız gerekmiyor, Ollama bunu zaten yönetiyor.
Küçük modellere yönelin: 8B (8 milyar parametre) yerine 3B veya 1.5B parametreli modelleri tercih edin. Örneğin ollama run phi3 veya ollama run gemma:2b düşük RAM’li bilgisayarlar için biçilmiş kaftan.
Arka plan uygulamalarını kapatın: Yerel LLM çalıştırırken en kritik kaynak RAM’dir. Docker ve Ollama çalışırken özellikle RAM canavarı tarayıcı sekmelerini kapatmak performansı gözle görülür biçimde artırır.

Ollama: artılar ve eksiler

Kendi deneyimlerimize dayanan dürüst tabloya göz atalım:

Artıları (+)	Eksileri (-)
Tamamen ücretsiz ve açık kaynak kodlu.	Çok büyük modeller (70B+) için aşırı güçlü donanım ister.
%100 gizlilik ve internet gerektirmeyen çalışma yapısı.	Mobil cihazlarda doğrudan çalıştırmak (henüz) pratik değil.
Tek satırla model indirme ve güncelleme kolaylığı.	Modeller geliştikçe diskte ciddi yer kaplıyorlar.
Aktif topluluk desteği ve harika API entegrasyonu.	Türkçe dil desteği GPT-4 seviyesinde değil ama tatminkar.

Fiyat ve ücretsiz alternatifler

Ollama tamamen ücretsiz. Kullandığınız modeller de açık kaynaklı olduğu için lisans ücreti ödemezsiniz.

Ollama’nın terminal tabanlı yapısı size hitap etmediyse şu ücretsiz araçları da deneyebilirsiniz:

LM Studio: Görsel arayüzlü bir masaüstü uygulaması (Mac/Windows/Linux). Modelleri arayıp tek tıkla indirebilir, yerel sunucu kurabilirsiniz.
Jan.ai: Tamamen açık kaynaklı, şık arayüzlü bir başka yerel LLM istemcisi.

Kendi local LLM kurulumunuz bu kadar kolay. Terminali açın, Ollama’yı kurun ve yapay zekanın kontrolünü kendi elinize alın. Bir sonraki yazıda görüşmek üzere.