Ollama ve Open-WebUI ile Kendi Sunucunuzda Gizli ve Ücretsiz LLM Çalıştırın

Yapay zeka araçları hayatımızın merkezine yerleşti ancak akıllarda hep aynı soru var: Verilerimiz nereye gidiyor? OpenAI, Anthropic ya da Google gibi devlere gönderdiğimiz her prompt, onların sunucularında işleniyor ve gelecekteki modelleri eğitmek için kullanılabiliyor. İşte tam bu noktada yapay zeka gizlilik endişeleri devreye giriyor. Eğer siz de şirketinizin hassas verilerini, kişisel günlüklerinizi veya geliştirdiğiniz gizli kodları bulutla paylaşmak istemiyorsanız, çözüm kendi yerel llm sisteminizi kurmak. Bu rehberde, Docker üzerinde adım adım ollama kurulumu yapacak ve şık bir arayüz sunan open webui ile kendi ChatGPT alternatifimizi tamamen ücretsiz ve internete bile ihtiyaç duymadan nasıl çalıştıracağımızı göreceğiz.

Neden Yerel LLM? Bulut Şirketlerine Karşı Dijital Egemenlik

Açık kaynaklı yapay zeka modelleri (Llama 3, Mistral, Gemma 2 gibi) son bir yılda inanılmaz bir gelişim gösterdi. Artık milyarlarca parametrelik bu modelleri çalıştırmak için süper bilgisayarlara ihtiyacımız yok. Evinizdeki ortalama bir oyuncu bilgisayarı veya küçük bir ev sunucusu (home lab) bu iş için biçilmiş kaftan.

Peki neden bu zahmete girelim? Yanıt basit: Bağlam ve kontrol. Yerel bir model kullandığınızda, internet bağlantınız olmasa bile yapay zekanız çalışmaya devam eder. Daha da önemlisi, modelle paylaştığınız hiçbir şey bilgisayarınızın dışına çıkmaz. “Prompt” dediğimiz girdiler tamamen yerel disklerde kalır ve üçüncü şahısların eline geçmez.

Gereksinimler: Donanım ve Yazılım Altyapısı

Yerel bir dil modeli çalıştırmak için en kritik bileşen ekran kartınızın belleğidir (VRAM). İşlemci (CPU) ile de çalıştırabilirsiniz ancak bu durumda kelimelerin ekrana gelme hızı kaplumbağa hızında olacaktır.

• Asgari Donanım: En az 8 GB RAM ve modern bir CPU (CPU modu için) veya minimum 6 GB VRAM’e sahip bir Nvidia GPU (Örn: RTX 3060).
• Önerilen Donanım: 12 GB+ VRAM’e sahip Nvidia GPU veya Apple Silicon M1/M2/M3 çipli Mac (Mac bilgisayarlar birleşik bellek kullandığı için bu işte çok başarılıdır).
• Yazılım: Sisteminizde Docker ve Docker Compose kurulu olmalıdır.

Docker ile Ollama Kurulumu ve Open-WebUI Entegrasyonu

Sistemi tek tek kurmak yerine Docker kullanarak her şeyi tek bir komutla ayağa kaldıracağız. Bu yöntem hem sistemimizi kirletmez hem de ileride güncellemeleri tek tuşla yapmamızı sağlar.

İlk olarak projemiz için boş bir klasör oluşturalım ve içine docker-compose.yml adında bir dosya yaratalım. Ardından aşağıdaki yapılandırmayı bu dosyanın içine yapıştıralım:

version: '3.8'

services:
  ollama:
    volumes:
      - ./ollama:/root/.ollama
    container_name: ollama
    pull_policy: always
    tty: true
    restart: unless-stopped
    image: ollama/ollama:latest
    # Eğer Nvidia ekran kartınız varsa aşağıdaki deploy bloğunun önündeki # işaretlerini kaldırın:
    # deploy:
    #   resources:
    #     reservations:
    #       devices:
    #         - driver: nvidia
    #           count: all
    #           capabilities: [gpu]

  open-webui:
    image: ghcr.io/open-webui/open-webui:main
    container_name: open-webui
    volumes:
      - ./open-webui:/app/backend/data
    ports:
      - 3000:8080
    environment:
      - OLLAMA_BASE_URL=http://ollama:11434
    extra_hosts:
      - "host.docker.internal:host-gateway"
    restart: unless-stopped
    depends_on:
      - ollama

Dosyayı kaydettikten sonra terminalinizden bu klasöre gidin ve şu komutu çalıştırın:

docker compose up -d

Docker, gerekli imajları indirecek ve arka planda servisleri başlatacaktır. Tarayıcınızı açıp http://localhost:3000 adresine gittiğinizde sizi şık bir giriş ekranı karşılayacak.

[Görsel: Open-WebUI ilk giriş ve kayıt olma ekranı arayüzü]

İlk Modelin İndirilmesi ve Test Aşaması

Open-WebUI ilk açıldığında sizden bir hesap oluşturmanızı isteyecektir. Bu hesap tamamen yerel olarak bilgisayarınızda tutulur ve internete gönderilmez. İlk kaydolan kullanıcı otomatik olarak “Admin” (Yönetici) yetkisine sahip olur.

Giriş yaptıktan sonra sol alttaki profil resminize tıklayıp Settings > Models sekmesine gidin. Buraya indirmek istediğimiz modelin adını yazmamız gerekiyor. Başlangıç için hem hızlı hem de Türkçe performansı fena olmayan Llama 3 (8B) modelini öneririm. Kutuya sadece llama3 yazıp indir butonuna basın.

[Görsel: Open-WebUI ayarlar menüsünde Llama 3 modelinin indirilme süreci]

Gerçekçi Bir Test: Llama 3 Ne Kadar Başarılı?

Model indikten sonra üst menüden indirdiğimiz modeli seçip sohbete başlayabiliriz. Ben kendi yaptığım testlerde yerel LLM’e şu soruyu yönelttim:

“Bana Python ile yazılmış, verilen bir metindeki kelimeleri sayan basit bir fonksiyon yazar mısın?”

Llama 3, bu isteği yaklaşık 2 saniye içinde yanıtladı ve kod bloklarını eksiksiz şekilde önüme koydu. Yanıt hızı (token per second), kullandığınız ekran kartına göre değişecektir. RTX 3060 ekran kartımla saniyede yaklaşık 40 kelime (token) üretebildim ki bu değer ChatGPT Plus hızına oldukça yakın.

Artılar ve Eksiler: Yerel LLM vs Bulut Servisleri

Kendi yapay zekanızı çalıştırmak harika bir his olsa da, her güzel şeyin bir bedeli var. Aşağıdaki tabloda yerel sistemlerin ticari bulut servislerine karşı durumunu tarafsızca özetledim:

Özellik	Yerel LLM (Ollama + Open-WebUI)	Bulut Servisleri (ChatGPT / Claude)
Veri Gizliliği	✅ %100 Güvenli (Tamamen Çevrimdışı)	❌ Riskli (Verilerinizle model eğitilebilir)
Abonelik Ücreti	✅ Ücretsiz (Sonsuza kadar)	❌ Aylık ortalama 20$
İnternet Bağımlılığı	✅ İnternetsiz çalışabilir	❌ İnternet şarttır
Maksimum Akıl Yürütme	🟡 Donanımınıza bağlı (Llama 3 8B veya 70B)	✅ Çok Güçlü (GPT-4o, Claude 3.5 Sonnet)
Kurulum Kolaylığı	❌ Teknik bilgi ve Docker gerektirir	✅ Tek tıkla üye olup kullanılır

Maliyetler ve Ücretsiz Alternatifler

Ollama ve Open-WebUI tamamen ücretsiz ve açık kaynak kodludur. Tek maliyetiniz, bilgisayarınızın harcayacağı elektrik ve varsa başlangıçta satın alacağınız donanım yatırımıdır.

Eğer Docker kullanmak istemiyorsanız veya bu kurulum size karmaşık geldiyse, şu ücretsiz alternatifleri de değerlendirebilirsiniz:

• LM Studio: Tek tıkla kurulabilen, Docker gerektirmeyen ve modelleri kendi içinden indirmenize izin veren harika bir masaüstü uygulamasıdır.
• AnythingLLM: Dokümanlarınızı (PDF, Word vb.) yapay zekaya kolayca öğretip soru-cevap yapabileceğiniz, yine tamamen yerel çalışan kullanıcı dostu bir araçtır.

Son Sözler ve Değerlendirme

Kendi yerel LLM sisteminizi kurmak, yapay zeka gizlilik hassasiyeti olan her geliştirici ve teknoloji meraklısı için bir dönüm noktasıdır. Ollama’nın sunduğu sade arka plan motoru ve Open-WebUI’ın modern arayüzü birleştiğinde, evimizde kendi küçük ChatGPT’mizi çalıştırmak artık hayal değil. Eğer elinizde güçlü bir GPU varsa, bu kuruluma şans vermenizi kesinlikle öneririm. Gelecek, verilerini kendi kontrolünde tutabilenlerin olacak.