Ollama ve Open-WebUI ile Kendi Sunucunuzda Gizli ve Ücretsiz LLM Çalıştırın

Yapay zeka araçları hayatımızın merkezine yerleşti, ama akıllarda hep aynı soru var: Verilerimiz nereye gidiyor? OpenAI, Anthropic ya da Google gibi devlere gönderdiğimiz her prompt onların sunucularında işleniyor ve gelecekteki modelleri eğitmek için kullanılabiliyor. Bu da yapay zeka gizliliği endişesini doğuruyor. Şirketinizin hassas verilerini, kişisel günlüklerinizi veya geliştirdiğiniz gizli kodları bulutla paylaşmak istemiyorsanız çözüm, kendi yerel LLM sisteminizi kurmak. Docker üzerinde adım adım Ollama’yı kuracak, şık bir arayüz sunan Open-WebUI ile kendi ChatGPT alternatifimizi tamamen ücretsiz ve internete bile ihtiyaç duymadan nasıl çalıştıracağımızı göreceğiz.

Neden yerel LLM? Bulut şirketlerine karşı dijital egemenlik

Açık kaynaklı yapay zeka modelleri (Llama 3, Mistral, Gemma 2 gibi) son bir yılda çok hızlı gelişti. Milyarlarca parametrelik bu modelleri çalıştırmak için artık süper bilgisayarlara ihtiyacımız yok. Evinizdeki ortalama bir oyuncu bilgisayarı veya küçük bir ev sunucusu (home lab) bu iş için biçilmiş kaftan.

Bu zahmete girmemizin nedeni basit: bağlam ve kontrol. Yerel bir model kullandığınızda internet bağlantınız olmasa bile yapay zekanız çalışmaya devam eder. Daha önemlisi, modelle paylaştığınız hiçbir şey bilgisayarınızın dışına çıkmaz. “Prompt” dediğimiz girdiler tamamen yerel disklerde kalır ve üçüncü şahısların eline geçmez.

Gereksinimler: donanım ve yazılım altyapısı

Yerel bir dil modeli çalıştırmak için en kritik bileşen ekran kartınızın belleğidir (VRAM). İşlemci (CPU) ile de çalıştırabilirsiniz, ama bu durumda kelimelerin ekrana gelme hızı kaplumbağa hızında olacaktır.

Asgari donanım: En az 8 GB RAM ve modern bir CPU (CPU modu için) veya minimum 6 GB VRAM’e sahip bir Nvidia GPU (Örn: RTX 3060).
Önerilen donanım: 12 GB+ VRAM’e sahip Nvidia GPU veya Apple Silicon M1/M2/M3 çipli Mac (Mac bilgisayarlar birleşik bellek kullandığı için bu işte çok başarılıdır).
Yazılım: Sisteminizde Docker ve Docker Compose kurulu olmalıdır.

Docker ile Ollama kurulumu ve Open-WebUI entegrasyonu

Sistemi tek tek kurmak yerine Docker kullanarak her şeyi tek bir komutla ayağa kaldıracağız. Bu yöntem sistemimizi kirletmez, ileride güncellemeleri de tek tuşla yapmamızı sağlar.

Önce proje için boş bir klasör oluşturalım ve içine docker-compose.yml adında bir dosya yaratalım. Ardından aşağıdaki yapılandırmayı bu dosyanın içine yapıştıralım:

version: '3.8'

services:
  ollama:
    volumes:
      - ./ollama:/root/.ollama
    container_name: ollama
    pull_policy: always
    tty: true
    restart: unless-stopped
    image: ollama/ollama:latest
    # Eğer Nvidia ekran kartınız varsa aşağıdaki deploy bloğunun önündeki # işaretlerini kaldırın:
    # deploy:
    #   resources:
    #     reservations:
    #       devices:
    #         - driver: nvidia
    #           count: all
    #           capabilities: [gpu]

  open-webui:
    image: ghcr.io/open-webui/open-webui:main
    container_name: open-webui
    volumes:
      - ./open-webui:/app/backend/data
    ports:
      - 3000:8080
    environment:
      - OLLAMA_BASE_URL=http://ollama:11434
    extra_hosts:
      - "host.docker.internal:host-gateway"
    restart: unless-stopped
    depends_on:
      - ollama

Dosyayı kaydettikten sonra terminalinizden bu klasöre gidin ve şu komutu çalıştırın:

docker compose up -d

Docker gerekli imajları indirip servisleri arka planda başlatacak. Tarayıcınızı açıp http://localhost:3000 adresine gittiğinizde sizi şık bir giriş ekranı karşılayacak.

İlk modelin indirilmesi ve test aşaması

Open-WebUI ilk açıldığında sizden bir hesap oluşturmanızı isteyecek. Bu hesap tamamen yerel olarak bilgisayarınızda tutulur ve internete gönderilmez. İlk kaydolan kullanıcı otomatik olarak “Admin” (Yönetici) yetkisine sahip olur.

Giriş yaptıktan sonra sol alttaki profil resminize tıklayıp Settings > Models sekmesine gidin. Buraya indirmek istediğimiz modelin adını yazmamız gerekiyor. Başlangıç için hem hızlı hem de Türkçe performansı fena olmayan Llama 3 (8B) modelini öneririm. Kutuya sadece llama3 yazıp indir butonuna basın.

Gerçekçi bir test: Llama 3 ne kadar başarılı?

Model indikten sonra üst menüden modeli seçip sohbete başlayabiliriz. Ben kendi testlerimde yerel LLM’e şu soruyu yönelttim:

“Bana Python ile yazılmış, verilen bir metindeki kelimeleri sayan basit bir fonksiyon yazar mısın?”

Llama 3 bu isteği yaklaşık 2 saniye içinde yanıtladı ve kod bloklarını eksiksiz şekilde önüme koydu. Yanıt hızı (token per second) kullandığınız ekran kartına göre değişecektir. RTX 3060 ekran kartımla saniyede yaklaşık 40 kelime (token) üretebildim. Bu değer ChatGPT Plus hızına oldukça yakın.

Artılar ve eksiler: yerel LLM vs bulut servisleri

Kendi yapay zekanızı çalıştırmak güzel bir his, ama her güzel şeyin bir bedeli var. Aşağıdaki tabloda yerel sistemlerin ticari bulut servislerine karşı durumunu tarafsızca özetledim:

Özellik	Yerel LLM (Ollama + Open-WebUI)	Bulut Servisleri (ChatGPT / Claude)
Veri Gizliliği	✅ %100 Güvenli (Tamamen Çevrimdışı)	❌ Riskli (Verilerinizle model eğitilebilir)
Abonelik Ücreti	✅ Ücretsiz (Sonsuza kadar)	❌ Aylık ortalama 20$
İnternet Bağımlılığı	✅ İnternetsiz çalışabilir	❌ İnternet şarttır
Maksimum Akıl Yürütme	🟡 Donanımınıza bağlı (Llama 3 8B veya 70B)	✅ Çok Güçlü (GPT-4o, Claude 3.5 Sonnet)
Kurulum Kolaylığı	❌ Teknik bilgi ve Docker gerektirir	✅ Tek tıkla üye olup kullanılır

Maliyetler ve ücretsiz alternatifler

Ollama ve Open-WebUI tamamen ücretsiz ve açık kaynak kodludur. Tek maliyetiniz, bilgisayarınızın harcayacağı elektrik ve varsa başlangıçta satın alacağınız donanım yatırımıdır.

Docker kullanmak istemiyorsanız veya bu kurulum size karmaşık geldiyse şu ücretsiz alternatifleri de değerlendirebilirsiniz:

LM Studio: Tek tıkla kurulabilen, Docker gerektirmeyen ve modelleri kendi içinden indirmenize izin veren kullanışlı bir masaüstü uygulamasıdır.
AnythingLLM: Dokümanlarınızı (PDF, Word vb.) yapay zekaya kolayca öğretip soru-cevap yapabileceğiniz, yine tamamen yerel çalışan kullanıcı dostu bir araçtır.

Son sözler

Kendi yerel LLM sisteminizi kurmak, gizliliğe önem veren her geliştirici ve teknoloji meraklısı için bir dönüm noktası. Ollama’nın sade arka plan motoruyla Open-WebUI’ın modern arayüzü birleşince evimizde kendi küçük ChatGPT’mizi çalıştırmak artık hayal değil. Elinizde güçlü bir GPU varsa bu kuruluma şans vermenizi öneririm. Gelecek, verilerini kendi kontrolünde tutabilenlerin olacak.