Yapay Zeka Şirket Sırlarını İfşa Etmeden Önce: Kurumsal LLM Güvenliği ve Yetkilendirme Rehberi

Şirket içine heyecanla kurulan o akıllı yapay zeka asistanları var ya… Hani “Tüm dökümanlarımızı yükleyelim, her şeyi saniyeler içinde analiz etsin” dediğimiz o dahi çocuk. Doğru eğitilmez ve sınırlandırılmazsa o çocuk, stajyer Ahmet’e şirketin tüm finansal dökümlerini ya da CEO’nun maaşını tek bir prompt ile fısıldayabilir. Kurumsal yapay zeka güvenliği artık bir lüks değil, şirket sırlarının ortalığa saçılmasını engelleyen bir barikat. Bu yazıda LLM’lere kimlik kazandırmayı ve “sen bunu göremezsin” demeyi (yani RBAC LLM sistemlerini) lafta bırakmayıp pratik bir teste sokuyoruz.

Normal güvenlik önlemleri LLM’lerde neden işe yaramıyor?

Klasik sistemlerde veri güvenliği nispeten kolaydır. Bir veritabanınız vardır, kullanıcı rollerini tanımlarsınız (örneğin HR, Satış, IT) ve her rolün hangi tablolara erişebileceğini belirlersiniz. İşin içine LLM (Büyük Dil Modeli) ve RAG (Retrieval-Augmented Generation) girince işler karmaşıklaşıyor, çünkü LLM’ler statik veritabanları gibi davranmaz. Doğal dili anlar, sentezler ve bazen tahmin edilemez şekilde “halüsinasyon” görerek yetkisiz bilgileri dışarı sızdırabilir.

En büyük risk modelin çıkarım (inference) aşamasında ortaya çıkar. Kullanıcının kimliğini doğrulamadan ve rol tabanlı erişim kontrolü (RBAC) uygulamadan doğrudan LLM API’sine erişim verirseniz, prompt injection saldırılarına ve veri sızıntılarına kapıyı sonuna kadar açmış olursunuz. Modern mimarilerde AI Governance (Yapay Zeka Yönetişimi) ve LLM Identity kavramları bu yüzden hayati önem taşıyor.

Uygulamalı test: LiteLLM ile yetki katmanı kuruyoruz

Boş vaatleri ve teorik slaytları bir kenara bırakıp pratikte ne yapabildiğimize bakalım. Bu testte şirket içi LLM güvenliğini sağlamak için açık kaynaklı, popüler bir LLM Gateway olan LiteLLM’i kullandık. LiteLLM, tüm yapay zeka sağlayıcılarının (OpenAI, Anthropic, yerel LLaMA modelleri vb.) önüne konan akıllı bir proxy gibi çalışıyor.

Adım 1: Gateway kurulumu

İlk olarak LiteLLM’i docker üzerinde hızlıca ayağa kaldırdık. Böylece tüm LLM isteklerini tek bir noktadan yönetebileceğiz. Proxy’yi terminalde şu komutla başlattık:

docker run -p 4000:4000 ghcr.io/berriai/litellm:main-latest --config /app/config.yaml

Adım 2: Rol tabanlı erişim (RBAC LLM) kurallarını tanımlama

Testimizde iki farklı kullanıcı profili (LLM Identity) oluşturduk:

• Pazarlama ekibi: Yalnızca daha ucuz olan GPT-3.5 modeline erişebilir ve aylık 10 dolar bütçe sınırı vardır. Hassas dökümanlara erişimi yoktur.
• Veri analitiği ekibi: En gelişmiş GPT-4o modeline erişebilir, bütçe sınırı yüksektir ve şirketin veri ambarındaki RAG dökümanlarını sorgulayabilir.

Denemede Pazarlama ekibinden aldığımız bir API anahtarıyla GPT-4o modeline istek atmayı denedik. Sistem isteği OpenAI sunucularına göndermeden, çıkarım (inference) öncesinde yakaladı ve bize şu hatayı döndürdü:

{
  "error": "AccessDenied: User 'marketing_user' does not have permission to access model 'gpt-4o'."
}

Bu test, LLM entegrasyonlarında güvenliği sağlamanın en temiz yolunun istekleri doğrudan modele göndermek yerine araya bir “AI Gateway” katmanı koymak olduğunu gösterdi. Bu katman kimlik doğrulaması yapabiliyor ve prompt’ları filtreleyebiliyor.

Yöntemlerin karşılaştırılması: gateway ve doğrudan API entegrasyonu

Şirket içi yapay zeka projelerinde hangi yöntemi seçeceğiniz konusunda kararsız olabilirsiniz. Hazırladığımız karşılaştırma tablosu karar vermenizi kolaylaştırabilir:

Özellik	Doğrudan API Kullanımı	Yapay Zeka Gateway (LiteLLM/Portkey)
Kimlik Doğrulama (LLM Identity)	Yok (Herkes aynı anahtarı kullanır)	Var (Kullanıcı veya departman bazlı benzersiz anahtarlar)
Rol Tabanlı Yetki (RBAC LLM)	Zor (Kodla tek tek yazılması gerekir)	Kolay (Arayüzden veya config dosyasından yönetilir)
Maliyet ve Bütçe Kontrolü	Sadece global limit konabilir	Kullanıcı ve model bazlı bütçe limitleri atanabilir
Prompt Güvenliği (Guardrails)	Geliştiriciye bağlı	Merkezi olarak yönetilebilir ve filtrelenebilir

Maliyetler ve ücretsiz alternatifler

Kurumsal LLM güvenliği için illa ki binlerce dolar harcamanız gerekmiyor. Kullanabileceğiniz seçenekler şöyle:

• LiteLLM (açık kaynak): Tamamen ücretsiz, kendi sunucunuzda barındırabilirsiniz. Testte kullandığımız bu sürüm çoğu KOBİ ve orta ölçekli şirket için fazlasıyla yeterli. Kurumsal destek ve gelişmiş dashboard isterseniz Enterprise planlarına geçebilirsiniz.
• Portkey.ai: SaaS olarak hizmet veren, gelişmiş bir AI Gateway. Aylık 10.000 isteğe kadar ücretsiz bir planı var. Sonrasında kullandıkça öde (pay-as-you-go) modeline geçiyor.
• Langfuse: Özellikle açık kaynak kodlu LLM takibi ve güvenliği odaklı bir alternatif. Kendi sunucunuzda (self-hosted) ücretsiz çalıştırabilirsiniz.

Son söz: yapay zekaya güvenin ama sınırlarını çizin

Yapay zeka modelleri kendilerine verilen verileri işlemekte çok başarılı, ancak etik ya da kurumsal güvenlik sınırlarını kendi kendilerine çizemezler. Kurumsal yapay zeka güvenliği, teknoloji ekiplerinin bugünden alması gereken en kritik aksiyonlardan biri. Şirket içi dökümanlarınızı bir LLM ile buluşturmadan önce araya mutlaka bir kimlik doğrulama ve yetkilendirme katmanı koyun. Yoksa dahi asistanınızın bir gün en büyük bilgi sızdırıcınız olması işten bile değil.