Şirket içine heyecanla kurulan o akıllı yapay zeka asistanları var ya… Hani “Tüm dökümanlarımızı yükleyelim, her şeyi saniyeler içinde analiz etsin” dediğimiz o dahi çocuk. İşte o çocuk, eğer doğru eğitilmez ve sınırlandırılmazsa, stajyer Ahmet’e şirketin tüm finansal dökümlerini veya CEO’nun maaşını tek bir prompt ile fısıldayabilir. Günümüz teknoloji dünyasında Kurumsal Yapay Zeka Güvenliği sadece bir lüks değil, şirket sırlarının ortalığa saçılmasını engelleyen hayati bir barikat haline geldi. Bu yazıda, LLM’lere kimlik kazandırmayı ve “sen bunu göremezsin” demeyi (yani RBAC LLM sistemlerini) fantezi dünyasından çıkarıp pratik bir teste tabi tutuyoruz.

Neden Normal Güvenlik Önlemleri LLM’lerde İşe Yaramıyor?

Klasik sistemlerde veri güvenliği nispeten kolaydır. Bir veritabanınız vardır, kullanıcı rollerini tanımlarsınız (örneğin HR, Satış, IT) ve her rolün hangi tablolara erişebileceğini belirlersiniz. Ancak işin içine LLM (Büyük Dil Modeli) ve RAG (Retrieval-Augmented Generation) girdiğinde işler karmaşıklaşıyor. Çünkü LLM’ler statik veritabanları gibi davranmaz. Doğal dili anlar, sentezler ve bazen de tahmin edilemez şekilde “halüsinasyon” görerek yetkisiz bilgileri dışarı sızdırabilir.

Buradaki en büyük risk, modelin çıkarım (inference) aşamasında yaşanır. Eğer kullanıcının kimliğini doğrulamadan ve rol tabanlı erişim kontrolü (RBAC) uygulamadan doğrudan LLM API’sine erişim verirseniz, prompt injection saldırılarına veya veri sızıntılarına kapıyı sonuna kadar açmış olursunuz. İşte bu yüzden modern mimarilerde AI Governance (Yapay Zeka Yönetişimi) ve LLM Identity kavramları hayati önem taşıyor.

[Görsel: Geleneksel güvenlik mimarisi ile LLM Gateway güvenlik mimarisinin karşılaştırmalı şeması]

Uygulamalı Test: LiteLLM ile Yetki Katmanı Kuruyoruz

Boş vaatleri ve teorik slaytları bir kenara bırakalım; biz pratikte ne yapabiliyoruz ona bakalım. Bu test senaryomuzda, şirket içi LLM güvenliğini sağlamak amacıyla açık kaynaklı popüler bir LLM Gateway olan LiteLLM aracını kullandık. LiteLLM, tüm yapay zeka sağlayıcılarının (OpenAI, Anthropic, yerel LLaMA modelleri vb.) önüne konumlanan akıllı bir proxy gibi çalışıyor.

Adım 1: Gateway Kurulumu

İlk olarak LiteLLM’i docker üzerinde hızlıca ayağa kaldırdık. Bu sayede tüm LLM isteklerini tek bir noktadan yönetebileceğiz. Terminalde şu komutla proxy’yi başlattık:

docker run -gp 4000:4000 ghcr.io/berriai/litellm:main-latest --config /app/config.yaml

Adım 2: Rol Tabanlı Erişim (RBAC LLM) Kuralları Tanımlama

Testimizde iki farklı kullanıcı profili (LLM Identity) oluşturduk:

• Pazarlama Ekibi: Sadece daha ucuz olan GPT-3.5 modeline erişebilir ve aylık 10 dolar bütçe sınırı vardır. Hassas dökümanlara erişimi yoktur.
• Veri Analitiği Ekibi: En gelişmiş GPT-4o modeline erişebilir, bütçe sınırı yüksektir ve şirketin veri ambarındaki RAG dökümanlarını sorgulayabilir.

[Görsel: LiteLLM admin paneli üzerinde kullanıcı tanımlama, API anahtarı üretme ve bütçe sınırlandırma ekranı]

Yaptığımız denemede, Pazarlama ekibinden aldığımız bir API anahtarı ile GPT-4o modeline istek atmayı denedik. Sistem, isteği daha ana OpenAI sunucularına göndermeden, çıkarım (inference) öncesi aşamada yakaladı ve bize şu hatayı döndürdü:

{
  "error": "AccessDenied: User 'marketing_user' does not have permission to access model 'gpt-4o'."
}

Bu test bize gösterdi ki, LLM entegrasyonlarında güvenliği sağlamanın en temiz yolu, istekleri doğrudan modele göndermek yerine, araya kimlik doğrulama yapabilen ve prompt’ları filtreleyebilen bir “AI Gateway” katmanı koymaktır.

Yöntemlerin Karşılaştırılması: Gateway vs. Doğrudan API Entegrasyonu

Şirket içi yapay zeka projelerinde hangi yöntemi seçeceğiniz konusunda kararsız olabilirsiniz. Sizin için hazırladığımız karşılaştırma tablosu karar vermenizi kolaylaştırabilir:

Maliyetler ve Ücretsiz Alternatifler

Kurumsal LLM güvenliği sağlamak için illa ki binlerce dolar harcamanıza gerek yok. İşte kullanabileceğiniz seçenekler:

• LiteLLM (Açık Kaynak): Tamamen ücretsiz ve kendi sunucunuzda barındırabilirsiniz. Bizim de testte kullandığımız bu versiyon çoğu KOBİ ve orta ölçekli şirket için fazlasıyla yeterli. Kurumsal destek ve gelişmiş dashboard isterseniz Enterprise planlarına geçiş yapabiliyorsunuz.
• Portkey.ai: SaaS olarak hizmet veren, gelişmiş bir AI Gateway. Aylık 10.000 isteğe kadar ücretsiz bir planı var. Sonrasında ise kullandıkça öde (pay-as-you-go) modeline geçiyor.
• Langfuse: Özellikle açık kaynak kodlu LLM takibi ve güvenliği odaklı harika bir alternatif. Kendi sunucunuzda (self-hosted) ücretsiz çalıştırabilirsiniz.

Son Söz: Yapay Zekaya Güvenin Ama Sınırlarını Çizin

Yapay zeka modelleri kendilerine verilen verileri işlemek konusunda harikalar yaratıyor, ancak etik veya kurumsal güvenlik sınırlarını kendi kendilerine çizemezler. Kurumsal Yapay Zeka Güvenliği, teknoloji ekiplerinin bugünden alması gereken en kritik aksiyonlardan biri. Şirket içi dökümanlarınızı bir LLM ile buluşturmadan önce, araya mutlaka bir kimlik doğrulama ve yetkilendirme katmanı koyun. Aksi takdirde, dahi asistanınızın bir gün en büyük bilgi sızdırıcınız haline gelmesi işten bile değil!