LLM Yanıtlarını Şansa Bırakmayın: Promptfoo ile Prompt Test Otomasyonu ve Güvenlik Analizi

Yapay zeka modelleriyle çalışan hemen herkes şu senaryoyu yaşamıştır: Promptunuza küçük bir kelime eklersiniz, her şey harika çalışır. Ertesi gün başka bir kelimeyi değiştirirsiniz ve tüm sistem çorba olur. İşte bu kaosu engellemek, sistemli bir prompt testi yapmak ve modern standartlarda yapay zeka guvenligi sağlamak için bugün radarımıza harika bir açık kaynaklı araç alıyoruz: Promptfoo. LLM çıktılarını şansa bırakmamak ve bilimsel bir llm evaluation (LLM değerlendirme) süreci işletmek için bu aracı tüm detaylarıyla inceliyoruz.

“Vibe-Driven Development” Devri Kapandı: Neden Promptfoo?

Yazılım dünyasında uzun yıllardır “Test Driven Development” (Test Odaklı Geliştirme) dediğimiz, kodun doğruluğunu otomatize testlerle ölçtüğümüz bir standart var. Ancak yapay zeka dünyasında işler hala biraz “hislere” göre yürüyor. Promptu değiştir, ChatGPT’ye üç kez sor, “Tamam, güzel cevap veriyor” de ve yayına al. Biz buna sektörde esprili bir şekilde “Vibe-driven development” (Hislere göre geliştirme) diyoruz.

Peki ya kullanıcı binlerce farklı girdi gönderdiğinde ne olacak? Promptunuzun halüsinasyon görmeyeceğini, hassas verileri sızdırmayacağını veya rakiplerinizi övmeyeceğini nasıl garanti edebilirsiniz? İşte Promptfoo tam olarak bu boşluğu dolduruyor. Promptlarınızı, modellerinizi ve parametrelerinizi tıpkı bir birim testi (unit test) yazar gibi otomatik olarak test etmenizi sağlıyor.

[Görsel: Promptfoo CLI arayüzünde yeşil ve kırmızı test sonuçlarının detaylı görünümü]

Promptfoo Nasıl Çalışır? Pratik Bir Senaryo

Promptfoo’nun mantığı oldukça basittir: Prompt şablonlarınızı, test etmek istediğiniz değişkenleri (inputs) ve testin başarılı sayılması için gereken kriterleri (asserts) bir YAML dosyasında tanımlarsınız. Gerisini Promptfoo halleder.

Gelin, teknik jargonla boğulmadan basit bir müşteri destek botu senaryosu üzerinden gidelim. Amacımız, botumuzun rakip firmaların isimlerini asla telaffuz etmemesini sağlamak.

1. Kurulum

Promptfoo, Node.js ortamında çalışan bir CLI (komut satırı) aracıdır. Terminalinizi açıp şu komutla hızlıca kurabilirsiniz:

npm install -g promptfoo

2. Test Yapılandırması (promptfooconfig.yaml)

Ardından projenizin kök dizininde bir yapılandırma dosyası oluşturuyoruz. Bu dosyada hangi modeli kullanacağımızı, promptumuzu ve test senaryolarımızı belirtiyoruz:

prompts:
  - "Sen bir müşteri destek asistanısın. Müşterinin sorusu: {{soru}}. Cevap verirken asla rakiplerimiz olan 'X-Kargo' veya 'Y-Lojistik' firmalarından bahsetme."

providers:
  - openai:gpt-4o-mini

tests:
  - vars:
      soru: "Kargom ne zaman ulaşır? X-Kargo sizden daha mı hızlı?"
    assert:
      - type: not-contains
        value: "X-Kargo"
      - type: contains
        value: "Kargo"

  - vars:
      soru: "Fiyat listeniz nedir?"
    assert:
      - type: llm-rubric
        value: "Cevap kurumsal ve nazik bir tonda olmalı."

3. Testi Çalıştırma

Yapılandırma dosyamızı hazırladıktan sonra tek yapmamız gereken terminale şu komutu yazmak:

promptfoo eval

Promptfoo belirlediğiniz LLM’e (örneğimizde GPT-4o-mini) istekleri gönderir, gelen yanıtları yazdığınız kurallarla (not-contains, llm-rubric vb.) karşılaştırır ve size detaylı bir rapor sunar. Eğer test sonuçlarını tarayıcıda görsel olarak incelemek isterseniz promptfoo view komutuyla harika bir web arayüzüne erişebilirsiniz.

Yapay Zeka Güvenliği (Red Teaming) ve Otomatik Açık Tarama

Promptfoo’yu sadece basit bir “girdi-çıktı kontrolcüsü” olarak görmek ona haksızlık olur. Aracın en güçlü yanlarından biri, yerleşik olarak gelen yapay zeka guvenligi ve “red teaming” (siber güvenlik saldırı simülasyonu) araçlarıdır.

Sistemlerinize yapılabilecek prompt injection (prompt sızması) saldırılarını, zararlı içerik üretme potansiyellerini veya sisteme hassas veri söyletme (PII leakage) çabalarını Promptfoo ile otomatik olarak simüle edebilirsiniz. Araç, kendi içerisinde barındırdığı hazır saldırı vektörlerini sisteminize göndererek promptunuzun bu saldırılara karşı ne kadar dirençli olduğunu raporlar.

[Görsel: Promptfoo kırmızı takım (red teaming) raporlama ekranı ve güvenlik açıklarının listesi]

Promptfoo Artıları ve Eksileri

Piyasada birçok llm evaluation aracı bulunuyor. Promptfoo’yu kendi testlerimizde deneyimledikten sonra çıkardığımız artı ve eksi tablosu şu şekilde:

Özellik	Artıları (+)	Eksileri (-)
Kurulum ve Kullanım	YAML tabanlı, kod yazmadan test senaryoları oluşturulabiliyor. Çok hızlı.	Node.js bağımlılığı var; saf Python geliştiricileri için ilk başta yabancı gelebilir.
Model Desteği	OpenAI, Anthropic, Ollama, HuggingFace ve yerel API’lerin neredeyse tümünü destekliyor.	Bazı yerel modellerde entegrasyon ayarları karmaşıklaşabiliyor.
Güvenlik Analizi	Gelişmiş “red teaming” yetenekleri ücretsiz ve yerleşik olarak sunuluyor.	Güvenlik testleri çok fazla token tükettiği için API maliyetlerini artırabiliyor.
Arayüz	Yerel web arayüzü (CLI üzerinden açılan) oldukça başarılı ve anlaşılır.	Çok büyük test setlerinde tarayıcı arayüzü bazen yavaşlayabiliyor.

Fiyatlandırma ve Ücretsiz Alternatifler

Promptfoo, tamamen **açık kaynak kodlu (open-source)** ve **ücretsiz** bir araçtır. Kendi bilgisayarınızda veya kendi sunucunuzda (self-hosted) tamamen ücretsiz olarak çalıştırabilirsiniz. Bu durum, özellikle veri gizliliğine önem veren kurumsal projeler için devasa bir avantajdır.

Ancak, kurumsal ekipler için iş birliği özelliklerinin ve gelişmiş analizlerin yer aldığı, bulut tabanlı ücretli bir “Promptfoo Enterprise” sürümü de mevcuttur.

Popüler Ücretsiz ve Açık Kaynaklı Alternatifler

• DeepEval: Özellikle Python ekosisteminde çalışan geliştiriciler için harika bir alternatiftir. Birim testlerinizi popüler test kütüphanesi Pytest ile yazmanıza olanak tanır.
• Ragas: Özellikle RAG (Retrieval-Augmented Generation – Bilgi Geri Getirme tabanlı) sistemleri optimize etmek ve test etmek için özelleşmiş mükemmel bir kütüphanedir.
• LangSmith: LangChain ekosisteminin bir parçasıdır. Gelişmiş izleme (tracing) ve test özellikleri sunar. Belirli bir kota limitine kadar ücretsiz paketi (freemium) mevcuttur, sonrasında ücretlendirilir.

Son Söz: Promptlarınızı Şansa Bırakmayın

Günün sonunda, yapay zeka entegrasyonuna sahip bir uygulama geliştiriyorsanız, kullanıcılarınıza sunacağınız deneyimin kalitesi doğrudan promptlarınızın kararlılığına bağlıdır. Promptfoo, bu kararlılığı ölçülebilir rakamlara döken, geliştirme sürecinizi hızlandıran ve sizi beklenmedik LLM sürprizlerinden koruyan harika bir cankurtaran.

Eğer siz de “vibe-driven” yöntemlerden sıkıldıysanız ve projelerinize gerçek bir prompt testi disiplini getirmek istiyorsanız, Promptfoo’ya kesinlikle bir şans vermelisiniz.