kertenkerem_
· LLM Tools · 3 dk okuma

AI Faturalarını Düşürün: LLM Token Maliyetlerini %80 Azaltma Yöntemleri

Yapay zekâ araçlarını tarayıcıda ücretsiz kullanmak güzel, ama kendi uygulamanızı geliştirmeye başladığınızda ya da API üzerinden büyük işler döndürdüğünüzde işin rengi hızla değişiyor. Ay sonunda gelen şişkin OpenAI veya Anthropic faturası “Acaba nerede hata yaptım?” sorusunu akıllara getiriyor. Bütçenizi iflastan kurtaracak ve projelerinizi sürdürülebilir kılacak şey LLM token optimizasyonu teknikleri. Bu yazıda Claude ve GPT modellerini kullanırken cebinizi koruyacak pratik yöntemleri bizzat test ederek anlatıyoruz.

“Token” dedikleri nedir ve paramız nereye gidiyor?

Sıkıcı teknik tanımları bir kenara bırakalım. Token, yapay zekânın kelimeleri okumak ve yazmak için kullandığı hece veya karakter parçacıklarıdır. İngilizce’de ortalama bir kelime 1.3 token ederken Türkçe’de bu oran, dilimizin yapısı ve tokenizer algoritmaları yüzünden maalesef çok daha yüksektir. Yani Türkçe bir yapay zekâ uygulaması geliştirmek baştan daha pahalıdır.

LLM (Large Language Model) servisleri sizi hem girdi (input) hem de çıktı (output) token’ları için faturalandırır. İşin kötüsü, her yeni mesaj gönderdiğinizde yapay zekâ geçmişteki tüm konuşmayı (context) tekrar okur. 10 mesajlık bir sohbette ilk mesajı tam 10 kez ödemiş olursunuz. Faturamızı kabartan ana unsur bu “hafıza kaybı”dır.

Yöntem 1: prompt caching (belleğe al ve rahat et)

Son dönemde yapay zekâ dünyasına gelen en büyük yeniliklerden biri prompt caching (prompt önbelleğe alma) oldu. Claude (Anthropic) ve son güncellemelerle GPT-4o (OpenAI) bu özelliği destekliyor.

Sistem şöyle çalışır: Yapay zekâya her seferinde verdiğiniz büyük bir dökümanı, sistem prompt’unu veya uzun bir konuşma geçmişini “önbelleğe” alırsınız. Yapay zekâ bu sabit veriyi her seferinde sıfırdan okumak yerine bellekteki hazır kopyasını kullanır. Anthropic, önbellekten okunan token’lar için %90’a varan indirim uyguluyor.

Prompt caching nasıl kullanılır? (Python örneği)

Claude API’sinde prompt caching kullanmak oldukça basittir. Önbelleğe alınmasını istediğiniz bloğun sonuna küçük bir işaretçi (checkpoint) koymanız yeterlidir:

import anthropic

client = anthropic.Anthropic()

response = client.messages.create(
    model="claude-3-5-sonnet-20241022",
    max_tokens=1024,
    system=[
        {
            "type": "text",
            "text": "Buraya uygulamanızın 50 sayfalık kullanım kılavuzunu veya sabit kurallarını yazın...",
            "cache_control": {"type": "ephemeral"} # İşte sihirli satır!
        }
    ],
    messages=[{"role": "user", "content": "Kullanıcı sorusu buraya gelecek."}],
)

Yöntem 2: AI model routing (akıllı trafik polisi)

Her sorunun cevabı için milyarlarca parametreli büyük modellere (Claude 3.5 Sonnet veya GPT-4o gibi) ihtiyacımız var mı? Kesinlikle hayır. “Merhaba, nasılsın?” sorusunu da karmaşık bir veri analizini de aynı modele göndermek tam bir bütçe katliamıdır.

AI model routing (AI model yönlendirme), gelen talebin karmaşıklığına göre görevi doğru modele aktarma işlemidir. Basit soruları GPT-4o-mini veya Claude 3.5 Haiku gibi çok ucuz (neredeyse bedava) modellere yönlendirir, derin analiz gerektiren işleri büyük modellere bırakırsınız. Bu akıllı trafik yönetimi, performanstan ödün vermeden faturalarınızı ciddi oranda düşürür.

Yöntemleri karşılaştıralım: hangisi, ne zaman?

Hangi yöntemi seçeceğiniz kullanım senaryonuza bağlı. Aşağıdaki karşılaştırma tablosu karar vermenizi kolaylaştırabilir:

Yöntem Maliyet Avantajı Zorluk Derecesi En İyi Kullanım Alanı
Prompt Caching %50 – %90 Azalma Kolay (Sadece API parametresi) Uzun döküman analizleri, sabit sistem prompt’ları olan chatbot’lar.
AI Model Routing %40 – %70 Azalma Orta (Bir yönlendirici kod yazmak gerekir) Çok çeşitli ve farklı karmaşıklıkta sorular alan müşteri hizmetleri botları.
Token Sınırlandırma (Max Tokens) %10 – %20 Azalma Çok Kolay Yapay zekanın gereksiz yere uzun ve geveze cevaplar vermesini önlemek için.

Fiyatlar ve ücretsiz alternatifler: cost efficient AI

“Ben API faturası ödemek istemiyorum, sıfır bütçeyle bu işi nasıl çözerim?” diyorsanız, cost efficient AI (maliyet odaklı yapay zekâ) yaklaşımını benimsemeniz gerekir. Cebinizi rahatlatacak bazı ücretsiz ve açık kaynaklı alternatifler şunlar:

  • Ollama ve yerel modeller: Bilgisayarınıza veya kendi sunucunuza kuracağınız Ollama sayesinde Llama 3 veya Mistral gibi açık kaynaklı modelleri tamamen ücretsiz ve sınırsız token ile çalıştırabilirsiniz. Tek maliyetiniz elektrik faturası olur.
  • LiteLLM (ücretsiz ve açık kaynaklı router): Kendi model yönlendiricinizi sıfırdan yazmak yerine LiteLLM kütüphanesini kullanabilirsiniz. Farklı API’leri tek bir standart formata dönüştürür ve routing işlemlerini kolaylaştırır.
  • OpenRouter: Tek bir API anahtarıyla düzinelerce modele erişim sağlar ve en ucuz modeli otomatik olarak seçmenize olanak tanır.

Sonuç: test ettik ve onayladık

Biz kertenkerem.net ekibi olarak yaptığımız testlerde, 10.000 kelimelik bir PDF dökümanı üzerinde çalışan bir soru-cevap botunda prompt caching kullandığımızda 100 soru sonundaki API maliyetimizin 14.50 Dolar’dan 2.10 Dolar’a düştüğünü gördük. Bu, neredeyse %85’lik bir tasarruf demek.

Yapay zekâ projeleri geliştirirken yalnızca kodun çalışmasına değil, maliyet optimizasyonuna da odaklanmak projenizin geleceğini belirler. İlk günden itibaren token bütçenizi planlayın, önbelleği aktif edin ve her soruya en pahalı modelle cevap vermekten vazgeçin. Cüzdanınız size teşekkür edecektir.