Ephemeral ortamlarda self-healing altyapı: kendi kendini onaran service mesh mimarisi
DevOps süreçlerinde ephemeral yani geçici test ortamlarının yönetimi, genellikle stabilite sorunlarıyla karşılaşır. Ephemeral ortamlarda service mesh kullanımı, trafik yönetimi ve gözlemlenebilirlik açısından kritik olsa da, servislerin self-healing yeteneklerini doğru yapılandırmadan kurulan mimariler darboğaz yaratır. Otomasyon katmanını sadece deployment için değil, runtime hatalarını gidermek için kurgulamak, operasyonel yükü ciddi oranda azaltır.
Servis mesh üzerinde sağlık kontrollerini otomatize etmek
Kubernetes yerleşik liveness ve readiness probeları tek başına yeterli kalmaz. Service mesh seviyesinde devreye giren devre kesici yani circuit breaker yapılandırmaları, servisler arası hatalı çağrı zincirlerini anlık olarak koparmalıdır. İstio gibi bir yapıda, upstream servis yanıt vermediğinde veya hata oranları arttığında bağlantıyı otomatik kesmek için DestinationRule yapılandırmasını optimize etmek gerekir.
apiVersion: networking.istio.io/v1alpha3
kind: DestinationRule
metadata:
name: service-mesh-circuit-breaker
spec:
host: backend-service
trafficPolicy:
connectionPool:
http:
http1MaxPendingRequests: 1
maxRequestsPerConnection: 1
outlierDetection:
consecutive5xxErrors: 3
interval: 1s
baseEjectionTime: 3m
maxEjectionPercent: 100
Bu konfigürasyon, 3 adet 5xx hatası alan podu, 3 dakika boyunca trafik havuzundan çıkarır. Manuel müdahaleye gerek kalmadan yükü sağlıklı podlara kaydırır. Neden böyle? Çünkü hata zinciri oluştuğunda, sistem üzerindeki yük artar ve sağlam servisler de kaynak yetersizliğinden hata vermeye başlar. Outlier detection, bu domino etkisini henüz başlamadan durdurur.
Custom controller ile kendi kendini onaran döngüler
Service mesh metriklerini Prometheus üzerinden alıp, operasyonel kararları otomatize etmek için özel bir kontrolcü yazmak yerine, Kubernetes operator pattern kullanmak daha sürdürülebilirdir. Eğer bir servis sürekli yeniden başlatılıyorsa, sorun büyük ihtimalle konfigürasyon veya bağımlılık hatasıdır.
Bir shell betiği veya Go ile yazılmış küçük bir controller, Prometheus’tan gelen 'istio_requests_total' verisini izleyerek anomalileri saptayabilir. Aşağıdaki örnek, hatalı servisi geçici olarak izole etmek için kullanılan temel bir mantığı temsil eder:
#!/bin/bash
THRESHOLD=50
METRIC=$(curl -s http://prometheus-service:9090/api/v1/query?query=sum(rate(istio_requests_total{response_code="500"}[1m])) | jq '.data.result[0].value[1]')
if (( $(echo "$METRIC > $THRESHOLD" | bc -l) )); then
kubectl annotate pod backend-pod-xxx mesh.istio.io/proxy-ignore=true
echo "Pod izole edildi: $METRIC hatalı istek tespit edildi."
fi
Bu yaklaşım, yüksek hata oranına sahip bir podun ağ trafiğini keserek sistemin geri kalanını korumayı hedefler. Ephemeral ortamlarda bu otomasyon, testlerin bölünmemesini sağlar.
Bağımlılık zinciri yönetimi ve retry politikaları
Geçici ortamlarda ağ gecikmeleri veya servislerin ayağa kalkma sürelerindeki düzensizlikler, hatalı tetikleyicilere neden olur. Service mesh üzerinden uygulanan retry politikaları, geçici ağ hatalarını tolere eder ancak bu politika yanlış yapılandırılırsa sisteme daha fazla yük bindirir.
Retry yapılandırırken mutlaka 'exponential backoff' kullanmalısınız. Aksi takdirde, zaten zorlanan servis üzerinde bir retry storm yani tekrarlı istek fırtınası yaratırsınız. İstio VirtualService üzerinde şu şekilde bir yapılandırma, sistemin kendi kendini toparlamasına yardımcı olur:
http:
- route:
- destination:
host: api-gateway
retries:
attempts: 3
perTryTimeout: 2s
retryOn: gateway-error,connect-failure,refused-stream
Self-healing mimaride gözlemlenebilirlik
Otomasyonun çalıştığını doğrulamak için loglar yerine event tabanlı izleme yapmalısınız. Kubernetes eventlerini bir log yönetimi aracına gönderip, self-healing tetiklendiğinde uyarı almak, mimari hataları erken keşfetmenizi sağlar. Eğer bir servis mesh kuralı sürekli tetikleniyorsa, kod tabanınızda veya altyapı bağımlılığınızda bir döngü hatası var demektir.
Ephemeral ortamlar için oluşturduğunuz bu mekanizmalar, üretim ortamı için de bir test yatağı görevi görür. Hata ayıklama süreci otomatikleştiğinde, mühendislik ekibinin odak noktası "bu neden çalışmıyor"dan, "nasıl daha dirençli hale getiririz"e kayar. Sistemin kendini onarması, aslında sistemin hata yapma kapasitesini önceden kestirip ona uygun savunma duvarları örmektir.