Secure by Design AI Sistemleri İçin Araçlar ve Teknolojiler

Genel Bakış

Geleneksel güvenlik araçları, öngörülebilir davranışlara sahip deterministik (belirlenimci) sistemler için tasarlanmıştır. Oysa yapay zeka sistemleri olasılığa dayalıdır, veriden öğrenir ve zamanla gelişir. Bu farklılık büyük bir saldırı yüzeyi doğurur.

Yapay Zeka Güvenlik Test Araçları

Model Tarayıcılar (Model Scanners): Geleneksel zafiyet tarayıcılar gibi çalışırlar ancak yapay zekaya özgüdürler. Statik tarayıcılar ağırlıkları (weights), mimariyi ve pickle vb. formatlardaki kodları analiz eder. Dinamik tarayıcılar ise çalışma zamanında jailbreak veya prompt enjeksiyon testleri uygular.
Yapay Zeka Zafiyet Beslemeleri (Feeds): YZ tehditlerini ve onlara özel çözüm önerilerini takip eden özel veri tabanlarının kullanımı kaçınılmazdır.

Temel Değerlendirme

Bu konu, AI uygulamasının sadece model cevabını değil; prompt, araç izinleri, retrieval, kimlik, loglama ve insan onayı sınırlarını birlikte test etmeyi gerektirir. Güvenlik değeri, teorik jailbreak sayısından çok, saldırının hangi veriye veya aksiyona ulaşabildiğini kanıtlamaktan gelir.

Bu Konu Neden Önemli?

AI uygulamaları klasik web uygulamalarından farklı olarak bağlam taşır ve bu bağlam çoğu zaman hassas veriye yakındır.
Ajan mimarilerinde tek bir yanlış tool izni, sıradan prompt hatasını gerçek işlem yetkisine dönüştürebilir.
RAG ve memory katmanları, eski uygulama güvenliği kontrollerinin görmediği yeni veri sızıntısı yolları açar.

Güvenlik ekipleri açısından değer, tekil bir bulgunun adından çok bulgunun hangi veriye, kullanıcıya, sisteme veya iş sürecine temas ettiğini gösterebilmekten gelir.

Bu nedenle değerlendirme yapılırken sadece teknik kontrol listesi değil, gerçek saldırı yolu, istismar kanıtı, operasyonel etki ve düzeltme önceliği birlikte ele alınmalıdır.

Pratik Örnek

Bir iç doküman asistanı sadece bilgi arıyor gibi görünür. Ancak aynı ajan ticket açabiliyor, e-posta gönderebiliyor veya CRM kaydı okuyabiliyorsa test kapsamı artık prompttan ibaret değildir. Test; kimlik, retrieval yetkisi, tool çağrısı, onay mekanizması ve log maskelemesini birlikte doğrulamalıdır.

Yanlış Bilinenler

Jailbreak sayısını güvenlik skoru sanmak.
Model değişince riskin sıfırlandığını düşünmek.
Prompt hardening yapıp tool izinlerini ve logları dışarıda bırakmak.

Karar Tablosu

| Durum | Risk | Ne Yapılmalı? | | --- | --- | --- | | Sistem hassas veriye erişiyor | Veri sızıntısı veya yetki aşımı | Kapsamlı güvenlik testi planlanmalı | | Sadece demo ortamında çalışıyor | Düşük ama büyüyebilir risk | Mimari ve veri akışı şimdiden belgelenmeli | | Üretime yakın entegrasyon var | Zincirleme etki ve operasyon riski | Assessment, remediation ve retest takvimi çıkarılmalı |

Uygulanabilir Kontrol Listesi

Varlık, veri ve kullanıcı rolleri açıkça listelendi mi?
Kritik akışlar gerçek kullanıcı senaryolarıyla test edildi mi?
Yetki sınırları hem başarılı hem başarısız isteklerle doğrulandı mı?
Log, hata mesajı ve izleme sistemleri hassas veri sızdırıyor mu?
Bulgu çıktıları iş etkisi ve remediation sahibiyle birlikte yazıldı mı?
Düzeltme sonrası retest kriteri önceden belirlendi mi?

Profesyonel Destek Ne Zaman Gerekir?

AI sistemi gerçek müşteri verisine, kurum içi dokümana, finansal kayda, ticket sistemine veya otomasyon araçlarına bağlandığında profesyonel AI security assessment gerekir.

Profesyonel destek gerektiren en net sinyal, riskin tek bir ekip tarafından tamamen görülememesidir. Ürün, güvenlik, DevOps, veri ve hukuk ekipleri aynı soruya farklı cevap veriyorsa bağımsız assessment işi hızlandırır.

Eresus Yaklaşımı

Eresus Security bu tip konularda yalnızca bulgu listesi üretmez; saldırı yolunu, iş etkisini, kanıtı, önerilen düzeltmeyi ve retest koşulunu birlikte verir.

Çalışma çıktısı teknik ekip için uygulanabilir, yönetim için anlaşılır ve satış/uyum görüşmeleri için kanıt niteliği taşıyacak şekilde hazırlanır.

Eresus Security, AI uygulamalarında prompt injection, RAG güvenliği, tool abuse, ajan akışları ve veri sızıntısı risklerini aynı test planında değerlendirir. Production öncesi kısa bir AI Security Review ile hangi kontrollerin eksik olduğunu netleştirebiliriz.

Saha Kontrol Soruları

Bu ajan hangi araçları çağırabiliyor?
Tool çağrısı için insan onayı nerede devreye giriyor?
RAG sonuçları kullanıcı yetkisine göre filtreleniyor mu?
Prompt ve cevap loglarında hassas veri maskeleniyor mu?
Model değiştiğinde eski testler tekrar koşuyor mu?
Memory katmanı kullanıcılar arasında ayrışıyor mu?
Harici web içeriği prompta nasıl giriyor?
Ajan başarısız olduğunda güvenli şekilde duruyor mu?
Sistem promptu gizli bilgi taşıyor mu?
Yetkisiz veri talebi nasıl reddediliyor?
MCP veya plugin izinleri dar kapsamlı mı?
Riskli aksiyonlar audit log üretiyor mu?
Testler sadece jailbreak değil veri sızıntısını da ölçüyor mu?
Üretim öncesi adversarial test eşiği tanımlı mı?
Kurum içi politika teknik kontrole dönüşmüş mü?

Sık Sorulan Sorular

Secure by Design AI Sistemleri İçin Araçlar ve Teknolojiler için ilk bakılması gereken şey nedir?

İlk bakılması gereken şey sistemin hangi veriye, hangi kimlikle ve hangi aksiyon yetkisiyle eriştiğidir. Teknik araç seçimi bundan sonra anlam kazanır.

Bu çalışma yalnızca otomatik araçlarla yapılabilir mi?

Otomatik araçlar iyi bir başlangıçtır ama iş mantığı, yetki sınırı, zincirleme etki ve gerçek istismar kanıtı için manuel güvenlik analizi gerekir.

Çıktı nasıl aksiyona dönüşür?

Her bulgu için etki, kanıt, önerilen düzeltme, sorumlu ekip ve retest kriteri yazılır. Böylece rapor sadece okunmaz, sprint veya güvenlik backlog’una girer.

Eresus bu konuda nasıl destek verir?

Eresus Security kapsam çıkarma, teknik test, risk önceliklendirme, remediation danışmanlığı ve retest aşamalarını tek bir çalışma akışıyla destekler.

Uygulama Planı

1. Kapsamı Netleştir

Prompt, system prompt, retrieval, tool, memory ve kullanıcı rolü ayrı ayrı envantere alınır.
Her risk başlığı için hangi veri veya aksiyon etkilenir sorusu cevaplanır.
Test senaryoları yalnızca model cevabına değil, aşağı akış sistem etkisine göre yazılır.

2. Kanıt Üret

Prompt injection veya jailbreak bulgusu veri erişimi, tool çağrısı ya da karar manipülasyonu ile kanıtlanır.
RAG testlerinde izinli ve izinsiz kullanıcılar arasında retrieval farkı gösterilir.
Ajan testlerinde riskli aksiyonun onay, log ve geri alma izleri ayrı raporlanır.

3. Düzeltmeyi Takip Edilebilir Hale Getir

Tool izinleri daraltılır, riskli aksiyonlara insan onayı eklenir.
Retrieval katmanına kullanıcı ve tenant farkındalığı eklenir.
Regression testleri model, prompt veya connector değişikliklerinde yeniden koşacak hale getirilir.

Raporlama Formatı

Bulgu adı kısa ve teknik olarak net yazılmalı.
Etkilenen varlık, kullanıcı rolü ve veri sınıfı belirtilmeli.
İstismar adımları tekrar üretilebilir ama gereksiz saldırı detayı içermeyecek şekilde verilmeli.
İş etkisi, teknik etkiden ayrı açıklanmalı.
Önerilen düzeltme, sorumlu ekip ve retest kriteri aynı blokta yer almalı.

İç Link ve Sonraki Okuma Stratejisi

Yazı ilgili hub sayfasına bağlanmalı.
Aynı pillar içindeki iki destekleyici bloga bağlantı verilmelidir.
Hizmet sayfasına giden CTA, okuyucunun bulunduğu karar aşamasına uygun olmalıdır.
Advisory veya araştırma içeriği varsa güven sinyali olarak ikincil bağlantı şeklinde kullanılmalıdır.

Sonraki Adım

Bu yazıdan sonra AI Security hub’ındaki RAG, LLM pentest ve model artefact içerikleri birlikte okunmalı; kapsam görüşmesinde veri akışı ve tool izinleri masaya yatırılmalıdır.