Retrieval augmented generation (RAG) sistemlerinin yüksek riskli sınıflandırma işlemlerinde, dil modeline (LLM) her belirsiz durumu yönlendirmek yaygın bir mimari tercih olarak karşımıza çıkıyor. Ancak bu yaklaşım, sistemlerin denetim, düzenleyici veya uyum görevlileri tarafından sorgulandığında sorunlara yol açabiliyor.

RAG Sistemlerinin Sınırları

RAG sistemleri, özellikle yüksek riskli sınıflandırma işlemlerinde, denetim ve düzenleme süreçlerinde zorluklarla karşılaşıyor. Her bir kararın, uzun bir süre sonra bile incelenebilir ve açıklanabilir olması gerekiyor. Bu nedenle, sistemlerin tasarım felsefesinde değişikliklere gitmek gerekiyor.

Kaskad Mimarisi

Bu sorunları çözmek için, kaskad mimarisi olarak adlandırılan bir approach öneriliyor. Bu yaklaşım, LLM'i ilk savunma hattı olarak değil, daha çok bir yükseltme yolu olarak kullanmayı öneriyor. Sistem, üç aşamalı bir pipeline olarak tasarlanıyor. İlk aşama, deterministik bir yaklaşım kullanarak, net eşleşmeler ve yapısal alan karşılaştırmaları gibi işlemleri gerçekleştiriyor. İkinci aşama, belirsizliklerin çözülmesi için bir geri çağırma (retrieval) katmanı ekliyor. Son aşama ise, LLM çağrısını içeriyor ve sadece ilk iki aşamanın çözemediği durumlarda devreye giriyor.

Ekonomik Avantajlar

Bu yaklaşımın, hem maliyet hem de kalite açısından önemli avantajları bulunuyor. Bir sistemde, sadece gerçekten belirsiz olan %10-15'lik bir kısmı LLM'ye yönlendirmek, maliyeti yaklaşık 6 kat azaltabiliyor. Ayrıca, deterministik majority için tutarlılığı neredeyse mükemmele çıkarabiliyor.

Ne Anlama Geliyor?

Bu yaklaşım, özellikle yüksek riskli sınıflandırma işlemlerinde kullanılan RAG sistemlerinin tasarım felsefesinde önemli bir değişikliği gerektiriyor. Sistemlerin, denetim ve düzenleme süreçlerinde daha şeffaf ve açıklanabilir olması gerekiyor. Kaskad mimarisi, bu gereksinimi karşılamak için önemli bir çözüm sunuyor. Bu yaklaşımın, sistemlerin tasarımında ve geliştirilmesinde daha fazla dikkate alınması gerekiyor.