LangChain CEO'su Harrison Chase, Conviva CTO'su Hui Zhang ve CoreWeave Mühendislik Direktörü Emmanuel Turlay, tekil konuşma analizlerinin ürün başarısını ölçmede yetersiz kaldığını vurguladı.
Tekil Analizler Yanıltıcı Olabilir
Hui Zhang, tek bir yapay zeka etkileşiminin kusursuz görünse bile ürünün aslında hatalı olabileceği konusunda uyardı. Zhang'a göre, tekil izleme yerine kullanıcı gruplarının bir temel çizgi ile karşılaştırıldığı kontrastif analiz yöntemine geçilmelidir. Örneğin; bir ayakkabı alışverişinde yapay zekanın doğru ürünü satması tekil olarak başarılı görünse de, genel popülasyona göre üç kat daha fazla soru sorması veya müşterilerin beş kat daha fazla işlemi konuşma dışında tamamlaması, kategoriye özel bir sorunun olduğunu kanıtlamaktadır.
Değerlendirme Kriterleri Yeni Ürün Şartnamesi Oldu
Harrison Chase, birçok ekibin yayına girmeden önce kapsamlı test setleri oluşturmaya çalışırken 'değerlendirme felci' yaşadığını belirtti. Chase, en başarılı ekiplerin ürünü yayına alıp ardından yineleme yoluna gittiğini ifade etti. Bu süreçte değerlendirme kriterlerinin, yazılım geliştirme süreçlerindeki ürün gereksinim dokümanlarının (PRD) yerini aldığını ve ajanların ne yapıp ne yapmayacağını belirleyen canlı bir şartnameye dönüştüğünü açıkladı.
Kapsamlı İzleme ve Model Verimliliği
Emmanuel Turlay, test kapsamını yüzde 100'e çıkarmaya çalışsa bile üretim aşamasında hatalarla karşılaştığını dile getirdi. Turlay'a göre, yayından önce yapılan kapsamlı testler yerine, sürekli açık olan geniş çaplı izleme sistemleri gerçek hataları yakalamada daha etkili. İzleme yoluyla tespit edilen hata sınıflarının ardından hedefe yönelik çevrimdışı değerlendirme setleri oluşturulması gerektiğini savunan Turlay, başlangıçta en yetenekli modelle çözümün mümkün olduğunu kanıtlayıp ardından maliyeti düşürmek için daha dar kapsamlı modellerle ilerlemenin doğru strateji olduğunu belirtti.
Yorumlar (0)
Henüz yorum yok. İlk yorumu siz yazın.