Yapay zeka ajanı Instinct, kullanıcılarına kişiselleştirilmiş ürün ve hizmet önerileri sunan Instinct Selections adlı yeni özelliğini devreye alarak gelir modeli oluşturmayı hedefledi. Kurucu Noah Shinn, bu özelliğin yerel aşçılar, tasarımcılar ve seyahat rehberleri gibi insan uzmanları ile ortaklık kurarak sunulan önerilere 'insan dokunuşu' katmayı amaçladığını açıkladı. Ancak özelliğin kullanıcılar tarafından izinsiz ve beklenmedik bir şekilde devreye girmesi, sosyal medyada geniş çaplı bir tepkiyle karşılaştı.

İnsan dokunuşlu öneri sistemi

Şirketin açıklamasına göre Instinct Selections, yalnızca genel web verilerinden beslenen standart yapay zeka önerilerinin ötesine geçmeyi amaçlıyor. Sistem, yeme içme, seyahat ve alışveriş alanlarında yerel uzmanların hazırladığı listelerden yararlanıyor. Şinn, kullanıcıların gizli kalmış restoranları, yeni doğa parkurlarını veya bağımsız tasarımcıların ev dekorasyonu ürünlerini bu yolla keşfedebileceğini belirtti. Amacın, internetteki kopya içeriklerden ve diğer sohbet botlarının ürettiği standart yanıtlardan farklılaşarak nitelikli bir deneyim sunmak olduğu ifade edildi. Ne var ki şirket, bu iş birliğini yapan spesifik uzmanların kim olduğunu paylaşmadı.

Kullanıcılar rahatsız oldu

Özelliğin gece yarısı aniden aktif hale gelmesi, kullanıcıların gündelik planlarını bozdu ve memnuniyetsizliğe yol açtı. Array VC isimli yatırım şirketinin genel ortağı Shruti Gandhi, X platformunda paylaştığı tepkide, valiz, güneş gözlüğü veya şapka satın almaya ihtiyacı olmadığını belirterek bu durumdan hayal kırıklığına uğradığını dile getirdi. Gandhi, uygulamanın geceden bir geceye 'berbat bir alışveriş öneri aracı'na dönüştüğünü ve kişisel ihtiyaç listesinden yoksun, zoraki tüketim önerilerini dayattığını savundu. Diğer kullanıcılar da benzer şekilde, izinsiz ticari yönlendirmelerin uygulama deneyimini olumsuz etkilediğini ve gizlilik beklentilerini sarsığını ifade etti.

Ne anlama geliyor?

Ticari platformlarda ve yapay zeka asistanlarında kişiselleştirilmiş öneri mekanizmaları, kullanıcı davranışlarını analiz ederek ilgisini çekebilecek ürünleri ön plana çıkaran algoritmik sistemlere dayanır. Geleneksel yaklaşım tamamen verilerle çalışırken, insan küratörlüğü eklenmesi sistemine; yapay zekanın genel kalıplara takılması sorunu çözülürken, güvenilirlik algısı sorunu ortaya çıkabilir. Kullanıcılar, dijital asistanlarının birer satın alma arabulucusuna dönüşmesini, özellikle de bu sürecin izinsiz ve ani bir değişiklikle yapılmasını, dijital mahremiyetlerinin ihlali olarak algılayabilir. Bu durum, kullanıcıların uygulamaya olan güvenini sarsarak, öneri algoritmasının kullanıcı deneyimini iyileştirmek yerine ticari bir zorlama aracı gibi hissettirmesine neden olur. Teknoloji firmaları için bu, öneri motorlarının ne zaman ve nasıl devreye alınacağına dair hassas bir dengeyi, yani kullanıcı memnuniyeti ile gelir sağlama hedefi arasındaki ince çizgiyi yönetme zorunluluğunu gösterir. Beklenmedik ticari yönlendirmeler, kullanıcının zihnindeki 'asistan' imajını 'satış elemanı' haline getirerek uygulamanın uzun vadeli kullanıcı bağlılığını zedeleyebilir.