Peking Üniversitesi, Zhongguancun Akademisi ve Şanghay İleri Algoritma Araştırmaları Enstitüsü'nden araştırmacılar, yapay zeka ajanlarının karmaşık veri işleme süreçlerini daha yapılandırılmış şekilde kurmasını sağlayan DataFlow-Harness adlı açık kaynaklı bir çerçeve geliştirdi. Sistem, yapay zekanın tek seferlik ve yönetilmesi zor kodlar yazması yerine, adım adım görsel verimlilik sunan iş akışları oluşturmasına odaklanıyor.

Veri Mühendisliğinde Yüksek Başarı Oranı

Araştırmacıların paylaştığı verilere göre platform, 12 farklı görevden oluşan bir veri mühendisliği kıyaslama testinde yüzde 93,3 oranında uçtan uca başarı sağladı. Standart Claude Code ile kıyaslandığında ise API maliyetlerini yüzde 72,5 oranında azalttığı ve yanıt gecikmesini yüzde 49,9 oranında düşürdüğü belirtildi.

NL2Pipeline Boşluğu ve Çözümü

Yapay zeka ajanları basit Python betikleri yazmada başarılı olsa da, üretim ortamındaki gerçek veri şemalarına ve yüklü operatörlere uyum sağlamakta sorun yaşıyor. Araştırmacılar, doğal dilde ifade edilen gereksinimler ile üretim ortamının ihtiyaç duyduğu yapılandırılmış varlıklar arasındaki bu kopukluğu 'NL2Pipeline boşluğu' olarak tanımlıyor. Yapılan deneylerde, serbest kod yazımında yüzde 94,2 olan başarı oranının, yerel iş akışı grafiği oluşturma zorunluluğu getirildiğinde yüzde 83,3'e düştüğü gözlemlendi.

Ne anlama geliyor?

Veri işleme süreçleri, ham bilgilerin temizlenmesi, parçalara ayrılması ve belirli kriterlere göre filtrelenmesi aşamalarını kapsar. Geleneksel yöntemlerde yapay zeka, sadece o an çalışan ancak daha sonra başka bir uzman tarafından düzenlenmesi veya denetlenmesi zor olan geçici kod parçaları üretir. Bu durum, sistemin bakımını zorlaştırarak teknik borç birikmesine yol açar.

Yeni geliştirilen mekanizma, yapay zekanın çalışma alanını değiştirerek onu önceden tanımlanmış yapı taşlarını kullanmaya yönlendirir. Böylece ortaya çıkan sonuç, sadece çalışan bir kod değil, aynı zamanda görsel olarak takip edilebilen ve düzenlenebilen bir iş akışı şeması olur. Bu yöntem, sistemin gerçek altyapıdaki mevcut araçlarla uyumlu çalışmasını sağlar ve hata denetimini kolaylaştırır.