OpenAI, ChatGPT'nin performansını etkileyen sorunları daha hızlı tespit edip çözmek için geliştirdiği Performance Factory adlı sisteminin detaylarını paylaştı. Codex destekli sistem, performans düşüşlerinin nedenlerini araştırmaktan çözüm üretmeye ve yapılan değişikliklerin sonuçlarını kontrol etmeye kadar birçok süreci otomatik hale getiriyor.
OpenAI'ın paylaştığı verilere göre Performance Factory'nin ilk uygulaması olan Regression Workflow, üç aydan biraz uzun bir sürede 1.700'den fazla incelemeyi takip etti ve 600'den fazla performans sorununun temel nedenini belirledi. Bu da günde ortalama 17 otomatik incelemeye karşılık geliyor.
Şirketin bu sistemi geliştirmesinin arkasında, yapay zeka destekli yazılım geliştirme süreçlerinin giderek hızlanması bulunuyor. OpenAI mühendisleri daha önce performans sorunlarını tespit etmek için sistem ölçümlerini, günlük kayıtlarını ve kod değişikliklerini manuel olarak inceliyordu. Zamanla bu çalışmalar için 30'dan fazla araç geliştirildi. Ancak yazılım geliştirme hızlandıkça performans sorunlarını incelemek de daha fazla zaman almaya başladı.
OpenAI, bu süreci kolaylaştırmak amacıyla mühendislerin kullandığı inceleme yöntemlerini perf-forensics adlı bir Codex becerisine dönüştürdü. Böylece Codex, performans sorunlarının ne zaman başladığını, hangi işlemleri etkilediğini ve olası nedenlerini araştırabilir hale geldi.
Performance Factory nasıl çalışıyor?

Performance Factory, görevleri yöneten, işleri Codex ajanlarına dağıtan ve sonuçları takip eden dört temel bileşenden oluşuyor. Sistem, Codex'in OpenAI'ın bulut altyapısında çalışmasını sağlayarak kod depolarına, performans ölçümlerine, günlük kayıtlarına ve işlem izlerine erişmesine olanak tanıyor.
Süreç bir performans uyarısıyla başlıyor. Codex ajanı önce sorunun ne zaman ortaya çıktığını ve hangi işlemleri etkilediğini belirliyor. Ardından ilgili kod değişikliklerini, sistem kayıtlarını ve ölçümleri inceleyerek sorunun kaynağını araştırıyor.
OpenAI, ilk denemelerde ajanların bazen karşılaştıkları ilk makul açıklamayı doğru kabul ettiğini fark etti. Bunun üzerine sisteme ikinci bir Codex ajanının ilk ajanın bulgularını sorguladığı bir kontrol aşaması eklendi. Bu ajan, elde edilen sonuçları doğrulamak yerine olası hataları ve alternatif açıklamaları araştırıyor.
Şirketin manuel olarak değerlendirdiği 100 temel neden önerisinin yüzde 70'i doğru bulunurken, kalan yüzde 30'un daha fazla incelemeye ihtiyaç duyduğu belirtildi. Sorunun kaynağı belirlendikten sonra Codex bir düzeltme hazırlayabiliyor. Ancak önerilen kod değişikliklerinin uygulanması için mühendis onayı gerekiyor. Değişiklik yayına alındıktan sonra sistem, performans sorununun çözülüp çözülmediğini yeniden kontrol ediyor.
Codex'in hazırladığı düzeltmeler kullanılmaya başlandı

VentureBeat'in OpenAI ekibinden aldığı bilgilere göre, temel nedeni belirlenen 600'den fazla incelemenin yaklaşık 400'ünde çözüm önerisi oluşturuldu. Yayına alınan yaklaşık 50 düzeltme Codex'in önerilerinden etkilenirken, yaklaşık 15 düzeltmenin kodu doğrudan Codex tarafından hazırlandı.
OpenAI, gelecek dönemde Performance Factory'yi daha bağımsız çalışabilecek şekilde geliştirmeyi hedefliyor. Şirket, ajanların mevcut uyarı sistemlerinin fark edemediği küçük performans düşüşlerini de kendiliğinden tespit etmesini ve düşük riskli bazı düzeltmelerin daha az insan müdahalesiyle uygulanmasını planlıyor. Performance Factory, yapay zeka ajanlarının yalnızca kod yazmakla sınırlı kalmayıp yazılımların bakım ve performans süreçlerinde de giderek daha fazla sorumluluk üstlendiğini gösteriyor.
İlk Yorumu yazmak ister misiniz?
Yorum Yazmak için Giriş Yap