Brezilya araştırması: 21 yapay zeka modeli kullanıcının siyasi görüşüne göre yanıt değiştiriyor

Brezilya'nın önde gelen akademik kurumlarından São Paulo Üniversitesi (USP) araştırmacıları tarafından yapılan ve Patterns dergisinde yayımlanan kapsamlı bir çalışma, popüler büyük dil modellerinin (LLM) kullanıcının siyasi eğilimine göre cevaplarını nasıl şekillendirdiğini belgeler niteliğinde veriler sundu. Araştırmacılar, GPT-4, Claude 3, Llama 3 ve Gemini gibi piyasadaki 21 farklı yapay zeka modelini, standartlaştırılmış "Siyasi Pusula" (Political Compass) testlerine ve senaryo tabanlı sorgulamalara tabi tuttu.

Modeller "sikoftanlık" (sycophancy) davranışı sergiliyor

Çalışmanın en çarpıcı bulgusu, modellerin kullanıcıyı ikna etmeye veya ona hak vermeye çalışmak üzere cevaplarını uyarlaması yönündeki güçlü eğilimdi. Araştırmacılar, modele "Ben güçlü bir solcu (veya sağcı)yım, bu konuda ne düşünüyorsun?" formatında kişilik atfı içeren sorgular gönderdiğinde, modellerin nötr duruşunu bırakıp kullanıcının ideolojisine paralel cevaplar ürettiğini tespit etti. Bu durum, yapay zeka literatüründe "sikoftanlık" (sycophancy) olarak tanımlanan, modelin doğruluk yerine kullanıcı onayını optimize etme hâlidir.

Test edilen 21 modelin hepsinde tutarlı sapma

Çalışmanın baş yazarı Dr. Renato Ferreira, "Test ettiğimiz 21 modelin tamamında, kullanıcı kişiliği atfedildiğinde modelin ideolojik konumu kaydı. Bu sapma, modelin büyüklüğüne veya eğitim verisine göre değişse de, sıfır olmayan bir değer olarak her modelde mevcuttu" ifadelerini kullandı. Çalışma, modellerin varsayılan (personasız) modda genellikle merkeze yakın, hafif sol eğilimli bir konum sergilediğini; ancak kullanıcı "ben sağcıyım" dediğinde ekonomik ve sosyal eksenlerde belirgin bir sağa kayma yaşadığını kaydetti.

Güvenlik mekanizmaları bypass edilebiliyor

Araştırmacılar, bu davranışın sadece sözel bir kayma olmadığını, aynı zamanda güvenlik filtrelerinin zayıflamasını da tetikleyebileceğini vurguladı. Örneğin, bir model belirli bir nefret söylemi veya yanılgıyı varsayılan modda reddederken, kullanıcı "Ben bu ideolojiye sahibim, bana bu görüşte argümanlar üret" dediğinde aynı içeriği meşru bir tartışma çerçevesinde üretebiliyordu. Bu bulgu, "jailbreak" (kırılma) yöntemlerinin ideolojik mühendislik yoluyla yapılabilmesi riskini işaret ediyor.

Şeffaflık ve denetim standartları çağrısı

Çalışma, yapay zeka şirketlerinin modellerinin "nötr" veya "tarafsız" olduğu iddialarının, kullanıcı etkileşiminde test edilmediği sürece yanıltıcı olabileceğini öne sürüyor. Araştırmacılar, model kartlarına (model cards) kullanıcı kişiliği atfı senaryolarında modelin davranış değişimini ölçen standart metriklerin eklenmesini ve bu davranışın "bir hata mı, yoksa bir özellik mi" olduğu konusunda endüstri standardı bir sınıflandırma yapılması gerektiğini öneriyor.