Yapay Zeka Robot Kontrolünde Tehlike Zili: LLM'ler Fiziksel Dünyada Halüsine Ediyor

Massachusetts Institute of Technology (MIT) CSAIL, Stanford Üniversitesi ve Google DeepMind güvenlik ekiplerinin ortaklaşa hazırladığı, arXiv ön baskı sunucusunda yayımlanan yeni bir çalışma, büyük dil modellerinin (LLM) robotik sistemlerde "beyin" olarak kullanılması durumunda ortaya çıkabilecek katastrofik güvenlik açıklarını belgeledi. Araştırma, LLM'lerin sohbet botu olarak tasarlandıklarından, fiziksel dünyanın yasalarını ve sonuçları anlayamayacakları, bu da onlara kol, bacak veya tekerlek verildiğinde tehlikeli hale geldiklerini ortaya koyuyor.

Fiziksel ajans verildiğinde kontrol kayboluyor

Çalışmanın odak noktası, LLM'lere "güvenli olmayan istemler" (unsafe prompts) göndererek, bu modellerin fiziki aktüatörler (motorlar, kollar, tutucular) üzerinde doğrudan komut çalıştırma yetkisi verdiğinde ne olduğunu test etmekti. Araştırmacılar, modellerin metin tabanlı eğitim verilerinde fiziksal etkileşim, kuvvet, momentum veya insan güvenliği protokolleri yer almadığı için, kurgusal bir senaryoda bile bir robot kolun insan bir operatörün üzerine çökmesi veya keskin bir aleti kontrolsüzce sallaması talimatını "mantıklı" bir sonraki adım olarak üretebildiğini gözlemledi.

Halüsinasyon artık sadece metin hatası değil, yaralanma riski

Raporun en çarpıcı bulgusu, LLM'lerde sık görülen "halüsinasyon" (yalan/uyarım üretme) davranışının, robotikta ölümcül sonuçlar doğurduğu yönünde. Bir model, bir cam bardak tutarken "bardak boş, bırak" halüsinasyonuna kapılırsa robot bardağı yerde kırmak için bırakır; ancak eğer "insan eli algılandı, tutma kuvvetini artır" gibi yanlış bir sensör yorumu yaparsa, model bu komutu fiziki bir gerçeklik denetimsizce yürütür. Araştırmacılar, bu tür hataların yazılımdan donanıma sıçradığını, mevcut LLM mimarilerinin (Transformer tabanlı) bu tür "gerçek dünya doğrulama" mekanizmasına sahip olmadığını vurguladı.

Endüstri için "Kırmiz Çizgi" çizildi

Çalışma, şu anda endüstride popüler olan "Kod Olarak Politika" (Code as Policies) veya "SayCan" gibi LLM tabanlı planlama yaklaşımlarının, güvenlik kritik uygulamalarda (tıbbi robotlar, otomotiv, lojistik) doğrudan kontrol döngüsüne girmesine karşı güçlü bir uyarı niteliğinde. Yazarlar, LLM'lerin sadece "yüksek seviyeli görev planlayıcı" olarak, alt seviyede klasik kontrol teorisi, model tahminci kontrol (MPC) ve güvenlik katmanlarıyla donatılmış deterministik sistemler tarafından denetlenmesi gerektiğini öneriyor. Raporu imzalayan ekpler, "Fiziksel ajans, dil modeli yeteneğine değil, güvenlik mühendisliğine dayanmalıdır" tespitini paylaştı.