Anthropic'ten ayrılan Jacob Coxon: "İnsanlık hayatıyla kumar oynuyorlar, güven kaybettim"

Jacob Coxon, Anthropic'in kurucu ekibinden ve 'Constitutional AI' mimarlarından biri olarak bilinen bir güvenlik araştırmacısı, Haziran 2024'te şirketten istifa ederek yapay zeka topluluğunda büyük yankı uyandırdı. Coxon, ayrılma nedenini şirketin 'güvenlik kültürünün çökmesi' ve yönetiminin 'insan seviyesinde yapay zeka (AGI)' yarışını kazanmak için temel güvenlik önlemlerini feragat etmesi olarak açıkladı.

Coxon, istifa sonrası yayımladığı uzun bir blog yazısında ve LessWrong platformundaki paylaşımlarında, Anthropic'in iç dinamiklerinin nasıl değiştiğini anlattı. Buna göre, şirket 2023'te 'güvenlik önce' felsefesiyle öne çıksa da, rakip laboratuvarlarla (OpenAI, Google DeepMind) yarışı kaybetmeme kaygısıyla model yeteneklerini artırma hızı, güvenlik testlerini ve 'alignment' (uyumluluk) çalışmalarını geride bıraktı. Coxon, "Yönetim, bu modellerin kontrol edilemez hale gelme riskini ciddiye almak yerine, piyasaya sürme takvimine odaklandı" ifadelerini kullandı.

"p(doom) oranımız kabul edilemez seviyelerde"

Coxon'un en dikkat çeken iddialarından biri, şirket içi risk değerlendirmelerinin (p(doom) - felaket olasılığı) personel arasında yaygın endişe yarattığı, ancak yönetim tarafından 'iş riski' olarak küçültüldüğüydi. Araştırmacı, Anthropic'in Claude 3 serisini piyasaya sürerken bazı 'kırmızı çizgi' yetenek testlerinin (dangerous capabilities evaluations) yeterince sıkı yapılmadığını veya sonuçların yorumlanmasında iyimserlik önyargısının baskın olduğunu savundu. "Hayatımızla kumar oynuyorlar" diyen Coxon, mevcut paradigmanın (büyük dil modellerini ölçeklendirme) doğası gereği kontrol edilebilirliği garanti etmediğini, bu nedenle AGI'ye giden yolda 'güvenlik duraklaması' (pause) olmadan ilerlemenin intihar edici olduğunu vurguladı.

Güvenlik araştırmacıları 'büyük göç'ü yaşanıyor

Coxon'un ayrılışı, son bir yılda sınır ötesi yapay zeka laboratuvarlarından yaşanan bir dizi ayrılışın en yeni ve en ses getireni oldu. Ocak 2024'te OpenAI'nin 'Superalignment' ekibinin başında giden Ilya Sutskever ve Jan Leike'in ayrılması, Mayıs'ta ise aynı ekibden Daniel Kokotajlo ve William Saunders'ın 'güvenlik kültürü bozuldu' diyerek istifa etmesi, sektörde bir güven krizi yarattı. Coxon, bu isimlerle ortak bir zeminde buluşarak, laboratuvarların 'kendi kendini denetleme' mekanizmalarının işlemediğini, bu yüzden de harici denetim ve yasama (örneğin Kaliforniya SB-1047 yasası gibi) şart olduğunu savunuyor.

Anthropic, Coxon'un ayrılışı ve iddiaları üzerine yaptığı resmi bildirimde, "Güvenlik, şirketimizin DNA'sının merkezindedir ve bu taahhüdümüzden ödün vermedik" ifadesini kullandı. Ancak şirketin, güvenlik araştırmacılarına verilen 'compute' (işlem gücü) bütçelerinin kısıtlandığı ve güvenlik ekiplerinin organizasyon şemasında ürün ekiplerine göre ikinci planda tutulduğu iddiaları, Coxon'un açıklamalarıyla çelişiyor görünüyor. Bu süreç, yapay zeka güvenliği alanında 'yarış koşulları' ile 'güvenlik standartları' arasındaki temel çelişkinin, şirket içi itirazla bile çözülemediğini, sistemik bir düzenleme ihtiyacını tekrar gündeme getirdi.