Anthropic araştırmacısı istifa etti: 'Yapay zeka on yıl içinde insanlığı yok edebilir'

Yapay zeka dünyasında son dönemde artan rekabet, bu kez sektörün içinden gelen bir istifayla gündemde. Anthropic bünyesinde çalışan ve yeni yapay zeka modellerini büyük miktarda veri tüketmesini sağlayarak eğitme konusunda uzmanlaşmış bir araştırmacı olan Jacob Coxon istifa ettiğini duyurdu. Coxon, dün yaptığı açıklamada kendilerini geliştirebilecek yapay zeka sistemleri oluşturmak için endüstri çapında bir telaşa katılmak istemediği ve bu tür sistemlerin kontrolden çıkıp insanlığı yok edebileceğinden endişe duyduğu için şirketten ayrıldığını söyledi.

Coxon, sosyal medya hesabından yaptığı paylaşımda şunları söyledi:

"Bugün Anthropic'ten istifa ettim. Son üç yılımı hem OpenAI hem de Anthropic'te ön eğitim araştırmaları yaparak geçirdim. Her iki şirket de sorumlu davranmıyor. Kendini geliştiren süper zekaya doğru düz bir yarış yapıyorlar ve hayatlarımızla kumar oynuyorlar. Daha fazla düşünce aşağıda.

Bu teknolojinin gücünü küçümsemeyin. Bunlar yakında her şeyi hackleyebilen, herhangi bir alanı bir gecede devrimleştiren ve gerçek güç ile kaynaklar edinebilen süper insan sistemleri olacak. Hepimiz bu alanlardaki ilerlemeyi bizzat gözlemledik ve ilerleme yavaşlamıyor.

Yapay zeka geliştiren insanlar, on yılın sonuna kadar hepimizi öldürebileceğine samimi bir şekilde inanıyor. Bu bir pazarlama numarası değil. Tam tersine, birçok yönetici ve kıdemli araştırmacı, basında mantıklı görünmek için ifadelerine dikkatle bürünüyor - ama aynı insanlar özelde korkularını dile getiriyor. Başka hiçbir insan etkinliği bu düzeyde bir tehlike oluşturmuyor.

"Kimsenin sorumlu davranmayacağına inanıyorlar"

Yaygın bir tepki, "eğer buna gerçekten inanıyorlarsa, neden hala bunu inşa ediyorlar?" şeklindedir. OpenAI'da, pek çok kişi medeniyetin karşı karşıya olduğu riskleri derinden içselleştirmemiştir. Anthropic'te ise riskler iyi anlaşılmıştır, ancak onlar ilk ulaşmak için bir yarışın içindeler - kimsenin sorumlu davranmayacağına inanıyorlar, bu yüzden risklere rağmen bunu kendilerinin yapması gerektiğine inanıyorlar.

Bu yarışı kabul etmek ve "son oyuna" girmek, özel bir şirketin Slack'inden başlatılmaması gereken kibirli bir kumar. Hizalamayı hızlandırmaya çalışmak, daha iyi yörüngelerin mevcut olmadığına dair olağanüstü bir özgüven gerektirmeli.

Koordinasyon potansiyeli konusunda iyimserim. Hugging Face saldırısı gibi uyarı atışları, ABD laboratuvarları arasındaki tempoyu belirleme anlaşmalarını daha uygulanabilir hale getirdi. Küresel bir yarışın önlenmesi yolunda doğru yolda olduğumuzu hissetmiyorum; bu, model yeteneklerini iyileştirmeye yönelik geçici bir yasak gibi maliyetli adımları gerektirebilir.

Eğer bir laboratuvar araştırmacısıysanız, önümüzdeki birkaç yılın gerçekten nasıl hissedeceğini düşünmenizi şiddetle tavsiye ederim. Süperzekalı bir RL çalıştırmasını, zihnini titiz bir şekilde anlamadan başlatmak ister misiniz? Kafanızı eğip "her halükarda oluyor" diye geçiştirmeli misiniz - yoksa bu anı, farklı koşullar talep etmek için mi kullanmalısınız?"

Anthropic'in Yapay Zeka Uyum Araştırmaları Lideri Evan Hubinger, yapay zekanın önümüzdeki on yılda tüm insanlığı yok etme ihtimalinin yüzde 10'un üzerinde olduğunu belirterek, şirketin süper zeka hizalaması sorununu çözmek için henüz net bir plana sahip olmadığını ve doğru yolda ilerlemediğini söyledi.