Bilim insanları bir makalenin tamamını sıfırdan oluşturmak için ChatGPT kullandılar - peki bu iyi bir şey mi?

Bir çift bilim insanı, insan benzeri metinleri anlayabilen ve üretebilen yapay zeka (AI) tarafından yönlendirilen bir araç olan ChatGPT'nin yardımıyla bir saatten kısa bir sürede bir araştırma makalesi üretti. Makale akıcı, anlayışlı ve bilimsel bir makale için beklenen yapıda sunuldu, ancak araştırmacılar aracın gerçekten yararlı olabilmesi için aşılması gereken birçok engel olduğunu söylüyor.

Hayfa'daki Technion - İsrail Teknoloji Enstitüsü'nde biyolog ve veri bilimci olan Roy Kishony, amacın ChatGPT'nin bir araştırma 'yardımcı pilotu' olarak yeteneklerini keşfetmek ve avantajları ve tuzakları hakkında tartışma başlatmak olduğunu söylüyor. "Faydaları daha az dezavantajla nasıl elde edebileceğimize dair bir tartışmaya ihtiyacımız var" diyor.

Kishony ve yine Technion'da veri bilimci olan öğrencisi Tal Ifargan, sağlıkla ilgili telefon anketlerinin bir veritabanı olan ABD Hastalık Kontrol ve Önleme Merkezleri'nin Davranışsal Risk Faktörü Gözetim Sistemi'nden kamuya açık bir veri seti indirdi. Veri seti, 250.000'den fazla kişiden diyabet durumları, meyve ve sebze tüketimleri ve fiziksel aktiviteleri hakkında toplanan bilgileri içeriyor.

Bir makalenin yapı taşları

Araştırmacılar ChatGPT'den verilerdeki örüntüleri ortaya çıkarmak için kullanabilecekleri ve daha fazla analiz edebilecekleri bir kod yazmasını istediler. Sohbet robotu ilk denemesinde hatalarla dolu ve çalışmayan bir kod üretti. Ancak bilim insanları hata mesajlarını iletip hataları düzeltmesini istediklerinde, sonunda veri setini keşfetmek için kullanılabilecek bir kod üretti.

Ellerinde daha yapılandırılmış bir veri seti bulunan Kishony ve Ifargan daha sonra ChatGPT'den bir çalışma hedefi geliştirmelerine yardımcı olmasını istedi. Araç, fiziksel aktivite ve diyetin diyabet riskini nasıl etkilediğini araştırmalarını önerdi. Daha fazla kod ürettikten sonra ChatGPT sonuçları verdi: daha fazla meyve ve sebze yemek ve egzersiz yapmak daha düşük diyabet riskiyle bağlantılıdır. Daha sonra ChatGPT'den temel bulguları bir tabloda özetlemesi ve tüm sonuçlar bölümünü yazması istendi. Adım adım, ChatGPT'den bir makalenin özet, giriş, yöntemler ve tartışma bölümlerini yazmasını istediler. Son olarak, ChatGPT'den metni düzeltmesini istediler. Kishony, "[Makaleyi] birçok ipucunun çıktısından oluşturduk" diyor. "Her adım, önceki adımların ürünleri üzerine inşa ediliyor."

Kishony, ChatGPT'nin sağlam veri analizi ile net bir şekilde yazılmış bir makale oluşturmasına rağmen, makalenin mükemmel olmaktan uzak olduğunu söylüyor. Araştırmacıların karşılaştığı bir sorun, ChatGPT'nin halüsinasyon olarak bilinen bir fenomen olan bir şeyler uydurarak boşlukları doldurma eğilimiydi. Bu durumda, sahte alıntılar ve yanlış bilgiler üretti. Kudüs İbrani Üniversitesi'nde bilgisayar bilimcisi olan Tom Hope, örneğin, makalede çalışmanın "literatürdeki bir boşluğa hitap ettiği" belirtiliyor - makalelerde yaygın olan ancak bu durumda yanlış olan bir ifade. Hope'a göre bu bulgu "tıp uzmanlarını şaşırtacak bir şey değil". "Yeni olmaya yakın değil."

Faydalar ve endişeler

Kishony ayrıca, bu tür araçların araştırmacıların, bilim insanlarının bir veri seti üzerinde çeşitli hipotezleri test ettikleri, ancak yalnızca önemli bir sonuç üretenleri rapor ettikleri P-hacking gibi dürüst olmayan uygulamalara girmelerini kolaylaştırabileceğinden endişe ediyor.

Bir başka endişe de üretici yapay zeka araçlarıyla makale üretmenin kolaylığının, dergilerin düşük kaliteli makalelerle dolmasına neden olabileceğidir. Her adımda insan gözetiminin merkezde olduğu veriden makaleye yaklaşımının, araştırmacıların yöntemleri ve bulguları kolayca anlayabilmelerini, kontrol edebilmelerini ve tekrarlayabilmelerini sağlamanın bir yolu olabileceğini söylüyor.

Adelaide'deki Güney Avustralya Üniversitesi'nde eğitim için yapay zeka teknolojileri geliştiren Vitomir Kovanović, araştırma makalelerinde yapay zeka araçlarının daha fazla görünür olması gerektiğini söylüyor. Aksi takdirde, bir çalışmanın bulgularının doğru olup olmadığını değerlendirmenin zor olacağını söylüyor. "Sahte makale üretmek bu kadar kolay olacaksa gelecekte muhtemelen daha fazlasını yapmamız gerekecek."

Cambridge, Massachusetts'teki MIT ve Harvard Broad Enstitüsü'nde hesaplamalı biyolog olan Shantanu Singh, üretken yapay zeka araçlarının özet yazmak ve kod üretmek gibi basit ama zaman alıcı görevleri yerine getirerek araştırma sürecini hızlandırma potansiyeline sahip olduğunu söylüyor. Singh, veri setlerinden makale üretmek veya hipotez geliştirmek için kullanılabileceklerini söylüyor. Ancak halüsinasyonların ve önyargıların araştırmacılar tarafından tespit edilmesi zor olduğu için Singh, "Tüm makaleleri yazmanın - en azından öngörülebilir gelecekte - özellikle iyi bir kullanım olacağını düşünmüyorum" diyor.

✒️ Bu yazı Scientists used ChatGPT to generate an entire paper from scratch — but is it any good? başlıklı yazıdan Türkçe’ye Deepl ile çevrilmiştir.