✏️ Araştırmacıların referans sayılarını yapay olarak şişirme yolları giderek artıyor.
Nakit karşılığı atıflar: Araştırmacılar, akademisyenlerin makalelerine yapılan atıfları toplu olarak satın alabilecekleri hizmetler belirlediler.Credit: Vergani_Fotografia/Getty
Araştırma bütünlüğü gözlemcileri, bilim insanlarının çalışmalarının atıf sayılarını taklit veya manipüle etmelerinin giderek artan yollarından endişe duyuyor. Son aylarda giderek daha cesur uygulamalar ortaya çıktı. Bir yaklaşım, bir grup araştırmacının yarattıkları sahte bir bilim insanının Google Scholar profilini doldurmak için 50 atıf satın aldıkları bir operasyonla ortaya çıkarıldı.
Bilim insanları atıfları, sahte atıfları toplu olarak sattığı anlaşılan bir firmadan 300 ABD Doları karşılığında satın aldı. Ekip, bunun, araştırma bütünlüğü hafiyelerinin uzun süredir spekülasyon yaptığı sahte referanslar için bir karaborsanın varlığını doğruladığını söylüyor.
New York Üniversitesi (NYU) Abu Dabi'de bilgisayar bilimcisi olan Yasir Zaki, “Şüpheli atıf eğilimlerine sahip birkaç Google Scholar profili fark etmeye başladık,” diyor ve ekibi Şubat ayındaki bir ön baskıda operasyonunu anlatıyor. “Bir makale yayınlandıktan sonraki günler içinde yüzlerce atıf aldığında ya da bir bilim insanının atıflarında ani ve büyük bir artış olduğunda, bir şeylerin yanlış gittiğini anlarsınız.”
Bu uygulamalar sorunludur çünkü bir araştırmacının kariyerinin pek çok yönü, makalelerinin ne kadar referans topladığına bağlıdır. Birçok kurum bilim insanlarını değerlendirmek için atıf sayılarını kullanır ve atıf sayıları, bilim insanlarının üretkenliğini ve çalışmalarının etkisini ölçmeyi amaçlayan h-indeksi gibi ölçütleri bilgilendirir.
Atıf manipülasyonunun gerçek sonuçları olabilir. Haziran ayında İspanyol El País gazetesi, ülkenin Araştırma Etik Komitesi'nin Salamanca Üniversitesi'ni, Google Scholar ölçümlerini yapay olarak artırmakla suçlanan bir bilgisayar bilimcisi olan yeni atanan rektörü Juan Manuel Corchado'nun çalışmalarını soruşturmaya çağırdığını bildirdi. (Corchado Nature'ın yorum talebine yanıt vermedi.)
Satılık Referanslar
Fransa'daki Grenoble Alpes Üniversitesi'nden bilgisayar bilimcisi Cyril Labbé, araştırma bütünlüğü gözlemcilerinin, düşük kaliteli çalışmalar üreten ve zaten kabul edilmiş makalelerdeki yazarlık yuvalarını satan hizmetler olan kağıt fabrikalarında atıfların satılık olduğundan zaten şüphelendiklerini söylüyor. “Kağıt fabrikaları sattıkları makalelere atıf ekleme yeteneğine sahipler” diyor.
Kasım 2023'te, Philadelphia, Pennsylvania'daki analiz firması Clarivate, atıf oyunları ve 'hiper-yayıncılık' korkuları nedeniyle 1.000'den fazla araştırmacıyı yıllık yüksek atıf alan araştırmacılar listesinden çıkardı.
Zaki ve meslektaşları, gizli operasyonlarında hayali bir bilim insanı için Google Scholar profili oluşturdular ve yapay zeka kullanılarak oluşturulmuş 20 uydurma çalışma yüklediler.
Ekip daha sonra, veri setindeki yazarlardan biriyle bağlantılı şüpheli atıfları analiz ederken buldukları, Google Scholar profillerine atıf satıyor gibi görünen bir şirkete yaklaştı. Çalışmanın yazarları firmayla e-posta yoluyla iletişime geçti ve daha sonra WhatsApp üzerinden iletişim kurdu. Şirket 300 dolar karşılığında 50 atıf veya 500 dolar karşılığında 100 atıf teklif etti. Yazarlar ilk seçeneği tercih etti ve 40 gün sonra 14'ü bilimsel veri tabanı Scopus tarafından indekslenen 22 dergideki çalışmalardan 50 atıf hayali araştırmacının Google Scholar profiline eklendi.
Ekip, şirketin ismini Nature ile paylaşmadı; çünkü bu ismin açıklanmasının şirketin web sitesine ya da oluşturdukları sahte Google Scholar profiline dikkat çekebileceği ve sahte atıfları yerleştiren çalışmaların yazarlarının kimliklerinin ortaya çıkabileceği endişesini dile getirdiler. Nature tarafından Google Scholar'ın sitesinde sahte profiller oluşturulabileceğinin farkında olup olmadığı sorulan şirketin seçkin mühendisi Anurag Acharya şunları söyledi “Akademik yanlış davranışlar mümkün olsa da, nadiren görülür çünkü tüm yönleri görülebilir - indekslenen makaleler, bir yazarın profiline dahil ettiği makaleler, bir yazara atıfta bulunan makaleler, atıfta bulunulan makalelerin nerede barındırıldığı vb. Dünyadaki herkes sizi bu konuda arayabilir.”
Atıf manipülasyonunun bir başka gösterisinde, geçen ay araştırmacılar Larry adında bir kedi için sahte bir Google Scholar profili oluşturdular ve Larry'nin tek yazar olduğu bir düzine sahte makaleyi listelediler. Araştırmacılar, akademik sosyal ağ sitesi ResearchGate'te Larry'nin makalelerine atıfta bulunan bir düzine saçma çalışma daha yayınladı. Larry'nin kimliğinin ortaya çıkmasından bir hafta kadar sonra Google Scholar, kedinin çalışmalarını, Larry'ye atıfta bulunanları ve biriken atıfları kaldırdı. ResearchGate de Larry'ye atıfta bulunan sahte çalışmaları kaldırdı.
Sahte ön baskılar
Zaki ve meslektaşlarının gizli operasyonu, sahte atıf sorununun boyutunu değerlendirmeye yönelik daha geniş bir çabadan doğdu. En az 10 yayını olan yaklaşık 1,6 milyon Google Scholar profilini incelemek için bir yazılım kullandılar. Araştırmacıların atıflarının her yıl 10 kat veya daha fazla arttığı veya artışın toplam atıf sayılarının en az %25'ini temsil ettiği durumlarda 200'den fazla atıf içeren profilleri aradılar. Ekip böyle 1.016 profil buldu.
Zaki, bu profillerdeki makalelere yapılan atıfların çoğunun hakem değerlendirmesinden geçmemiş ön baskı makalelerden geldiğini ve genellikle makalelerin kaynakçalarında listelendiğini ancak makalelerin ana gövdesinde atıfta bulunulmadığını söylüyor.
NYU Abu Dhabi'de bilgisayar bilimcisi olan ortak yazar Talal Rahwan, “Sahte ön baskılar oluşturularak ve ücretli hizmetler aracılığıyla atıflar kolayca manipüle edilebilir” diyor.
Yazarlar ayrıca dünyanın en yüksek dereceli 10 üniversitesinde çalışan 574 araştırmacıyla da anket yaptı. Bilim insanlarını değerlendirirken atıf sayılarını dikkate alan üniversitelerin %60'ından fazlasının bu verileri Google Scholar'dan elde ettiğini buldular.
Balık desenleri
Labbé, anketin Google Scholar'ın araştırmacıların atıf ölçümlerini elde etmek için yaygın olarak kullanıldığı iddiasına ikna olmuş değil. Google Scholar'da atıf manipülasyonu yapıldığına dair iddiaların geçmişte de ortaya çıktığını ve akademisyenlerin uzun süredir bu tür bir hizmet sunan satıcılar olduğundan şüphelendiğini söylüyor. Ancak bir atıf satıcısını ortaya çıkarmak için yapılan operasyonun türünün ilk örneği olduğunu söylüyor.
Fransa'daki Toulouse Üniversitesi'nde bilgisayar bilimcisi olan ve intihal tespit yazılımlarını atlatmak için eklenen garip ifadeler içeren uydurma makaleleri tespit eden bir araç geliştiren Guillaume Cabanac, çalışmanın konusuyla hiçbir ilgisi olmayan çalışmalara atıfta bulunan birçok çalışmanın ortaya çıktığını söylüyor.
Labbé'nin ekibi, manipülasyona işaret edebilecek şüpheli alıntı modellerini otomatik olarak işaretleyen bir araç geliştiriyor.
Zaki'nin ekibi bu konuda yardımcı olmak üzere, bir bilim insanının az sayıda kaynaktan çok sayıda atıf aldığı durumları tespit etmek için tasarlanmış, atıf yoğunlaşma endeksi adı verilen bir ölçüt öneriyor. Bu tür faaliyetler genellikle bilim insanlarının birbirlerinin metriklerini şişirmek için birbirlerinden alıntı yapmayı kabul ettikleri bir 'atıf halkasının' işaretidir. Rahwan, “Şüpheli olanlar, sadece birkaç kaynaktan kaynaklanan büyük atıflara sahip olma eğilimindedir” diyor.
Dürüstlük dedektifleri arasındaki bir korku da, sahtekârların ortaya çıkarılmamak için daha ince uygulamalar tasarlamalarıdır. Örneğin, Labbé, atıf yoğunluğu endeksi tarafından tespit edilmekten kaçınmanın bir yolunun, toplu olarak değil, bir seferde birkaç atıf satın almak olduğunu belirtiyor.
Labbé'ye göre, atıf oyununu ele almanın yolu, akademideki teşvikleri değiştirmektir; böylece bilim insanları kariyerlerini ilerletmek için mümkün olduğunca çok atıf biriktirme baskısı altında kalmazlar. “Yayın ve atıf baskısı bilim insanlarının davranışlarına zarar veriyor” diyor.
Nature 632, 966 (2024)
✒️ Bu yazı The citation black market: schemes selling fake references alarm scientists başlıklı yazıdan çevrilmiştir.