Çekmecede Kalan Çalışmalar Sorunu

Yayınlandığı tarih: 26/10/2020 Yazar: Esra Ataman

“Dergilerin sıfır sonuç bulan çalışmaları yayımlanmak üzere kabul etmemesi (herhangi bir değerlendirmeye almadan reddetme, desk rejection), bu çalışmaların hakem değerlendirme sürecinde kayda değer bir sonuç ortaya koymadığı gerekçesiyle reddedilmesi ya da yazarın tüm bunlardan çekinerek çalışmasını yayına dönüştürmemeye karar vermesi bir çalışmanın çekmecede kalmasına neden olabilmektedir (Franco vd., 2014).”

Çekmecede kalan çalışmalar sorunu (file-drawer problem), bir çalışmanın bulgularının istatistiksel olarak anlamlı bir sonuç ortaya koymadığı gerekçesiyle halka açık olarak paylaşılması yerine çalışmayı gerçekleştiren yazarın çekmecesinde tozlanmaya terk edilmesi olarak tanımlanabilir (Chambers, 2017). Terim ilk olarak Robert Rosenthal tarafından 1979 yılında alanyazına kazandırılmıştır. Bu noktada, sorunun ciddiyetine değinmeden önce sorunu ortaya çıkaran iki temel olgudan bahsetmek doğru olacaktır. Bunlardan birincisi sıfır sonuçlara (null results) karşı oluşan olumsuz tutumdur (Ferguson & Heene, 2012). Sıfır sonuç, çalışmanın başında ortaya koyulan yokluk hipotezinin (kullanılan deneysel durumlar arasında fark çıkmaması ya da uygulanan müdahalenin başarılı olmaması vb.) çalışmanın bulgularıyla çürütülememesi şeklinde tanımlanabilir. Bir başka deyişle sıfır sonucun, istatiksel olarak anlamlı olmayan sonuca karşılık geldiği söylenebilir. Adının sıfır olmasının da getirdiği negatif etkiyle, başta araştırmacının kendisi olmak üzere akademik çevresini oluşturan kişiler tarafından bu tip sonuçlara olumlu bir yaklaşım sergilenmeyebilir. Çünkü yokluk hipotezini çürütememiş olmak bir bakıma oluşturulan deneysel değişimlemenin ya da uygulanan müdahalenin bir işe yaramadığı düşüncesine yol açabilir. Bu düşüncenin doğal bir sonucu olarak araştırmacılar, bilimsel çalışmalarını herhangi bir yayına dönüştürmeme kararı alabilirler ve dolayısıyla buldukları sonuçlar çekmede kalmaya mahkûm olur.

Çalışmaların çekmecede kalmasının bir diğer sebebi olarak ‘yayın yanlılığı’ (publication bias) gösterilebilir. Yayın yanlılığı, dergilerin yalnızca istatistiksel olarak anlamlı sonuçlar ortaya koyan çalışmalara yer verme eğilimi şeklinde tanımlanabilir. Bu yanlılık sonucu sıfır sonuçlar olumsuz karşılanmakta ve bilimsel dergilerde kendilerine yer bulamamaktadır (Ferguson & Heene, 2012; Franco vd., 2014). Özetle, dergilerin bu çalışmaları yayımlanmak üzere kabul etmemesi (herhangi bir değerlendirmeye almadan reddetme, desk rejection), bu çalışmaların hakem değerlendirme sürecinde kayda değer bir sonuç ortaya koymadığı gerekçesiyle reddedilmesi ya da yazarın tüm bunlardan çekinerek çalışmasını yayına dönüştürmemeye karar vermesi bir çalışmanın çekmecede kalmasına neden olabilmektedir (Franco vd., 2014).

Sorunun ciddiyetine dikkat çeken yakın tarihli bir çalışmada Franco vd. (2014), 2002-2012 yılları arasında gerçekleştirilen farklı disiplinlerden 249 çalışmanın tamamlandıktan sonra raporlaştırılma ve yayımlanma durumlarını incelemiştir. Sonuç olarak, sıfır sonuç bulunan çalışmaların çok az bir kısmının yayımlandığı (49 çalışmadan 10 tanesi; yaklaşık %20); büyük bir kısmının ise hiç raporlaştırılmadığı (49 çalışmadan 31 tanesi; yaklaşık %65) gözlemlenmiştir. Sıfır sonuç bulan ve çekmecede kalan çalışmalar, başka araştırmacıların, çoktan gerçekleştirilmiş ve bir etkisi olmadığı bulunmuş tedavileri tekrar çalışarak zaman ve kaynakları boşa harcamalarına sebep olabilir. Ayrıca bir konu ya da etki hakkında yalnızca istatistiksel olarak anlamlı sonuç veren çalışmaların alanyazında yer alması, etkinin varlığı ve büyüklüğü konusunda hatalı ve fazla iyimser bir algıya sebebiyet verebilir.

Bu noktada bilimsel pratiğin temel amacının ne olduğu sorusunu gündeme getirmek yerinde olacaktır. Bilimin yalnızca pozitif sonuçlarla ve ortaya konan yeni etkilerle ilerlediği yanılgısı, alanyazında pozitif (istatistiksel olarak anlamlı) sonuç rapor eden çalışmaların çoğunluğu oluşturmasıyla gözler önüne serilmektedir (Fanelli, 2010; Munafò & Neill, 2016). Fakat son yıllarda birçok disiplinde dergiler, sıfır sonuç bulan çalışmaları da kabul etmeye başlamıştır. Buna ek olarak, kayıtlı rapor (registered report) yayın yanlılığının önüne geçebilecek bir çözüm önerisi olarak kendini göstermektedir. Kayıtlı rapor ile araştırmacılar, araştırma sorularını, hipotezlerini, çalışma desenlerini ve veri analiz planlarını veri toplamadan önce hakem değerlendirmesine göndererek alacakları ‘Prensipte Kabul’ (in principle acceptance) ile veri toplamaya başlayabilir ve elde edecekleri sonuç ne olursa olsun çalışmalarının yayına dönüşmesini garanti altına alabilirler (Chambers, 2013).

Özetle, sıfır sonuçlara karşı oluşan olumsuz tutum ve yayın yanlılığı çalışmaların çekmecede kalmasına sebep olabilmektedir. Sıfır sonuçların da en az istatistiksel olarak anlamlı sonuçlar kadar alanyazında kendine yer bulması, yanlılığı önlemekte büyük bir öneme sahiptir. Bu sayede gözlemlenen herhangi bir etkinin var olup olmadığı ya da var olan etkinin büyüklüğü konusunda daha doğru ve güvenilir çıkarımlar yapılabilir. Böylece bilimin kendini düzelterek ilerlemesine olanak sağlanabilir (Munafò & Neill, 2016). Ayrıca sıfır sonuçlar, istatistiksel olarak anlamlı bir sonucun bulunması durumunda asla sorgulanmayan fakat aslında kayda değer bilgiler ortaya çıkarabilecek birçok soruya dikkati çekebilir. Bu sonuçlar, yeni hipotezlerin ortaya çıkması için fırsat olabilir ve bu hipotezlerin gelecek çalışmalarda sınanması, var olan teorilerin daha ayrıntılı değerlendirilmesine zemin hazırlayabilir (Landis vd., 2014).

Kaynakça

Chambers, C. (2013). Registered Reports: A new publishing initiative at Cortex. Cortex, 49(3), 609-610. https://doi.org/10.1016/j.cortex.2012.12.016

Chambers, C. (2017). The Seven Deadly Sins of Psychology. Princeton University Press; JSTOR. https://doi.org/10.2307/j.ctvc779w5

Fanelli, D. (2010). “Positive” Results Increase Down the Hierarchy of the Sciences. PLOS ONE, 5(4), e10068. https://doi.org/10.1371/journal.pone.0010068

Ferguson, C. J., & Heene, M. (2012). A Vast Graveyard of Undead Theories: Publication Bias and Psychological Science’s Aversion to the Null. Perspectives on Psychological Science, 7(6), 555-561. https://doi.org/10.1177/1745691612459059

Franco, A., Malhotra, N., & Simonovits, G. (2014). Publication bias in the social sciences: Unlocking the file drawer. Science, 345(6203), 1502-1505. https://doi.org/10.1126/science.1255484

Landis, R. S., James, L. R., Lance, C. E., Pierce, C. A., & Rogelberg, S. G. (2014). When is Nothing Something? Editorial for the Null Results Special Issue of Journal of Business and Psychology. Journal of Business and Psychology, 29(2), 163-167. https://doi.org/10.1007/s10869-014-9347-8

Munafò, M., & Neill, J. (2016). Null is beautiful: On the importance of publishing null results. Journal of Psychopharmacology, 30(7), 585-585. https://doi.org/10.1177/0269881116638813

Rosenthal, R. (1979). The file drawer problem and tolerance for null results. Psychological Bulletin, 86(3), 638-641. https://doi.org/10.1037/0033-2909.86.3.638