Bilimsel Çalışmaların Kalitesini Artırmak için En Etkili Çözüm: Ön Kayıt (Preregistration) ve Doğrulayıcı (Confirmatory) Çalışmalar

Yayınlandığı tarih: 11/05/2020 Yazar: Özge Bozkurt

Ön kayıt (preregistration), yapılan keşif (exploratory) çalışmalarını ve doğrulayıcı (confirmatory) çalışmaları birbirinden ayırt ederek daha şeffaf ve güvenilir bir bilim anlayışı yaratmak için oluşturulmuş bir kayıt sistemidir (Center for Open Science, 2020; Lindsay, Simons, & Lilienfeld, 2016). Son yıllarda psikoloji alanında ortaya çıkan kriz, alanyazında büyük ses uyandıran pek çok bulgunun tekrar edilemediğini göstermiştir (Open Science Colloboration, 2015; ayrıca bkz: tekrar edilemeyen 10 psikoloji çalışması ve rüzgârın yön değiştirmesi). Bu durumun pek çok sebebi olmakla birlikte en büyük sebebi, yapılan çalışmaların daha çok keşif çalışması olarak titiz olmayan yöntemlerle yapılmasıdır. Araştırmacıların büyük çoğunluğu tarafından kullanılan geleneksel istatistiki yöntemler (bkz: yokluk hipotezi anlamlılık testi / null hypothesis significance testing), keşif çalışmalarında değil, doğrulayıcı çalışmalarda daha güçlü ve doğru sonuçlar vermektedir (Nosek, Ebersole, DeHaven, & Mellor, 2018). Bu sebeple yayımlanan bilimsel araştırmaların keşif mi yoksa doğrulayıcı mı olduğunun rapor edilmesi çok büyük önem arz etmektedir. Ne yazık ki pek çok araştırmacı, yaptığı keşif analizlerini doğrulayıcı analiz gibi rapor etmektedir.

Eğer bir araştırmacı, Yokluk Hipotezi Anlamlılık Testi (YHAT) gibi yöntemlerle verisini analiz edecekse veriyi toplamadan önce belirli bir hipotez ve analiz yöntemi belirlemeli, daha sonra bunlara riayet ederek veri toplamalı ve önceden belirlenen şekilde veriyi analiz etmelidir. YHAT yöntemi ancak bu şekilde istatiksel olarak güvenilir ve güçlü sonuçlar verebilir (Wagenmakers, Wetzels, Borsboom, van der Maas, & Kievit, 2012). Bu şekilde yapılan araştırmalara doğrulayıcı araştırmalar denir. Önceden belirlenmiş analizler dışında yapılan tüm analizler post hoc analiz (post-hoc analysis) olarak rapor edilmeli ve gerektiğinde alfa değerlerinde düzeltmeye (örn: Bonferroni Düzeltmesi) gidilmelidir (Maxwell & Delaney, 2004). Bu işlemler yapılmadığında Tip I Hata (gerçek bir etki olmadığı halde etki varmış gibi bir sonuca ulaşmak) oranları astronomik olarak artmakta ve yapılan çalışmaların tekrar edilebilirliği yüksek oranda düşmektedir.

Doğrulayıcı çalışmaların ilkelerine aykırı şekilde, kimi araştırmacılar önceden belirledikleri hipotezlerini destekleyen sonuçlar bulamadıklarında, alfa oranında düzeltmeye gitmeden veriyi çok defa test edip (bkz: çoklu test etme /multiple testing), çıkan anlamlı sonuçlara bakarak yeni hipotezler üretmekte (bkz: sonuçları öğrenip hipotez oluşturmak (SÖHO) / HARKing) ve elde edilen bulguları doğrulayıcı sonuçlar gibi sunmaktadır. Bir başka deyişle araştırmacı ilk önce veriye bakıp verinin önerdiği hipotezi üretmekte (Maxwell & Delaney, 2004) ardından bu hipotezi doğrulamak için yeniden veriye bakmaktadır. Bu işleme döngüsel akıl yürütme (circular reasoning) denir (Nosek vd., 2018) ve mantıksal olarak hatalı bir işlemdir. Bunlara ek olarak kimi araştırmacılar ise istedikleri sonuçları bulamadıklarında, sonuçları değiştirebilecek kimi katılımcıların verisini ana veri kümesinden atarak istatistiksel güç yönünden yetersiz (underpowered) çalışmalar yapmakta ve bu şekilde arzu ettikleri sonuçları elde etmektedirler. Bu uygulamanın bir başka türünde ise araştırmacılar istedikleri sonuçları elde edene kadar veri toplayıp analiz ederek yaptıkları çalışmaları manipüle etmektedirler (Lindsay, 2015; ayrıca bkz: p-hackleme / p-hacking). Ayrıca araştırmacıların uç değerleri veya katılımcıları eleme konusunda kesin kurallara sahip olmamaları ve bu konuda çok esnek uygulamalar yapmaları da çalışmaların tekrar edilebilirliğini önemli derecede düşürmektedir (bkz: araştırmacının serbestlik derecesi / researcher degrees of freedom).

Yukarıdaki paragrafta belirtildiği gibi pek çok araştırmacı temel istatistiki yöntemlerin gerekliliklerine aykırı şekilde bilerek veya bilmeyerek çeşitli uygulamalar yapmakta ve bu durum psikoloji biliminin güvenilirliği giderek düşürmektedir. Bu uygulamaların önüne geçmek ve psikolojinin güvenilirliğini artırmak için bir grup araştırmacı Açık Bilim Sistemi (Open Science Framework) adı altında yeni bir sistem önermişlerdir (Nosek vd., 2018; Lindsay, Simons, & Lilienfeld, 2016). Bu sistem, araştırmacıların veri toplamaya başlamadan önce çalışma ile ilgili aşağıda sıralanan bilgileri ilgili web sitesine kaydetmesini ve çalışmaya başlamadan önce bu bilgilerin sonradan değiştirilemez şekilde dondurmasını gerektirmektedir.

● Çalışmanın basit bir şekilde tanımlanması

● Hipotezler

● Çalışmanın türü (deneysel, korelasyonel vs.) ve deseni

● Seçkisiz atamanın nasıl yapılacağı (örn: boş bir katılımcı kayıt listesi)

● Veri toplama yöntemi (katılımcılara nasıl bir işlem uygulanacak)

● Çalışmada kullanılacak bilgisayar programlarının kodları (örn: deney, analiz kodları vs.)

● Örneklemde bulunacak katılımcı sayısı ve bu sayısının nasıl belirlendiği

● Kaçıncı katılımcıda veri toplama işleminin durdurulacağı (stopping rule)

● Çalışmanın bağımlı ve bağımsız değişkenleri

● Çalışmada alınan ölçümler (örn: tepki süresi, doğru cevap oranı vs.)

● Analizlerle ilgili ayrıntılar (örn: ortalama mı yoksa medyan analizi mi yapılacak vs. gibi)

● Kullanılacak istatistiksel modeller (örn: varyans analizi, regresyon analizi vs.)

● p değeri için kullanılacak anlamlılık değeri (örn: 0.05, 0.001 vs.)

● Veri dışlama kriterleri

● Eksik veri için nasıl bir yöntem izleneceği

● Eğer yapılacaksa ne tür keşif analizleri yapılacağı

Yukarıda sıralanan bilgiler, ön kayıt sistemine kaydedilip veriler belirlenen işleme uygun bir şekilde toplanıp analiz edildiğinde ve veriler diğer araştırmacılarla paylaşıldığında, elde edilen sonuçların yeniden üretilebilirliği artacaktır. Ön kayıt işlemi sayesinde araştırmacılar sonuçları öğrenip hipotez oluşturma ve p değerini hackleme gibi işlemleri yapamazlar. Ek olarak araştırmacılar yapacakları çoklu keşif analizlerinde alfa değerinde düzeltmeye gitmek ve bu analizlerin post hoc analiz olduğunu belirtmek durumunda kalırlar. Sonuç olarak ön kayıt işlemi genel olarak bilimsel araştırmaların güvenilirliğini ve şeffaflığını artırmakta ve bulguların yeniden üretilebilirliğine önemli ölçüde katkı sağlamaktadır. Açık Bilim Topluluğu Türkiye olarak şeffaf ve güvenilir çalışma yapmak isteyen tüm araştırmacıları ön kayıt yapmaya davet ediyoruz.

Kaynaklar

Center for Open Science (2020). Retrieved from https://cos.io/prereg

Lindsay, D. S. (2015). Replication in Psychological Science. Psychological Science, 26(12), 1827–1832. doi: 10.1177/0956797615616374

Lindsay, D. S., Simons, D. J., & Lilienfeld, S. O. (2016). Research Preregistration 101. Retrieved February 11, 2020, from https://www.psychologicalscience.org/observer/research-preregistration-101#.WNuVNhLyuLI

Maxwell, S. E., & Delaney, H. D. (2004). Designing experiments and analyzing data: a model comparison perspective (No. BOOK). Lawrence Erlbaum Associates, Inc.

Nosek, B. A., Ebersole, C. R., DeHaven, A. C., & Mellor, D. T. (2018). The preregistration revolution. Proceedings of the National Academy of Sciences, 115(11), 2600-2606.

Open Science Collaboration. (2015). Estimating the reproducibility of psychological science. Science, 349(6251), 943-951.

Wagenmakers, E. J., Wetzels, R., Borsboom, D., van der Maas, H. L., & Kievit, R. A. (2012). An agenda for purely confirmatory research. Perspectives on Psychological Science, 7(6), 632-638.