Ah şu hakemlik…

Bazen ne yazayım diye düşünmek zaman alıyor. Böyle durumlarda okuyuculardan gelen sorular çok güzel oluyor. Akademi ağırlıklı yazınca tabii bu kapsamda daha çok soru geliyor. Bu bilgilendirmeleri çok faydalı buluyorum açıkçası, ben her şeyi yaşayarak öğrenmek durumunda kalmıştım. Baştan birileri oturup sistemi bana anlatsaydı bazı işler daha kolay olurdu misal. Erken ya da geç sistemin içinde pişiyoruz 🙂

Lisans düzeyinde eğitim gören bir arkadaşımız, konferanslarda veya çalıştaylarda bildirilerin nasıl seçildiğini sormuş. Daha önce hakemlik konusunda bir yazı yayımlamıştık, şimdi konuyu biraz daha kapsamlı ele almaya çalışayım. Önce konferans ve çalıştaylardan başlayalım. Bu tür etkinlikler genelde her sene ya da iki senede bir olacak şekilde düzenleniyor. Yılın hangi zamanında düzenleneceği de aşağı yukarı aynı tarihlerde oluyor. Böylece yazarlar da zaman planlamasını yapabiliyor. Bildiriler etkinliklere gönderildikten sonra, bildirileri arka tarafta bir hakem heyeti bekliyor. Genelde bir bildiri 2-4 hakem tarafından değerlendiriliyor, her hakem bildiri hakkında yorumunu ortaya koyuyor. Bir de ekibin başında bir üst hakem var diye düşünebiliriz, bu hakem de tüm yorumları değerlendirip bildirinin kabul edilip edilmeyeceğine karar veriyor. Bu iş çok da kolay değil, çünkü bazen hakemler karşıt fikirlere sahip oluyor ve son kararın verilmesi için düşünülmesi gerekiyor. Böyle durumlarda, üst hakem bir tartışma ortamında hakemlerin ortak bir karar alabilmeleri için süreci yönetiyor, ve nihai karar çıkıyor. Dergilerde de bildirilerin değerlendirilme süreci benzer. En büyük fark, değerlendirilme süreci aylar ve belki de yılı bulabiliyor.

Cevaplanması gereken bir takım sorular var elbet.

  1. Hakemler kimler? Genellikle akademisyenler, araştırmacılar ve doktora öğrencileri. Şimdi doktora öğrencileri henüz alanında pişmeye çalışan kişiler olduğu için, yazdıkları eleştiriler kimi zaman yetersiz olabiliyor. Bu tür durumlarda doktora öğrencilerinin danışmanlarından yardım almasını öneririm. Bir yerden başlamak gerekiyor…
  2. Adam kayırma oluyor mu? Elbet ki kesin olmuyordur diyemem. Yazarların kimlikleri kimi zaman açık, kimi zaman da kapalı oluyor. Kapalı olduğunda hakemler bildirinin kimden geldiğini bilemiyor. Tabii çoğu zaman bildiriyi okuyunca hangi ekibe ait olduğunu anlamak çok zor değil. Yazarlar daha önce yaptıkları çalışmalara referans veriyorlar, bu da biraz kendilerini belli ediyor. Birbirinden bağımsız 2-4 hakem bildiriyi değerlendirildiğini düşünürsek adil bir karar çıkması olası. En azından öyle düşünmek istiyorum 🙂
  3. Hakemler hep haklı mı? Hayır. Bazen çok iyi bildiğiniz bir konuda bir bildiri değerlendiriyorsunuz, bazen de hakkında fikriniz olan bir şeye denk geliyorsunuz. Her değerlendirme esnasında, yazdığınız değerlendirme için 1-10 arasında bir güven skoru ekliyorsunuz. Böylece diğer hakemler ve üst hakem, yazdığınız değerlendirmeden ne kadar emin olduğunuzu görebiliyor.
  4. Değerlendirilme süreci nasıl? Bildiriyi ne kadar kaliteli gördüğünüzle ilgili de 1-10 arası skor tanımlıyorsunuz. Böylece her bildirinin ortalama bir puanı oluyor. Üst hakem hakemlerin yazdıklarına ve verdikleri puanlara bakarak süreci yönetmeye başlıyor. Tartışma ortamına kendi de dahil olarak, gerekirse kendi de bildiriyi okuyor ve kendi fikirlerini ileri sürüyor.
  5. Yazarlar hakemleri biliyor mu? Hayır, çoğunlukla bu süreç anonim. Ama hakemler de yazdıkları ile kendilerini belli edebiliyor. Mesela ‘X Y ve Z’ye referans vermeyi unutmuşsun’ gibi bir cümle ardından, bu üç referansta kesişimde olan yazarlar varsa; büyük ihtimal hakem o yazarlardan biri 🙂 Bazen de sizin çalışmanıza referans veriliyor, ama çalışmanız yanlış aktarılmış oluyor mesela. ‘O öyle değil aslında böyle’ dediğiniz anda gene kimliğiniz ortaya çıkıyor. Böyle garip bir süreç işte…
  6. Hakemler para alıyor mu? Hayır, gönüllülük esasına dayanan bir sistem bu. Evet inanması güç. Herkes ekstra vakit ayırıp, bir de bu yükün altına giriyor. Hakemlere saygı duyalım lütfen! 🙂

Gönüllü işi deli işi bunlar… Alice Harikalar Diyarı’na yüzümüzü dönecek olursak: “Burada hepimiz deliyiz!”.

Temmuz 2019 Paros Dergisi’nde yayımlanan yazım.

Akademik Makalelerin Değerlendirilme Sürecine Dair

Akademisyenlerin yazdıkları her makale, hakem dediğimiz başka akademisyenler tarafından değerlendiriliyor. Bu değerlendirme sonucunda, çoğunluğun kararına göre bir makale kabul ya da red ediliyor. Hakemlik süreci nasıl işliyor biraz kısaca bahsedeceğim.

Her makale için 2-4 arasında hakem atanıyor. Hakemler genelde sizin çalıştığınız konulara yakın isimler oluyor. Yaptığınız şeyi tam anlamıyla anlamalarını beklemek yanlış olur, ama en azından yaptığınız işin makul olup olmadığını söyleyebilirler. Ben bu süreci pek sevmiyorum aslında, ve süreci kabaca üçe ayırmak lazım. Makaleler konferanslara, çalıştaylara ve dergilere gönderilebilir. Konferansta görev alan hakemler daha genel konulara hakim oluyorlar. Mesela bir yapay zeka konferansında görev alan hakemleri düşünecek olursak, her biri çok farklı alanlarda özelleşmiş olabilir. Yapay zeka dediğimiz şey kocaman bir başlık. Oysaki çalıştaylar ve dergiler biraz daha farklı. Çalıştaylar daha küçük çaplı etkinlikler olduğu için ana bir konu etrafında makaleleri kabul ediyorlar. Aynı şekilde hakemler de belirli bir çevreden seçiliyor. Dergiler de benzer bir durumda. Her dergi belli temaları kabul ediyor ve hakemler de bu temalar ile ilintili kişilerden seçiliyor. Bazı konferanslarda ve çoğu dergide ise hakemlerin yazdıkları yorumlar yazarlara gönderiliyor ve yazarlara cevap hakkı doğuyor. Yazarlar yorumları değerlendirip hakemlere cevap verebiliyor. Bu faydalı bir şey çünkü hakemler çalışmayı yanlış anlayıp yanlış yorumlar yazmış olabiliyor. Yazarlar hakemi ikna edebilirse sonucu da değiştirme fırsatını elde etmiş oluyor.

Hakemlik zor bir iş ve gönüllü olarak yapılan bir şey. Akademisyenler ekstra zamanlarını bu iş için ayırıyorlar ve bir şekilde bu sürecin yürümesine yardımcı oluyorlar. Takdir edersiniz ki zaman çok önemli bir faktör. Diğer bir faktör ise kalite. Kimi hakem günlerini, saatlerini harcayarak yazarlara faydalı yorumlarda bulunabilmek için üstün çaba sarfediyor. Kimisi ise üstünkörü bir yorum yazıp bu işi geçiştiriyor. Bu tür hakemler yüzünden, iyi makaleler red alabiliyor. Ben de elimden geldiğince hakem olmaya özen gösteriyorum. Kimi zaman karşıma uzmanı olmadığım konular çıkıyor. Bu tür durumlarda önce konuyu anlamaya çalışıyorum, ardından da makaleyi yorumlama işine geçiyorum. Üstünkörü yorum yazmak yerine ise konuyu daha iyi bildiğini düşündüğüm akademisyenlerden yardım da istiyorum. Bu ayıp bir şey değil, aksine yapılan işin kalitesini arttıran bir şey.

Hakemlik zor dedik ve öte yandan çok kişisel bir süreç. Verdiğiniz karar ruh halinize inanılmaz bağlı. Örneğin kötü hissettiğiniz bir dönemde okuyacağınız bir makaleye yapacağınız yorumlar ile iyi hissettiğiniz bir dönemdekinden çok farklı olabilir. İnsan kötü hissettiğinde ister istemez sinirini bir şeyden çıkarmak isteyebiliyor. Ve kimi zaman bunu hakemken yapabiliyor (biraz güç faktörü devreye giriyor sanırım). Gene kendimden örnek verecek olursam, kafamın boş olduğu bir zamanda hakemlik görevini yerine getirmeye özen gösteriyorum. Yazarlar emek vermiş ve önünüze iyi kötü bir çalışma koymuş oluyor. Emeklerine saygı göstermek ise biz akademisyenlerin önemsemesi gereken bir nokta. Eğer size verilen süre yetersiz ise, ek süre talep edin. Bu da ayıp bir şey değil. Üstünkörü iş yapacağınıza, ek süre isteyip işin hakkını verebilirsiniz.

İnsan olarak eleştirmeyi çok seviyoruz. Yalnız bunu yaparken de iyi olan şeyleri de takdir etmeliyiz. Çoğu hakemin umrunda olmayan bir nokta bu. Negatif yorumları okurken çok üzülebiliyorsunuz… O yüzden yazarken biraz empati diyorum lütfen! Yazarları yaptıkları işten soğutmanın kimseye faydası yok, aksine onları motive etmeye çalışmak lazım…

Ağustos 2018 Paros Dergisi’nde yayımlanan yazım.