피어리뷰(Peer review)는 한국어로 ‘동료 평가’라고도 하며, 경력이 많은 전문가 선배, 동료 연구자가 논문의 오류 등에 대해 검토하는 절차를 말합니다. 이 과정은 주로 무급 봉사로 이뤄지며, 피어리뷰의 제안을 받는 동료 연구자 당사자도 이러한 기회가 경력에 도움이 되므로 무급임에도 가급적 제안을 수락하는 편입니다.
그러나 최근 오픈액세스의 등장과 함께, 전통적인 피어리뷰 기반의 출판은 변화를 필요로 하고 있는 상황입니다. 피어리뷰와 관련하여 많은 연구자들이 불만을 토로하는 사항은 다음과 같습니다.
- 기존 피어리뷰의 문제
먼저 피어리뷰에 너무 긴 시간이 소요된다는 의견이 많습니다. 중복 투고는 학계 경력에 치명적 손상을 입힐 수 있으므로 한 저널에 논문을 투고하면, 다른 저널에 동일한 논문을 투고할 수 없습니다. 따라서 시간이 오래 걸리더라도 피어리뷰의 결과를 기다려야 하며, 그 결과 논문이 거절되기라도 하면, 다른 저널에 논문을 투고하기까지 추가적인 노력과 피해를 감당해야 합니다. 또한, 피어리뷰어의 피드백이 거의 없는 경우가 많습니다. 논문 투고자가 피어리뷰의 신뢰성에 대해 의심을 갖거나, 피어리뷰와 논문 투고자 간의 오해로 이어질 수 있습니다.
- 제 3자 검토
기존 피어리뷰에서 공정성 보장을 위해 블라인드 리뷰 방식을 채택하고 있으나, 피어리뷰어는 논문 저자에 대해 알 수 있는 경우가 있으므로, 제 3의 인물이 피어리뷰 과정을 검토하는 방법이 대안으로 제시되고 있습니다. 저널의 편집자들은 제 3자의 검토가 이뤄지면, 저널 자체의 피어리뷰 과정이 유명무실화될 것을 우려하고 있습니다.
- 루브릭(Rubriq)의 사례
2013년, 루브릭 사는 불필요한 피어리뷰 절차로 인해 소모되는 시간이 연간 약 1,500만 시간에 달한다고 발표한 바 있습니다. 루브릭 사는 이러한 손실 시간을 복구하기 위해 새로운 저자-비용 부담 모델을 제안했습니다. 새로운 모델은 논문의 저자에 초점을 맞춘 것으로, 저자가 논문의 피어리뷰를 위해 비용을 지불하더라도 보다 빠르고 신뢰성 있는 리뷰 결과에 만족하리란 취지입니다.
이 새로운 모델은 리뷰의 투명성 보장을 위해 이중 블라인드(Double blind) 절차를 기반으로 하며, 약 600 달러의 비용으로 엄격한 리뷰 과정을 제공하고자 합니다. 피어리뷰어는 1주일 이내에 논문을 검토하여 해당 저자에게 피드백을 주며, 약 100 달러의 금전적 보상을 받게 됩니다. 또한, 리뷰 과정은 루브릭 스코어카드(Rubriq Scorecard)에 기초하여, 3명의 리뷰어가 연구의 품질, 발표의 품질, 참신성 및 흥미도를 평가하게 됩니다. 또한, 각 리뷰어의 상세 피드백도 제공됩니다. 현재 루브릭 점수(R-Score)는 성공적으로 테스트가 완료된 상황입니다. 또한, 추가로 50달러를 부담하면, 논문의 저자는 루브릭 점수 및 자신의 논문 내용에 기초한 저널 추천 보고서를 제공 받을 수도 있습니다.
- 시간이 핵심!
저자가 비용을 부담하는 리뷰 방식은 저널 측의 초기 거절을 예방하기 위한 기초 수정 단계에 불과합니다. 이러한 리뷰를 통해 저자와 저널 편집자 모두 시간을 절약할 수 있습니다. 저자는 약 2주 이내에 자신의 논문에 대한 평가를 받을 수 있습니다. 또한 루브릭 점수가 낮으면 저널 투고를 보류할 확률이 높아지고, 반대로 루브릭 점수가 높아질수록 저널의 피어리뷰어들은 리뷰에 드는 시간과 수고를 줄일 수 있습니다.
루브릭 점수 등을 활용하는 유료 피어리뷰 사례가 얼마나 통용될 수 있을지 기대됩니다.