의성궁

마음에 두고 있던 이야기나 한 번 해볼까 합니다. 연구자에게 논문이 갖는 의미는 상당히 큽니다. 사실 논문이 결국 그 사람의 학문적 성취를 나타내는 바로메터와 같이 여겨지기 때문입니다. 저는 아직 대작은 커녕 졸저라고 하기에도 민망한 논문들 그나마 숫자마저 적지만 그간 꽤 많이 겪었던 실패와 주변의 훌륭한 연구자들의 경험을 토대로 현재의 논문 출판 제도에 대해 이야기하고자 합니다.

얼마전 마이클 크라이턴의 'NEXT'를 읽다가 재밌는 구절을 발견하였습니다. 수십년전에는 어느 분야던지 연구자가 적어서 연구 결과 조작이나 거짓 논문이 있을 수 없었고 그러한 것이 있다 해도 쉽게 발각되었지만 지금은 어느 분야던지 수천수만명의 연구자들이 있어서 무수한 논문이 쏟아져나오고 그러다보니 결국 거짓 논문도 양산되고 있다는 이야기 였습니다. 대표적으로 황우석 박사의 예를 들기도 하더군요.

현재 다른 분야도 마찬가지겠지만 컴퓨터과학/공학의 경우 거의 모든 컨퍼런스 및 저널이 피어 리뷰 제도를 도입하고 있습니다. 피어 리뷰 제도라는 것은 어떤 논문이 접수되면 그것을 자신들이 보유하고 있는 리뷰어 풀(pool)에서 무작위 또는 어떤 기준으로 리뷰어들을 선정해서 논문의 리뷰를 부탁하는 방식입니다. 이 때 대부분의 경우 논문의 저자들은 어떠한 리뷰어가 자신의 논문을 리뷰하게 되었는지에 대해 알지 못하며, 때로는 리뷰어도 자신이 보고 있는 논문이 누구의 연구인지 알 수 없습니다. 물론 대부분의 경우 같은 연구 분야에서 연관된 주제의 논문들이 한 연구자로부터 계속 나오는게 일반적이므로 구글을 통해 저자를 예측하는 것은 어려운 일이 아닙니다.

비록 서로 신분을 알 수 없지만 이러한 조직에 속하는 구성원들이 서로를 신뢰하고 있다면 이러한 피어 리뷰 제도는 매우 훌륭하게 동작할 것입니다. 하지만, 대부분의 경우 그렇지 못하기 때문에 문제가 발생합니다.

얼마전 아는 분이 전산학에서 이름을 모르는 사람이 없을만한 컨퍼런스의 커미티가 되면서 리뷰에 참여하는 것을 옆에서 지켜본 적이 있습니다. 해당 컨퍼런스에 제출된 논문 중 무려 10편의 논문을 두달 사이에 리뷰를 보더군요. 한 사람이 두달간 10편이라면 크게 문제되지 않을 수도 있습니다. 하지만, 그 정도 되는 위치의 사람이라면 당연히 그 동안 다른 컨퍼런스 또는 저널의 리뷰를 맡게 됩니다. 결국 휴일을 제외하면 3일에 한 편꼴로 리뷰를 해야 한다는 이야기가 되겠습니다.

다들 아시겠지만 대부분의 리뷰어는 교수 또는 연구원들이고 그들에게 리뷰는 전업이 아닙니다. 무보수로 학계를 위해 행하는 봉사활동일 뿐입니다. 3일에 논문 한편. 과연 논문을 관련 논문까지 찾아가며 읽을 수 있을까요? 특히나 자신이 평상시에 하던 일과 딱 맞아떨어지는 부분이 아니라면 이미 그 연구가 다른 누군가에의해 진행되지는 않았는지 확인하는데에도 많은 시간이 소모됩니다. 저널의 경우 리뷰 기간이 적게는 3개월 길게는 6개월 이상 주는 경우도 있습니다. 그 만큼 시간 여유는 많지만 역시 여러 논문을 동시에 리뷰를 보는 리뷰어라면 사정은 크게 다르지 않을 것입니다.

그러다보니 논문을 작성하는 연구자들이 마치 낚시꾼 신문기자처럼 되어가는 것 같습니다. 유명한 컨퍼런스나 저널에 나오는 논문들의 제목은 그 자체로 참 섹시합니다. 의문문으로 만들어진 제목이나 기존 연구를 노골적으로 공격하는 제목의 논문은 이제 예사입니다. 때로는 철학자나 던질법한 질문이 논문의 제목으로 나오기도 합니다. 시간이 없는 리뷰어의 눈길을 끌지 못하면 제대로 읽혀보지도 않고 평가될 것이라는 것을 잘 알기 때문이 아닐까요.

소재역시 마찬가지입니다. 기존의 연구들을 검증하거나 튼튼히 다지는 논문들은 인기가 없습니다. 참신하고 충격적인 소재. 이해하기 쉽고 새로운 이야기가 잘 팔립니다. 현재 시스템의 탑 컨퍼런스들을 보면 물론 고전적인 주제에 대한 새로운 접근도 많이 있지만 대부분은 본질은 가볍지만 창의적인(novelty가 높은) 주제들이 다수를 차지합니다. 물론 창의적인 생각은 높게 사야하지만 색다른 주제에 대한 얕은 깊이의 논문이 잘 알려진 주제에 대한 깊은 통찰보다 평가하기 쉬워서 좋은 평가를 받는 경향은 없을까요? 사실 저 역시 Theorem, Lemma, Proof 등이 끊임없이 나오는 논문 보다는  멋진 사진 또는 그림과 함께 이게 뭐하는 기계인지 설명하는 논문을 더 편하게 읽습니다. 하지만, 우리가 부딫치고 있는 대부분의 문제들에 대한 진지한 솔루션을 누가 제시해야한다면 당연히 기존의 연구들을 받침으로 삼고 진행하기 때문에 단도직입적으로 어렵고 깊은 이야기가 쏟아져나올 것입니다.

방법론 역시 문제가 발생하고 있습니다. 너무나 많은 논문들이 쏟아져나오고 있고 한 리뷰어가 너무나 다양한 분야의 논문을 리뷰하고 있습니다. 물론 훌륭한 학회 및 저널의 리뷰어라면 상당한 수준의 학문적 업적을 이미 갖고 있을 것입니다. 하지만, 그렇다고 해도 모든 최신 동향에 대해 깊은 이해를 갖기는 힘들 뿐더러 구체적인 실험 및 결과의 분석까지 들어간다면 완전히 거짓말을 해도 그것을 파악하기라는 것은 매우 힘들 것입니다. 아울러 해결 방법이나 실험 과정에서 약간의 사기가 있다고 해도 그것을 과감하게 지적하기란 매우 큰 용기를 필요로 할 것입니다. 결국, 상당수 논문들이 재연이 어렵거나 실험 환경을 구축하기가 거의 불가능한 실험 방법을 소개하고 있는 경우를 발견할 수 있습니다.

현재의 피어리뷰 시스템에서는 위와 같은 문제로 인해 논문들의 수준이 깊어지기 보다는 논문들의 스코프가 넓어지는 효과를 가져오는 것이 아닌가 생각됩니다. 이러한 시스템의 폐해는 날이갈수록 심해져가고 있으며 언젠가는 자정작용이 시작되어 새로운 리뷰제도가 등장해야 할 것으로 생각됩니다. 물론 저 역시 연구자의 풀이 넓어지고 연구의 양 자체가 많아지는 이 시점에 피어리뷰 말고 다른 대안이 떠오르지는 않습니다. 하지만, 장기적으로 학문의 질적 성장을 위해 이러한 피어리뷰 제도는 개선되어야 할 것이라 생각하고 있습니다.