바로가기 go !! 바로가기 go !!

비영리 단체 오픈아카이브(openRxiv)가 인공지능(AI) 기반의 논문 동료평가(peer review) 도구를 도입하겠다고 발표해 주목받고 있다. 게티이미지뱅크 제공


논문 사전공개 사이트를 운영하는 비영리 단체 오픈아카이브(openRxiv)가 인공지능(AI) 기반의 '논문 동료평가(peer review)' 도구를 도입하겠다고 지난달 발표했다. 효율적이지만 오류의 여지가 남아 있는 AI의 논문 심사 과정을 두고 우려의 목소리가 나온다. AI의 심사 능력 자체에 대한 엄밀한 평가가 선행돼야 한다는 것이다.
바다이야기슬롯 3일(현지시간) 국제학술지 '네이처'에 따르면 지난달 논문 사전공개 사이트인 '바이오아카이브(bioRxiv)'와 '메드아카이브(medRxiv)'를 운영 중인 오픈아카이브가 AI 기반 논문 검토 도구를 각 사이트에 통합한다고 발표해 주목받고 있다.
도입되는 AI 도구는 이스라엘의 스타트업 'q.e.d 사이언스'가 개발했 릴게임몰 다. 생의학 분야 논문에 대해 보통 30분 이내의 신속한 AI 생성 피드백을 제공한다. 독창성을 평가하고 논리적 결함을 식별한다. 추가 실험도 제안하고 텍스트 수정 등도 권고한다.
AI 논문 심사의 장점은 명확하다. 심사를 기다리며 몇 달을 허비하거나 성과를 비꼬는 일부 적대적인 시각을 겪을?필요가 없어진다. 대규모 언어모델(LLM)은 릴게임온라인 이해관계 충돌 없이 빠르고 '정중한' 피드백을 제공할 수 있어 논문 심사 효율성을 높일 것으로 기대된다.
영국 임페리얼칼리지런던의 신경생물학자인 조르지오 질레스트로 교수는 'AI 심사관'의 매력을 부인할 수는 없지만 효율과 타당성 개념에는 차이가 있다고 지적한다. 과학계가 AI 기술을 수용하며 '물류 문제'를 해결하려다 더 큰 문제를 만 카카오야마토 들지 않도록 주의해야 한다는 것이다.
질레스트로 교수가 말하는 동료평가의 목적은 두 가지다. 논문의 통계, 방법론, 논리적 일관성을 면밀히 검토하고 기존 틀에 도전하는 희귀한 발견을 인정하는 것이다. 질레스트로 교수는 "인간은 원칙적으로 두 기능을 모두 수행할 수 있지만 AI는 그렇지 않을 수 있다"고 말했다.
LLM 바다이야기게임방법 은 인간을 대신해 통계 정확성을 확인하고 표절과 인용 오류를 잡아낼 수 있다. 이를 넘어선 범위에서 AI가 심사를 수행할 경우 문제가 생길 수 있다는 설명이다.
먼저 인간 동료평가는 보통 3명의 전문가가 서로 다른 관점을 제시하고 편집자가 이를 통합하는 과정으로 이뤄진다. AI는 서로 다른 평가자의 의견을 통합하는 대신 평균적인 평가를 출력한다는 한계가 있다.
인간 동료평가의 쟁점은 경험과 실무 지식의 변동성에서 비롯되기도 한다. 이를 즉각적으로 반영할 수 없는 AI 모델은 이미 최신 기술로 대체된 실험 접근법을 제시할 가능성이 있다. 또 인간 연구자들은 현실적인 예산과 시간 제약 내에서 어떤 실험이 가능한지, 또 어떤 실험이 까다로운지 이해하지만 AI 모델은 이같은 '배려'가 부족하다.
두번째 문제로는 '알고리즘적 완벽주의'가 지적됐다. 기본적으로 모든 잠재적인 문제를 지적하려는 AI 알고리즘의 특징 때문에 실행 불가능한 추가 실험을 제안할 수 있다는 것이다. 향후 AI 모델이 개선되면 이같은 문제는 해결될 가능성이 있다.
AI 논문 심사?도입 이후 중대한 오류가 발생할 경우 해당 리뷰의 신뢰성뿐 아니라 전체 심사 시스템에 대한 신뢰까지 무너질 수 있다는 점이 우려된다.
질레스트로 교수는 먼저 AI 모델이 과학을 검증하고 획기적인 연구를 인식할 수 있는지 판단하는 데이터를 충분히 확보해야 한다고 봤다. 그는 "AI 동료평가 자체에 대한 평가가 우선돼야 한다"고 강조했다.
<참고 자료> - doi.org/10.1038/d41586-025-03909-5
[이병구 기자 2bottle9@donga.com]