"의학·생명과학 분야 종합분석 논문 대다수 '불량품'"

전 세계에서 발표되는 생명과학과 의학 분야의 메타분석과 체계적 문헌고찰 연구 논문 대부분이 '불량품'이라는 평가가 나왔습니다.

품질이 일정 수준을 넘으면서 실제 임상에서도 유용한 논문은 3%에 불과하다는 주장입니다.

메타분석과 체계적 문헌고찰 연구는 쉽게 말해 특정 분야 임상시험 등 개별 연구결과들을 종합적으로 비교 분석하는 것입니다.

보건의료정책이나 신약 개발과 허가, 마케팅 등 여러 분야에서 중요 참고자료로 쓰이는 일이 많습니다.

의약전문지 스태트 등에 따르면, 미국 스탠퍼드대 메타연구혁신센터(METRICS) 소장인 존 요니디스 의대 교수는 최근 국제학술지인 '계간 밀뱅크'에 이런 내용의 논문을 발표했습니다.

요니디스 교수팀은 우선 펍메드(PubMed)로 1986~2015년 발표된 논문들을 검색했습니다.

미국 국립보건원 산하 국립의학도서관의 의학 및 생명과학 논문 검색 사이트인 펍메드에선 영문으로 발표되는 세계 각지 의학 논문이 거의 다 검색됩니다.

검색 결과 이 기간 체계적 문헌고찰 논문은 26만6천782건, 메타분석은 5만8천611건이었습니다.

특히 1990년대 들어 급증했는데 1991~2014년 사이 연간 출판된 체계적 문헌고찰 논문은 2천728%, 메타분석은 2천635%나 증가했습니다.

이는 같은 기간 발표된 전체 논문 수 증가율 153%와 비교가 되지 않는 것입니다.

요니디스 교수는 체계적 문헌고찰과 메타분석의 학문적 방법론과 가치가 확립되면서 발표 논문이 증가한 것은 나무랄 점이 아니지만, 문제는 쓸모없고 결함투성이의 논문들이 유행병처럼 확산하며 해를 끼치는 것이라고 지적했습니다.

연구팀은 수준과 쓸모를 모두 갖춘 논문은 전체의 3%, 수준은 좋지만, 현실에서 임상적으로 쓸모는 없는 논문이 17%라고 평가했습니다.

나머지는 아예 불필요하고 유용하지 않은 연구(27%), 수정 불가능할 정도로 결함이 있는 논문(20%), 이미 타당성이 없어 폐기된 유전자 연구결과를 이용한 것(13%) 등이 대부분이라고 분석했습니다.

또 연구가 실행됐지만 석연치 않은 이유로 아예 결과가 공개되지 않은 것도 20%에 이르는 것으로 추정했습니다.

요니디스 교수팀의 연구 역시 독자적 조사 평가와 기존의 관련 연구들을 종합 분석하는 작업을 병행한 것으로 최근 국제학술지인 '계간 밀뱅크'에 이를 발표했습니다.

이 논문에 따르면, 대부분 메타분석과 체계적 문헌고찰 논문의 주제가 중복돼 있고 쓸모없다는 것입니다.

예컨대 2007~2014년 사이에 항우울제 임상시험 논문 등에 대한 메타분석만 185개나 됩니다.

사용된 개별 임상시험 논문 등의 수가 대체로 많지 않고 심지어는 단 2편인 경우도 수두룩합니다.

인용된 개별 논문 내용 자체에 오류나 한계가 있고, 이를 과학적이고 체계적으로 정리 분석하지도 않은 것들이 흔합니다.

또 제약회사나 의료기업체 등의 직원 또는 산업계와 연관된 저자들이 발표한 논문들이 다수를 이루며 결과도 스폰서들의 이익에 맞춰 조정된 경우가 다수입니다.

업계로부터 이런 종류의 논문들을 위탁받아 생산하는 전문업체들도 성업 중인데, 그 가운데 많은 논문이 출판(공개)되지 않은 채로 묻힙니다.

대체로 주문자가 원하는 결과와 다를 것으로 추정됩니다.

한편 나라별로는 중국에서 발표된 영문 논문들에 특히 문제가 많다고 평가했습니다.

중국은 가장 빠르게 펍메드에 등재되는 영문 논문의 최대 생산국이 됐는데 특히 2014년 세계 유전학 관련 메타분석 논문의 63%가 중국산입니다.

그러나 중국의 이 분야 관련 논문 대부분이 이미 폐기된 유전학 이론에 단편적 정보들을 묶어 놓은데 지나지 않는다고 연구팀은 평가했습니다.

메타분석과 체계적 문헌고찰 연구란 쉽게 말해 기존에 발표된 특정 분야의 개별 연구나 실험(임상시험) 결과 논문들을 모아서 종합적으로 분석 평가하는 것입니다.

예컨대 특정 질병의 원인이나 약효에 관한 시험 결과 등은 연구자에 따라 매우 다양하게 나옵니다.

때론 상반된 결과가 나올 수 있습니다.

그러나 관련 논문들을 모아서 통계적으로 처리해 분석하거나 꼼꼼하게 정성적으로 비교 평가하면 대다수 논문에 공통된 결과나 범위가 나오고 이것을 타당성의 방증으로 삼을 수도 있습니다.

이는 저마다 자기 연구결과가 옳다고 주장하며 과학적 논쟁이 붙었을 때 정연하게 시비를 가리는데 상당히 유용한 방법의 하나로 자연과학 뿐 아니라 사회과학에서도 중요한 연구방법의 하나로 활용됩니다.