정부 예산이 9억 가까이 들어간 국내 학술 논문이 AI가 지어낸 가짜 출처 때문에 처음으로 철회됐다. 중국의 우주 생태계를 분석한 대학 연구진의 논문으로 2020년 과기부 산하 연구재단으로부터 연구비를 지원받았고 공신력을 인정받는 KCI 등재 학술지에 실렸다.

문제는 참고문헌에서 터졌다. 40여 건 가운데 17건이 엉터리. 저자가 생성형 AI를 활용해 참고문헌을 정리하는 과정에서 AI가 만들어 준 '가짜 참조'를 그대로 가져다 쓴 탓이었다. 저자는 AI를 보조 용도로만 썼으며 편집과정의 비의도적 실수라고 해명했지만 최종 연구 부정 판정으로 해당 학술지 투고가 3년 간 금지됐다.

'처음' 이니 대충 '연구자 개인의 잘못'으로 여길 문제가 아니다. 철회되기까지 1년이 넘는 시간 동안 이 논문은 KCI등재 자격을 유지한 채 다른 논문에 인용되며 유통됐다. 오류를 찾아낸 것도 검증 시스템이 아닌 학회 조교 한 명이었다. 부실한 연구를 걸러 낼 검증 장치가 없는 현실에 대한 심각한 경고다.

공공부문에서도 AI 활용으로 인한 부정확한 정보나 허위 출처가 보고서나 자료에 그대로 들어가는 사례가 늘고 있다. 인사혁신처에 의하면 공무원 훈련 결과 보고서 1385건 중 11건에서 허위 출처와 인용 오류가 확인됐고 심지어 국정기획위원회는 잘못된 국가 연구개발 예산 통계를 밝히며 출처를 챗GPT로 기재했다.

어디서부터, 무엇이 잘못된 걸까?

출발점은 생성형AI에 대한 오해다. 생성형 AI는 검색엔진이 아니다. '찾는' 게 아니고 '만든다.' 앞 단어 다음에 올 법한 가장 그럴듯한 단어를 확률적으로 이어 붙인다. "참고문헌을 달아 달라"고 하면 참고문헌처럼 생긴 문장을 생성한다. 실존 학자의 이름에 그가 쓸 법한 제목, 실재하는 학술지와 그럴듯한 권호, 논문 고유번호(DOI)까지 갖춘다. 형식만 봐서는 진짜와 가려낼 수 없다.

기술이 나아진다고 해결되는 문제도 아니다. 2023년 한 연구에서 GPT-3.5는 참고문헌의 55%를, 당시 최신 모델인 GPT-4도 18%를 통째로 지어냈다. 모델이 향상되면서 조금 나아졌지만 이 수치가 제로였던 적은 없다. 한 마디로 믿어도 된다는 뜻은 아니라는 것이다. "요즘 AI는 똑똑해서 다 알아." – 가장 위험한 믿음이다.

더 아이러니한 건 AI의 '보조적 사용'이다. 본문은 저자가 직접 공들여 쓰면서 근거를 보강하기 위해 AI에게 문헌을 찾아달라고 했더니 그럴듯한 참고문헌을 지어낸다. 사소한 일, 보조적 역할이라 여기는 영역이 취약해진다.

물론 학술 검증 구조가 참고문헌을 꼼꼼히 보지 않는 데도 원인이 있다. 동료심사는 논지의 타당성과 연구방법을 따지지, 인용 문헌 수 십 건을 일일이 확인하지 않는다. 이번 논문이 1년 넘게 걸러지지 않은 이유기도 하다.

하지만 무엇보다 중요한 건 '모두가 따를 표준의 부재'다. 최근 들어 단체별 지침이 쏟아졌지만 대상별로 흩어져 있고 대부분 강제하지 않는 권고에 불과하다. 학술지마다 AI활용을 밝히는 기준도 각각이다. 무엇을, 어디에, 어떻게 밝혀야 하는지 연구자마다 다르게 이해하는 한 '책임 있는 활용'이란 구호에 불과하다.

AI의 오남용 사례를 먼저 겪은 해외학계에서는 올 들어 대응 수위를 현저하게 높였다. 자연어처리 분야의 최대 학회인 ACL은 올해 학술대회 최종원고를 점검하다가 존재하지 않는 문헌을 인용한 논문을 100편이상 찾아냈고 하나하나 직접 확인했다. ACL은 사람이 썼던 AI가 썼던 실재하지 않는 참고문헌은 출판윤리 위반으로 정하고 심사를 통과한 본문들의 게재를 취소했다. AI를 가장 잘 아는 학회가 AI허위 인용에 가장 단호했다.

논문 사전공개 서버 아카이브 (arXiv)는 AI가 작성한 허위참고문헌이 발견되면 그 저자의 투고를 1년간 금지하고, 이후에도 동료심사를 통과한 논문만 올릴 수 있게 했다. AI를 쓴 것 자체가 아니라, 확인하지 않은 AI 결과물을 그대로 제출한 행위가 처벌 대상이다.

여전히 허위 인용이 하나라도 있으면 철회해야 하는지, 그 인용의 중요성에 따라 달라져야 할지는 연구윤리학자 간에도 의견은 분분하다. 허위 인용을 잡아내는 탐지 도구 역시 아직은 완벽하지 않다.

하지만 방향은 확실하다. '권고'에서 '검증'과 '책임'으로 옮겨가고 있다. 이제 막 국가 차원의 가이드를 내고 연구재단과 학회에서 대책을 논의하기 시작한 한국이 참고해 볼 사항이다.

현실적으로 연구에서 AI를 내치기는 어렵다. 문헌 요약, 번역, 코드 작성, 데이터 정리 등에서 이미 연구자의 시간을 크게 줄여주는 AI에 있어 필요한 것은 금지가 아니라 확실한 분업이다. AI에게 맡길 일과 사람이 끝까지 직접 해야 하는 일을 구분하는 것, AI시대 연구자의 기본 자세는 여기서 시작된다.

우선, AI에게 문헌을 '만들지'말고 '찾게' 해야 한다. '참고 문헌을 달아줘' 라는 지시는 위험한 사용법이다. 실제 학술 데이터베이스와 연결된 검색 기반 도구를 쓰는 것이 훨씬 안전하다. 그래도 전적으로 믿지는 말아야 한다.

AI가 등장하기 전부터 있었던 가장 기본적인 원칙을 지키는 것이 최선이다. 읽지 않은 문헌은 인용하지 않아야 한다. AI가 찾아 준 문헌도 반드시 원문을 읽고 내가 기대는 주장이 확실한지 재차 확인해야 한다.

AI를 쓴 만큼 기록하고 밝혀야 한다. 어떤 AI모델을 언제, 무엇에 썼는지 남기고 이를 논문에 공개한다. 과기 정통부가 제시한 ｢국가연구개발 인공지능(AI) 연구 윤리 기준(가이드)｣이 좋은 출발점이다. 기록은 감시가 아니라, 문제 발생 시 연구자 자신을 지키는 증거가 된다.

절대로 지켜야 할 것은 판단이다. 가설과 해석, 결론은 온전히 연구자의 몫이다. 동료의 미발표 원고나 심사자료를 외부AI에 올리는 것도 삼가야 한다.

현재 산만하게 흩어져 있는 각종 지침은 서둘러 대학, 연구기관, 학술지가 함께 따를 수 있는 최소 표준으로 묶여야 한다. 반드시 무엇을 확인하고 무엇을 어디에 밝혀야 하는지를 정하는 공통 기준이 필요하다.

대학은 AI가 생성한 허위 참고문헌을 연구자가 직접 찾아내고 검증하는 실습을 통해 AI 연구 윤리를 체득하도록 해야 한다. 그래야 검증이 권고를 넘어 의무로 자리 잡을 수 있다.

연구를 망치는 것은 AI가 아니라 확인과 검증을 생략한 연구자다. 유용한 도구가 생겼다고 기본을 지키지 않는다면 연구의 의미 자체를 잃게 된다.  AI라는 빛나는 날개가 퇴보를 부르다니 참으로 아이러니하다.

◇하민회 이미지21대표(미래기술문화연구원장) =△경영 컨설턴트, AI전략전문가△ ㈜이미지21대표 △경영학 박사 (HRD)△서울과학종합대학원 인공지능전략 석사△핀란드 ALTO 대학 MBA △상명대예술경영대학원 비주얼 저널리즘 석사 △한국외대 및 교육대학원 졸업 △경제지 및 전문지 칼럼니스트 △SERI CEO 이미지리더십 패널 △KBS, TBS, OBS, CBS 등 방송 패널 △YouTube <책사이> 진행 중 △저서: 쏘셜력 날개를 달다 (2016), 위미니지먼트로 경쟁하라(2008), 이미지리더십(2005), 포토에세이 바라나시 (2007) 등