인공지능(AI)이 인간의 능력을 넘어서면서 다양한 산업 분야에서 중요한 역할을 하고 있다. 하지만 이러한 AI의 능력이 다 유용한 것은 아닌 것 같다. 최근 한국은행의 보고에 따르면 의사, 회계사, 변호사와 같은 전문직의 업무 영역이 AI에 의해 위협받을 가능성이 제기됐다.

특히 교육계에서는 이 문제를 더욱 심각하게 받아들이고 있다. 자연과학, 응용과학, 의학 등의 분야에서 AI가 인간 대신 논문을 작성할 수 있게 되었다는 사실이 큰 우려를 낳고 있다.

그런데 이 같은 걱정을 앞으론 덜 수 있을 것 같다.

최근 국제 학술지 '네이처'는 캔자스 대학의 헤서 디자이어 교수와 그의 연구팀이 개발한 새로운 툴(도구)을 소개했다. 이 도구는 AI가 작성한 글을 분류할 수 있어, AI의 글쓰기 능력과 관련된 문제를 해결하는 데 도움이 될 것으로 기대된다.

최근에 개발된 새로운 AI 탐지 툴은 기존의 두 가지 AI 탐지기보다 우수한 성능을 자랑한다. 이 특화된 도구는 학술 출판사들이 AI 텍스트 생성기를 통해 만들어진 논문을 식별하는 데 큰 도움이 될 것으로 예상된다. 

헤서 디자이어 교수는 이번 연구 결과가 AI 감지기 개발에 있어서의 중요한 진전을 보여준다고 언급했다. 이는 소프트웨어를 특정한 유형의 글쓰기에 맞게 조정함으로써 감지 능력을 강화할 수 있음을 시사한다.

 

문장 길이, 특정 단어 및 문장 부호 등으로 특징

디자이어 교수와 그의 연구팀은 챗GPT 탐지기를 '사이언스2(Science2)' 저널의 '퍼스펙티브(Perspective)' 기사에 적용한 사례를 소개했다. 이 탐지기는 기계 학습을 활용하여 글쓰기 스타일의 20가지 특성, 예를 들어 문장 길이의 변화, 특정 단어 및 문장 부호의 사용 빈도 등을 분석한다. 이를 통해 텍스트가 학술 과학자에 의해 작성되었는지, 아니면 챗GPT와 같은 AI에 의해 작성되었는지를 판별할 수 있으며, 이 연구는 높은 정확도를 달성했다고 보고됐다.

최근 진행된 연구에 따르면, 개발된 검출기는 미국 화학 학회(ACS)에서 발행한 10개의 화학 저널에서 나온 논문들의 서문 섹션을 분석하기 위해 특별히 교육을 받았다. 연구 팀은 논문의 서문 작성이 챗GPT를 사용할 경우 특히 쉽다는 점을 인지하고, 배경 문헌에 접근할 수 있는 상황에서 이 섹션을 선택했다.

연구원들은 이 도구를 효과적으로 교육하기 위해 100편의 인간이 작성한 서문을 사용했다. 이후, 그들은 챗GPT-3.5에게 ACS 저널의 스타일에 맞춰 200개의 서문을 작성하도록 요청했다. 이 중 100개는 논문의 제목을 도구에 제공하여 작성되었고, 나머지 100개는 논문의 초록을 기반으로 작성됐다.

실험 결과, 이 도구는 제목을 기반으로 한 챗GPT-3.5로 작성된 서문을 100% 정확도로 식별할 수 있었다. 반면, 논문 초록을 기반으로 작성된 서문의 경우, 정확도는 약간 낮은 98%로 나타났다. 이러한 결과는 동일한 저널에서 인간과 AI가 작성한 서문을 비교할 때 얻어졌다.

이 새로운 도구는 최신 버전인 챗GPT-4가 작성한 텍스트에서도 효과적으로 작동했다. 반면, AI 탐지기 ZeroGPT는 사용된 챗GPT 버전과 논문의 제목 또는 초록에서 생성된 소개에 따라 35~65%의 정확도로 AI가 작성한 소개를 식별하는 데 그쳤다. 

또한, 챗GPT 제조사인 오픈AI가 제작한 텍스트 분류 도구의 성능 역시 높지 않았다. 이 도구는 AI로 작성된 소개를 찾아내는 데 약 10~55%의 정확도를 보였다.

이에 비해 새로운 챗GPT 탐지 도구는 훈련받지 않은 저널의 서문에서도 높은 성능을 발휘했다. 이 도구는 AI 탐지기를 혼동시키기 위해 다양한 프롬프트에서 생성된 AI 텍스트를 포착하는 데 성공했다. 하지만, 이 시스템은 과학 저널 기사에 특화되어 있어, 대학 신문의 실제 기사를 제시했을 때에는 인간이 작성한 것으로 인식하지 못하는 한계를 보였다.

 

학술 표절, 짧은 논문작성 기간 압박으로 탄생

베를린 응용과학대학교에서 학술 표절을 연구하는 컴퓨터 과학자인 데보라 웨버 울프는 학계에서 챗GPT의 사용이 증가하는 배경에 다른 문제들이 있다고 언급했다. 

그녀는 많은 연구자들이 논문을 신속하게 작성해야 하는 압박을 받고 있으며, 이로 인해 논문 작성 과정이 과학의 중요한 부분으로 인식되지 않을 위험이 있다고 지적했다.

웨버 울프 교수는 AI 탐지 도구가 이와 같은 문제를 해결할 수 없다고 강조했다. 그녀는 이러한 도구들을 사회적 문제에 대한 '마법의 소프트웨어 솔루션'으로 여겨서는 안된다고 주장하며, 이는 더 넓은 사회적 맥락에서의 해결이 필요한 문제임을 시사했다.