전체기사보기
-
-
인공지능(AI) 성능 급감하는 '드리프트' 현상 발생 이유는?
-
-
마이크로소프트(MS) 창업자 빌 게이츠가 "인터넷의 발명만큼 중대한 사건"이라고 극찬한 챗GPT(Chat GPT)는 오픈AI에서 개발한 대화형 인공지능(AI) 서비스로, 대량의 데이터를 학습해 새로운 정보를 생성하고 응답하는 능력을 갖춘 시스템이다.
챗GPT는 챗(Chat)과 GPT(Generative Pre-trained Transformer)의 합성어로, 트랜스포머(Transformer) 계열의 대규모 언어 모델(GPT-3.5)을 기반으로 한다. GPT-3.5는 오픈AI에서 개발한 GPT-3의 업그레이드 버전으로, 1000억 개의 파라미터를 가지고 있다. 파라미터란 AI가 학습할 수 있는 변수의 수를 의미하는데, 이는 GPT-3의 2배에 달한다.
챗GPT는 강화학습(RLHF) 방식을 채택해 자신의 행동에 따른 보상을 통해 스스로 학습하고 발전할 수 있다. 챗GPT는 번역 및 문장 재구성, 텍스트 요약, 콘텐츠 생성, 코딩 등 다양한 영역에서 우수한 성능을 뽐내고 있다. 무엇보다 인간 고유의 영역이라 여겨져 온 창작의 영역까지 AI가 파고든 사실에 많은 사람이 놀라고 있다.
지난해 11월 선보인 챗GPT는 출시된 지 5일 만에 이용자 수 100만 명을 확보했고, 1억 명을 돌파하는 데는 두 달이면 충분했다. 현재 전 세계적으로 가장 많은 사용자를 보유하고 있는 AI 서비스로 자리매김했다.
AI 지능 저하 '드리프트' 현상이란?
인공지능(AI)의 새로운 패러다임인 챗GPT와 같은 채팅AI가 의사 면허 시험을 통과하거나 복잡한 수학 문제를 놀라운 정확도로 풀 수 있다는 보고서도 나왔다.
그런데 최근 챗GPT의 성능이 급격히 저하되는 현상이 나타나 인공지능 학계를 발칵 뒤집어 놓았다.
파겐 와사니 테크롤로지스(Fagen Wasanni Technologies)와 일본 매체 기가진(gigazine)의 최근호에 따르면 올해 3월부터 6월까지 채팅 AI의 수학 능력이 급격히 떨어지는 현상이 발견됐다. 이러한 채팅 AI의 지능 저하 현상을 '드리프트(drift)'라고 한다.
외신에 따르면 미국 스탠포드 대학과 UC 버클리가 올해 3월과 6월 두 차례에 걸쳐 오픈AI의 대규모 언어모델(LLM) 'GPT-3.5'와 'GPT-4'로 구동되는 챗GPT에 '수학 문제', '코드 생성', '시각적 추론', '민감한 질문' 등 4가지 과제를 부여해 그 답변의 신속성과 정확성을 분석했다. 그 결과, '17077은 소수인가?'와 같은 단순 수학 문제에 대한 GPT-4의 응답 정확도가 2023년 3월부터 6월 사이에 97.6%에서 무려 2.4%로 급락한 것으로 나타났다.
두 대학의 연구진에 따르면, "AI의 드리프트 문제는 매우 복잡한 AI 모델의 일부를 개선하려고 할 때 모델의 다른 부분의 성능이 저하되는 문제"라고 설명했다.
연구원들은 3월과 6월 다양한 버전의 LLM을 테스트하고 위의 네 가지 과제 외에 미국 의사 면허 시험, 시각적 추론을 포함한 다양한 AI 작업에서 성능을 평가했다.
그 결과, LLM이 제공하는 답변에 상당한 변동성이 있는 것으로 나타났다. 특히 GPT-4의 수학 문제 해결 능력은 3월과 6월 사이에 정확도가 84.0%에서 51.1%로 떨어지는 등 급격히 악화됐다. 반면, GPT-3.5의 정확도는 같은 기간 동안 49.6%에서 76.2%로 향상됐다.
연구원들은 또한 특정 작업에서 지시를 따르는 GPT-4의 능력이 저하되는 것을 관찰했다. 예를 들어, '행운의' 숫자와 관련된 수학 문제에서 GPT-4의 정확도는 3월과 6월 사이에 83.6%에서 35.2%로 떨어졌고 GPT-3.5의 정확도는 30.6%에서 48.2%로 오히려 증가했다.
또한 ‘민감하거나 위험한 질문’에 답변하려는 LLM의 의지에 변화가 있었다. GPT-4는 응답률이 21.0%에서 5.0%로 급격히 낮아졌고, GPT-3.5는 2.0%에서 5.0%로 소폭 증가했다.
복잡한 추론 과제에서 GPT-4는 정확한 답변을 생성하는 점이 1.2%에서 37.8%로 증가해 개선된 모습을 보였다. 그러나 GPT-3.5의 추론 완전 일치 성공률은 22.8%에서 14.0%로 감소했다.
연구원들은 또한 시간이 지남에 따라 LLM이 생성한 코드의 실행 가능성도 감소하는 것을 관찰했다. 또 미국 의사 면허 시험에서 GPT-4의 성적은 86.6%에서 82.4%로 소폭 하락한 반면, GPT-3.5는 54.7%였다.
시각적 추론 과제에서 약간의 개선이 있었지만 두 모델 모두 전반적인 정확도는 여전히 낮았다. 연구진은 짧은 시간 내에 GPT-3.5와 GPT-4의 성능과 동작에 상당한 변화가 있었다는 점을 강조했다.
"AI 미세 조종시 다른 영역서 후퇴"
스탠포드대 제임스 조우(James Zou) 컴퓨터 과학 연구원은 "AI 모델을 미세 조정해 특정 방향으로 강화하면 다른 영역에서는 후퇴할 위험이 있다"며 "AI 모델을 지속적으로 개선하는 것은 매우 어렵다"고 말했다.
또한 조우 연구원은 "우리는 GPT-4와 같은 AI 모델에서 언젠가 드리프트 문제가 발생할 것으로 예상했지만, 이렇게 빨리 드리프트 문제가 발생한 것에 대해 매우 놀랐다"고 했다.
해외 매체 크립토폴리탄(Cryptopolitan)은 AI의 드리프트 문제에 대해 "이 문제는 프롬프트 엔지니어링(Prompt Engineering)이라는 급성장 중인 트렌드와 관련이 있을 수 있다"고 추측했다.
'프롬프트 엔지니어링'은 사용자가 프롬프트를 만들어 AI로부터 특정 반응을 이끌어내는 개념이다. 이 매체는 "GPT-4의 수학적 능력 저하가 프롬프트 엔지니어링에 대응하기 위해 취해진 우발적 결과일 수 있다"고 지적했다.
오픈AI "개선 위해 다양한 연구 진행"
드리프트 문제에 대해 오픈AI 측은 "새로운 AI 모델을 출시할 때, 우리는 새로운 모델을 더 똑똑하게 만드는 것을 최우선 과제로 삼고 있다. 또한 우리는 새로운 AI 모델 버전이 포괄적인 작업의 개선으로 이어지고 있는지 확인하기 위해 다양한 조사와 연구를 진행하고 있다. 하지만 우리의 평가 방법은 완벽하지 않기 때문에 지속적으로 개선해 나가고 있다"고 말했다.
조우는 AI의 드리프트 문제에 대해 "중요한 것은 지능이 떨어진다고 해서 기술을 포기하는 것이 아니라 그 어느 때보다 AI를 면밀하게 모니터링하는 것"이라고 말했다.
아울러 연구팀은 챗GPT와 같은 AI 모델에 대해 수천 개의 질문을 던져 체계적인 테스트를 계속하고 있으며, 시간이 지남에 따라 성능 변화를 분석하고 있다고 덧붙였다.
-
2023-08-17
날짜선택