강화학습 – 포커스온경제 통합 검색

전체기사보기
2024-11-22 (금)

검색

신경과학자, AI 활용해 학습·의사결정 과정 맵핑⋯뇌 작동 방식 밝혀내

신경과학자들이 인공지능(AI)을 활용해 강화학습과 의사결정 과정을 매핑해 뇌의 작동 방식을 밝히고 있다. 강아지는 "앉아"라는 명령을 듣고 시행착오와 반복, 칭찬을 통해 무엇을 해야 하는지 배우게 된다. 이것이 바로 '강화 학습(reinforcement learning)'이다. 플로리다 대학 허버트 워트헤임 스크립스 연구소(Herbert Wertheim UF Scripps Institute for Biomedical Innovation & Technology)의 신경과학자 료마 하토리(Ryoma Hattori) 박사는 강화학습에 매료돼 일관적인 연구를 하고 있다. 그는 강화 학습을 이해하고 맵핑하는 연구를 진행하고 있으며 뇌가 어떻게 정보를 통해 결정을 내리는지, 또 뇌가 어떻게 정보를 통합하는지 연구한다. 미국 건강 의학 매체 메디컬익스프레스(MedicalXpress)는 23일(현지시간) 인간의 뇌는 약 860억 개의 뉴런으로 구성되어 있으며, 이 뉴런들은 100조 개 이상의 연결을 형성하고 있는 매우 복잡한 구조라고 전했다. 하토리 박사는 의사 결정 과정에는 많은 요소들이 영향을 미친다고 말했다. 간단한 식당 선택만 해도 기억과 판단의 복잡한 행렬을 통해 이루어지기 때문에 여러 뇌 영역이 동원된다. 어떤 식당은 음식과 서비스가 좋지만, 그렇지 않은 식당도 있다. 가격도 어떤 곳은 비싸고 어떤 곳은 저렴하다. 경험은 결정을 내리는 데 필요한 가치를 부여하고 고려해야 하는 입력 자료를 제공한다. 하토리 박사는 "이 모든 과정을 통합하는 것은 매우 어려운 일이지만, 우리 뇌는 어떻게든 그렇게 한다"며 이 과정의 기저 메커니즘을 이해하는 것이 정신질환 및 자폐 스펙트럼 장애 치료에 중요한 단서가 될 수 있다고 주장했다. 그는 "많은 정신질환과 신경계 질환은 의사결정 기능 일부가 손상되는 것을 특징으로 한다"고 설명했다. 여러 뇌 영역이 상호작용해 보상 경험을 처리하고 의사결정을 유도하는 방식을 모델링하는 것은 흥미로운 도전이다. 하토리 박사는 데이터 수집을 위해 대규모 2광자 이미징, 가상현실 기반 실험, 신경 활동 조작을 위한 빛을 사용하는 방법인 광유전학 등 다양한 연구 기법을 사용한다. 또 계산 모델링이 점점 더 복잡한 동물 행동과 뇌 동태를 이해하는 데 중요한 도구가 되고 있다고 말했다. 하토리 박사와 그의 연구팀은 연구를 돕기 위해 인공지능을 개발하고 있다. 인공지능은 신경과학 발견을 발전시키는 데 도움을 주고, 신경과학 발견은 또한 인공지능 개선에도 도움을 줄 수 있다. 그는 "뇌와 인공지능은 모두 신경 활동 역학과 시냅스 가소성을 이용하여 연산 및 학습을 수행하는 신경망으로 구성되어 있다"며 "이들은 외부 입력을 받고 정보를 처리하여 행동을 출력하고 이 행동의 결과는 네트워크 학습을 유도한다. 이러한 유사성은 특정 행동에 대한 신경망 모델로 인공지능을 사용할 수 있는 기회를 제공한다"고 밝혔다. 하토리 박사는 막스 플랑크(Max Planck)의 과학 감독인 료헤이 야수다(Ryohei Yasuda) 박사와 공동으로 최근 '자연 신경과학(Nature Neuroscience)' 저널에 일반화된 지식 획득에서 궤도전두피질이라는 뇌 영역의 역할에 대한 논문을 발표했다. 연구팀은 쥐가 새로운 환경에 적응하면서 다양한 시간 규모의 다중 레이어 학습이 작용하는 것을 발견했다. 쥐의 학습 메커니즘은 인공지능 연구자들이 개발한 강화 학습 컴퓨터 모델과 유사했다. 하토리 박사는 "우리는 인공지능으로부터 뇌 메커니즘에 대한 통찰력을 얻을 수 있으며 또한 의사결정과 학습을 위한 뇌 메커니즘을 더 잘 이해함에 따라 이 지식을 인공지능 모델로 이전할 수 있다"라며 "내 연구 프로젝트가 뇌 이해에 기여하고 기계 학습 커뮤니티에서 더 나은 성능을 발휘하는 인공지능 개발에 기여하기를 바란다"고 말했다.
- IT/바이오
2024-02-24
'AI 선구자' 짐 켈러, "오픈소스와 비용 절감의 중요성" 강조

반도체 설계의 전설이자 '인공지능(AI) 선구자'로 불리는 짐 켈러 텐스토렌트 최고경영자(CEO)는 7일 "인공지능(AI)의 비용을 크게 줄이고 모든 구성 요소를 오픈소스화하여 혁신을 촉진해야 한다"며 '오픈소스'의 중요성을 강조했다. 켈러 CEO는 7일 삼성전자가 주최한 '삼성 AI 포럼 2023'에서 기조연설자로 나서, '자신만의 실리콘을 소유하라(Own Your Silicon)'를 주제로 "지난 20~30년 동안 오픈소스가 소프트웨어 개발의 핵심 동력이었다"고 말했다. 그는 애플의 'A칩', AMD의 '라이젠' CPU 등의 고성능 반도체 설계를 주도한 인물로, 현재 캐나다의 AI 반도체 스타트업인 텐스토렌트를 지휘하고 있다. 텐스토렌트는 현재 10억달러(1조3000억원)의 시장 가치를 가진 것으로 평가받고 있다. 2017년 시작된 삼성 AI 포럼은 AI와 컴퓨터공학 분야의 석학과 전문가들이 최신 연구 동향을 공유하고 미래의 혁신 전략을 논의하는 기술 교류의 장이다. 7회째를 맞은 올해는 약 1천 명이 참석한 가운데 열렸다. 켈러 CEO는 이날 강연에서 차세대 반도체 설계를 통한 AI 기술의 한계를 극복하는 방안을 제시했다. 켈러 CEO는 개방형 하드웨어 설계자산인 RISC-V(리스크 파이브)를 기반으로 한 하드웨어 구조 설계의 혁신을 통해 차세대 AI의 새로운 가능성을 주목했다. RISC-V는 축소 명령어 집합 컴퓨팅(RISC)을 기반으로 하는 반도체 개발에 필요한 모든 명령어 세트를 무료로 공개하는 개방형 표준 기술이다. 이 기술은 특정 기업이 소유권을 가지지 않아, 이를 활용한 소프트웨어가 개발되면 어떤 기업이든 이를 사용하여 무료로 반도체를 설계할 수 있다. 켈러 CEO는 "오픈소스의 가장 큰 장점은 여러 사람들이 자유롭게 수정하고 변경할 수 있다는 것이며, AI가 빠르게 발전하는 주요 이유 중 하나는 하드웨어 성능 향상과 오픈소스 개발의 결합에 있다"고 말했다. 그는 "향후 몇 년 이내에 대규모 교육을 통한 명령 실행 방식에서 문제를 인식하고 간단한 규칙을 적용해 작업을 처리하는 방식으로 변화가 이루어질 것"이라고 예측하며, "기술을 개방적으로 유지하는 것이 중요하다"고 특히 강조했다. 또한, AI 분야의 세계적 석학인 요슈아 벤지오 캐나다 몬트리올대 교수는 온라인 기조 강연에서, 대규모 언어 모델(LLM, Large Language Model)을 기반으로 한 AI 기술 발전이 연구자의 의도와 일치하지 않는 결과를 방지할 수 있는 안전한 AI 기계학습 알고리즘에 대해 소개했다. LLM은 방대한 양의 텍스트 데이터로 학습해 자연어를 이해하고 생성하는 능력이 뛰어난 언어 모델이다. 삼성전자 SAIT(구 종합기술원)는 '△ LLM과 산업용 AI의 변화(LLM and Transformation of AI for Industry) △ LLM과 시뮬레이션을 위한 초거대 컴퓨팅(Large-scale Computing for LLM and Simulation)'을 주제로 AI·CE(컴퓨터 공학, Computer Engineering) 분야 세부 세션을 각각 진행했다. AI 분야에서 세계적으로 우수한 신진 연구자를 발굴하기 위한 '삼성 AI 연구자상'에서는 미국 프린스턴 대학교의 제이슨 리 교수를 비롯한 5명의 연구자가 선정됐다. 제이슨 리 교수는 딥러닝, 강화학습, 최적화 등 AI 분야 이론과 응용 연구에 집중하고 있다. 해당 분야에서 우수 논문을 다수 게재해 전 세계 AI 연구 발전에 기여한 점이 높은 평가를 받았다. 경계현 삼성전자 대표이사 사장은 온라인으로 진행된 개회사에서 "생성형 AI 기술이 인류가 직면한 다양한 문제를 해결하는 혁신적인 수단으로 부상하고 있으며, 이에 따라 기술의 안전성, 신뢰성, 지속 가능성에 대한 심도 있는 연구가 필요하다"고 언급했다. 경 사장은 또한 "삼성전자는 고대역폭 메모리 칩을 포함한 AI 컴퓨팅 시스템의 핵심 부품을 통해 AI 생태계 강화에 계속해서 중요한 역할을 할 것"이라고 말하며, "이번 포럼이 AI와 반도체 기술을 통해 인류의 더 나은 미래를 모색하는 의미 있는 자리가 되기를 바란다"고 전했다. 삼성전자는 8일 서울R&D캠퍼스에서 삼성리서치 주관으로 '삼성 AI 포럼' 두 번째 날 행사를 진행한다. 비공개 행사로 진행되는 이 자리에서는 생성형 AI 기술의 발전 방향을 논의하고 관련 기술 동향을 공유할 계획이다.
- IT/바이오
2023-11-07
인공지능(AI) 성능 급감하는 '드리프트' 현상 발생 이유는?

마이크로소프트(MS) 창업자 빌 게이츠가 "인터넷의 발명만큼 중대한 사건"이라고 극찬한 챗GPT(Chat GPT)는 오픈AI에서 개발한 대화형 인공지능(AI) 서비스로, 대량의 데이터를 학습해 새로운 정보를 생성하고 응답하는 능력을 갖춘 시스템이다. 챗GPT는 챗(Chat)과 GPT(Generative Pre-trained Transformer)의 합성어로, 트랜스포머(Transformer) 계열의 대규모 언어 모델(GPT-3.5)을 기반으로 한다. GPT-3.5는 오픈AI에서 개발한 GPT-3의 업그레이드 버전으로, 1000억 개의 파라미터를 가지고 있다. 파라미터란 AI가 학습할 수 있는 변수의 수를 의미하는데, 이는 GPT-3의 2배에 달한다. 챗GPT는 강화학습(RLHF) 방식을 채택해 자신의 행동에 따른 보상을 통해 스스로 학습하고 발전할 수 있다. 챗GPT는 번역 및 문장 재구성, 텍스트 요약, 콘텐츠 생성, 코딩 등 다양한 영역에서 우수한 성능을 뽐내고 있다. 무엇보다 인간 고유의 영역이라 여겨져 온 창작의 영역까지 AI가 파고든 사실에 많은 사람이 놀라고 있다. 지난해 11월 선보인 챗GPT는 출시된 지 5일 만에 이용자 수 100만 명을 확보했고, 1억 명을 돌파하는 데는 두 달이면 충분했다. 현재 전 세계적으로 가장 많은 사용자를 보유하고 있는 AI 서비스로 자리매김했다. AI 지능 저하 '드리프트' 현상이란? 인공지능(AI)의 새로운 패러다임인 챗GPT와 같은 채팅AI가 의사 면허 시험을 통과하거나 복잡한 수학 문제를 놀라운 정확도로 풀 수 있다는 보고서도 나왔다. 그런데 최근 챗GPT의 성능이 급격히 저하되는 현상이 나타나 인공지능 학계를 발칵 뒤집어 놓았다. 파겐 와사니 테크롤로지스(Fagen Wasanni Technologies)와 일본 매체 기가진(gigazine)의 최근호에 따르면 올해 3월부터 6월까지 채팅 AI의 수학 능력이 급격히 떨어지는 현상이 발견됐다. 이러한 채팅 AI의 지능 저하 현상을 '드리프트(drift)'라고 한다. 외신에 따르면 미국 스탠포드 대학과 UC 버클리가 올해 3월과 6월 두 차례에 걸쳐 오픈AI의 대규모 언어모델(LLM) 'GPT-3.5'와 'GPT-4'로 구동되는 챗GPT에 '수학 문제', '코드 생성', '시각적 추론', '민감한 질문' 등 4가지 과제를 부여해 그 답변의 신속성과 정확성을 분석했다. 그 결과, '17077은 소수인가?'와 같은 단순 수학 문제에 대한 GPT-4의 응답 정확도가 2023년 3월부터 6월 사이에 97.6%에서 무려 2.4%로 급락한 것으로 나타났다. 두 대학의 연구진에 따르면, "AI의 드리프트 문제는 매우 복잡한 AI 모델의 일부를 개선하려고 할 때 모델의 다른 부분의 성능이 저하되는 문제"라고 설명했다. 연구원들은 3월과 6월 다양한 버전의 LLM을 테스트하고 위의 네 가지 과제 외에 미국 의사 면허 시험, 시각적 추론을 포함한 다양한 AI 작업에서 성능을 평가했다. 그 결과, LLM이 제공하는 답변에 상당한 변동성이 있는 것으로 나타났다. 특히 GPT-4의 수학 문제 해결 능력은 3월과 6월 사이에 정확도가 84.0%에서 51.1%로 떨어지는 등 급격히 악화됐다. 반면, GPT-3.5의 정확도는 같은 기간 동안 49.6%에서 76.2%로 향상됐다. 연구원들은 또한 특정 작업에서 지시를 따르는 GPT-4의 능력이 저하되는 것을 관찰했다. 예를 들어, '행운의' 숫자와 관련된 수학 문제에서 GPT-4의 정확도는 3월과 6월 사이에 83.6%에서 35.2%로 떨어졌고 GPT-3.5의 정확도는 30.6%에서 48.2%로 오히려 증가했다. 또한 ‘민감하거나 위험한 질문’에 답변하려는 LLM의 의지에 변화가 있었다. GPT-4는 응답률이 21.0%에서 5.0%로 급격히 낮아졌고, GPT-3.5는 2.0%에서 5.0%로 소폭 증가했다. 복잡한 추론 과제에서 GPT-4는 정확한 답변을 생성하는 점이 1.2%에서 37.8%로 증가해 개선된 모습을 보였다. 그러나 GPT-3.5의 추론 완전 일치 성공률은 22.8%에서 14.0%로 감소했다. 연구원들은 또한 시간이 지남에 따라 LLM이 생성한 코드의 실행 가능성도 감소하는 것을 관찰했다. 또 미국 의사 면허 시험에서 GPT-4의 성적은 86.6%에서 82.4%로 소폭 하락한 반면, GPT-3.5는 54.7%였다. 시각적 추론 과제에서 약간의 개선이 있었지만 두 모델 모두 전반적인 정확도는 여전히 낮았다. 연구진은 짧은 시간 내에 GPT-3.5와 GPT-4의 성능과 동작에 상당한 변화가 있었다는 점을 강조했다. "AI 미세 조종시 다른 영역서 후퇴" 스탠포드대 제임스 조우(James Zou) 컴퓨터 과학 연구원은 "AI 모델을 미세 조정해 특정 방향으로 강화하면 다른 영역에서는 후퇴할 위험이 있다"며 "AI 모델을 지속적으로 개선하는 것은 매우 어렵다"고 말했다. 또한 조우 연구원은 "우리는 GPT-4와 같은 AI 모델에서 언젠가 드리프트 문제가 발생할 것으로 예상했지만, 이렇게 빨리 드리프트 문제가 발생한 것에 대해 매우 놀랐다"고 했다. 해외 매체 크립토폴리탄(Cryptopolitan)은 AI의 드리프트 문제에 대해 "이 문제는 프롬프트 엔지니어링(Prompt Engineering)이라는 급성장 중인 트렌드와 관련이 있을 수 있다"고 추측했다. '프롬프트 엔지니어링'은 사용자가 프롬프트를 만들어 AI로부터 특정 반응을 이끌어내는 개념이다. 이 매체는 "GPT-4의 수학적 능력 저하가 프롬프트 엔지니어링에 대응하기 위해 취해진 우발적 결과일 수 있다"고 지적했다. 오픈AI "개선 위해 다양한 연구 진행" 드리프트 문제에 대해 오픈AI 측은 "새로운 AI 모델을 출시할 때, 우리는 새로운 모델을 더 똑똑하게 만드는 것을 최우선 과제로 삼고 있다. 또한 우리는 새로운 AI 모델 버전이 포괄적인 작업의 개선으로 이어지고 있는지 확인하기 위해 다양한 조사와 연구를 진행하고 있다. 하지만 우리의 평가 방법은 완벽하지 않기 때문에 지속적으로 개선해 나가고 있다"고 말했다. 조우는 AI의 드리프트 문제에 대해 "중요한 것은 지능이 떨어진다고 해서 기술을 포기하는 것이 아니라 그 어느 때보다 AI를 면밀하게 모니터링하는 것"이라고 말했다. 아울러 연구팀은 챗GPT와 같은 AI 모델에 대해 수천 개의 질문을 던져 체계적인 테스트를 계속하고 있으며, 시간이 지남에 따라 성능 변화를 분석하고 있다고 덧붙였다.
- IT/바이오
2023-08-17