딥러닝 혁명에서 얻은 교훈

AI 서적 리뷰에 오신 것을 환영합니다. 이 글 시리즈에서는 인공지능에 대한 최신 문헌을 살펴봅니다.

오늘날 딥러닝은 화제의 중심에 있습니다. 딥러닝에 대한 미디어 보도, 논문, 책, 행사가 부족하지 않습니다.

하지만 딥러닝은 새로운 분야가 아닙니다. 그 뿌리는 인공지능과 컴퓨팅의 초기 시대로 거슬러 올라갑니다. 이 분야가 수십 년 동안 외면을 받았지만, 인공 신경망이라는 아이디어가 언젠가 결실을 맺을 것이라는 믿음을 가지고 꾸준히 연구를 이어온 과학자와 연구자들이 있었습니다.

그리고 검색, 채팅, 이메일, 소셜 미디어, 온라인 쇼핑과 같은 일상적인 애플리케이션에서 딥러닝의 결실을 보고 있습니다.

이러한 과학자 중 한 명이 바로 컴퓨터 신경과학 분야의 선구자이자 오랫동안 인공 신경망을 연구해 온 테렌스 세즈노스키입니다. 세즈노스키는 그의 책 딥러닝 혁명에서 이 분야의 역사를 되돌아봅니다.

테크톡스와의 인터뷰에서 세즈노스키는 딥러닝의 초기 어려움, 주류로의 급부상, 수십 년간의 연구 개발을 통해 얻은 교훈에 대해 논의했습니다.

AI를 위한 다른 경로 매핑

세즈노스키는 기호 AI 전성기에 인공지능에 관심을 갖게 되었습니다. 당시 과학자와 엔지니어들은 컴퓨터에 규칙과 지식을 하드코딩하여 AI를 만들려고 노력했습니다.

세즈노스키는 자연 지능의 생물학적 구조에서 영감을 받은 소수의 과학자 그룹인 “연결주의” 진영에 속했습니다. 연결주의 AI는 기계 학습, 특히 인공 신경망과 같은 분야에 중점을 둡니다. 연결주의의 아이디어는 다양한 것과 개념의 표현을 학습하기 위해 서로 상호 작용하는 대규모 뉴런 집단을 복제하는 것입니다.

AI의 초기 수십 년 동안 기호주의가 많은 주목을 받았고 연결주의는 도태되었습니다. 기호는 지능의 고수준의 추상적 표현으로, 컴퓨터 프로그램으로 이해하고 코딩하기 매우 쉽습니다. 기호 AI는 복잡한 수학을 수행하고 체스를 두는 것과 같은 어려운 논리 문제에서 빠르게 진전을 이루었습니다.

“AI의 초기 시절을 되돌아보면… 당시의 아이디어는 자연을 능가할 수 있는 컴퓨터를 만드는 것이었습니다.”라고 세즈노스키는 테크톡스에 말했습니다. “우리는 실제로 자연이 문제를 어떻게 해결하는지 주의를 기울일 필요가 없었습니다.”

하지만 기호 AI는 지능의 중요하지만 기본적인 세부 사항을 무시합니다. _딥러닝 혁명_에서 세즈노스키는 “기호의 장점은 복잡한 아이디어를 압축하고 조작할 수 있다는 것입니다. 기호의 문제점은 너무 압축되어 있어 현실 세계에 근거를 두기 어렵다는 것입니다.”라고 썼습니다.

예를 들어 “의자”라는 단어는 어떻게 생겼는지, 다리가 몇 개인지, 팔걸이가 있는지 없는지, 바퀴가 있는지 없는지, 아니면 절벽 옆에 조각되어 있는지에 관계없이 모든 종류의 의자를 나타내는 기호입니다. 기호로 의자의 모든 측면을 포착하는 것은 매우 어렵습니다. 시각과 같은 분야에 들어가면 더욱 어려워집니다. 다양한 각도에서 모든 종류의 의자를 감지할 수 있는 규칙 기반 프로그램을 만드는 것은 사실상 불가능합니다.

“당시 사람들이 연구하고 있었지만 큰 진전을 보이지 못했던 음성 인식, 언어, 그 당시 사람들이 연구하고 있었지만 큰 진전을 보이지 못했던 모든 어려운 문제를 해결할 수 있다는 유일한 증거는 자연이 해결했다는 것이었습니다.”라고 세즈노스키는 말했습니다. “따라서 우리가 하려고 했던 일은 적어도 인간뿐만 아니라 동물들이 일반적으로 보여주는 놀라운 성능의 기본 원리를 이해하려고 노력하는 것이었습니다.”

자연에서 얻은 교훈

“딥러닝 혁명” 테렌스 세즈노스키

1980년대에 세즈노스키와 제프리 힌튼과 같은 다른 연결주의자들이 신경망에 매달렸을 때, 그들은 어리석은 짓을 하고 있다는 말을 들었습니다. 기호 AI는 미국에서 가장 권위 있는 대학과 연구소를 장악했습니다. 다른 과학자들은 1950년대에 프랭크 로젠블랫이 제시한 인공 신경망이라는 아이디어가 막다른 길이라고 믿었습니다.

“그들은 타당한 이유가 있었습니다.”라고 세즈노스키는 말했습니다. “그들이 우리가 하는 일을 좋아하지 않았기 때문만은 아니었습니다. 그들은 똑똑한 사람들이었습니다. 그들은 수학자였습니다. 그들은 통계, 샘플 복잡성, 특정 수의 매개변수로 모델을 제한하기 위해 필요한 샘플 수에 대해 많은 것을 알고 있던 사람들이었습니다. 우리는 모델이 과적합될 것이라는 말을 들었습니다. 또한 최적화 전문가들은 이것이 비볼록 문제라고 말했습니다. 최적의 해를 찾을 수 없을 것입니다.”

하지만 기호 AI가 계속해서 장애물에 부딪히자 딥러닝은 진전을 이루기 시작했지만, 처음에는 미미했습니다. 시간이 지남에 따라 연결주의자들의 노력이 결실을 맺었습니다. 기술 발전으로 인해 연구자들은 매우 큰 신경망을 만들고 수많은 예제로 학습시킬 수 있었습니다. 결국 많은 매개변수를 가진 딥러닝 모델은 이전에는 불가능하다고 여겨졌던 함수를 학습할 수 있다는 것이 분명해졌습니다. 그리고 이미지 분류 및 언어 처리와 같이 기호적 접근 방식으로 명확한 해결책이 없는 많은 문제를 해결할 수 있었습니다.

“컴퓨터가 곱셈과 덧셈을 훨씬 더 빠르고 효율적으로 수행할 수 있게 되어서야 우리가 탐구할 수 있었던 더 큰 네트워크를 시뮬레이션할 수 있게 되었습니다. 그리고 우리가 발견한 것은 전문가들이 우리에게 말했던 것이 사실이 아니라는 것이었습니다.”라고 세즈노스키는 말했습니다.

이전 세대의 AI 과학자들이 예측했던 것과 달리, 대규모 신경망은 지역 최소값에 갇히지 않았습니다. 그리고 과학자들이 경고했던 과적합을 피할 만큼 충분히 일반화할 수 있었습니다. 오늘날 딥러닝은 과학적 타당성을 입증했을 뿐만 아니라 많은 주요 애플리케이션의 주류가 되었지만, 해결해야 할 고유한 문제가 있습니다.

딥러닝이 수십 년 동안 무시당했던 것을 되돌아보며 세즈노스키는 “돌이켜보면 여기서 문제는 사람들이 문제의 어려움을 측정할 만한 좋은 지표가 없었다는 것입니다. 그 이유는 모든 것이 우리에게 숨겨져 있기 때문입니다. 우리는 우리가 어떻게 보는지 알지 못합니다. 자연이 우리에게 그런 부담을 지울 이유가 없습니다.”라고 말했습니다.

뇌는 매우 복잡하고 고차원적인 엔진으로, 많은 감각 데이터를 처리하고 과거 경험과 기억과 통합할 수 있습니다. 뇌가 어떻게 작동하는지에 대한 우리의 직관은 매우 추상적이고 저차원적인 자기 만족적인 설명으로, 후드 아래에서 일어나는 모든 것을 설명하지 못합니다.

“결론적으로 당신의 직관을 믿을 수 없습니다. 그리고 AI 분야의 사람들이 하려고 했던 것은 그들의 직관이 말하는 지능이 무엇인지 프로그램을 작성하여 자동화하는 것이었습니다.”라고 세즈노스키는 말했습니다.

인공 지능과 인간 지능의 만남

신경과학자로서 세즈노스키는 자연 지능과 인공 지능에 대한 매우 흥미로운 관찰 결과를 가지고 있습니다. _딥러닝 혁명_에서 그는 “딥러닝 혁명은 인간 지능이 어떻게 진화했는지와 인공 지능이 어떻게 진화하고 있는지에 대한 두 가지 얽힌 주제를 가지고 있습니다. 두 종류의 지능의 가장 큰 차이점은 인간 지능이 진화하는 데 수백만 년이 걸렸지만 인공 지능은 수십 년 단위로 측정되는 궤적을 따라 진화하고 있다는 것입니다. 이것은 문화적 진화에서도 매우 빠른 속도이지만, 안전벨트를 매는 것이 올바른 대응이 아닐 수도 있습니다.”라고 썼습니다.

흥미롭게도 세즈노스키의 책은 생성 모델과 대규모 언어 모델이 폭발적으로 증가하기 전인 2018년에 출판되었습니다. 딥러닝이 오늘날 하는 일들은 불과 몇 년 전의 기준으로도 놀랍습니다. 오늘날 “수십 년 단위로 측정되는”이라는 표현조차 과소평가처럼 느껴집니다.

“지난 몇 년 동안 우리가 본 것은 루이스와 클락이 야생으로 들어가 새로운 것을 발견하는 것과 같은 환상적인 탐험입니다.”라고 세즈노스키는 말했습니다. “가속화되는 것 같습니다. 하지만 저는 이것이 컴퓨터 성능의 기하급수적 증가 위에 있는 자연스러운 궤적이라고 생각합니다. 이렇게 오랜 기간 동안 기하급수적으로 성장한 기술은 없습니다.”

동시에 이 분야에 큰 변화를 가져온 몇 가지 발전이 있었습니다. 그중 하나는 LLM에서 사용되는 주요 아키텍처인 트랜스포머의 발명입니다. 트랜스포머는 딥러닝의 여러 분야에서 수십 년간의 연구의 결정체입니다. 트랜스포머는 텍스트, 소프트웨어 코드, 이미지 픽셀 패치, 분자 데이터와 같은 데이터 시퀀스를 처리하는 데 매우 효율적입니다.

“트랜스포머는 제가 예상하지 못했던 것입니다. 아무도 예상하지 못했을 것입니다. 환상적인 아키텍처였습니다.”라고 세즈노스키는 말했습니다.

하지만 이러한 발전이 특히 흥미로운 것은 그 기원으로 되돌아가는 방식입니다. 딥러닝의 역사 대부분 동안 과학자들은 컴퓨터 모델에 대한 영감을 얻기 위해 뇌를 연구했습니다. 이제 딥러닝의 발전은 뇌를 연구하는 새로운 방법을 찾는 데 도움이 되고 있습니다.

“저에게 가장 흥미로운 것은 AI에서 처음으로 신경과학자들이 AI 분야의 엔지니어와 컴퓨터 과학자들과 서로 대화를 나누고 있다는 것입니다. 왜냐하면 그들은 이제 공통의 어휘를 가지고 있기 때문입니다.”라고 세즈노스키는 말했습니다. “그리고 저의 연구에서 우리는 뇌를 이해하고 뇌에서 기록한 것을 분석하기 위해 이러한 도구를 사용하고 있습니다. 지난 10년 동안 뉴런에서 기록하고, 네트워크를 재구성하고, 커넥톰을 연구하는 데 사용할 수 있는 도구 측면에서 엄청난 혁명이 있었습니다. 이것은 신경과학을 완전히 바꿔 놓았습니다.”

딥러닝과 구현

이미지 출처: Depositphotos

최근 몇 년 동안 심층 신경망은 놀라운 발전을 이루었지만, 수정해야 할 근본적인 결함도 가지고 있습니다. 컴퓨터 비전 시스템의 적대적 예 또는 LLM의 기본적인 실수와 같이 딥러닝의 많은 애플리케이션에서 이러한 결함을 볼 수 있습니다.

인공 신경망의 단점에 대한 설명 중 하나는 구현의 부족입니다. 예를 들어 LLM은 인간이 가진 풍부한 감각 운동 경험 없이 인간 지능의 몇 가지 고급 기능을 모방합니다.

_딥러닝 혁명_에서 세즈노스키는 구현과 지속적인 학습이 인간 지능에 매우 중요한 이유를 설명합니다. “우리의 뇌는 세상과 상호 작용하는 동안 성숙하는 오랜 과정을 통해 발달합니다. 학습은 발달과 함께 진행되는 과정이며 성인이 된 후에도 계속됩니다. 따라서 학습은 일반 지능 개발의 핵심입니다.”

최근 논문에서 세즈노스키는 LLM에서 누락된 7가지 요소를 나열합니다. 그중 하나는 “세상 안에서 직접적인 감각 경험”의 부족입니다. 하지만 그 이상입니다.

상식과 인과성의 부족을 포함한 현재 AI 시스템의 다른 단점도 세상 경험과 평생 학습과 깊이 관련되어 있습니다. AI에서 종종 무시되는 감정과 공감은 지능의 필수적인 측면이기도 합니다.

“인지는 전통적으로 뇌의 별개의 기능으로 여겨져 왔습니다. 일반적으로 인지는 피질 기능이고 감정은 피질하 기능이라고 생각했습니다. 사실, 편도체와 같이 감정 상태를 조절하는 피질하 구조가 있습니다. 특히 두려움과 같이 감정 수준이 높을 때 활성화됩니다. 하지만 이러한 구조는 대뇌 피질과 강력하게 상호 작용합니다.”라고 세즈노스키는 _딥러닝 혁명_에 썼습니다.

“이러한 대규모 언어 모델은 피질 아키텍처에만 집중하고 있습니다. 그리고 그들은 뇌의 나머지 부분, 즉 인지 계층이 위에 놓이기 전에 완벽해진 생존을 위한 모든 피질하 영역을 놓치고 있습니다.”라고 세즈노스키는 말했습니다. “따라서 이 얇은 계층만으로는 근거를 이해할 수 있을 것으로 기대해서는 안 됩니다.”

이것은 실제 세계 경험에 근거하지 않고 논리적 구조 위에 구축된 이전 세대의 AI 시스템에서도 존재했던 문제입니다. 오늘날의 AI 시스템은 많은 인간과 유사한 행동을 복제할 수 있습니다. 그러나 유기체 뇌가 가지고 있는 기초가 없으면 인간이 하는 종류의 실수와는 매우 다른 실수를 합니다.

“저에게 놀라운 것은 언어 모델이 그 기초 없이도 그렇게 잘 수행했다는 것입니다. 그리고 그 차이를 분리하고 이해하는 것이 매우 중요합니다.”라고 세즈노스키는 말했습니다. “저는 대규모 언어 모델이 하는 실수와 우리가 하는 실수 사이의 차이가 매우 중요할 것이라고 생각합니다. 하지만 이것은 좋은 일입니다. 이렇게 해서 차이점을 파악하고 그 이유를 이해하고 무엇이 빠져 있는지 이해하는 방식으로 진전을 이룰 수 있습니다.