요약생성
바쁠 때는 리얼라이즈가 내용을 요약해 드려요.
2024년 5월 22일 오후 2시 33분
강연을 하고 있는 얀 르쿤. 출처: 에콜 폴리테크닉 / CC-by-SA 2.0 DEED
AI 선구자 얀 르쿤은 차세대 개발자들에게 대규모 언어 모델(LLM) 개발을 하지 말라고 말하면서 오늘 열띤 토론을 시작했습니다.
르쿤은 파리에서 열린 비바테크에서 'LLM은 대기업의 손에 달려 있으며, 여러분이 할 수 있는 일은 없습니다.'라고 말했습니다. '여러분은 LLM의 한계를 극복하는 차세대 AI 시스템을 개발해야 합니다.'
Meta의 수석 AI 과학자이자 뉴욕대학교 교수인 르쿤의 발언은 곧바로 수많은 질문을 불러일으켰고, 오늘날 LLM의 한계에 대한 논의에 불을 지폈습니다.
의문과 당혹스러움에 직면하자, 르쿤은 X(구 트위터)에서 (어느 정도) 자신의 발언을 자세히 설명했습니다. '저는 LLM이 아니라 차세대 AI 시스템을 개발하고 있습니다. 따라서 엄밀히 말하면, 저는 여러분에게 '저와 경쟁하세요'라고 말하는 것입니다. 아니면 '저와 같은 일을 하세요'라고 말하는 것이 더 정확할 것입니다. 왜냐하면 그것이 나아가야 할 길이고, 많으면 많을수록 좋기 때문입니다!'
르쿤이 더 구체적인 예를 제시하지 않았기 때문에, 많은 X 사용자들은 '차세대 AI'가 무엇을 의미하는지, 그리고 LLM의 대안이 될 수 있는 것이 무엇인지 의문을 제기했습니다.
개발자, 데이터 과학자, AI 전문가들은 X 스레드와 하위 스레드에서 경계 기반 또는 판별적 AI, 다중 작업 및 다중 모달, 범주형 딥 러닝, 에너지 기반 모델, 더 목적 지향적인 소규모 언어 모델, 틈새 시장, 맞춤형 미세 조정 및 학습, 상태 공간 모델, 구현된 AI를 위한 하드웨어 등 다양한 옵션을 제시했습니다. 또한 일부 사용자들은 신경망의 새로운 돌파구인 콜모고로프-아르놀트 네트워크(KAN)를 연구해 볼 것을 제안했습니다.
한 사용자는 차세대 AI 시스템 다섯 가지를 다음과 같이 요약했습니다.
- 다중 모달 AI
- 추론 및 일반 지능
- 구현된 AI 및 로봇 공학
- 비지도 학습 및 자기 지도 학습
- 인공 범용 지능(AGI)
또 다른 사용자는 '모든 학생은 기초부터 시작해야 한다'고 말하면서 다음과 같은 내용을 언급했습니다.
- 통계 및 확률
- 데이터 랭글링, 정리 및 변환
- 나이브 베이즈, 의사 결정 트리, 랜덤 포레스트, 배깅과 같은 고전적인 패턴 인식
- 인공 신경망
- 합성곱 신경망
- 순환 신경망
- 생성형 AI
반면에 반대하는 사람들은 애플리케이션이 '아직 거의 개발되지 않았기 때문에' 지금이 학생들과 다른 사람들이 LLM을 연구하기에 완벽한 시기라고 지적했습니다. 예를 들어, 프롬프트 엔지니어링, 탈옥, 접근성과 관련해서는 아직 배울 것이 많습니다.
물론 다른 사람들은 Meta 자체의 왕성한 LLM 개발 활동을 지적하면서 르쿤이 경쟁을 억누르려는 의도로 이런 발언을 한 것이라고 주장했습니다.
'대기업의 AI 책임자가 '경쟁하려고 하지 마세요, 여러분이 할 수 있는 일은 없습니다'라고 말하는 것은 오히려 경쟁하고 싶게 만듭니다.'라고 한 사용자가 재미있게 논평했습니다.
LLM은 인간 수준의 지능에 도달하지 못할 것
목표 지향적 AI와 오픈소스 시스템의 옹호자인 르쿤은 이번 주 파이낸셜 타임스와의 인터뷰에서 LLM이 논리를 제한적으로 이해하고 있으며 인간 수준의 지능에 도달하지 못할 것이라고 말했습니다.
그는 'LLM은 물리적 세계를 이해하지 못하고, 지속적인 기억을 가지고 있지 않으며, 어떤 합리적인 정의로도 추론할 수 없으며, 계층적으로 계획을 세울 수 없습니다.'라고 말했습니다.
Meta는 최근 매우 세부적인 객체 상호 작용을 감지하고 이해할 수 있는 비디오 조인트 임베딩 예측 아키텍처(V-JEPA)를 공개했습니다. 이 아키텍처는 Meta가 '얀 르쿤의 고급 기계 지능(AMI) 비전을 향한 다음 단계'라고 부르는 것입니다.
많은 사람들이 LLM의 한계에 대한 르쿤의 생각에 동의합니다. AI 챗봇 Faune의 X 계정은 오늘 르쿤의 발언을 '멋진 발언'이라고 평가하면서, 폐쇄 루프 시스템은 유연성 측면에서 '엄청난 한계'를 가지고 있다고 말했습니다. '전두엽 피질과 개방형 자기 학습을 통해 정보를 흡수하는 능력을 갖춘 AI를 만드는 사람은 아마도 노벨상을 받을 것입니다.'라고 그들은 주장했습니다.
다른 사람들은 업계가 LMM에 '지나치게 집착'하고 있다고 지적하면서 LLM을 '진정한 진보를 이루는 데 있어 막다른 골목'이라고 불렀습니다. 또한 LLM은 전화 교환원처럼 '시스템을 빠르고 효율적으로 연결하는 결합 조직'에 불과하며, 적절한 AI로 전달하는 역할만 한다고 지적했습니다.
해묵은 경쟁 구도
물론 르쿤은 논쟁을 피하는 사람이 아닙니다. 많은 사람들이 AI의 실존적 위험(르쿤은 '과장되었다'는 입장)을 두고 동료 AI 대부인 제프리 힌튼, 앤드류 응, 요슈아 벤지오와 벌였던 격렬한 논쟁을 기억할 것입니다.
적어도 한 명의 업계 전문가는 최근 제프리 힌튼과의 인터뷰에서 이러한 극명한 의견 충돌을 언급하면서, 힌튼이 LLM에 전력투구할 것을 조언했다고 지적했습니다. 힌튼은 또한 AI 뇌가 인간 뇌에 매우 가까워졌다고 주장했습니다.
'이렇게 근본적인 의견 차이가 있다는 것이 흥미롭습니다.'라고 그 사용자는 논평했습니다.
쉽게 해결될 것 같지 않은 논쟁입니다.
