OpenELM 언어 모델이 보여주는 애플의 생성형 AI 전략

이 글은 AI 연구 분야의 최신 소식을 다루는 시리즈의 일부입니다.

애플은 소프트웨어와 하드웨어에 대한 폐쇄적인 접근 방식으로 유명합니다. 그러나 최근에는 머신 러닝 모델에 대한 정보와 코드를 공유하고 있습니다.

애플의 최신 출시작인 OpenELM은 메모리 제약이 있는 장치에서 실행되도록 설계된 소형 언어 모델(SLM)의 모음입니다. 애플은 아직 생성형 AI 전략을 공개하지 않았지만, 모든 것이 아직 개화하지 않은 온디바이스 AI 시장을 장악하려는 의지를 보여줍니다. 그리고 그 잠재력은 애플이 평소 유지해 온 비밀주의 문화를 버릴 만큼 충분히 크다고 할 수 있습니다.

애플은 SLM을 개발하는 유일한 회사가 아니지만, 몇 가지 유리한 요소를 가지고 있습니다.

OpenELM이란 무엇인가요?

OpenELM은 공개적으로 사용 가능한 데이터 세트로 사전 훈련 및 미세 조정된 언어 모델의 모음입니다. OpenELM은 2억 7천만 개에서 30억 개의 매개변수까지 네 가지 크기로 제공되며, 노트북과 휴대폰에서 쉽게 실행될 만큼 작습니다. 다양한 벤치마크에 대한 실험 결과 OpenELM 모델은 유사한 크기의 다른 SLM보다 훨씬 뛰어난 성능을 보여줍니다.

OpenELM의 주요 특징은 자원 효율성입니다. OpenELM의 기본적인 아이디어는 제한된 자원(예: 메모리 및 계산)이 주어졌을 때 어떻게 최고 성능의 모델을 얻을 수 있을까 하는 것입니다.

OpenELM은 모델의 성능과 효율성을 향상시키기 위해 검증된 여러 기술을 사용합니다. 이러한 기술 중 일부는 트랜스포머 블록의 피드포워드 계층에서 학습 가능한 편향 매개변수를 제거하는 것, 주의 메커니즘을 개선하기 위한 더 나은 정규화 및 위치 인코딩 기술, 주의 메커니즘을 더욱 계산 효율적으로 만들기 위한 그룹화된 쿼리 주의(GQA), 모델을 더욱 메모리 효율적으로 만들기 위한 플래시 주의(Flash Attention) 등이 있습니다.

그러나 OpenELM의 가장 눈에 띄는 특징은 비균일 구조입니다. 트랜스포머 모델은 계층과 블록 전체에 동일한 구성을 갖도록 설계되었습니다. 이렇게 하면 아키텍처를 훨씬 더 관리하기 쉽지만, 모델이 매개변수를 효율적으로 할당하지 못하게 됩니다. 이러한 모델과 달리 OpenELM의 각 트랜스포머 계층은 주의 헤드 수와 피드포워드 네트워크의 차원과 같이 서로 다른 구성을 갖습니다. 이렇게 하면 아키텍처가 더 복잡해지지만, OpenELM이 더 높은 정확도를 위해 사용 가능한 매개변수 예산을 더 잘 활용할 수 있게 됩니다.

연구자들은 “계층별 스케일링“을 사용하여 이러한 비균일 할당을 구현합니다. 이 방법은 모델의 입력 및 출력 계층에 가까운 계층의 주의 및 피드포워드 모듈에서 더 작은 잠재 차원을 사용하고, 출력에 가까워질수록 점차 계층을 넓힙니다.

애플의 온디바이스 AI 전략

하지만 어쩌면 더 놀라운 것은 OpenELM의 오픈 출시입니다. 오픈 소스가 무엇인지에 대한 논쟁이 많지만, 애플은 모델 가중치, 훈련 로그, 여러 훈련 체크포인트, OpenELM의 사전 훈련 구성을 포함하여 모든 것을 공개하기 위해 노력했습니다. 또한 일반적인 사전 훈련된 OpenELM 모델과 지시 사항으로 미세 조정된 버전을 포함하여 두 가지 시리즈의 모델을 공개했습니다.

애플은 또한 모델을 MLX로 변환하기 위한 코드를 공개했습니다. MLX는 애플 칩을 위해 설계된 대규모 병렬 계산을 위한 프로그래밍 라이브러리입니다. 이러한 자산은 애플 라이선스에 따라 공개되며, 상업적 응용 프로그램에서 이를 사용하는 데 제한이 없습니다.

연구자들은 “이 종합적인 출시는 오픈 연구 커뮤니티를 강화하고 지원하여 미래의 오픈 연구 노력을 위한 길을 열어줄 것“이라고 밝혔습니다.

이것은 애플의 비밀스러운 문화에서 벗어난 행보이지만, 사업적 관점에서 보면 타당합니다. 생성형 AI 시장은 2년도 채 되지 않아 큰 변화를 겪었습니다. 시장을 장악하는 한 가지 방법은 OpenAI가 그랬던 것처럼 거대한 개인 모델을 만드는 것입니다.

하지만 지난 1년 동안 오픈 모델은 놀라운 발전을 이루었습니다. 이를 실행하는 데 드는 비용은 개인 모델의 일부에 불과하며, 성능은 빠르게 따라잡고 있습니다. 하지만 더 중요한 것은 오픈 모델을 통해 연구 커뮤니티가 새로운 응용 프로그램과 환경에 이를 재사용할 수 있다는 것입니다. 예를 들어, 출시된 지 며칠 만에 Meta의 Llama 3은 수천 가지 방식으로 분기, 미세 조정, 수정되었습니다.

그리고 온디바이스 언어 모델 시장은 연구자들이 SLM을 통해 복잡한 작업을 수행하는 방법을 찾아내면서 큰 가능성을 보여주고 있습니다. OpenELM의 저자 중에는 휴대폰과 노트북과 같은 메모리 용량이 적은 장치에서 언어 모델의 메모리 소비량을 줄이는 기술을 소개하는 애플의 “LLM in a flash” 논문에 참여한 Mohammad Rastegari도 있습니다. (Rastegari는 최근 Meta로 이직했습니다.)

애플은 마이크로소프트나 구글과 같은 하이퍼스케일러의 장점은 없지만, 온디바이스 추론 측면에서는 확실한 우위를 점하고 있습니다. 애플은 자사 기기의 소프트웨어와 하드웨어를 완벽하게 제어합니다. 따라서 애플은 자사 프로세서에 맞게 모델을 최적화할 수 있으며, 차세대 프로세서를 자사 모델에 맞게 최적화할 수 있습니다. 이것이 애플이 출시하는 모든 모델에 애플 실리콘에 최적화된 버전이 포함되는 이유입니다. 동시에 모델을 공개하면 사용자의 책상과 주머니에 있는 수십억 개의 애플 기기에 대한 애플리케이션을 만드는 데 관심 있는 연구자들의 활동을 활성화할 것입니다. 이는 애플 기기에 온디바이스 AI에서 경쟁 우위를 제공하는 네트워크 효과를 만들어낼 수 있으며, 더 많은 개발자를 유치하여 애플 생태계를 위한 SLM 애플리케이션을 만들도록 유도하고, 애플이 차세대 하드웨어와 소프트웨어를 최적화하는 방법을 더 잘 이해할 수 있도록 할 것입니다.

하지만 애플은 소형 언어 모델에 큰 투자를 하고 있는 마이크로소프트를 비롯한 다른 회사들의 경쟁에 직면할 것입니다. 마이크로소프트는 기기와 클라우드에서 원활하게 실행되는 AI 코파일럿 생태계를 구축하고 있습니다. 생성형 AI 시장의 최종 승자가 누가 될지, 그리고 여러 주요 기업이 공존하는 병렬 시장이 존재할지 지켜봐야 할 것입니다.