요약생성
바쁠 때는 리얼라이즈가 내용을 요약해 드려요.
이 기사는 AI 연구 분야의 최신 동향을 다루는 내용입니다.
스탠포드 대학교 연구진은 LLM의 표현 중 1% 미만만 수정하면서도 대규모 언어 모델을 미세 조정할 수 있는 새로운 기술을 개발했습니다.
표현 미세 조정 (ReFT)이라고 불리는 이 기술은 미세 조정하려는 작업과 관련된 모델의 특정 부분을 찾아냅니다. 그리고 대부분의 하위 작업의 경우 매우 적은 수의 가중치만 수정하면 됩니다.
실험 결과 ReFT는 인기 있는 저랭크 적응 (LoRA)를 포함한 다른 매개변수 효율적인 미세 조정(PEFT) 기술보다 뛰어난 성능을 보여줍니다. 연구진은 ReFT 코드를 공개했으며, 다른 미세 조정 라이브러리와 호환됩니다.
PEFT의 문제점
매개변수 효율적인 미세 조정(PEFT) 방법은 모델 가중치의 일부만 업데이트하여 LLM 미세 조정 비용을 줄입니다. PEFT는 많은 실제 환경에서 전체 미세 조정과 유사한 성능을 달성하는 것으로 나타났습니다. LoRA와 같은 어댑터는 추론 시 모델과 결합할 수 있는 독립적인 미세 조정된 구성 요소로 사용될 수 있습니다. 그러나 현재 최첨단 PEFT는 표현이 아닌 가중치를 수정합니다.
“PEFT는 시간 개념이 부족합니다. 일반적으로 동일한 가중치를 사용하여 모든 계층과 위치에 걸쳐 표현을 업데이트합니다.” 스탠포드 박사 과정 학생이자 논문의 주 저자인 정선우와 아리아만 아로라는 TechTalks에 말했습니다. “반면에 이전의 표현 편집 방법인 접두사 조정은 LoRA와 같은 새로운 PEFT에 비해 경쟁력이 떨어집니다. 우리는 두 가지 장점을 모두 얻고 싶었습니다.”
(접두사 조정은 주 모델의 가중치를 고정시키고 임베딩 모델을 훈련하여 입력에 소프트 토큰을 추가하여 원하는 작업에 맞게 모델의 동작을 미세 조정합니다.)
심층 학습 시스템을 해석하는 이전 연구에서는 모델이 풍부한 의미 정보를 인코딩하는 표현을 학습한다는 것을 보여주었습니다. 즉, 모델 내에 특정 개념을 나타내는 하위 공간이 있다는 것을 의미하며, 이는 표현을 편집하는 것이 가중치 업데이트보다 더 강력한 대안이 될 수 있음을 시사합니다.
“우리의 이전 연구는 학습된 표현 하위 공간에 대한 개입이 강력하다는 것을 보여줍니다. 모델이 작업을 학습하지 않은 경우에도 모델 동작을 제어하기 위한 유용한 하위 공간을 찾을 수 있습니다.” 우와 아로라는 말했습니다. “우리는 이 접근 방식이 상향식으로 모델을 제어하는 데 유용할 수 있다고 생각했습니다.”
ReFT 및 LoReFT
표현 미세 조정(ReFT)은 학습된 표현을 기반으로 모델을 수정하는 것이 현재 PEFT 방법보다 훨씬 효율적일 수 있다는 가설에 기반한 방법군입니다.
ReFT 방법은 고정된 기본 모델에서 작동하며 작업별 개입을 숨겨진 표현에 대해 학습합니다. 모델 가중치를 적응시키는 대신 ReFT 방법은 추론 시 모델 동작을 조정하여 하위 작업을 해결하도록 모델 표현의 일부를 조작하는 개입을 학습합니다. ReFT 방법은 가중치 기반 PEFT의 드롭인 대체품이 될 수 있습니다.
연구진은 저랭크 선형 하위 공간 ReFT(LoReFT)라는 매우 효율적인 ReFT 방법을 만들었습니다. “이는 저랭크 투영 행렬에 의해 생성된 선형 하위 공간에서 숨겨진 표현에 개입하는 ReFT의 매개변수화입니다.” 연구진은 이렇게 썼습니다. 기본적으로 LoReFT는 LoRA의 표현 기반 등가물입니다.
연구진은 Llama와 같은 자기 회귀 모델과 RoBERTa와 같은 양방향 인코더에서 LoReFT를 테스트했습니다. 미세 조정된 모델은 1억 2,500만에서 130억 개의 매개변수 범위였습니다.
그들은 상식 추론, 산술 추론, 지시 따르기, 자연어 이해를 포함한 여러 벤치마크에서 미세 조정된 모델을 테스트했습니다. LoRA와 비교하여 LoReFT는 상식 추론 작업을 포함한 여러 데이터 세트에 대해 최첨단 성능을 달성하면서 10~50배 적은 매개변수를 사용합니다.
산술 추론에서 LoReFT는 LoRA보다 뒤처지지만 규모에 따라 계속 개선됩니다. 흥미로운 발견 중 하나는 지시 따르기 작업에서 LoReFT가 PEFT 방법과 전체 미세 조정을 능가했으며 GPT-3.5 Turbo와의 승률이 1% 이내였습니다. 매개변수 수를 절반으로 줄인 후에도 LoReFT는 여전히 다른 미세 조정 방법보다 뛰어난 성능을 보였습니다.
“이러한 결과는 ReFT 방법이 가중치 기반 PEFT에 대한 더 효율적이고 효과적인 대안으로 부상할 수 있으므로 더 자세히 조사할 가치가 있음을 나타냅니다.” 연구진은 이렇게 썼습니다.
연구진은 ReFT를 훈련하고 공유하기 위해 만들어진 오픈 소스 Python 라이브러리인 pyreft를 공개했습니다. Pyreft는 HuggingFace에서 사전 훈련된 언어 모델을 미세 조정할 수 있습니다.
ReFT의 주요 제한 사항은 최상의 개입을 찾기 어렵게 만드는 대규모 하이퍼파라미터 검색 공간입니다. 우와 아로라는 TechTalks에 앞으로 시각 데이터를 포함한 다른 모달리티에서 ReFT의 잠재력을 더 자세히 조사할 것이라고 말했습니다.