미스트랄, 모델 맞춤 설정을 더 쉽고 빠르게 해주는 파인 튜닝 도구 출시

파인 튜닝은 대규모 언어 모델 (LLM) 출력을 개선하고 특정 기업 요구 사항에 맞게 사용자 지정하는 데 매우 중요합니다. 제대로 수행되면 프로세스를 통해 보다 정확하고 유용한 모델 응답을 얻을 수 있으며 조직은 생성 AI 애플리케이션에서 더 많은 가치와 정밀도를 얻을 수 있습니다.

그러나 파인 튜닝은 저렴하지 않습니다. 상당한 비용이 들 수 있으므로 일부 기업이 이점을 활용하기 어려울 수 있습니다.

오픈 소스 AI 모델 제공업체인 미스트랄(출시 후 불과 14개월 만에 60억 달러의 가치를 달성할 것으로 예상됨)은 AI 개발자 플랫폼인 라 플랫폼에서 새로운 맞춤 설정 기능을 제공하며 파인 튜닝 경쟁에 뛰어들고 있습니다.

이 회사는 새로운 도구가 훈련 비용을 절감하고 진입 장벽을 낮출 수 있는 매우 효율적인 파인 튜닝을 제공한다고 말합니다.

프랑스 회사는 분명히 그 이름에 걸맞게 살고 있습니다. “미스트랄”은 프랑스 남부에서 부는 강한 바람으로, 새로운 혁신을 계속해서 선보이고 수백만 달러의 자금을 빨아들이고 있습니다.

“더 작은 모델을 특정 도메인이나 사용 사례에 맞게 조정할 때 더 큰 모델의 성능과 일치시키는 방법을 제공하여 배포 비용을 줄이고 애플리케이션 속도를 개선합니다.”라고 회사는 새로운 제품을 발표하는 블로그 게시물에 적었습니다.

맞춤 설정 강화를 위한 미스트랄 모델 조정

미스트랄은 오픈 소스 라이선스에 따라 여러 강력한 LLM을 출시하여 이름을 알렸습니다. 즉, 무료로 자유롭게 가져와서 조정할 수 있습니다.

그러나 또한 모델을 기반으로 개발하려는 사람들의 여정을 더 쉽게 만들기 위해 API 및 개발자 플랫폼 “라 플랫폼”과 같은 유료 도구도 제공합니다. 서버에 자체 버전의 미스트랄 LLM을 배포하는 대신 API 호출을 사용하여 미스트랄을 기반으로 앱을 구축할 수 있습니다. 가격은 여기에서 확인할 수 있습니다(링크된 페이지 하단으로 스크롤).

이제 고객은 재고 제품을 기반으로 구축하는 것 외에도 Github에서 미스트랄이 제공하는 오픈 소스 코드를 통해 고객 자신의 인프라에서 라 플랫폼에서 미스트랄 모델을 조정하거나 맞춤형 교육 서비스를 통해 조정할 수 있습니다.

또한 자체 인프라에서 작업하려는 개발자를 위해 미스트랄은 오늘 경량 코드베이스 미스트랄-파인튜닝을 출시했습니다. 모델에 필요한 훈련 가능한 매개변수 수를 줄이는 LoRA 패러다임을 기반으로 합니다.

“미스트랄-파인튜닝을 사용하면 성능이나 메모리 효율성을 희생하지 않고도 인프라에서 모든 오픈 소스 모델을 미세 조정할 수 있습니다.”라고 미스트랄은 블로그 게시물에 적었습니다.

한편, 서버리스 파인 튜닝을 원하는 사람들을 위해 미스트랄은 이제 R&D를 통해 개선된 회사 기술을 사용하는 새로운 서비스를 제공합니다. 미스트랄에 따르면 내부적으로 LoRA 어댑터는 효율적인 서비스를 제공하는 동시에 모델이 기본 모델 지식을 잊어버리는 것을 방지하는 데 도움이 됩니다.

이 회사는 블로그 게시물에서 “AI 애플리케이션 개발자에게 고급 과학 방법을 제공한다는 우리의 사명의 새로운 단계입니다.”라고 적으면서 이 서비스를 통해 빠르고 비용 효율적인 모델 조정이 가능하다고 언급했습니다.

파인 튜닝 서비스는 회사의 73억 매개변수 모델인 미스트랄 7B 및 미스트랄 스몰과 호환됩니다. 현재 사용자는 미스트랄의 API를 즉시 사용하여 모델을 사용자 지정할 수 있으며 회사는 향후 몇 주 내에 파인 튜닝 서비스에 새로운 모델을 추가할 것이라고 말합니다.

마지막으로 맞춤형 교육 서비스는 독점 데이터를 사용하여 고객의 특정 애플리케이션에 맞게 미스트랄 AI 모델을 미세 조정합니다. 회사는 종종 모델 가중치 내에 독점적인 지식을 포함하기 위해 지속적인 사전 훈련과 같은 고급 기술을 제안합니다.

“이러한 접근 방식을 통해 특정 도메인에 맞게 고도로 전문화되고 최적화된 모델을 만들 수 있습니다.”라고 미스트랄 블로그 게시물에 나와 있습니다.

오늘 출시를 보완하기 위해 미스트랄은 AI 파인 튜닝 해커톤을 시작했습니다. 이 대회는 6월 30일까지 계속되며 개발자는 스타트업의 새로운 파인 튜닝 API를 실험할 수 있습니다.

미스트랄, 혁신 가속화 및 자금 조달 지속

미스트랄은 구글 딥마인드와 메타의 전 직원인 아서 멘쉬, 기욤 람플, 티모테 라크루아가 2023년 4월에 설립한 이후 불과 14개월 만에 전례 없는 급성장을 이루었습니다.

이 회사는 유럽 역사상 최대 규모인 1억 1,800만 달러의 시드 라운드를 기록했으며 설립 후 불과 몇 달 만에 IBM 등과 파트너십을 체결했습니다. 2월에는 마이크로소프트와 계약을 통해 Azure 클라우드를 통해 미스트랄 라지를 출시했습니다.

바로 어제 SAP와 시스코는 미스트랄에 대한 지원을 발표했으며, 지난달 말에는 다른 모든 LLM보다 뛰어나다고 주장하는 최초의 코드 중심 LLM인 코드스트랄을 발표했습니다. 또한 이 스타트업은 60억 달러의 가치를 평가받을 수 있는 새로운 6억 달러 규모의 자금 조달 라운드를 마무리하고 있는 것으로 알려졌습니다.

미스트랄 라지는 OpenAI 및 Meta의 라마 3과 직접 경쟁하며 회사 벤치마크에 따르면 OpenAI의 GPT-4\에 이어 세계에서 두 번째로 성능이 뛰어난 상용 언어 모델입니다.

미스트랄 7B는 2023년 9월에 도입되었으며 회사는 수많은 벤치마크에서 라마보다 성능이 뛰어나고 코드에서 CodeLlama 7B 성능에 근접한다고 주장합니다.

다음으로 미스트랄에서 무엇을 보게 될까요? 의심할 여지 없이 우리는 곧 알게 될 것입니다.