요약생성
바쁠 때는 리얼라이즈가 내용을 요약해 드려요.
2024년 5월 29일 오전 10시 55분
컴퓨터로 코딩하는 로봇
이미지 출처: Venturebeat, via Ideogram
오늘, 파리에 본사를 둔 AI 스타트업 미스트랄은 코드 중심 대규모 언어 모델(LLM)인 코드스트랄을 출시하며 프로그래밍 및 개발 분야에 진출했습니다. 미스트랄은 1년 전 유럽 역사상 가장 큰 규모의 시드 라운드를 유치한 이후 글로벌 AI 분야에서 떠오르는 스타가 되었습니다.
비상업적 라이선스로 제공되는 코드스트랄은 220억 개의 매개변수를 가진 오픈 가중치 생성형 AI 모델로, 생성부터 완성까지 코딩 작업을 전문으로 합니다.
미스트랄에 따르면 이 모델은 80개 이상의 프로그래밍 언어를 전문으로 하기 때문에 고급 AI 애플리케이션을 설계하려는 소프트웨어 개발자에게 이상적인 도구입니다.
이 회사는 코드스트랄이 CodeLlama 70B 및 Deepseek Coder 33B를 포함하여 코딩 작업을 위해 설계된 이전 모델보다 이미 뛰어난 성능을 보이고 있으며 JetBrains, SourceGraph, LlamaIndex를 포함한 여러 업계 파트너가 활용하고 있다고 주장합니다.
모든 코딩을 위한 고성능 모델
코드스트랄 22B는 32K의 컨텍스트 길이를 제공하며 개발자에게 다양한 코딩 환경과 프로젝트에서 코드를 작성하고 상호 작용할 수 있는 기능을 제공합니다.
이 모델은 80개 이상의 프로그래밍 언어로 구성된 데이터 세트로 학습되었으며, 처음부터 코드를 생성하고, 코딩 기능을 완성하고, 테스트를 작성하고, 중간을 채우는 메커니즘을 사용하여 부분적인 코드를 완성하는 등 다양한 코딩 작업에 적합합니다. 지원되는 프로그래밍 언어에는 SQL, Python, Java, C, C++와 같은 인기 있는 언어뿐만 아니라 Swift, Fortran과 같은 더 특정한 언어도 포함됩니다.
미스트랄은 코드스트랄이 개발자가 워크플로우를 가속화하고 애플리케이션을 구축할 때 상당한 시간과 노력을 절약할 수 있도록 '코딩 게임의 수준을 한 단계 끌어올리는' 데 도움이 될 수 있다고 말합니다. 덧붙여 오류 및 버그 위험을 줄이는 데에도 도움이 될 수 있습니다.
이 모델은 이제 막 출시되어 아직 공개적으로 테스트되지 않았지만, 미스트랄은 대부분의 프로그래밍 언어에서 CodeLlama 70B, Deepseek Coder 33B, Llama 3 70B를 포함한 기존 코드 중심 모델보다 이미 뛰어난 성능을 보이고 있다고 주장합니다.
다양한 프로그래밍 언어에서 HumanEval에 대한 코드스트랄 성능
장거리 저장소 수준 Python 코드 완성을 평가하도록 설계된 RepoBench에서 코드스트랄은 34%의 정확도 점수로 세 가지 모델을 모두 능가했습니다. 마찬가지로 Python 코드 생성을 평가하는 HumanEval과 Python 출력 예측을 테스트하는 CruxEval에서 이 모델은 각각 81.1%와 51.3%의 점수로 경쟁에서 앞섰습니다. Bash, Java, PHP에 대한 HumanEval에서도 모델보다 뛰어난 성능을 보였습니다.
특히 C++, C, Typescript에 대한 HumanEval에서 모델의 성능이 가장 좋지는 않았지만, 모든 테스트를 합친 평균 점수는 61.5%로 Llama 3 70B의 61.2%를 약간 앞섰습니다. SQL 성능에 대한 Spider 평가에서는 63.5%의 점수로 2위를 차지했습니다.
개발자 생산성 및 AI 애플리케이션 개발을 위한 여러 인기 도구에서 이미 코드스트랄 테스트를 시작했습니다. 여기에는 LlamaIndex, LangChain, Continue.dev, Tabnine, JetBrains와 같은 유명 기업이 포함됩니다.
LangChain의 CEO이자 공동 설립자인 Harrison Chase는 성명서에서 '초기 테스트 결과, 코드스트랄은 빠르고 컨텍스트 창이 유리하며 지시 버전이 도구 사용을 지원하기 때문에 코드 생성 워크플로우에 탁월한 옵션입니다. 출력에 대해 지시된 코드스트랄 도구 사용을 사용하여 자체 수정 코드 생성을 위해 LangGraph로 테스트했는데, 즉시 매우 잘 작동했습니다.'라고 말했습니다.
코드스트랄을 시작하려면 어떻게 해야 하나요?
미스트랄은 개발자가 비상업적 목적, 테스트 및 연구 작업을 지원하기 위해 기술을 사용할 수 있도록 자체 비프로덕션 라이선스에 따라 Hugging Face에서 코드스트랄 22B를 제공하고 있습니다.
또한 이 회사는 codestral.mistral.ai 및 api.mistral.ai라는 두 개의 API 엔드포인트를 통해 모델을 제공하고 있습니다.
전자는 IDE 내에서 코드스트랄의 지시 또는 중간 채우기 경로를 사용하려는 사용자를 위해 설계되었습니다. 일반적인 조직 속도 제한 없이 개인 수준에서 관리되는 API 키가 함께 제공되며 8주간의 베타 기간 동안 무료로 사용할 수 있습니다. 후자는 광범위한 연구, 일괄 쿼리 또는 타사 애플리케이션 개발을 위한 일반적인 엔드포인트이며 쿼리는 토큰당 요금이 청구됩니다.
또한 관심 있는 개발자는 미스트랄의 무료 대화형 인터페이스인 Le Chat에서 지시된 버전의 모델과 채팅하여 코드스트랄의 기능을 테스트할 수도 있습니다.
미스트랄이 코드스트랄을 도입함으로써 기업 연구자들은 소프트웨어 개발을 가속화할 수 있는 또 다른 주목할 만한 옵션을 갖게 되었지만, 이 모델이 최근 출시된 StarCoder2를 비롯해 OpenAI 및 Amazon의 제품을 포함한 시중의 다른 코드 중심 모델과 비교하여 어떤 성능을 발휘할지는 두고 봐야 합니다.
전자는 GitHub 코파일럿 서비스에 사용되는 Codex를 제공하는 반면, 후자는 CodeWhisper 도구를 제공합니다. OpenAI의 ChatGPT는 프로그래머가 코딩 도구로도 사용했으며, 이 회사의 GPT-4 Turbo 모델은 Cognition의 반자동 코딩 에이전트 서비스인 Devin에 사용됩니다.
Hugging Face에 몇 가지 소규모 AI 코딩 모델을 보유하고 있으며 최근 5억 달러의 가치로 6,500만 달러의 시리즈 B 자금을 조달한 Codenium과의 경쟁도 치열합니다.