요약생성
바쁠 때는 리얼라이즈가 내용을 요약해 드려요.
엔비디아의 젠슨 황 CEO는 대만에서 열린 컴퓨텍스 트레이드쇼에서 Nvidia NIM(엔비디아 추론 마이크로서비스)을 사용하여 AI 모델을 혁신하여 AI 애플리케이션을 몇 주가 아닌 몇 분 안에 배포할 수 있도록 하는 방법에 대한 기조연설을 했습니다.
그는 전 세계 2,800만 명의 개발자가 이제 최적화된 컨테이너로 모델을 제공하는 추론 마이크로서비스인 Nvidia NIM을 다운로드하여 클라우드, 데이터센터 또는 워크스테이션에 배포할 수 있다고 말했습니다. 이를 통해 개발자는 몇 주가 아닌 몇 분 만에 코파일럿, 챗봇 등을 위한 생성형 AI 애플리케이션을 쉽게 구축할 수 있다고 그는 말했습니다.
이러한 새로운 생성형 AI 애플리케이션은 점점 더 복잡해지고 있으며 텍스트, 이미지, 비디오, 음성 등을 생성하기 위해 서로 다른 기능을 갖춘 여러 모델을 사용하는 경우가 많습니다. Nvidia NIM은 생성형 AI를 애플리케이션에 추가하는 간단하고 표준화된 방법을 제공하여 개발자 생산성을 크게 향상시킵니다.
또한 NIM을 통해 기업은 인프라 투자를 극대화할 수 있습니다. 예를 들어 NIM에서 Meta Llama 3-8B를 실행하면 NIM을 사용하지 않는 경우보다 가속화된 인프라에서 최대 3배 더 많은 생성형 AI 토큰을 생성할 수 있습니다. 이를 통해 기업은 효율성을 높이고 동일한 양의 컴퓨팅 인프라를 사용하여 더 많은 응답을 생성할 수 있습니다.
Cadence, Cloudera, Cohesity, DataStax, NetApp, Scale AI, Synopsys를 포함한 거의 200개의 기술 파트너가 코파일럿, 코드 어시스턴트, 디지털 휴먼 아바타 등과 같은 도메인별 애플리케이션을 위한 생성형 AI 배포를 가속화하기 위해 자사 플랫폼에 NIM을 통합하고 있습니다. Hugging Face는 이제 Meta Llama 3부터 시작하여 NIM을 제공하고 있습니다.
'모든 기업이 운영에 생성형 AI를 추가하려고 하지만 모든 기업이 전담 AI 연구원 팀을 보유하고 있는 것은 아닙니다', 황은 말했습니다. '모든 곳의 플랫폼에 통합되고, 모든 곳의 개발자가 액세스할 수 있으며, 모든 곳에서 실행되는 Nvidia NIM은 기술 산업이 모든 조직에서 생성형 AI를 활용할 수 있도록 지원하고 있습니다.'
기업은 Nvidia AI Enterprise 소프트웨어 플랫폼을 통해 NIM을 사용하여 프로덕션 환경에 AI 애플리케이션을 배포할 수 있습니다. 다음 달부터 Nvidia 개발자 프로그램 회원은 선 preferred 인프라에서 연구, 개발 및 테스트를 위해 NIM을 무료로 이용할 수 있습니다.
40개 이상의 마이크로서비스로 구동되는 Gen AI 모델
NIM은 의료를 포함한 다양한 비즈니스에서 유용하게 사용될 것입니다.
NIM 컨테이너는 GPU 가속 추론을 위한 모델 배포 속도를 높이기 위해 사전 구축되었으며 Nvidia CUDA 소프트웨어, Nvidia Triton Inference Server, Nvidia TensorRT-LLM 소프트웨어를 포함할 수 있습니다.
ai.nvidia.com에서 Databricks DBRX, Google의 오픈 모델 Gemma, Meta Llama 3, Microsoft Phi-3, Mistral Large, Mixtral 8x22B, Snowflake Arctic을 포함한 40개 이상의 Nvidia 및 커뮤니티 모델을 NIM 엔드포인트로 경험할 수 있습니다.
이제 개발자는 Hugging Face AI 플랫폼에서 Meta Llama 3 모델에 대한 Nvidia NIM 마이크로서비스에 액세스할 수 있습니다. 이를 통해 개발자는 선호하는 클라우드에서 NVIDIA GPU로 구동되는 Hugging Face Inference Endpoints를 사용하여 클릭 몇 번 만에 Llama 3 NIM에 쉽게 액세스하고 실행할 수 있습니다.
기업에서는 NIM을 사용하여 텍스트, 이미지 및 비디오, 음성, 디지털 휴먼을 생성하는 애플리케이션을 실행할 수 있습니다. 디지털 생물학을 위한 Nvidia BioNeMo NIM 마이크로서비스를 통해 연구자들은 신약 개발을 가속화하기 위해 새로운 단백질 구조를 구축할 수 있습니다.
수십 개의 의료 회사가 수술 계획, 디지털 어시스턴트, 신약 개발, 임상 시험 최적화를 포함한 광범위한 애플리케이션에서 생성형 AI 추론을 강화하기 위해 NIM을 배포하고 있습니다.
수백 개의 AI 생태계 파트너가 NIM을 내장하고 있습니다.
Canonical, Red Hat, Nutanix, VMware(Broadcom에서 인수)를 포함한 플랫폼 제공업체는 오픈소스 KServe 또는 엔터프라이즈 솔루션에서 NIM을 지원하고 있습니다. AI 애플리케이션 회사인 Hippocratic AI, Glean, Kinetica, Redis도 생성형 AI 추론을 강화하기 위해 NIM을 배포하고 있습니다.
Amazon SageMaker, Microsoft Azure AI, Dataiku, DataRobot, deepset, Domino Data Lab, LangChain, Llama Index, Replicate, Run.ai, Securiti AI, Weights & Biases를 포함한 주요 AI 도구 및 MLOps 파트너도 개발자가 최적화된 추론을 통해 도메인별 생성형 AI 애플리케이션을 구축하고 배포할 수 있도록 자사 플랫폼에 NIM을 내장했습니다.
글로벌 시스템 통합업체 및 서비스 제공 파트너인 Accenture, Deloitte, Infosys, Latentview, Quantiphi, SoftServe, TCS, Wipro는 전 세계 기업이 프로덕션 AI 전략을 신속하게 개발하고 배포할 수 있도록 NIM 역량을 구축했습니다.
기업은 Cisco, Dell Technologies, Hewlett-Packard Enterprise, Lenovo, Supermicro와 같은 글로벌 인프라 제조업체의 Nvidia 인증 시스템과 ASRock Rack, Asus, Gigabyte, Ingrasys, Inventec, Pegatron, QCT, Wistron, Wiwynn과 같은 서버 제조업체의 Nvidia 인증 시스템을 포함하여 사실상 모든 곳에서 NIM 지원 애플리케이션을 실행할 수 있습니다. 또한 NIM 마이크로서비스는 Amazon Web Services, Google Cloud, Azure, Oracle Cloud Infrastructure에 통합되었습니다.
Foxconn, Pegatron, Amdocs, Lowe's, ServiceNow와 같은 업계 리더들이 제조, 의료, 금융 서비스, 소매, 고객 서비스 등에서 생성형 AI 애플리케이션을 위해 NIM을 사용하고 있습니다.
세계 최대 전자 제품 제조업체인 Foxconn은 스마트 제조, 스마트 시티, 스마트 전기 자동차를 위한 AI 공장의 다양한 내부 시스템과 프로세스에 내장된 도메인별 LLM 개발에 NIM을 사용하고 있습니다.
개발자는 ai.nvidia.com에서 Nvidia 마이크로서비스를 무료로 체험해 볼 수 있습니다. 기업은 Nvidia 인증 시스템 및 주요 클라우드 플랫폼에서 실행되는 Nvidia AI 엔터프라이즈를 통해 프로덕션 등급 NIM 마이크로서비스를 배포할 수 있습니다. 다음 달부터 Nvidia 개발자 프로그램 회원은 연구 및 테스트를 위해 NIM을 무료로 이용할 수 있습니다.
Nvidia 인증 시스템 프로그램
엔비디아는 시스템을 인증하고 있습니다.
생성형 AI에 힘입어 전 세계 기업들은 데이터가 입력되면 인텔리전스가 출력되는 'AI 팩토리'를 구축하고 있습니다.
그리고 엔비디아는 기업이 복잡하고 계산 집약적인 생성형 AI 워크로드를 지원할 수 있는 특수 인프라를 배포하는 데 수반되는 위험과 시간을 줄이는 검증된 시스템과 레퍼런스 아키텍처를 배포할 수 있도록 자사 기술을 필수 요소로 만들고 있습니다.
엔비디아는 또한 오늘 Nvidia 인증 시스템 프로그램을 확장한다고 발표했습니다. 이 프로그램은 주요 파트너 시스템을 AI 및 가속 컴퓨팅에 적합한 시스템으로 지정하여 고객이 데이터센터에서 엣지까지 이러한 플랫폼을 안전하게 배포할 수 있도록 지원합니다.
이제 두 가지 새로운 인증 유형인 데이터센터용 AI를 위한 Nvidia 인증 Spectrum-X Ready 시스템과 엣지에서 AI를 위한 Nvidia 인증 IGX 시스템이 포함됩니다. 각 Nvidia 인증 시스템은 엄격한 테스트를 거쳐 Nvidia AI를 위한 엔터프라이즈급 성능, 관리 용이성, 보안, 확장성을 제공하는 것으로 검증되었습니다.
Nvidia NIM(엔비디아 추론 마이크로서비스)으로 구축된 생성형 AI 애플리케이션을 포함한 엔터프라이즈 소프트웨어 워크로드. 이러한 시스템은 효율적이고 안정적인 인프라를 설계하고 구현할 수 있는 신뢰할 수 있는 경로를 제공합니다.
AI를 위해 구축된 세계 최초의 이더넷 패브릭인 Nvidia Spectrum-X AI 이더넷 플랫폼은 Nvidia Spectrum-4 SN5000 이더넷 스위치 시리즈, Nvidia BlueField-3 SuperNIC, 네트워킹 가속 소프트웨어를 결합하여 기존 이더넷 패브릭보다 1.6배 빠른 AI 네트워킹 성능을 제공합니다.
Nvidia 인증 Spectrum-X Ready 서버는 고성능 AI 컴퓨팅 클러스터의 구성 요소 역할을 하며 강력한 Nvidia Hopper 아키텍처와 Nvidia L40S GPU를 지원합니다.
Nvidia 인증 IGX 시스템
엔비디아는 AI에 모든 것을 걸고 있습니다.
Nvidia IGX Orin은 산업용 엣지 및 의료 애플리케이션을 위한 엔터프라이즈급 AI 플랫폼으로, 산업 등급 하드웨어, 프로덕션 등급 소프트웨어 스택, 장기적인 엔터프라이즈 지원을 제공합니다.
이 플랫폼에는 장치 보안, 원격 프로비저닝 및 관리, 내장 확장 기능의 최신 기술이 포함되어 있어 의료 진단, 제조, 산업용 로봇 공학, 농업 등의 분야에서 저지연 실시간 애플리케이션을 위한 고성능 AI와 사전 예방적 안전을 제공합니다.
최고의 Nvidia 생태계 파트너들이 새로운 인증을 획득할 예정입니다. Asus, Dell Technologies, Gigabyte, Hewlett Packard Enterprise, Ingrasys, Lenovo, QCT, Supermicro는 곧 인증 시스템을 제공할 예정입니다.
그리고 Adlink, Advantech, Aetina, Ahead, Cosmo Intelligent Medical Devices(Cosmo Pharmaceuticals의 사업부), Dedicated Computing, Leadtek, Onyx, Yuan에서도 곧 인증된 IGX 시스템을 이용할 수 있습니다.
엔비디아는 또한 엔터프라이즈에 생성형 AI를 배포하는 것이 그 어느 때보다 쉬워질 것이라고 말했습니다. 생성형 AI 추론 마이크로서비스 세트인 Nvidia NIM은 클라우드 컴퓨팅 애플리케이션 규모에서 AI 모델을 자동으로 작동시키는 오픈소스 소프트웨어인 KServe와 함께 작동합니다.
이러한 조합을 통해 생성형 AI를 다른 대규모 엔터프라이즈 애플리케이션과 마찬가지로 배포할 수 있습니다. 또한 Canonical, Nutanix, Red Hat과 같은 수십 개 회사의 플랫폼을 통해 NIM을 광범위하게 사용할 수 있습니다.
KServe에 NIM을 통합함으로써 Nvidia의 기술이 오픈소스 커뮤니티, 생태계 파트너, 고객에게 확장됩니다. NIM을 통해 이들은 모두 API 호출(최신 프로그래밍의 푸시 버튼)을 통해 Nvidia AI Enterprise 소프트웨어 플랫폼의 성능, 지원, 보안에 액세스할 수 있습니다.
한편 황은 Nvidia 가 accelerated 컴퓨팅을 사용하여 학습 및 최적화된 Meta의 공개적으로 사용 가능한 최첨단 대규모 언어 모델인 Meta Llama 3가 의료 및 생명 과학 워크플로우를 대폭 개선하여 환자의 삶을 개선하는 것을 목표로 하는 애플리케이션 제공에 도움을 주고 있다고 말했습니다.
이제 ai.nvidia.com에서 다운로드 가능한 Nvidia NIM 추론 마이크로서비스로 제공되는 Llama 3는 의료 개발자, 연구자, 기업이 광범위한 애플리케이션에서 책임감 있게 혁신할 수 있도록 지원하고 있습니다. NIM에는 어디에나 배포할 수 있는 표준 애플리케이션 프로그래밍 인터페이스가 함께 제공됩니다.
수술 계획 및 디지털 어시스턴트에서 신약 개발 및 임상 시험 최적화에 이르는 광범위한 사용 사례를 위해 개발자는 Llama 3을 사용하여 코파일럿, 챗봇 등을 위한 최적화된 생성형 AI 모델을 쉽게 배포할 수 있습니다.