요약생성
바쁠 때는 리얼라이즈가 내용을 요약해 드려요.
지난 2월, JFrog Security Research의 연구원들은 AI 모델 공유 및 협업 플랫폼인 Hugging Face에 취약한 머신러닝 모델 100개가 업로드된 것을 발견했습니다. 이러한 모델은 사용자의 컴퓨터에서 유해한 작업을 실행할 수 있는 악성 코드를 포함하고 있었습니다.
악성 모델은 머신러닝 연구원들이 훈련된 모델을 공유하는 데 자주 사용하는 “pickle” 형식을 악용했습니다. 공격자들은 pickle 파일에 악성 코드를 삽입했고, 사용자가 모델을 로드할 때 이 코드가 사용자의 컴퓨터에서 실행되었습니다. 이를 통해 공격자는 사용자의 기기에 대한 백도어 액세스 권한을 얻고 컴퓨터를 완전히 제어할 수 있었습니다.
JFrog 연구원들은 “이러한 침입은 잠재적으로 중요한 내부 시스템에 대한 액세스 권한을 부여하고 대규모 데이터 유출이나 기업 스파이 활동으로 이어질 수 있으며, 개별 사용자뿐만 아니라 전 세계적으로 수많은 조직에 영향을 미칠 수 있습니다. 피해자는 자신이 해킹당했다는 사실을 전혀 알지 못할 수도 있습니다.”라고 경고했습니다.
어떤 면에서 이 사건은 특히 오픈소스 대규모 언어 모델(LLM)의 인기가 높아지면서 점점 커지고 있는 오픈소스 ML 모델 생태계에서 예상되는 어려움의 전조가 될 수 있습니다.
TechTalks와의 인터뷰에서 Digital.ai의 애플리케이션 보안 담당 이사인 Greg Ellis는 이 최신 사건이 오픈소스 ML 모델의 미래에 미치는 영향을 설명했습니다.
기본 사이버 보안 실패
이 사건은 머신러닝 모델을 포함하고 있었지만, 취약점의 유형은 새로운 것이 아니었습니다. 애플리케이션은 객체를 디스크에 저장하거나 네트워크를 통해 전송할 수 있는 형식으로 변환하여 직렬화합니다. 그런 다음 이러한 객체는 런타임에 역직렬화되어 객체의 상태를 복원합니다. 역직렬화 프로세스 중에 호스트 애플리케이션은 저장된 객체에 지정된 코드를 실행합니다.
역직렬화 취약점은 악의적인 행위자가 역직렬화 프로세스를 악용하여 호스트 컴퓨터에서 임의의 코드를 실행할 때 발생합니다. 이 경우 저장된 머신러닝 모델에 악성 코드가 포함되어 있었습니다.
하지만 역직렬화 버그는 모든 종류의 애플리케이션에서 발생하며 Java, C#, Python과 같은 프로그래밍 언어에서 흔히 발생합니다(사실 저는 과거에 여러 번 이러한 문제)를 다루었습니다).
Ellis는 Hugging Face 사건에 대해 “pickle 프로세스는 다른 코드가 실행되도록 허용했으며, 보고된 바와 같이 일부 코드는 다른 IP 주소에 대한 콜백을 허용했습니다. 어쩌면 연구 목적으로 사용되었을 것이라는 생각도 있었지만, 사람들의 눈살을 찌푸리게 한 것은 개발자 사이트 외부의 활성 IP 주소로 콜백을 했다는 사실입니다.”라고 말했습니다.
진화하는 위협 환경
Digital.ai의 애플리케이션 보안 담당 이사인 Greg Ellis
인공지능이 빠르게 발전하면서 머신러닝 모델의 보안 위협도 그에 따라 진화할 것입니다. 더 많은 조직과 개발자가 애플리케이션에 ML 모델을 통합하기 시작하면서, 위협 행위자들은 모델과 모델이 호스팅되는 플랫폼을 악용하는 새로운 방법을 찾기 시작할 것입니다.
Ellis는 “20~30년 전 일반 코드에서 보았던 것처럼, 공격이 주류가 되고 장벽이 낮아지면서 매우 특정한 해킹에서 스크립트 키디로 전환되었습니다. AI 측면에서도 모델에 대한 공격이 매우 유사하게 중복될 것으로 예상됩니다.”라고 말합니다.
하지만 AI에는 보안 위협을 다르게 만드는 측면도 있습니다. Ellis는 머신러닝 모델의 크라우드 소싱 특성이 공격자의 진행 속도를 훨씬 빠르게 할 것이라고 경고합니다. 또한 더욱 발전된 AI 시스템은 악의적인 행위자가 모델에 대한 공격을 개발하는 속도를 높이는 데 도움이 될 것입니다.
Ellis는 “일반적인 관점에서 AI 사용을 통한 생산성 향상에 대해 이야기하는 것처럼, 공격 측면에서도 동일한 현상이 나타날 것입니다.”라고 말했습니다.
속도 vs 보안
특히 생성형 모델과 LLM을 중심으로 머신러닝에 대한 열기가 높아지면서 조직은 제품에 AI 기능을 추가하라는 압박을 받고 있습니다. 머신러닝 모델의 훈련이 어렵고 비용이 많이 들기 때문에 많은 조직은 Hugging Face와 같은 플랫폼에서 사전 훈련된 모델을 찾을 것입니다.
이러한 서두름은 다운로드한 모델의 보안 측면보다 모델 기능과 성능에 더 중점을 두게 될 수 있습니다. ML 채택자 커뮤니티가 확대되면서 애플리케이션에 ML 모델을 통합하는 데 따른 잠재적인 위협에 대해 알게 되면, 보안 관행을 채택하는 방법도 배워야 합니다.
Ellis는 “이미 많은 대기업들이 기밀 정보 유출에 대한 우려뿐만 아니라 데이터 프라이버시, 개인 식별 정보(PII), 생성형 AI를 사용할 수 있는 위치와 방법에 대한 법적 문제에 대한 우려로 인해 다소 발목을 잡고 있습니다.”라고 말했습니다.
다음 단계는 오픈소스 ML 도구를 비즈니스 프로세스에 통합하기 전에 거버넌스 모델, 규정 준수 모델의 진화와 이러한 도구에 대한 안전 장치를 구축하는 것에 대한 논의를 살펴보는 것입니다.
Ellis는 “빠른 도입자들은 사용할 수 있는 것을 사용해 보려고 할 것이고, 이를 통해 우리는 한계를 넓히고 새로운 것을 배우게 될 것입니다. 하지만 소비자 신뢰가 어디에 있을지는 기업들이 한 발짝 물러서서 이러한 기술을 사용하는 방법에 대한 거버넌스를 확립할 때입니다.”라고 말했습니다.
ML 모델 보안에 대한 책임은 누구에게 있을까요?
현재 무료 구독자입니다. 이 게시물의 나머지 부분과 다른 유료 구독자 전용 콘텐츠를 보려면 구독을 업그레이드하세요.