요약생성
바쁠 때는 리얼라이즈가 내용을 요약해 드려요.
악의적인 사용자들이 생성형 AI 음악 도구를 악용하여 동성애 혐오, 인종차별, 선선적 노래를 만들고, 다른 사람들에게 만드는 방법을 알려주는 가이드를 게시하고 있습니다.
온라인 플랫폼의 신뢰 및 안전 운영 관리 서비스인 ActiveFence에 따르면, 3월 이후 “혐오 발언 관련“ 커뮤니티에서 소수 집단을 겨냥한 공격적인 노래를 만들기 위해 AI 음악 제작 도구를 악용하는 방법에 대한 대화가 급증했습니다. ActiveFence 연구원들은 보고서에서 이러한 포럼과 게시판에서 공유되는 AI 생성 노래가 민족, 성별, 인종, 종교 집단에 대한 증오를 부추기는 동시에 순교, 자해, 테러 행위를 찬양하는 것을 목표로 한다고 밝혔습니다.
혐오스럽고 해로운 노래는 새로운 현상이 아닙니다. 하지만 우려되는 점은 사용하기 쉬운 무료 음악 생성 도구의 등장으로 인해 이미지, 음성, 비디오, 텍스트 생성기가 허위 정보, 허위 정보, 혐오 발언의 확산을 가속화했듯이 이전에는 수단이나 노하우가 없었던 사람들에 의해 대량으로 만들어질 수 있다는 것입니다.
ActiveFence의 공동 설립자 겸 CEO인 노암 슈워츠는 TechCrunch와의 인터뷰에서 “이러한 트렌드는 더 많은 사용자가 이러한 노래를 생성하고 다른 사람들과 공유하는 방법을 배우면서 심화되고 있습니다.”라고 말했습니다. “위협 행위자들은 이러한 플랫폼을 여러 방식으로 악용하고 악의적인 콘텐츠를 생성하기 위해 특정 취약점을 빠르게 파악하고 있습니다.”
“혐오” 노래 만들기
Udio, Suno와 같은 생성형 AI 음악 도구를 사용하면 생성된 노래에 사용자 지정 가사를 추가할 수 있습니다. ActiveFence에 따르면 플랫폼의 안전 장치는 일반적인 비방어와 경멸어를 걸러내지만, 사용자들은 이를 우회하는 방법을 알아냈습니다.
보고서에 언급된 한 가지 예에서 백인 우월주의 포럼의 사용자들은 콘텐츠 필터를 우회하기 위해 소수 민족과 모욕적인 용어의 음성 표기를 공유했습니다. 예를 들어 “유대인” 대신 “jooz”, “사탄” 대신 “say tan”을 사용했습니다. 일부 사용자들은 폭력 행위를 지칭할 때 “내 강간”을 “mire ape”로 바꾸는 등 간격과 철자를 변경할 것을 제안했습니다.
TechCrunch는 AI 생성 음악을 만들고 공유하는 데 가장 많이 사용되는 도구인 Udio와 Suno에서 이러한 우회 방법을 테스트했습니다. Suno는 모든 것을 통과시킨 반면, Udio는 일부 모욕적인 동음이의어를 차단했습니다.
Udio 대변인은 이메일을 통해 TechCrunch에 회사가 혐오 발언을 위해 플랫폼을 사용하는 것을 금지한다고 밝혔습니다. Suno는 논평 요청에 응답하지 않았습니다.
ActiveFence는 조사한 커뮤니티에서 유대인에 대한 음모론을 앵무새처럼 따라 하고 대량 학살을 옹호하는 AI 생성 노래, 테러 단체 ISIS와 알 카에다와 관련된 슬로건이 포함된 노래, 여성에 대한 성폭력을 미화하는 노래에 대한 링크를 발견했습니다.
노래의 영향
슈워츠는 텍스트와 달리 노래는 감정적인 무게를 지니고 있어 혐오 집단과 정치적 전쟁의 강력한 무기가 된다고 주장합니다. 그는 1970년대 후반과 1980년대 초반 영국에서 열린 일련의 백인 우월주의 록 콘서트인 Rock Against Communism을 예로 들었습니다. 이 콘서트는 반유대주의적이고 인종차별적인 “혐오 코어” 음악의 하위 장르를 탄생시켰습니다.
그는 “AI는 유해한 콘텐츠를 더욱 매력적으로 만듭니다. 특정 집단에 대한 유해한 이야기를 설파하는 사람을 떠올려 보세요. 그리고 누구나 쉽게 따라 부르고 기억할 수 있는 운율 있는 노래를 만드는 사람을 상상해 보세요.”라고 말했습니다. “그들은 집단적 연대를 강화하고, 주변 집단 구성원을 세뇌시키며, 소속되지 않은 인터넷 사용자에게 충격과 불쾌감을 주는 데에도 사용됩니다.”
슈워츠는 음악 생성 플랫폼이 예방 도구를 구현하고 더 광범위한 안전 평가를 수행할 것을 촉구합니다. 슈워츠는 “레드 티밍은 이러한 취약점을 일부 드러낼 수 있으며, 위협 행위자의 행동을 시뮬레이션하여 수행할 수 있습니다.”라고 말했습니다. “입력과 출력을 더 잘 조정하는 것도 이 경우 유용할 수 있습니다. 플랫폼이 사용자와 공유되기 전에 콘텐츠를 차단할 수 있기 때문입니다.”
하지만 사용자가 새로운 조정 우회 방법을 찾아냄에 따라 수정 사항은 순식간에 무용지물이 될 수 있습니다. 예를 들어 ActiveFence가 확인한 AI 생성 테러 선전 노래 중 일부는 아랍어 완곡어법과 음역을 사용하여 만들어졌습니다. 아마도 음악 생성기의 필터가 아랍어에 강하지 않아 감지하지 못했을 것입니다.
AI 생성 혐오 음악은 다른 AI 생성 미디어의 전철을 밟을 경우 광범위하게 확산될 태세입니다. Wired는 올해 초 극우 음모론 인플루언서가 공유한 아돌프 히틀러의 AI 조작 영상이 X에서 1,500만 회 이상의 조회수를 기록한 사례를 보도했습니다.
다른 전문가들 중에서도 유엔 자문 기구는 인종차별적, 반유대주의적, 이슬람 혐오적, 외국인 혐오적 콘텐츠가 생성형 AI에 의해 증폭될 수 있다는 우려를 표명했습니다.
슈워츠는 “생성형 AI 서비스를 통해 자원, 창의적 기술, 기술적 기술이 부족한 사용자도 매력적인 콘텐츠를 만들고 전 세계 아이디어 시장에서 주목받을 수 있는 아이디어를 확산할 수 있습니다.”라고 말했습니다. “그리고 이러한 새로운 서비스가 제공하는 창조적 잠재력을 발견한 위협 행위자들은 조정을 우회하고 감지를 피하기 위해 노력하고 있으며, 성공을 거두고 있습니다.