리얼라이즈 로고
로그인

OpenAI 연구원들, 회사의 안전 불감증 비판하며 '인류 멸종' 막기 위한 '경고할 권리' 촉구

OpenAI를 향한 이번 비판은 알트만의 일시 해고 이후 회사가 겪고 있는 길고 지속적인 혼란에 뒤이은 것입니다.

2024년 6월 4일 오후 4:46- 3달 전VENTUREBEAT.COM- Carl Franzen

OpenAI 연구원들, 회사의 안전 불감증 비판하며 '인류 멸종' 막기 위한 '경고할 권리' 촉구

요약생성

바쁠 때는 리얼라이즈가 내용을 요약해 드려요.

OpenAI에서 현재 또는 과거에 근무했던 11명의 연구원과 이전에 Anthropic에서 근무했던 Google DeepMind의 현직 직원, 그리고 또 다른 전 DeepMind 연구원이 OpenAI와 유사한 회사들이 AI 안전에 대한 문제를 제기하는 내부 고발자와 비판자를 보호하는 네 가지 원칙을 준수할 것을 촉구하는 새로운 공개 서한에 서명했습니다.

“우리는 또한 이러한 기술이 초래하는 심각한 위험을 인지하고 있습니다.'라고 '경고할 권리'라는 제목의 서한은 다음과 같이 말합니다. “이러한 위험은 기존 불평등의 심화, 조작 및 허위 정보, 인간 멸종으로 이어질 수 있는 자율 AI 시스템 제어 상실에 이르기까지 다양합니다.”

AI 시스템에 대한 '경고할 권리'란 무엇인가요?

서한에서 제기된 우려 사항 중에는 적절한 감독 부족, 이윤 동기의 영향, 최첨단 AI 기술을 연구하는 조직 내에서 반대 의견 억압 등이 있습니다.

서명자들이 AI 기업이 이를 시정하기 위해 자발적으로 준수하기를 바라는 네 가지 원칙은 다음과 같습니다.

  1. 위험 관련 비판에 대한 비방성 발언 또는 보복을 금지하는 계약을 체결하거나 시행하지 않습니다.
  2. 위험 관련 우려 사항을 회사 이사회, 규제 기관 및 독립 조직에 제기할 수 있는 검증 가능한 익명 프로세스를 구축합니다.
  3. 영업 비밀이 보호되는 한 공개 비판 문화를 장려하고 직원이 위험 관련 우려 사항을 공개적으로 공유할 수 있도록 합니다.
  4. 다른 보고 방법이 실패한 후 위험 관련 기밀 정보를 공유하는 직원에게 보복하지 않습니다.

오늘 _뉴욕 타임즈_에 게재된 기사에서 처음 공개된 이 서한에는 전 OpenAI 직원인 Jacob Hilton, Daniel Kokotajlo, William Saunders, Daniel Ziegler, 전 Google DeepMinder인 Ramana Kumar, 현 DeeMinder이자 전 Anthropic AI 직원인 Neel Nanda, 그리고 익명의 OpenAI 직원 6명(현직 4명, 전직 2명)이 서명했습니다. 저명한 AI 전문가인 Yoshua Bengio, Geoffrey Hinton, Stuart Russell이 이를 지지합니다.

전문은 여기와 이 기사 하단에서 확인할 수 있습니다.

Kokotajlo의 폭로

또한 Kokotajlo는 NYT 기사에 이어 X(구 Twitter)에 게시한 일련의 글에서 OpenAI에서 사임한 이유에 대해 자세히 설명하면서, 인공 일반 지능을 추구하는 과정에서 회사의 책임감 있는 행동 능력에 대한 신뢰를 잃었다고 주장했습니다.

1/15: 4월, 저는 OpenAI가 인공 일반 지능, 즉 “일반적으로 인간보다 똑똑한 AI 시스템”을 구축하려는 과정에서 책임감 있게 행동할 것이라는 믿음을 잃고 사임했습니다. https://t.co/yzMKnZwros

— Daniel Kokotajlo (@DKokotajlo67142) 2024년 6월 4일

그는 회사에 대한 비판적인 발언을 하기 위해 기득권을 포기하기로 했다고 밝히면서 고급 AI 시스템 개발 과정에서 투명성과 윤리적 행동의 필요성을 강조했습니다.

Kokotajlo에 따르면 그는 OpenAI가 시스템의 기능이 향상됨에 따라 안전 연구에 대한 투자를 늘릴 것이라는 기대를 안고 입사했습니다.

하지만 그는 OpenAI가 이러한 변화를 이루지 못했고, 그 결과 자신을 포함한 여러 연구원이 회사를 떠나게 되었다고 말합니다.

Kokotajlo는 퇴사 당시 OpenAI에 대해 부정적인 발언을 할 수 없도록 하는 비방 금지 계약(NDA)이 포함된 서류를 제시받았으며, 이는 비윤리적이라고 생각했다고 주장합니다.

이러한 주장은 이달 초 OpenAI 내에서 유사한 관행이 있었음을 폭로한 것으로, Vox가 공개한 유출 문서에 따르면 전 직원에게 강압적인 전술을 사용한 것으로 드러났습니다.

하지만 OpenAI는 이러한 NDA를 시행하지 않을 것이라고 밝혔습니다. 이러한 NDA 중 일부는 AI 및 기타 분야의 다른 기술 회사에서도 사용하고 있습니다. 그리고 Vox 자체도 최근 OpenAI에 대한 자체 보도 이후 OpenAI와 파트너십을 맺기로 했습니다.

OpenAI의 지속적인 혼란

OpenAI를 향한 이번 비판은 2023년 11월 회사를 감독하던 전 비영리 이사회가 OpenAI 공동 설립자이자 CEO인 Sam Altman을 “지속적으로 솔직하지 못한” 소통 방식을 이유로 전격 해고하면서 시작된 길고 지속적인 혼란에 뒤이은 것입니다.

Altman은 Microsoft를 비롯한 투자자들의 요청으로 CEO 자리에 빠르게 복귀했고, 이전 이사회는 사임하고 교체되었지만, 이사회 멤버였던 Helen Toner는 지난주 TED AI Show 인터뷰에서 이사회가 2022년 11월 ChatGPT 공개 전에 이를 통보받지 못했다고 말하며 우려를 재차 표명했습니다.

그리고 OpenAI가 5월 중순에 새로운 GPT-4 기본 멀티모달 AI 모델을 출시한 후, 유명 배우인 Scarlett Johansson은 회사와 Altman을 강하게 비판했습니다. 그녀는 OpenAI의 새로운 대화형 인터페이스에 자신의 목소리를 제공해 달라는 요청을 거절했지만, OpenAI는 2013년 SF 드라마 영화 _Her_에서 그녀가 연기한 AI 운영 체제 캐릭터와 비슷하게 들린다고 생각하는 데모 음성을 선보였습니다.

하지만 _워싱턴 포스트_의 후속 보도에 따르면 Johansson의 캐릭터처럼 들리게 할 의도 없이 별도의 성우의 목소리를 녹음했다는 OpenAI의 주장이 뒷받침되었습니다.

추가적인 독립적인 연구 결과에 따르면 OpenAI의 음성인 “Sky”는 Keri Russell과 같은 다른 할리우드 배우와 더 비슷하게 들리지만, 그녀와도 구별됩니다. OpenAI는 이후 혼란을 피하고 Johansson을 달래기 위해 “Sky”라는 이름의 이 음성을 제거했습니다.

또한 전 슈퍼정렬 팀 공동 책임자인 Ilya Sutskever와 Jan Leike의 이탈은 OpenAI의 안전 정책 및 관행에 대한 우려를 더욱 부채질했습니다.

회사는 지난주에 OpenAI가 최신 프론티어 모델 교육을 시작했다는 소식과 함께 발표된 많은 현 이사회 멤버를 포함하는 새로운 안전 및 보안 위원회를 구성하는 등 자체적인 방식으로 이러한 우려를 해소하기 위해 노력해 왔습니다.

“경고할 권리” 서한 전문:

고급 인공 지능에 대한 경고할 권리

우리는 프론티어 AI 회사의 전·현직 직원이며, AI 기술이 인류에게 전례 없는 이점을 제공할 가능성을 믿습니다.

우리는 또한 이러한 기술이 초래하는 심각한 위험을 인지하고 있습니다. 이러한 위험은 기존 불평등의 심화, 조작 및 허위 정보, 인간 멸종으로 이어질 수 있는 자율 AI 시스템 제어 상실에 이르기까지 다양합니다. AI 기업 자체도 이러한 위험을 인정했으며 [1, 2, 3]], 전 세계 정부 [4, 5, 6]]와 다른 AI 전문가 [7, 8, 9]]도 마찬가지입니다.

우리는 과학계, 정책 입안자, 대중의 충분한 지침이 있다면 이러한 위험을 적절히 완화할 수 있을 것이라고 기대합니다. 그러나 AI 기업은 효과적인 감독을 피하기 위한 강력한 재정적 인센티브를 가지고 있으며, 우리는 맞춤형 기업 지배 구조가 이를 바꾸기에 충분하다고 생각하지 않습니다.

AI 기업은 시스템의 기능과 한계, 보호 조치의 적절성, 다양한 종류의 피해 위험 수준에 대한 상당한 비공개 정보를 보유하고 있습니다. 그러나 현재 이들은 정부와 이러한 정보의 일부를 공유해야 할 약한 의무만 있을 뿐이며, 시민 사회와는 전혀 공유할 의무가 없습니다. 우리는 그들이 자발적으로 정보를 공유할 것이라고 믿을 수 없다고 생각합니다.

이러한 기업에 대한 효과적인 정부 감독이 없는 한, 전·현직 직원은 이들이 대중에게 책임을 지도록 할 수 있는 몇 안 되는 사람들 중 하나입니다. 그러나 광범위한 기밀 유지 계약으로 인해 우리는 이러한 문제를 해결하지 못하는 회사에만 우려 사항을 전달할 수 있습니다. 일반적인 내부 고발자 보호는 불법 행위에 초점을 맞추고 있기 때문에 우리가 우려하는 많은 위험이 아직 규제되지 않기 때문에 충분하지 않습니다. 업계 전반에 걸쳐 이러한 사례가 있었던 점을 고려할 때, 우리 중 일부는 다양한 형태의 보복을 당할까 봐 합리적으로 두려워하고 있습니다. 이러한 문제를 처음 접하거나 이야기하는 사람은 우리가 아닙니다.

따라서 우리는 고급 AI 기업이 다음 원칙을 준수할 것을 촉구합니다.

  1. 회사는 위험 관련 우려 사항에 대한 “비방” 또는 회사에 대한 비판을 금지하거나 기득 경제적 이익을 방해하여 위험 관련 비판에 대해 보복하는 계약을 체결하거나 시행하지 않습니다.
  2. 회사는 전·현직 직원이 위험 관련 우려 사항을 회사 이사회, 규제 기관, 관련 전문 지식을 갖춘 적절한 독립 조직에 제기할 수 있는 검증 가능한 익명 프로세스를 마련합니다.
  3. 회사는 공개 비판 문화를 지원하고 영업 비밀 및 기타 지적 재산권이 적절히 보호되는 한 전·현직 직원이 회사 기술에 대한 위험 관련 우려 사항을 대중, 회사 이사회, 규제 기관 또는 관련 전문 지식을 갖춘 적절한 독립 조직에 제기할 수 있도록 허용합니다.
  4. 회사는 다른 프로세스가 실패한 후 위험 관련 기밀 정보를 공개적으로 공유하는 전·현직 직원에게 보복하지 않습니다. 우리는 위험 관련 우려 사항을 보고하려는 모든 노력은 불필요하게 기밀 정보를 공개하지 않도록 해야 한다는 점을 인정합니다. 따라서 회사 이사회, 규제 기관, 관련 전문 지식을 갖춘 적절한 독립 조직에 익명으로 우려 사항을 제기할 수 있는 적절한 프로세스가 마련되면, 우리는 우선 그러한 프로세스를 통해 우려 사항을 제기해야 한다는 점을 인정합니다. 그러나 그러한 프로세스가 존재하지 않는 한, 전·현직 직원은 자신의 우려 사항을 대중에게 보고할 자유를 유지해야 합니다.
서명자(알파벳 순):
  • Jacob Hilton, 전 OpenAI
  • Daniel Kokotajlo, 전 OpenAI
  • Ramana Kumar, 전 Google DeepMind
  • Neel Nanda, 현 Google DeepMind, 전 Anthropic
  • William Saunders, 전 OpenAI
  • Carroll Wainwright, 전 OpenAI
  • Daniel Ziegler, 전 OpenAI
  • 익명, 현 OpenAI
  • 익명, 현 OpenAI
  • 익명, 현 OpenAI
  • 익명, 현 OpenAI
  • 익명, 전 OpenAI
  • 익명, 전 OpenAI
지지자(알파벳 순):

Yoshua Bengio Geoffrey Hinton Stuart Russell

2024년 6월 4일