이번 주 AI: 안전과 투명성을 요구하는 전 OpenAI 직원들

TechCrunch의 이번 주 리뷰 뉴스레터에서 우리는 OpenAI의 더 많은 투명성과 안전에 대한 더 강력한 집중을 요구하는 전 OpenAI 직원들의 외침을 살펴봅니다.

2024년 6월 5일 오후 5:05- 3달 전TECHCRUNCH.COM- Kyle Wiggers

이번 주 AI: 안전과 투명성을 요구하는 전 OpenAI 직원들

요약생성

바쁠 때는 리얼라이즈가 내용을 요약해 드려요.

안녕하세요, 여러분, TechCrunch의 첫 AI 뉴스레터에 오신 것을 환영합니다. 이렇게 인사드리게 되어 정말로 기쁩니다. 오랫동안 준비해 온 만큼 여러분과 마침내 공유하게 되어 기쁩니다.

TC의 AI 뉴스레터 출시와 함께, 이전에 Perceptron으로 알려졌던 반정기적 칼럼인 This Week in AI는 중단됩니다. 하지만 주목할 만한 새로운 AI 모델에 대한 집중 분석을 포함하여 This Week in AI에서 제공했던 모든 분석을 그리고 그 이상을 여기에서 찾아보실 수 있습니다.

이번 주 AI에서는 OpenAI에 다시 한번 문제가 발생하고 있습니다.

전 OpenAI 직원 그룹은 뉴욕 타임즈의 케빈 루즈와 조직 내에서 엄청난 안전 실패라고 생각하는 것에 대해 이야기했습니다. 최근 몇 달 동안 OpenAI를 떠난 다른 사람들과 마찬가지로 그들은 회사가 AI 시스템이 잠재적으로 위험해지는 것을 막기 위해 충분한 노력을 기울이지 않고 있으며, OpenAI가 직원들이 경종을 울리는 것을 막기 위해 강압적인 전술을 사용하고 있다고 비난합니다.

이 그룹은 화요일 공개 서한을 통해 OpenAI를 포함한 주요 AI 회사에 더 큰 투명성과 내부 고발자에 대한 더 많은 보호를 요구했습니다. “이러한 기업에 대한 효과적인 정부 감독이 없는 한, 현 직원과 전 직원은 이러한 기업이 대중에게 책임을 지도록 할 수 있는 몇 안 되는 사람들 중 하나입니다.”라고 서한은 전합니다.

비관적으로 들릴 수도 있지만, 저는 전 직원들의 요구가 묵살될 것이라고 예상합니다. 서명자들이 권고한 대로 AI 회사들이 “열린 비판 문화를 지지하는 데” 동의할 뿐만 아니라 비방 금지 조항을 시행하지 않고 목소리를 내기로 선택한 현 직원들에게 보복하지 않는 시나리오는 상상하기 어렵습니다.

OpenAI의 안전 관행에 대한 초기 비판에 대응하여 최근에 설립된 OpenAI의 안전 위원회에는 CEO인 샘 알트만을 포함하여 모두 회사 내부 직원들이 포진되어 있다는 점을 고려해 보세요. 그리고 한때 OpenAI의 제한적인 비방 금지 계약에 대해 알지 못한다고 주장했던 알트만 자신이 이를 설정하는 설립 서류에 서명했다는 점을 고려해 보세요.

물론 OpenAI의 상황이 내일 당장 바뀔 수도 있지만, 저는 그렇게 될 것이라고 기대하지 않습니다. 그리고 설령 그렇게 된다고 해도, 그것을 믿기는 어려울 것입니다.

뉴스

AI 종말: OpenAI의 AI 기반 챗봇 플랫폼인 ChatGPT와 Anthropic의 Claude, Google의 Gemini 및 Perplexity가 오늘 아침 거의 동시에 다운되었습니다. 모든 서비스는 복구되었지만, 다운된 원인은 아직 불분명합니다.

OpenAI, 핵융합 연구:** 월스트리트 저널에 따르면 OpenAI는 핵융합 스타트업인 Helion Energy와 AI 회사가 데이터 센터에 전력을 공급하기 위해 Helion으로부터 막대한 양의 전기를 구매하는 계약에 대해 논의 중이라고 합니다. 알트만은 Helion에 3억 7,500만 달러를 투자했으며 이사회에 참여하고 있지만, 이번 계약 논의에서는 기피했다고 합니다.

학습 데이터의 비용: TechCrunch는 AI 업계에서 보편화되고 있는 값비싼 데이터 라이선스 계약에 대해 살펴봅니다. 이러한 계약으로 인해 소규모 조직과 학술 기관은 AI 연구를 수행하기가 어려워질 수 있습니다.

혐오 발언 생성 AI:** 악의적인 행위자들이 AI 기반 음악 생성기를 악용하여 동성애 혐오, 인종 차별, 선전적인 노래를 만들고, 다른 사람들에게도 그 방법을 알려주는 가이드를 게시하고 있습니다.

Cohere에 대한 투자:** 로이터 통신은 기업 중심의 생성형 AI 스타트업인 Cohere가 Nvidia, Salesforce Ventures, Cisco 등으로부터 4억 5천만 달러를 추가로 투자받아 기업 가치가 50억 달러로 평가되었다고 보도했습니다. TechCrunch는 관계자의 말을 인용해 기존 투자자인 Oracle과 Thomvest Ventures도 이번 투자 라운드에 참여했으며, 투자 라운드는 계속 진행 중이라고 전했습니다.

이번 주의 연구 논문

OpenAI가 공식 블로그에서 최근에 강조한, “단계별로 검증해 보겠습니다”라는 제목의 2023년 연구 논문에서 OpenAI의 과학자들은 수학 문제를 푸는 데 있어 기대 이상의 성능을 달성하기 위해 스타트업의 범용 생성형 AI 모델인 GPT-4를 미세 조정했다고 주장했습니다. 이 논문의 공동 저자들은 이러한 접근 방식을 통해 생성형 모델이 잘못된 방향으로 나아갈 가능성을 줄일 수 있다고 말하지만, 몇 가지 주의 사항을 지적합니다.

이 논문에서 공동 저자들은 GPT-4가 사실 관계 및/또는 수학 문제에 대한 답변을 잘못 파악한 경우(환각이라고 함)를 감지하기 위해 보상 모델을 학습시킨 방법을 자세히 설명합니다. (보상 모델은 AI 모델의 출력을 평가하기 위한 특수 모델이며, 이 경우 GPT-4의 수학 관련 출력입니다.) 보상 모델은 GPT-4가 수학 문제의 단계를 올바르게 수행할 때마다 “보상”을 제공했으며, 연구자들은 이러한 접근 방식을 “프로세스 감독”이라고 합니다.

연구자들은 최소한 벤치마크 테스트에서 프로세스 감독을 통해 이전의 “보상” 모델 기술에 비해 GPT-4의 수학 문제 정확도가 향상되었다고 말합니다. 그러나 그들은 그것이 완벽하지 않다는 것을 인정합니다. GPT-4는 여전히 문제 단계를 잘못 파악했습니다. 그리고 연구자들이 탐구한 프로세스 감독의 형태가 수학 영역을 넘어 일반화될 수 있을지는 불분명합니다.

이번 주의 모델

날씨 예측은 과학처럼 느껴지지 않을 수도 있지만(적어도 저처럼 방금 비를 맞았을 때는 그렇습니다), 그것은 확실성이 아닌 확률에 관한 것이기 때문입니다. 그리고 확률을 계산하는 데 확률적 모델보다 더 좋은 방법이 있을까요? 우리는 이미 AI가 몇 시간에서 몇 세기에 이르는 시간 척도로 날씨 예측에 활용되는 것을 보았고, 이제 Microsoft가 재미있는 일에 뛰어들고 있습니다. 이 회사의 새로운 Aurora 모델은 빠르게 진화하는 AI 세계의 이 분야에서 한 걸음 더 나아가 ~0.1° 해상도(10km2 정도라고 생각하면 됩니다)로 전 세계 수준의 예측을 제공합니다.

AI 모델 대기

이미지 출처: Microsoft

100만 시간이 넘는 날씨 및 기후 시뮬레이션(실제 날씨가 아니라고요? 음...)으로 학습하고 여러 가지 바람직한 작업에 맞게 미세 조정된 Aurora는 기존의 수치 예측 시스템보다 몇 배나 뛰어난 성능을 보입니다. 더욱 인상적인 것은 Google DeepMind의 GraphCast를 자체 게임에서 능가한다는 것입니다(Microsoft가 분야를 선택했지만). 1~5일 척도에서 더 정확한 기상 조건을 예측합니다.

Google과 Microsoft와 같은 회사들은 가장 개인화된 웹 및 검색 경험을 제공하려고 노력함으로써 온라인에서 여러분의 관심을 끌기 위해 경쟁하고 있습니다. 정확하고 효율적인 자체 날씨 예측은 적어도 우리가 외출을 그만둘 때까지는 그 중요한 부분이 될 것입니다.

기타

AI 스타트업 Anthropic의 비서실장인 아비탈 발윗은 지난달 팔라듐에 기고한 사설에서 생성형 AI의 급속한 발전 덕분에 자신과 많은 지식 노동자들이 일해야 할 마지막 3년이 될 수도 있다고 주장했습니다. 그녀는 이는 두려워해야 할 이유가 아니라 위안이 되어야 한다고 말합니다. 왜냐하면 이로 인해 “사람들이 물질적 필요를 충족하면서도 일할 필요가 없는 세상”이 올 수 있기 때문입니다.

발윗은 “저명한 AI 연구자가 한때 저에게 자신이 특별히 잘하지 못하는 활동, 즉 주짓수, 서핑 등을 하면서 이러한 변곡점에 대비해 연습하고 있으며, 탁월하지 않더라도 그 과정을 즐기고 있다고 말했습니다.”라고 썼습니다. “이것이 바로 우리가 더 이상 최고가 아니더라도 필요가 아닌 즐거움을 위해 무언가를 해야 하는 미래, 여전히 하루를 어떻게 채울지 선택해야 하는 미래에 대비하는 방법입니다.”

분명 긍정적인 시각이지만, 저는 동의할 수 없습니다.

만약 생성형 AI가 3년 안에 대부분의 지식 노동자를 대체한다면(AI의 해결되지 않은 많은 기술적 문제를 고려할 때 비현실적으로 보이지만), 경제 붕괴가 뒤따를 수 있습니다. 지식 노동자들은 전체 노동력의 상당 부분을 차지하고 있으며 고소득층인 경향이 있으므로 많은 돈을 지출합니다. 그들은 자본주의의 바퀴를 굴리는 원동력입니다.

발윗은 기본 소득과 기타 대규모 사회 안전망 프로그램을 언급합니다. 하지만 기본적인 연방 차원의 AI 법안조차 제대로 관리하지 못하는 미국과 같은 국가들이 조만간 기본 소득 제도를 채택할 것이라고는 생각하지 않습니다.

제가 틀렸기를 바랍니다.