AI에 대한 신뢰는 단순한 도덕적 문제가 아니다

AI의 경제적 잠재력은 누구도 부인할 수 없지만, 놀랍게도 AI 프로젝트의 87%가 실패하면서 조직들은 이러한 잠재력을 제대로 활용하지 못하고 있습니다.

어떤 사람들은 이를 기술적인 문제로, 어떤 사람들은 비즈니스, 문화, 또는 산업의 문제로 여기지만, 최근의 증거들은 이것이 바로 _신뢰_의 문제임을 보여줍니다.

최근 연구에 따르면, 거의 3분의 2에 달하는 고위 임원들이 AI에 대한 신뢰가 수익, 경쟁력, 그리고 고객 성공을 이끈다고 말합니다.

AI와 관련하여 신뢰는 매우 복잡한 단어입니다. AI 시스템을 신뢰할 수 있을까요? 만약 그렇다면, 어떻게 해야 할까요? 우리는 사람을 쉽게 믿지 않으며, AI 시스템은 더욱더 그렇습니다.

하지만 AI에 대한 신뢰 부족은 경제적 잠재력을 가로막고 있으며, AI 시스템에 대한 신뢰 구축을 위한 많은 권고안들은 너무 추상적이거나 현실적으로 적용하기 어렵다는 비판을 받아 왔습니다.

이제는 실질적인 적용에 초점을 맞춘 새로운 'AI 신뢰 방정식'이 필요한 시점입니다.

AI 신뢰 방정식

사람 간의 신뢰를 구축하기 위한 개념인 신뢰 방정식은 David Maister, Charles Green, Robert Galford가 저술한 _The Trusted Advisor_에서 처음 제시되었습니다. 이 방정식은 신뢰 = (신뢰성 + 신뢰도 + 친밀감) / 자기중심성입니다.

언뜻 보기에 이 방정식이 사람 간의 신뢰를 쌓는 데 이상적인 이유는 분명하지만, 사람과 기계 간의 신뢰를 쌓는 데는 적용되지 않습니다.

사람과 기계 간의 신뢰를 구축하기 위한 새로운 AI 신뢰 방정식은 신뢰 = (보안 + 윤리 + 정확성) / 제어입니다.

보안은 신뢰로 가는 첫 번째 단계이며, 다른 곳에서 잘 설명된 몇 가지 중요한 원칙으로 구성됩니다. 사람과 기계 간의 신뢰 구축이라는 측면에서 보면, '이 AI 시스템과 내 정보를 공유해도 안전할까?'라는 질문으로 귀결됩니다.

윤리는 기술적인 문제라기보다는 도덕적인 문제이기 때문에 보안보다 더 복잡합니다. AI 시스템에 투자하기 전에 리더는 다음과 같은 사항을 고려해야 합니다.

1. ChatGPT를 만들 때 케냐의 작업자와 같이 이 모델을 만드는 과정에서 사람들을 어떻게 대했는가? 나는/우리는 이 모델을 사용하여 솔루션을 구축함으로써 이를 지지하는 것에 동의하는가?
2. 모델을 설명할 수 있는가? 만약 유해한 결과를 초래한다면, 그 이유를 이해할 수 있는가? 그리고 내가 할 수 있는 일이 있는가(제어 참조)?
3. 모델에 암묵적이거나 명시적인 편견이 있는가? Joy Buolamwini와 Timnit Gebru의 Gender Shades 연구와 최근 Google이 모델에서 편견을 제거하려다 역사적 편견을 만들어낸 것처럼 이는 충분히 입증된 문제입니다.
4. 이 AI 시스템의 비즈니스 모델은 무엇인가? 정보와 평생의 노력을 제공한 사람들이 그들의 노력으로 만들어진 모델이 수익을 창출할 때 보상을 받는가?
5. 이 AI 시스템을 만든 회사의 명시된 가치는 무엇이며, 회사와 리더십의 행동이 그러한 가치를 얼마나 잘 따르고 있는가? 예를 들어, OpenAI가 Scarlett Johansson의 동의 없이 그녀의 목소리를 모방하기로 한 최근의 선택은 OpenAI의 명시된 가치와 ChatGPT에 그녀의 목소리를 사용하는 것을 거부한 Scarlett Johansson의 선택을 무시한 Altman의 결정 사이에 상당한 차이가 있음을 보여줍니다.

정확성은 AI 시스템이 작업 흐름 전반에 걸쳐 다양한 질문에 대해 얼마나 안정적으로 정확한 답변을 제공하는지로 정의할 수 있습니다. 이는 '이 AI에 내 상황에 근거한 질문을 했을 때 그 답변이 얼마나 유용한가?'로 간단하게 말할 수 있습니다. 답변은 1) 모델의 정교함과 2) 학습된 데이터와 직접적으로 연결됩니다.

제어는 AI 신뢰에 대한 논의의 핵심이며, '이 AI 시스템이 내가 원하는 대로 작동할까, 아니면 실수를 할까?'라는 가장 전술적인 질문부터 '우리는 언젠가 지능형 시스템에 대한 통제력을 잃게 될까?'라는 우리 시대의 가장 중요한 질문 중 하나까지 다룹니다. 두 경우 모두 AI 시스템의 행동, 결정, 결과를 제어할 수 있는 능력이 AI 시스템을 신뢰하고 구현하는 데 기반이 됩니다.

AI 신뢰 방정식을 사용하기 위한 5단계

1. 시스템이 유용한지 여부를 결정합니다. AI 플랫폼이 신뢰할 수 있는지 여부를 조사하는 데 시간과 자원을 투자하기 전에, 조직은 플랫폼이 더 많은 가치를 창출하는 데 도움이 되는지 여부를 판단하는 것이 좋습니다.
2. 플랫폼이 안전한지 조사합니다. 플랫폼에 데이터를 로드하면 데이터는 어떻게 되는가? 방화벽 외부로 정보가 유출되는가? 보안 팀과 긴밀히 협력하거나 보안 전문가를 고용하는 것은 AI 시스템의 보안을 신뢰할 수 있는지 확인하는 데 매우 중요합니다.
3. 윤리적 기준을 설정하고 이를 기준으로 모든 시스템과 조직을 평가합니다. 투자하는 모든 모델이 설명 가능해야 하는 경우, 조직 전체에서 허용 가능한 상한 및 하한을 포함하여 설명 가능성에 대한 공통적이고 경험적인 정의를 명확하게 정의하고, 제안된 시스템을 이러한 한계에 따라 측정합니다. AI 활용과 관련하여 조직에서 타협할 수 없는 것으로 판단되는 모든 윤리적 원칙에 대해서도 동일한 작업을 수행합니다.
4. 정확도 목표를 정의하고 벗어나지 않습니다. 사람의 작업에 앞서 사용되는 시스템이기 때문에 성능이 좋지 않은 시스템을 채택하고 싶은 유혹을 느낄 수 있습니다. 하지만 조직에서 수용 가능한 것으로 정의한 정확도 목표보다 성능이 떨어지는 경우, 작업 결과의 질이 떨어지고 사람들의 부담이 커질 위험이 있습니다. 대부분의 경우 낮은 정확도는 모델 문제이거나 데이터 문제이며, 둘 다 적절한 수준의 투자와 집중으로 해결할 수 있습니다.
5. 조직에 필요한 제어 수준과 그 정의를 결정합니다. 의사 결정자와 운영자가 AI 시스템을 얼마나 제어하기를 원하는지에 따라 완전 자율 시스템, 반자율 시스템, AI 기반 시스템 중 어떤 시스템을 원하는지, 또는 조직에서 AI 시스템과 제어 권한을 공유하는 데 대한 허용 수준이 현재 AI 시스템이 도달할 수 있는 수준보다 높은지 여부가 결정됩니다.

AI 시대에는 모범 사례나 빠른 성공을 위한 해결책을 쉽게 찾을 수 있지만, 현실은 아직 아무도 이 모든 것을 완벽하게 파악하지 못했으며, 그때쯤이면 더 이상 당신과 당신의 조직을 차별화하지 못할 것이라는 것입니다.

따라서 완벽한 솔루션을 기다리거나 다른 사람들이 설정한 트렌드를 따르기보다는 앞장서십시오. 조직 내에서 챔피언과 후원자로 구성된 팀을 구성하고, 특정 요구 사항에 맞게 AI 신뢰 방정식을 조정하고, 이를 기준으로 AI 시스템을 평가하기 시작하십시오. 이러한 노력의 결실은 단순히 경제적인 것뿐만 아니라 기술의 미래와 사회에서 기술의 역할에 대한 기초가 됩니다.

일부 기술 기업들은 시장의 움직임이 이러한 방향으로 흘러가고 있다는 것을 인식하고 Salesforce의 Einstein Trust Layer와 같이 AI 시스템의 작동 방식에 대한 적절한 약속, 제어, 가시성을 개발하기 위해 노력하고 있으며, 다른 기업들은 어떠한 수준의 가시성도 경쟁 우위를 포기하는 것이라고 주장합니다. 여러분과 여러분의 조직은 AI 시스템의 결과물과 이를 구축하고 유지 관리하는 조직 모두에 대해 어느 정도의 신뢰를 갖고 싶은지 결정해야 합니다.

AI의 잠재력은 무궁무진하지만, AI 시스템과 이를 만드는 사람들이 우리 조직과 사회 내에서 신뢰를 얻고 유지할 수 있을 때만 실현될 수 있습니다. AI의 미래는 여기에 달려 있습니다.

Brian Evergreen은 “Autonomous Transformation: Creating a More Human Future in the Era of Artificial Intelligence”의 저자입니다.