요약생성
바쁠 때는 리얼라이즈가 내용을 요약해 드려요.
2024년 5월 24일 오후 1시 18분
출처: VentureBeat, Midjourney 제작
시카고 대학교의 연구진은 대규모 언어 모델(LLM)이 전문 분석가 수준의 정확도로 재무제표 분석을 수행할 수 있으며, 심지어 그 이상의 능력을 보여줄 수도 있다는 것을 입증했습니다. “대규모 언어 모델을 사용한 재무제표 분석”이라는 제목의 연구 논문에 발표된 이 연구 결과는 금융 분석 및 의사 결정의 미래에 중대한 영향을 미칠 수 있습니다.
연구진은 OpenAI에서 개발한 최첨단 LLM인 GPT-4의 성능을 테스트했습니다. GPT-4는 기업 재무제표를 분석하여 미래 수익 증가를 예측하는 작업을 수행했습니다. 놀랍게도 GPT-4는 텍스트 맥락이 없는 표준화되고 익명화된 대차대조표와 손익계산서만 제공받았음에도 불구하고 인간 분석가보다 뛰어난 성과를 보였습니다.
저자들은 “LLM의 예측 정확도가 좁게 훈련된 최첨단 ML 모델의 성능과 동등하다는 것을 발견했습니다.”라고 말합니다. “LLM 예측은 훈련 메모리에서 비롯된 것이 아닙니다. 대신 LLM은 회사의 미래 성과에 대한 유용한 서술적 통찰력을 생성한다는 것을 발견했습니다.”
시카고 대학교 연구진의 연구에 따르면 OpenAI의 GPT-4 모델은 0.604의 정확도 점수와 0.609의 F1 점수를 달성하여 기업 실적 예측에서 인간 분석가를 능가했습니다. 연구진은 구조화된 재무 데이터와 AI의 추론을 안내하는 “체인-오브-쏘트” 프롬프트를 제공하는 새로운 접근 방식을 사용했습니다. (출처: 시카고 대학교)
체인-오브-쏘트 프롬프트, 인간 분석가 추론 모방
핵심 혁신은 GPT-4가 트렌드를 식별하고, 비율을 계산하고, 정보를 종합하여 예측을 형성하는 재무 분석가의 분석 프로세스를 모방하도록 안내하는 “체인-오브-쏘트” 프롬프트를 사용한 것입니다. 이렇게 향상된 GPT-4 버전은 미래 수익 방향을 예측하는 데 60%의 정확도를 달성했는데, 이는 인간 분석가 예측 범위인 53~57%보다 높은 수치입니다.
연구진은 “결론적으로 우리의 연구 결과는 LLM이 의사 결정에서 중심적인 역할을 할 수 있음을 시사합니다.”라고 말합니다. 그들은 LLM의 이점이 방대한 지식 기반과 패턴 및 비즈니스 개념을 인식하는 능력에서 비롯되어 불완전한 정보에서도 직관적인 추론을 수행할 수 있다고 말합니다.
시카고 대학교 연구진은 익명화되고 표준화된 재무제표를 제공하고 “체인-오브-쏘트” 프롬프트로 추론을 안내하여 GPT4의 재무 분석 기능을 테스트했습니다. 그런 다음 모델은 미래 수익 변화의 방향, 규모 및 신뢰도를 예측했습니다. (출처: 시카고 대학교)
과제에도 불구하고 금융 분석을 혁신할 준비가 된 LLM
전통적으로 수치 분석은 언어 모델의 과제였기 때문에 이러한 연구 결과는 더욱 놀랍습니다. 이 연구의 공동 저자인 알렉스 김은 “언어 모델에게 가장 어려운 영역 중 하나는 모델이 계산을 수행하고, 인간과 같은 해석을 수행하고, 복잡한 판단을 내려야 하는 수치 영역입니다.”라고 말했습니다. “LLM은 텍스트 작업에 효과적이지만, 일반적으로 숫자에 대한 이해는 서술적 맥락에서 비롯되며 심층적인 수치적 추론이나 인간의 사고 유연성이 부족합니다.”
일부 전문가들은 이 연구에서 벤치마크로 사용된 “ANN” 모델이 양적 금융 분야의 최첨단을 나타내지 않을 수 있다고 경고합니다. 해커 뉴스 포럼에서 한 전문가는 “ANN 벤치마크는 최첨단과는 거리가 멉니다.”라고 말했습니다. “사람들은 1989년에 이 일을 그만두지 않았습니다. 돈을 많이 벌 수 있다는 것을 깨닫고 개인적으로 하고 있습니다.”
그럼에도 불구하고 범용 언어 모델이 특수 ML 모델의 성능과 일치하고 인간 전문가를 능가하는 능력은 금융 분야에서 LLM의 파괴적인 잠재력을 보여줍니다. 저자들은 또한 호기심 많은 독자를 위해 GPT-4의 기능을 보여주는 대화형 웹 애플리케이션을 만들었지만, 정확도는 독립적으로 검증되어야 한다고 경고합니다.
AI가 빠르게 발전함에 따라 금융 분석가의 역할이 다음으로 변화될 수 있습니다. 인간의 전문 지식과 판단력이 조만간 완전히 대체될 가능성은 낮지만, GPT-4와 같은 강력한 도구는 분석가의 업무 효율성을 높이고 능률화하여 향후 몇 년 동안 재무제표 분석 분야를 재편할 수 있는 잠재력을 가지고 있습니다.