생성형 AI 적용에 성공한 5% 기업의 비밀
2025년 MIT가 발표한 「The GenAI Divide: State of AI in Business 2025」 리포트는 많은 HRD 담당자들에게 큰 시사점을 던집니다. 전 세계적으로 300억~400억 달러 규모의 투자가 생성형 AI에 쏟아졌지만, 그 중 95%의 기업이 ROI를 전혀 얻지 못했다는 충격적인 결과를 보여주었기 때문입니다. 단 5%의 조직만이 파일럿 단계를 넘어 실제 비즈니스 성과를 만들어내고 있었고, 나머지는 여전히 ‘실험 단계’에 머무르고 있었습니다.
*성공한 5% 기업의 실제 유즈케이스는 여기서 보실 수 있습니다.
리포트가 강조한 실패의 본질은 기술력 부족이나 규제의 문제가 아니었습니다. 오히려 AI가 맥락을 학습·적응하지 못하는 한계와, 이를 조직 차원의 학습 구조로 연결하지 못한 기업의 문제가 핵심이었습니다. 특히 공식적인 도입은 지지부진하지만, 개인 직원들은 이미 ChatGPT 같은 툴을 통해 업무 효율을 높이고 있는 ‘섀도우 AI(Shadow AI)’ 현상은 이 괴리를 더욱 뚜렷하게 보여줍니다.
HRD 담당자에게 이 메시지가 중요한 이유는 분명합니다. 단순히 직원들에게 “AI 툴 사용법”을 알려주는 교육을 넘어서, 개인의 활용 경험을 조직의 집단적 학습으로 전환하고 실무 맥락에 맞는 AI 활용 역량을 체계화하는 일이야말로 지금 기업이 맞닥뜨린 가장 중요한 과제이기 때문입니다.
1) 실무 워크플로우 문제 해결 중심의 학습 설계
생성형 AI 교육의 성패는 단순히 기능을 익히는 데 달려 있지 않습니다. MIT 리포트는 많은 기업들이 파일럿 단계에서 멈추는 이유가 AI가 기존 워크플로우와 맞물려 작동하지 못하기 때문이라고 지적합니다. 반대로 성과를 낸 조직들은 실제 업무 과정에서 발생하는 문제를 명확히 정의하고, 그 문제에 맞는 AI 도구를 선택해 적용했다는 공통점을 보였습니다.
따라서 HRD는 교육 과정에서 ‘프롬프트 작성법’ 같은 기능 위주의 접근을 넘어, 문제–도구 매칭 기반 유즈케이스(Use-Case) 설계가 이루어지도록 지원해야 합니다. 각 부서가 당면한 문제를 정의하고, 이에 맞는 AI 도구를 선택·적용하는 과정을 학습 여정 속에 녹여내야 합니다. 이렇게 하면 교육이 단순 체험에 머무르지 않고 곧바로 실무 개선으로 이어질 수 있습니다.
결국 HRD는 단순히 툴 사용법을 전달하는 교육자가 아니라, 조직 내 워크플로우 문제 해결을 설계하는 촉진자가 되어야 합니다. 문제 정의–유즈케이스 설계–적합한 AI 선택까지 이어지는 학습 여정을 설계하는 것이, 조직이 ‘AI 파일럿 단계’를 넘어 실제 성과를 내는 첫걸음이 됩니다.
2) 지속적 학습 구조 설계
많은 기업들이 생성형 AI 교육을 시도할 때 가장 흔히 빠지는 함정이 있습니다. 바로 ‘한 번 교육하고 끝내기’입니다. 예를 들어, 사내에서 짧은 특강이나 워크숍을 열고 직원들이 기본 기능을 체험하는 수준에서 마무리하는 경우가 많습니다. 그러나 이렇게 단발성으로 끝나는 학습만으로는 조직 내 변화가 정착되기 어렵습니다.
MIT 리포트에 따르면, 대부분의 AI 프로젝트가 성과를 내지 못하는 이유는 기술적 한계가 아니라 ‘학습 격차(Learning Gap)’ 때문입니다. 즉, AI가 맥락을 학습하지 못하고, 조직 역시 이를 지속적으로 개선하지 못하는 구조적 문제 때문에 성과가 가로막힌다는 것입니다.
따라서 HRD의 역할은 단순히 툴 사용법을 알려주는 데 그치지 않고, 교육–실무 적용–피드백–재설계가 순환되는 구조를 마련할 수 있어야 합니다. 직원들이 실제 현업에서 경험한 유즈케이스(Use-Case)를 공유하게 하고, 그 과정에서 도출된 개선점을 차기 교육에 반영하거나, 우수 유즈케이스를 사내 매뉴얼로 정리해 전파할 수 있습니다.
결국 HRD는 조직 차원의 ‘지속적 학습 시스템’을 설계하는 역할을 맡아야 합니다. 이것이야말로 AI가 단순한 교육 주제에서 머무르지 않고, 실제 성과로 이어지게 하는 핵심 기반이 됩니다.
3) Shadow AI를 제도권 학습으로 전환
MIT 리포트에서 가장 흥미로운 발견 중 하나는 바로 “Shadow AI” 현상입니다. 보고서에 따르면 기업의 공식 LLM 구독률은 약 40%에 불과했지만, 직원들의 90% 이상이 이미 개인 계정으로 ChatGPT나 Claude를 업무에 활용하고 있었습니다. 즉, 공식적인 도입은 더딘데, 직원 개개인은 이미 AI를 일상적인 업무 도구로 사용하고 있었던 것입니다.
이 현상은 HRD 관점에서 보면 위험과 기회를 동시에 내포합니다. 관리되지 않으면 보안과 데이터 유출 위험이 생기지만, 반대로 직원들이 이미 다양한 유즈케이스(Use-Case)를 자발적으로 발굴해내고 있다는 점은 중요한 학습 자산이 될 수 있습니다. 리포트 또한 “앞서 나가는 조직들은 직원들의 섀도우 활용 패턴을 분석하고, 이를 토대로 엔터프라이즈 대안을 도입한다”라고 제언합니다.
따라서 HRD는 Shadow AI를 단순히 차단할 대상이 아니라, 제도권 학습으로 흡수해야 할 자원으로 바라봐야 합니다. 구체적으로는 직원들이 어떤 유즈케이스를 가장 많이 활용하는지 조사하고, 이를 기반으로 공식적인 툴과 가이드라인을 설계할 수 있습니다. 또 현업에서 자주 쓰이는 프롬프트와 활용 방법을 정리해 사내 매뉴얼로 확산 시키면, 개인별로 흩어진 활용 경험이 조직 차원의 역량으로 전환될 수 있습니다.
결국 HRD의 과제는 섀도우 학습을 조직 학습으로 전환하는 것입니다. 이렇게 해야 조직은 개별적 시도를 넘어 전사적 효과를 만들어내며, ‘GenAI Divide’의 잘못된 편에 머무르지 않고 성과를 내는 쪽으로 이동할 수 있습니다.
MIT 리포트가 보여준 'GenAI Divide'는 단순한 기술 도입 여부가 아니라 업무 프로세스와의 연결성에서 성패가 갈린다는 사실을 잘 보여줍니다. 파일럿은 넘쳐 나지만 실제 성과로 이어지는 경우가 드문 이유는, AI가 조직의 워크플로우 속 문제를 해결하지 못하기 때문입니다. 따라서 HRD 담당자가 지금 가장 먼저 고민해야 할 것은 “우리 조직의 워크플로우에서 어떤 문제가 가장 시급하며, 이를 생성형 AI로 어떻게 해결할 수 있는가”를 정의하는 일입니다. 그리고 이 문제–도구 매칭이 가능한 유즈케이스를 중심으로 교육을 설계해야 합니다. 그래야 기업이 더 이상 단순히 ‘교육을 했다’에 머물지 않고, 실제적인 문제 해결 성과를 내는 교육으로 변환할 수 있습니다.