AX 전략

기업 AI 전환은 왜 95%가 실패하는가: MIT 조사가 밝힌 실패 구조

95% 실패의 원인은 모델이 아니라 실행 구조입니다. MIT 조사의 퍼널 데이터와 학습 격차, 성공한 5%가 다르게 한 점을 짚어봅니다.

편집 및 재구성: AXMOS 콘텐츠팀 | 최종 수정 2026-09-29

핵심 요약

MIT NANDA의 「The GenAI Divide: State of AI in Business 2025」는 300억~400억 달러의 기업 투자에도 조직의 95%가 생성형 AI에서 손익(P&L) 성과를 얻지 못했다고 밝혔습니다.
실패 지점은 퍼널에 드러납니다. 업무 맞춤형 AI 도구는 조직의 60%가 검토했지만 20%만 파일럿에 도달했고, 실제 정착은 5%에 그쳤습니다.
보고서가 꼽은 핵심 원인은 모델 성능이 아니라 학습 격차입니다. 도구는 피드백을 기억하지 못하고, 조직은 업무 흐름을 바꾸지 않았습니다.
S&P Global, McKinsey, 한국은행 조사도 같은 방향을 가리킵니다. 실패는 기술이 아니라 실행 구조의 문제이고, 그렇기 때문에 피할 수 있습니다.

기업 AI 전환은 정말 95%가 실패할까?

MIT 조사에서 조직의 95%는 생성형 AI 투자로 손익 성과를 얻지 못했습니다. 다만 이 숫자는 무엇을 쟀는지 정확히 알고 읽어야 합니다.

MIT NANDA 연구진(Aditya Challapally 외)은 2025년 1~6월 공개된 기업 AI 도입 사례 300건 이상을 검토하고, 52개 조직을 구조화 인터뷰했으며, 업계 콘퍼런스 4곳에서 고위 경영진 153명의 설문을 받았습니다. 보고서는 2025년 7월자로 작성돼 8월에 공개됐습니다(MIT NANDA, 2025).

결론은 "300억~400억 달러의 투자에도 조직의 95%가 수익을 얻지 못하고 있다"는 것입니다. 여기서 성공의 기준은 도입률이나 만족도가 아닙니다. 사용자나 경영진이 뚜렷하고 지속적인 생산성 또는 손익 효과를 확인했는지이고, ROI는 파일럿 이후 6개월 시점에 측정했습니다. 인터뷰 기반 자가 보고 수치라 보고서도 스스로 "방향성 수치(directionally accurate)"라고 밝혔습니다. 그래서 95%는 "AI가 쓸모없다"가 아니라 "대부분의 조직이 AI를 손익으로 연결하지 못했다"로 읽는 것이 정확합니다. 반대로 통합에 성공한 5%의 파일럿은 수백만 달러 단위의 가치를 만들고 있었습니다.

다른 조사도 같은 결과를 보여줄까?

MIT만의 결과가 아닙니다. 조사 기관과 방법은 달라도 "도입은 빠르고 성과는 드물다"는 결론은 같습니다.

조사	시점·대상	핵심 수치	시사점
MIT NANDA	2025, 조직 52곳 인터뷰 등	조직의 95%가 손익 성과 없음	도입과 전환은 다르다
S&P Global (451 Research)	2024~2025, 기업 설문	AI 과제 대부분을 중단한 기업 17% → 42%, PoC 과제의 평균 46%가 운영 전 폐기	실패는 PoC 이후 단계에서 급증
Gartner	2024.7 전망	2025년 말까지 생성형 AI 과제의 최소 30%가 PoC 이후 중단	데이터 품질, 비용, 불분명한 사업 가치가 원인
McKinsey	2026, 글로벌 설문	AI가 EBIT에 긍정적으로 기여했다는 응답 37%, 큰 성과를 낸 기업은 약 6%	확산돼도 성과는 소수에 집중
한국은행	2026, 국내 가계조사	AI로 업무시간 3.8% 단축, 실제 생산 증가와의 상관계수 0	시간 절감이 성과로 이어지지 않는 "생산성 단절"

특히 한국은행 분석은 국내 상황을 보여준다는 점에서 중요합니다. AI가 개별 작업의 효율은 높였지만 업무 흐름, 조직 구조, 인력 재배치로 확장되지 못해 생산성으로 이어지지 않았다는 해석입니다(한국은행, 2026). 직원에게 도구만 쥐여줬을 때 벌어지는 일은 직원에게 ChatGPT를 사줬는데 왜 ROI가 마이너스인가에서 자세히 다뤘습니다.

파일럿은 어디서 막힐까?

막히는 지점은 도입 단계별 퍼널에 그대로 나타납니다. 범용 도구는 널리 퍼졌지만, 업무에 맞춘 시스템은 정착 문턱에서 대부분 탈락합니다(MIT NANDA, 2025).

단계	범용 LLM 도구 (ChatGPT, Copilot 등)	업무 맞춤형 AI 도구
검토·탐색	80% 이상	60%
파일럿	약 50%	20%
도입·정착	약 40% (주로 개인 생산성 향상)	5%

직원들의 행동은 반대입니다. 공식 LLM 구독을 구매한 회사는 40%였지만, 조사 대상 기업의 90% 이상에서 직원들이 개인 AI 도구를 업무에 정기적으로 쓰고 있었습니다. 보고서가 "섀도 AI 경제"라고 부르는 현상입니다. 직원 개인은 이미 AI로 일하는 법을 찾았는데 조직의 공식 시스템만 성과를 못 낸다면, 문제는 기술 수용성이 아니라 조직이 AI를 업무 구조에 넣는 방식에 있습니다.

규모의 역설도 있습니다. 연 매출 1억 달러 이상 대기업은 파일럿 수가 가장 많았지만 파일럿이 본도입으로 이어지는 비율은 가장 낮았습니다. 중견 기업 가운데 성과가 좋은 곳은 파일럿에서 본도입까지 평균 90일이 걸린 반면, 대기업은 9개월 이상 걸렸습니다.

왜 실패할까: 학습 격차란 무엇인가?

학습 격차는 AI가 현장에서 배우고 개선되는 구조가 없는 상태를 말합니다. 보고서는 확산을 막는 핵심 장벽이 인프라도, 규제도, 인재도 아닌 "학습"이라고 결론 내렸습니다.

학습 격차는 두 층위로 나타납니다. 도구 층위에서는 대부분의 생성형 AI 시스템이 피드백을 기억하지 못하고, 맥락에 적응하지 못하고, 시간이 지나도 나아지지 않습니다. 조직 층위에서는 회사가 AI를 기존 업무 흐름에 끼워 넣을 뿐, 워크플로와 역할을 AI에 맞게 바꾸지 않습니다. 실제로 응답자들은 이메일 작성 같은 간단한 작업에는 70%가 AI를 선호했지만, 여러 주에 걸친 복잡한 업무에서는 90%가 사람을 선호했습니다. 차이를 만든 것은 지능이 아니라 기억과 적응 능력이었습니다.

그래서 데모는 성공하고 현장은 실패합니다. 데모 환경에서는 학습이 필요 없지만, 현장에서는 예외 상황과 피드백을 흡수하며 개선되는 구조가 없으면 도구가 금세 외면받습니다. 보고서의 한 인터뷰 응답처럼 "첫 주에는 유용하지만, 그다음부터 같은 실수를 반복"하기 때문입니다. AI를 얹기만 한 조직과 업무를 다시 짠 조직의 성과가 갈리는 이유도 같습니다(AI를 얹은 회사와 AI로 다시 짠 회사는 무엇이 다른가).

경영진의 역할도 빼놓을 수 없습니다. McKinsey는 25개 요인을 분석한 결과 워크플로 재설계가 생성형 AI의 EBIT 효과와 가장 강하게 연결된 요인이었고, 대기업에서는 CEO가 AI 거버넌스를 직접 챙기는 것이 EBIT 효과와 가장 강하게 연결됐다고 밝혔습니다(McKinsey, 2025). 학습 격차를 메우는 결정은 결국 경영진의 몫입니다.

성공한 5%는 무엇을 다르게 했을까?

MIT 보고서에서 확인되는 성공 조직의 행동은 나머지와 다섯 지점에서 달랐습니다.

구분	대부분의 조직	성과를 낸 조직
예산 배분	생성형 AI 예산의 약 절반을 영업·마케팅처럼 성과가 잘 보이는 부서에 배정	회수가 빠른 백오피스 업무도 공략. BPO 계약 대체로 연 200만~1,000만 달러, 외부 대행비 30% 절감 사례
구축 방식	내부 단독 구축 (배포 도달률 약 33%)	외부 전문 파트너와 공동 구축 (약 67%, 내부 구축의 2배)
과제 발굴	중앙 AI 조직이 과제를 선정	현업 관리자와 AI를 먼저 써본 직원이 문제를 제기하고 도입을 주도
평가 기준	모델 성능, 데모 완성도	운영 성과 지표(처리 시간, 비용 등)
실행 속도	대기업 평균 9개월 이상	상위 중견 기업 평균 90일

특히 구축 방식의 차이가 큽니다. 보고서는 이 수치가 자가 보고에 기반하고 인과관계를 증명하지는 않는다고 밝혔지만, 인터뷰 전반에서 차이의 크기는 일관됐습니다. AI 전환의 관건이 모델 개발 능력이 아니라 현장 업무를 아는 사람과 구현할 줄 아는 사람이 한 팀으로 움직이는 실행 체계라는 뜻입니다. 현장에 상주하며 프로세스 재설계와 구현을 함께 수행하는 FDE(Forward Deployed Engineer)가 주목받는 이유이기도 합니다(FDE란 무엇인가).

95%에서 벗어나려면 무엇부터 해야 할까?

1단계. 성공 기준을 손익 지표로 먼저 정합니다

파일럿을 시작하기 전에 "무엇이 달라지면 성공인가"를 처리 시간, 건당 비용, 오류율 같은 숫자로 정하고 현재 값을 측정해 둡니다. 성공 기준이 데모 완성도라면 파일럿은 끝나지 않습니다.

2단계. 회수가 빠른 프로세스 하나를 고릅니다

정산, 문서 처리, 분류, 보고처럼 반복 빈도가 높고 결과를 검증하기 쉬운 업무가 좋습니다. 눈에 띄는 부서보다 비용이 명확히 줄어드는 곳이 먼저입니다.

3단계. 배우는 구조를 함께 설계합니다

예외 상황을 누가 처리하는지, 현장 피드백이 어떻게 시스템에 반영되는지, 사람이 어느 단계에서 승인하는지를 처음부터 업무 흐름에 넣습니다. 학습 격차는 도구가 아니라 이 구조에서 메워집니다.

4단계. 짧은 주기로 판정하고 확장합니다

현장을 아는 사람과 구현하는 사람이 한 팀으로 움직이며, 몇 달이 아니라 몇 주 단위로 전후 수치를 확인합니다. 효과가 검증된 프로세스부터 다음 업무로 넓힙니다. AX의 기본 개념은 AX(AI 전환)란 무엇인가에서 정리했습니다.

자주 묻는 질문

95% 실패율은 과장된 숫자 아닌가요?

기준을 알면 과장이 아니지만, 한계도 함께 읽어야 합니다. 이 조사의 기준은 도입 여부가 아니라 손익(P&L)에 잡히는 성과이고, 인터뷰와 설문에 기반한 자가 보고 수치라 보고서 스스로도 "방향성 수치"라고 밝힙니다. "AI가 쓸모없다"가 아니라 "조직 단위 성과로 연결되지 못한 경우가 대부분"으로 읽는 것이 정확합니다.

실패의 가장 큰 원인 하나만 꼽는다면 무엇인가요?

학습 격차입니다. 도구가 피드백을 기억하고 업무 맥락에 적응하는 구조, 그리고 조직이 워크플로를 AI에 맞게 다시 짜는 구조가 없으면 데모가 아무리 좋아도 현장에서 정착하지 못합니다.

우리 회사가 95%에 속하는지 어떻게 확인하나요?

AI 도입 전후로 달라진 프로세스 지표(처리 시간, 건당 비용, 오류율)를 하나라도 제시할 수 있는지 확인해 보세요. 제시할 수 없다면 아직 95% 구간에 있을 가능성이 큽니다.

파일럿을 건너뛰고 바로 전면 도입하면 되나요?

아닙니다. 문제는 파일럿 자체가 아니라 끝나지 않는 파일럿입니다. 성과를 낸 조직도 파일럿을 하되, 회수가 빠른 프로세스 하나에 집중하고 짧은 기간 안에 손익 지표로 본도입 여부를 판정했습니다.

외부 파트너와 함께하면 무조건 성공률이 높아지나요?

그렇지는 않습니다. MIT 조사에서 외부 파트너십의 배포 성공률(약 67%)이 내부 단독 구축(약 33%)의 2배였지만, 보고서는 이것이 인과관계를 증명하지는 않는다고 밝혔습니다. 중요한 것은 파트너 여부보다 현장 업무를 아는 사람과 구현할 줄 아는 사람이 한 팀으로 움직이는 실행 구조입니다.

그래서 기업은 무엇을 해야 하나

95%의 실패는 기술의 실패가 아니라 구조의 실패입니다. 회수가 빠른 프로세스 하나를 골라, 현장과 구현을 한 팀으로 묶고, 짧은 기간 안에 전후 수치를 만들어 내는 것. 데이터가 가리키는 5%의 경로는 그렇게 요약됩니다.

AXMOS는 이 경로를 실행 구조로 만듭니다.

진단: FDE(전방 배치 엔지니어)가 현장에 들어가 실제 업무 흐름을 관찰하고, 자동화 효과가 가장 큰 업무를 찾습니다.
실행 구조: 흩어진 시스템과 도구, 수작업으로 이어지던 업무 흐름을 AI 중심으로 다시 설계합니다. 기존 시스템 분석, AI 에이전트 설계·개발, 검증·배포·운영까지 평균 3주 안에 가동합니다.
검증: KPI로 도입 전후의 성과를 증명하고 조직에 내재화합니다. 빠른 구축이 필요하면 AXMOS 팀이 직접 구축하는 AX Build, 내부 역량을 키우려면 교육과 공동 구축을 병행하는 AX Grow로 시작할 수 있습니다.

우리 회사의 AI 파일럿이 성과 없이 반복되고 있다면, 가장 많이 반복되는 업무 하나를 기준으로 자동화 가능성과 예상 ROI부터 진단해 보세요. AXMOS 알아보기 또는 AX 진단 문의하기