2025년 들어 기업 의사결정층의 가장 흔한 회의실 질문이 이것이다: “우리는 정말 지금 AI를 도입해야 하나?”
언뜻 이상하다. GPT-4가 출시된 지 2년이 지났고, Microsoft는 모든 Office 제품에 Copilot을 밀어붙였으며, Google은 Gemini를 자사 클라우드 서비스의 기본값으로 설정했다. 그렇다면 가장 발 빠른 기업들은 이미 단계를 넘어섰고, 따라오는 기업들은 당연히 따라와야 한다. 그런데 실제는 다르다. 초기 추진 그룹의 성과가 ‘혼재되어’ 있기 때문이다.
초기 도입자들의 조용한 재평가
금융권부터 시작해보자. JP Morgan Chase, Bank of America, Goldman Sachs 같은 대형 은행들은 지난 18개월간 생성형 AI 파일럿을 대대적으로 실행했다. 법률 문서 검토 자동화, 거래 분석 가속, 고객 서비스 챗봇 배포. 내부 보고서들이 유출될 때마다 “생산성 40% 향상” 같은 수치가 따라다녔다.
하지만 2025년 Q3 어닝콜에서 이상한 현상이 나타났다. 투자자들이 “AI로 인한 비용 절감이 실제로 P&L에 반영되는가”를 물었고, CFO들의 대답이 일관되게 조심스러워진 것이다. 은행들이 발표한 자료를 분석해보면, 파일럿 단계의 생산성 향상이 전사 배포로 이어질 때 50% 이상 희석되는 패턴이 보인다.
가장 핵심적인 이유는 세 가지다.
첫째, 데이터 품질 문제가 통제 불가능 수준이다. 법률 검토 자동화가 작은 팀의 100건 계약에선 잘 작동하지만, 전사 5,000건을 돌릴 때 레거시 형식, 국가별 차이, 과거 합의건의 불규칙성 때문에 오류율이 급증한다. 은행 입장에서는 AI 생산성 이득이 법적 리스크보다 작다고 판단한 것이다.
둘째, 조직 변화 비용이 예상을 훨씬 초과한다. 업무 프로세스를 AI 친화적으로 재설계하려면 현장 직원의 훈련, 거버넌스 규칙 재구성, 감시 체계 구축에 초기 예상의 2~3배 비용이 든다. McKinsey 조사(2025.Q2)에 따르면 AI 도입 기업의 60%가 ‘조직 변화 비용 과다’를 주요 지연 사유로 꼽았다.
셋째, 경쟁 우위의 지속성이 불명확하다. 생성형 AI 모델 자체는 상품화되어 있다. Microsoft Copilot이나 Google Gemini나 OpenAI API나 비용과 성능이 비슷하다. 따라서 특정 기업이 먼저 도입해도 경쟁사가 6개월 뒤에 같은 도구로 같은 작업을 자동화할 수 있다. ROI를 정당화하기 어려워진 것이다.
후발 추종자들의 수렴 현상
이것이 후발 기업들의 의사결정을 바꿨다.
2024년만 해도 “우리도 빨리 도입하지 않으면 뒤떨어진다”는 FOMO(Fear of Missing Out)가 CIO와 CEO 사이에 팽배했다. 그래서 많은 기업들이 파일럿을 시작했다. 하지만 2025년 중반부터는 분위기가 반대로 바뀌었다. “저 회사들이 이미 2년 했는데도 아직도 파일럿 단계네? 우리는 더 신중하게 접근하자”는 논리가 승리한 것이다.
실제 통계가 이를 뒷받침한다. Forrester의 ‘2025 Global CIO Survey’에 따르면:
- 전사 AI 배포 계획을 재연기한 기업: 2024년 12% → 2025년 34%
- “ROI를 확인할 때까지 대기”를 명시한 기업: 41%
- AI 예산을 삭감하거나 동결한 기업: 28%
이는 단순 지연이 아니라 전략적 관망으로 해석된다. 후발 기업들은 선발주자들의 시행착오로부터 학습하고 있는 것이다.
SaaS 기업들의 성장 곡선 꺾임
이 변화는 곧장 SaaS 기업들의 성장에 영향을 미쳤다.
Microsoft는 가장 직접적인 피해를 입었다. 2024년 애널리스트들은 Copilot 구독 서비스가 하나의 $5B 수익원이 될 것으로 전망했다. 그러나 2025년 Q2 실적에서 Microsoft는 Copilot Pro(개인용) 가입자를 공개하지 않았고, 엔터프라이즈 Copilot 도입률이 “예상보다 느린 진행”임을 인정했다. 실제로 기업용 Copilot의 전사 배포 계약은 예상의 40% 수준에 머물렀다.
Google Cloud도 비슷한 상황이다. Duet AI(후에 Gemini로 통합)는 처음에 “기업 생산성 혁명”의 기함으로 불렸지만, 실제 채택은 엔터프라이즈 고객 중 20~25% 수준에 그쳤다. 대부분의 조직이 “파일럿은 하되, 전사 배포는 next year”라는 답변을 반복 중이다.
더 흥미로운 것은 Salesforce, Adobe, Atlassian 같은 애플리케이션 회사들의 반응이다. 이들은 자신들의 소프트웨어에 AI를 임베딩했지만, 기업 고객들이 그 기능의 활성화를 미루고 있다. Salesforce는 2025년 3월 어닝콜에서 “Einstein AI의 채택 속도가 예상보다 8개월 지연되었다”고 발표했다.
검증 가능한 ROI 대기의 경제학
왜 이런 일이 일어났는가? 기업들이 기다리는 것은 단순히 ‘기술 안정화’가 아니라 측정 가능한 ROI의 증거다.
AI 도입의 이면에는 숨겨진 비용들이 있다:
- 모델 미세조정 비용: 기업 특화 데이터로 모델을 재훈련하는 것이 예상보다 훨씬 복잡
- 데이터 준비 비용: 레거시 시스템의 데이터를 정제하는 데 초기 프로젝트 예산의 50~70%
- 감시 및 규제 준수: AI의 결정을 감시하고 편향을 검증하는 인력과 도구
- 실패 비용: AI가 특정 작업을 못 할 때 그것을 사람이 다시 하는 비용
이런 비용들은 파일럿에서 드러나지 않는다. 파일럿은 보통 200명, 한 가지 프로세스, 3개월이라는 제한된 범위에서 진행되기 때문이다. 하지만 5,000명, 15개 프로세스, 지속적 운영으로 확대할 때 비용 구조가 완전히 달라진다.
초기 도입 기업들이 이것을 경험했고, 후발 기업들은 그것을 보고 있는 중이다.
시장의 재구성
이 현상은 AI 벤더의 경쟁 지형도 바꾸고 있다.
NVIDIA는 아이러니하게도 가장 큰 수혜자다. 기업들이 “우리 데이터로 특화된 모델을 만들자”는 방향으로 선회하면서 GPU 수요가 (생성형 AI 서비스 호출이 아니라) 온프레미스/프라이빗 모델 훈련으로 몰려가고 있다. NVIDIA의 H100, H200은 이런 고객들의 최우선 선택지다.
Oracle은 ERP 시스템에 AI를 deeply 임베딩하는 경로로 간다. 기업들이 “범용 AI”에서 신뢰를 잃으면서 “우리 비즈니스 로직을 아는 AI”로의 수렴이 일어나고, 이것은 ERP 벤더들에게 유리한 환경이다.
Microsoft와 Google은 단기적으로 Copilot/Gemini의 엔터프라이즈 전환율 둔화를 견디야 한다. 하지만 장기적으로는 클라우드 인프라 사업(Azure OpenAI Service, Vertex AI)으로의 이동이 전략이다. 기업들이 “범용 SaaS 추가 비용”에서 “프라이빗 모델 구축 기반”으로 옮겨가면, 클라우드 용량(GPU, 스토리지, 네트워킹)에 대한 지출은 오히려 증가한다.
2026년의 전망
현재의 ‘대기 상태’가 언제까지 지속될까?
2026년 중반까지는 상황이 더 심할 수 있다. 가장 초기 도입 기업들의 “1년 실운영” 결과가 2026년 Q1~2에 정산되는데, 현재 신호들로 보면 결과가 “생각보다 좋지도, 나쁘지도 않다”는 것이 명확해질 것이기 때문이다. 그 순간 후발 기업들은 더더욱 신중해질 가능성이 높다.
그 대신 구체적인 수직(Vertical) 산업들에서는 2026년부터 빠른 채택이 시작될 수 있다. 금융 거래, 제약 신약 발굴, 반도체 설계 같이 ROI 계산이 명확한 분야에서는 AI가 빠르게 침투할 것이다. 하지만 이것은 “전사 AI 도입”이 아니라 “특정 고가치 프로세스 자동화”일 것이다.
결론적으로, 2025년부터 시작된 “검증된 ROI 대기”는 단순 지연이 아니라 기업 AI 도입 패러다임의 변화를 신호하고 있다. 희망적 기술 수용에서 경제적 실사(Due Diligence) 중심으로의 전환. 이것이 SaaS 기업들의 성장 곡선을 2~3년 늘릴 수 있고, 그 사이에 강화된 경쟁력을 갖춘 기업들만 남을 것이다.