娇色导航

AI 프로젝트의 실패율이 높다는 보고가 넘쳐나는 반면, 상당수 조사에서는 대부분 기업이 AI 투자에서 이미 긍정적인 비즈니스 효과와 수익률을 보고 있다고 밝히고 있다.

예를 들어 IBM이 5월에 발표한 CEO 2,000명을 대상으로 한 글로벌 조사에 따르면, AI 이니셔티브 중 기대한 ROI를 달성한 비율은 25%에 불과하며, 기업 전반으로 확장된 경우는 16%에 그쳤다. 또 다른 조사에서는 인포매티카 의뢰로 웨이크필드 리서치가 기업 임원 600명을 대상으로 조사한 결과, 67%가 생성형 AI 파일럿 프로젝트의 절반조차 프로덕션 환경으로 전환하지 못했다고 답했으며, 97%는 파일럿 프로젝트의 비즈니스 가치를 입증하는 데 어려움을 겪고 있다고 밝혔다. 그러나 상반된 결과를 보여주는 조사도 있다.

4월 엔터프라이즈 스트래티지 그룹은 비즈니스 및 IT 리더 1,900명을 대상으로 조사했으며, AI 솔루션을 도입한 응답자 중 92%는 이미 투자 비용을 회수했다고 답했다. 이 중 생성형 AI 이니셔티브의 ROI를 수치화한 1,200명 이상은 평균 41%의 수익률을 기록했다고 밝혔다. 이는 매출 증대, 비용 절감 또는 이 둘 모두의 효과였다.

양쪽 결과를 동시에 보여주는 조사도 있다. 2월 IDC가 레노버의 의뢰로 IT 및 비즈니스 의사결정자 약 3,000명을 대상으로 실시한 조사에 따르면, 68%는 AI 이니셔티브가 기대를 충족했다고 답했고, 26%는 기대를 초과했다고 밝혔다. 그러나 기업이 실행한 평균 33건의 AI PoC 중 실제 프로덕션 단계에 진입한 것은 4개에 불과해 실패율이 88%에 달했다.

그렇다면 실제로 무슨 일이 벌어지고 있는 걸까? 문제의 핵심은 AI 프로젝트의 성공 또는 실패를 어떻게 측정하느냐에 달려 있다. CIO의 핵심 과제로 AI가 급부상하고 있는 지금, AI가 어디에서 가치를 창출하는지, 어떻게 이를 측정할 수 있는지, 그리고 기업에 의미 있는 지표는 무엇인지 파악하는 일이 매우 중요하다. 비즈니스 혁신의 관점에서 숫자가 항상 진실을 말하는 것은 아니다.

실패하도록 설계된 파일럿 프로젝트

우선 ‘대부분의 AI 프로젝트가 실패한다’는 주목을 끄는 통계부터 살펴보자. 이는 부정적인 의미로 해석되곤 하지만, 사실 PoC(개념 검증)나 파일럿 프로젝트는 항상 성공하도록 설계된 것이 아니다. 파일럿의 목적은 가능성이 낮은 아이디어를 걸러내고, 가장 유망한 아이디어에 집중하도록 돕는 데 있다. 실패율이 높다는 것은 다양한 가능성을 실험하고 있다는 뜻이며, 이는 긍정적인 신호다.

초기 단계에서 더 많은 프로젝트가 실패할수록, 실제 프로덕션 단계에 진입한 프로젝트가 비즈니스 가치를 창출할 가능성도 높아진다. 또한 성공 사례가 많아질수록 기업은 더 많은 실험을 시도하고, 더 많은 가치를 창출할 기회를 얻게 된다.

실제로 한 기업의 모든 PoC와 파일럿이 프로덕션으로 전환된다면, 이는 기업이 창의적이거나 혁신적이지 않고, 실험 자체가 부족하다는 의미일 수 있다. 프로젝트의 프로덕션 전환 건수는 성공 지표로 적절하지 않으며, 이사회, 임원진, 사업부 리더, 직원, 파트너, 고객의 압박이 있다 해도 이 기준에 집착해서는 안 된다.

따라서 파일럿 프로젝트는 대부분 실패하지만, 동시에 기업이 긍정적인 ROI를 보고하는 것은 모순이 아니다. 결함이 아니라 기능이다. 가장 중요한 것은 많은 AI 프로젝트를 프로덕션에 올리는 것이 아니라, 올바른 AI 프로젝트를 올리는 것이다. 헬스케어 운영 전문 기업 UST 헬스프루프의 최고 AI 아키텍트 로샤 포카렐은 파일럿 없이 바로 전체 배포에 나서는 것이 기업이 저지를 수 있는 가장 큰 실수라고 경고했다.

포카렐은 “개념 검증은 보통 수백 개의 데이터만으로 진행된다. 하지만 프로덕션으로 확장할 때는 수백만 개의 데이터에서도 실제로 동작하며, 비즈니스 기준과 사용자 요구에 부합하는 정확도를 제공하는지를 입증해야 한다”라고 설명했다.

이 데이터 문제가 해결되지 않으면 프로젝트는 실패하며, 확장에 들어간 비용은 모두 낭비된다. 마찬가지로, AI 설계자가 개념 검증 단계에서 사용자 요구를 충분히 고려하지 않고, 확장한 뒤 아무도 사용하지 않는다면 이 또한 큰 비용 손실이다.

따라서 ROI를 측정할 시점을 잘 선택해야 한다. 포카렐은 “PoC에 들어간 투자는 ROI 계산에 포함시키면 안 된다”라고 지적했다. 또, “POC는 ROI를 계산하는 단계가 아니라 빠르게 실패를 유도하는 실험 구간이다. 어떤 아이디어가 실현 가능하고, 실행 가능하며, 유용하고, 가치가 있으며, 확장 가능한지를 검증하는 것이 PoC의 목적이다. 이때 필요한 예산은 R&D나 혁신랩에서 충당해야 한다”라고 덧붙였다.

빠른 실험과 손실 최소화를 강조하는 문화는 포카렐 만의 생각이 아니다. 사건 대응 전문 기업 페이저듀티(PagerDuty)의 娇色导航에릭 존슨은 “우리가 따랐던 철학은 ‘빠르게 실패하라’였다”라고 말했다. 페이저듀티는 내부 운영과 제품·서비스 모두에 생성형 AI와 AI 에이전트를 도입해 운영 중이다. 존슨은 “실험을 시작하고, 잘 작동하는 경우는 그대로 이어갔다”라고 밝혔다.

물론 실패한 아이디어도 있다. 존슨은 “대부분은 잘못된 사용례를 선택하거나, 어떤 기술을 만들기 위해 얼마나 많은 작업이 필요한지 충분히 파악하지 못했거나, 기대한 만큼의 효과가 없었던 경우였다”라고 덧붙였다.

직접 구축과 구매 방식의 장단점

파일럿 프로젝트의 비용을 줄이기 위해 페이저듀티는 기술을 처음부터 자체 개발하지 않기로 했다. 실제로 상용 솔루션은 선불 비용 대신 무료 체험 기간을 제공하거나 비용을 협상할 수 있다.

존슨은 “새로운 AI 에이전트를 시험할 때, 실제 가치가 입증될 때까지 비용을 지불하지 않겠다고 말한다. 많은 서비스 업체가 이런 논의를 수용한다. 가치를 입증하지 못하면 계약 갱신이 어렵다는 걸 알기 때문이다. 고객이 기대한 만큼의 가치를 얻도록 보장하는 것이 이들의 목표다”라고 설명했다.

상용 솔루션을 활용해 즉각적인 효과를 본 또 다른 사례는 코로케이션 전문 기업 플렉센셜(Flexential)이다. 플렉센셜의 COO 라이언 멜러리는 “우리 AI 정책을 지원하는 기성 솔루션을 사용하는데, 이는 이들 솔루션이 우리 데이터로 공공 모델을 학습하지 않는다는 의미다”라고 밝혔다.

또한 기존 제품에 포함된 AI 기능을 활용하면, 이미 확립된 워크플로우에 통합돼 있어 ROI 측정이 훨씬 쉬워진다. 특히 고객 지원이나 영업 분야에서는 기준선이 있기 때문에 비교 분석이 수월하다. 멜러리는 “우리가 하고 있는 모든 작업은 직접적인 ROI를 창출하고 있으며, 예측을 충족하거나 초과하고 있다”라고 강조했다.

특히 플렉센셜이 사용하는 새로운 AI 도구는 대부분 기존 기술 스택에 플러그인 형태로 탑재된다. 이 때문에 배포와 확장이 매우 용이하다. 멜러리는 “언젠가는 자체 모델을 도입할 예정이며, 약 18개월 후쯤이 될 것으로 보고 있다”라고 덧붙였다.

핵심 지표는 고객

최고의 ROI 지표는 결국 수익에 미치는 영향이다. 하지만 다양한 AI 프로젝트와 다른 전략 이니셔티브가 동시에 진행되고, 비즈니스 환경과 경제 상황도 계속 변화하는 만큼, 개별 프로젝트의 효과를 정확히 파악하기는 어렵다.

맥킨지가 3월 발표한 보고서에 따르면, 생성형 AI가 EBIDA의 5% 이상에 기여한다고 응답한 기업은 17%에 불과하며, 80% 이상은 생성형 AI가 실질적인 영향을 주지 못했다고 밝혔다. 이 때문에 많은 기업은 대체 지표를 활용할 수밖에 없으며, 가장 효과적인 지표는 고객 만족도, 유지율, 입소문 추천이다.

예를 들어 플렉센셜은 여러 영업 및 고객 지원 업무에 생성형 AI를 도입했다. 멜러리는 “완전히 수익성과 직결된다”라며, “고객 이탈률이 줄고 있다. 고객 만족도가 높아지고, 요구 사항이나 문제에 더 빠르게 대응할 수 있게 되면, 고객이 서비스를 떠날 가능성도 낮아진다”라고 설명했다. 또한 AI 기반 고객지원 에이전트를 워크플로우에 통합한 이후, 평균 응답 시간이 20% 줄었고, 티켓 해결 시간 평균은 25% 단축됐다.

이처럼 고객 만족도를 통해 AI의 가치를 입증한 기업은 또 있다. IBM 조사에 따르면, CEO의 65%는 제품·서비스 기능보다 고객 신뢰 유지가 기업 성공에 더 큰 영향을 미친다라고 답했다. 업종을 불문하고, 고객 충성도가 ROI를 견인하는 핵심 요소라는 것이다.

비용 절감

단기적으로는 비용 절감이 많은 기업에게 빠른 성과로 이어지고 있으며, ESG 조사에 따르면 생성형 AI를 도입한 기업 중 51%는 이를 가장 중요한 우선순위로 꼽았다. 실제로 88%는 효율성이 실질적으로 개선됐다고 답했다.

보스턴 컨설팅 그룹(BCG)의 수석 파트너 데이비드 마틴은 “특히 일부 고객사는 산업 전반의 압박 속에서 비용에 매우 민감한 상황”이라며, “단기적인 주주가치 회복과 동시에 미래에 대한 투자도 병행해야 한다는 압박을 받고 있다”라고 말했다.

기업이 생산성 향상을 통해 이를 금전적 가치로 전환할 수 있는 영역은 다양하다. 마틴은 “예를 들어 고객 서비스 영역에서는 콜 수를 줄이거나 상담원이 더 빠르게 업무를 처리할 수 있게 하거나, 외부 업체에 콜센터 운영 비용을 지불하고 있다면, 이런 개선은 곧바로 비용 절감으로 연결된다”라고 설명했다.

BCG 조사에 따르면, 직원의 47%는 생성형 AI 덕분에 하루에 1시간 이상을 절약하고 있으며, 대부분 이 시간을 더 많은 업무에 활용하고 있다. 또 44%는 전략 과제를 수행하고 있으며, 34%는 직무 능력 향상을 위한 활동에 투자하고 있다. 마틴은 많은 기업이 비용 절감과 생산성 향상을 동시에 추구하면서 미래를 위한 투자도 병행하고 있다고 강조했다. 또, “기업은 AI가 조직에 미치는 영향을 진지하게 고민하고 있다”라고 덧붙였다.

비즈니스 성장

비용을 절감해 얻을 수 있는 효과는 제한적이지만, 새로운 비즈니스 기회를 창출하거나 신시장에 진입한다면 사실상 무한한 성장 가능성이 생긴다.

ESG 조사에서 생성형 AI 도입의 세 번째 주요 동기는 혁신 성과 개선이다. 실제로 84%는 AI가 혁신 속도를 높이고 있다고 응답했다. 이로 인해 단기적으로도 정량화 가능한 비즈니스 기회가 생기고 있다. 예를 들어 플렉센셜은 특정 콘텐츠 유형과 연계된 AI 챗봇을 웹사이트에 도입한 이후 잠재 고객이 늘었다.

멜러리는 “잠재 고객 미팅 예약 건수가 약 5배 증가했다”라며, “이 데이터는 영업 파이프라인과 계약 성사율과도 연결돼 있어 정량적 분석이 가능하며, 우리 팀에 매우 효과적으로 작동하고 있다”라고 밝혔다.

플렉센셜은 영업 담당자에게 필요한 회의 노트, 수익 인사이트 등 다양한 리소스를 제공하는 AI 기반 영업 지원 기능도 빠르게 도입했다. 멜러리는 “정확한 정보를 제공하면 영업 담당자의 생산성이 높아진다. 고객 응대 방식을 AI로 보완한 결과, 계약 성사율도 높아졌다”라고 강조했다.

미국 KPMG 고객·시장 부문 총괄 파트너 토드 로어는 AI 기반 성장 기회와 리스크 모두에 집중해야 한다고 지적했다. 로어는 “AI는 기존 비즈니스 모델을 위협하고 있다. 시장 진입 장벽과 구조를 바꾸고 있다”라며 “운영 모델이 아닌 비즈니스 모델 관점에서 접근해야 조직의 지속가능성과 성공, 생존을 보장할 수 있다”라고 설명했다.

IBM 조사에 따르면 CEO의 68%는 AI가 비즈니스의 핵심 요소를 변화시키고 있다고 답했다. 이 변화는 즉각적인 ROI에는 반영되지 않지만, 장기적인 생존을 위한 핵심 요소다. 이 같은 변화는 대부분 AI에 의해 촉발되고 있으며, CEO의 61%는 경쟁 우위가 가장 발전된 생성형 AI 역량에 달려 있는 것으로 인식하고 있다.

로어는 “이제 고객사는 AI가 사업을 변화시킬 수 있는지를 묻지 않는다. 얼마나 빠르게 배포할 수 있는지를 묻는다”라며, “이는 단순한 기술 도입이 아니라, 업무 방식과 성과 측정 방식을 근본적으로 재설계하는 비즈니스 혁신의 문제다”라고 강조했다.

불확실성을 수용하라

키뱅크 캐피털 마켓(KeyBanc Capital Markets)의 애널리스트 잭슨 에이더는 CIO가 자신이 추진하는 AI 프로젝트의 ROI를 정확히 모르는 경우가 많다고 밝혔다. 에이더가 조사한 바에 따르면, CIO의 ROI 기대치는 제각각이었다.

에이더는 “CIO가 수백만 달러를 AI에 투자하면서 수익률이 한 자릿수일 거라고 기대하진 않을 것”이라며, “현재는 여전히 실험 단계에 있다고 보는 것이 현실적이다”라고 분석했다.