娇色导航

생성형 AI가 IT 전반을 재편하고 있다. 하지만 시가총액 390억달러 규모 캐피털원의 AI 전략 책임자는 많은 CIO가 생성형 AI 비용을 잘못 계산한 탓에 생성형 AI 전략과 관련해 “돌이킬 수 없을 만큼 나쁜 결정”을 내리고 있다고 지적했다.

캐피털원 엔터프라이즈 AI 책임자인 수석 부사장 프렘 나타라잔은 생성형 AI 비용의 경제성이 급격히 변화하고 있어 기존 재무 도구를 활용해 ROI을 계산하는 것은 접근이 잘못된 방식이라고 말했다.

나타라잔은 “지난 22개월 동안, 동일한 성능 기준으로 추론 비용이 1,000배 이상 줄었다”라며, “2년 전에는 추론에 10달러가 들었던 작업이 이제는 1센트면 된다. 비용이 이렇게 급변하는 환경에서는 생성형 AI 투자를 정당화하기 위해 단기 ROI를 정밀하게 예측하려는 시도는 실패할 가능성이 크다”라고 강조했다.

또한, 이런 경제성의 변화를 “세대적 굴절의 단발마”이라고 표현하며, ROI 예측에 집착하는 CIO는 “변혁적 기술의 물결 앞에서 ROI 계산에만 집착하다 되돌릴 수 없는 실수를 저지르고 있다”고 경고했다.

나타라잔은 2023년 3월 아마존에서 캐피탈원으로 합류했는데, 아마존에서는 알렉사 AI 부문 부사장으로 약 5년간 일했다. 나타라잔은 현재 캐피탈원에서 “수백 페타바이트의 데이터를 관리 중이며, 몇 년 안에 엑사바이트 규모로 증가할 것”이라고 밝혔다. 이 방대한 데이터는 AI를 최적화하는 데 있어 핵심 자산이다. 나타라잔은 데이터 거버넌스와 접근성을 AI 성공의 또 다른 열쇠라고 생각한다.

무어 인사이트 앤 스트래티지에서 AI 부문 대표 애널리스트 제이슨 앤더슨은 나타라잔의 ROI 관련 주장이 타당하다고 평가했다. 앤더슨은 “캐피탈원 같은 기업은 AI를 어떻게 배치하고 어떻게 AI 애플리케이션을 구축할지에 대해 매우 정교한 전략을 세우기 시작했다”라며, “사실 지금까지 AI처럼 빠른 속도로 움직인 기술 트렌드는 지금껏 본 적이 없다”라고 덧붙였다.

이런 속도는 많은 IT 책임자를 당황하게 만들었다. 앤더슨은 “기존에는 잘 작동하던 기법이 더 이상 통하지 않는다. 지금 같은 속도에서는 기존처럼 투자 규모를 예측하려는 방식이 전혀 도움이 되지 않는다. 전통적인 방법을 고수한다면, 애초에 이 흐름을 이해할 수 없다”라고 설명했다.

또, 추론 단가가 급감한 것은 맞지만, 지금은 2년 전보다 “1,000배는 복잡한 작업과 쿼리를 처리해야 하는 상황”이라고 덧붙였다.

클라우드와 데이터 자산의 시너지

2023년 3월 캐피탈원에 합류했을 당시, 챗GPT는 출시된 지 고작 4개월밖에 되지 않았다. 15년 넘게 존재했던 생성형 AI는 챗GPT가 출시되기 전까지 경영진과 이사회에서는 본격적인 논의 대상조차 되지 못했다. 나타라잔은 “입사 후 8~9주간은 굉장히 숨가쁘게 움직였다. 주 3회 이상, 몇 시간씩 회의를 진행했다. 5월 말까지는 실행 방향이 정리됐고, 6월부터는 실제 개발에 착수했다”고 말했다.

나타라잔은 어떤 형태의 AI이든, “데이터 경쟁력이 곧 AI/ML의 경쟁력”이라고 강조했다. 캐피탈원이 보유한 방대한 독점 데이터는 생성형 AI 애플리케이션과 차별화된 기능 개발의 핵심 자산이었다. 그리고 자체 평가 결과, 폐쇄형 모델은 유의미하게 커스터마이징할 수 없기 때문에 사용할 수 없었다.

캐피탈원 AI팀은 결국 메타의 오픈소스 라마 LLM을 선택했고, 이전부터 구축돼 있던 퍼블릭 클라우드 기반 위에서 AI 솔루션 개발에 착수했다. 나타라잔은 “캐피탈원은 퍼블릭 클라우드로 완전 전환한 첫 번째, 그리고 현재까지 유일한 은행이다. 2년에 걸쳐 모든 데이터센터를 폐쇄하고 AWS로 이전했다. 우리는 클라우드 네이티브 개발자가 됐다”고 강조했다.

캐피탈원은 약 1만 4,000명의 IT 전문가를 고용하고 있다. 그만큼 인재도 중요하지만, 데이터가 더 핵심이다. 나타라잔은 “최고 수준의 기술 조직은 만들 수 있지만, 30년치 데이터를 하루아침에 만들어낼 수는 없다. 그걸 살 수도 없다. 누가 그걸 팔겠는가?”라고 반문했다. 또, “우리가 말하는 데이터는 비자나 마스터카드에서 얻을 수 있는 단순 거래 데이터가 아니라, 훨씬 더 깊이 있는 데이터다”라고 덧붙였다.

데이터 품질과 검색 가능성 역시 핵심 과제이다. 기업 내부의 데이터 저장소에는 무수히 많은 인사이트가 잠재되어 있지만, 데이터가 깨끗하지 않거나 검색이 불가능하면 그 인사이트는 접근조차 할 수 없다. 특히 비정형 데이터는 기존 머신러닝 알고리즘으로는 거의 활용할 수 없는 영역으로 남아 있었다. 나타라잔은 “비정형 데이터에 숨어 있는 인사이트와 기능은 지금까지 파묻힌 채 있었지만, 이제는 생성형 AI 덕분에 활용 가능해졌다”라고 강조했다.

많은 생성형 AI 구축 환경에서 흔히 발생하는 환각 문제에 대해서는 허용된 질의 대상을 자사 내부 데이터로 제한함으로써 대부분의 문제를 회피하고 있다. 나타라잔은 “우리는 세상의 호기심을 충족시킬 필요가 없다. 고객이 아주 구체적인 내용을 알고 싶어 할 때만 답변하면 된다. 이 답변은 우리가 직접 구성한 지식 기반과 데이터베이스에서 가져온다. 우리가 대답할 수 있는 질문만 대답한다”라고 설명했다.

또한 캐피탈원은 데이터 안전장치를 맞춤형으로 설계하고, AI의 출력 결과를 사람이 직접 검증하는 휴먼 인 더 루프(humans-in-the-loop, HITL) 체계를 운영하며, RAG 기법을 적극적으로 활용하고 있다. 나타라잔은 “사람이 답변을 수정하는 횟수를 줄이려는 것이 목표다. 이상적으로는 0으로 만들고 싶다. 사람이 수정할 때마다, 우리는 그로부터 학습하려고 한다”라고 덧붙였다.

이 같은 방식은 캐피탈원의 고객 응대 모델에서도 성과를 내고 있다. 나타라잔은 고객 서비스 담당자가 고객의 문의를 더 빠르고 정확하게 해결할 수 있도록 돕고 있다며, “예를 들어, 고객이 카드 결제 거절이 일일 한도에 포함되는지 문의하면, 상담원은 이 도구를 활용해 실시간으로 관련 정보를 빠르게 검색하고 정확하게 안내할 수 있다. 이 도구를 활용한 후, 정확도 높은 검색 결과 비율이 기존의 84%에서 93%로 상승했다”라고 전했다.

또한 캐피탈원은 자동차 대출을 제공하는 딜러를 위해 ‘챗 컨시어지(Chat Concierge)’라는 에이전트 기반 AI 도구도 도입했다. 나타라잔은 “챗 컨시어지는 여러 개의 논리적 에이전트가 협업해 인간처럼 사고하고 고객에게 정보를 제공하는 것을 넘어, 고객의 요청에 따라 직접 행동을 취한다. 하나의 대화 내에서 차량을 비교해 구매 결정을 도와주고, 시승 예약이나 판매 담당자와의 상담 일정을 잡을 수도 있다. 일부 자동차 딜러는 이 도구를 통해 고객 참여율이 최대 55%까지 증가했다고 보고했고, 올해 초 도입 이후 지연 시간도 5배 줄였다”라고 설명했다.

성공을 위한 데이터 준비

성공의 핵심은 결국 데이터, 정확하게는 데이터의 거버넌스, 품질, 신뢰성, 검색 가능성이다. 나타라잔은 “지금 생성형 AI 전환을 시도하는 많은 기업은 데이터를 제대로 준비하지 않으면 성공할 수 없다. 생성형 AI는 방대한 데이터 속에서 미묘한 패턴을 학습하는 데 매우 뛰어난 기술이다. 하지만 방대한 데이터를 주지 않으면 학습할 수 있는 패턴도 제한된다. AI는 노출된 것만 학습할 수 있다”라고 강조했다.

무어 인사이트 앤 스트래티지의 앤더슨은 올바른 아키텍처적 결정도 생성형 AI 프로젝트의 성패에 큰 영향을 미친다고 강조했다. 그리고 캐피탈원이 오픈소스 모델을 도입한 것은 매우 현명한 선택이었다고 평가했다. 앤더슨은 “이 결정은 오늘날 대부분 기업에서는 보기 힘든 성숙한 사고를 보여준다”라고 평가했다.

다양한 모델을 유연하게 선택할 수 있게 한 점도 중요한데, 캐피탈원은 AWS를 선택함으로써 이를 가능하게 했다. 앤더슨은 “아마존은 다양한 모델을 지원하겠다고 밝혀 왔고, 구글이나 마이크로소프트처럼 자사 모델에 집중하지 않는다. AWS는 유연성과 적응력이 가장 뛰어난 접근 방식을 제공한다”고 설명했다.
dl-ciokorea@foundryco.com