???? ??? ??? ????? ?? ??? AI ????? ??? ?? ??? ?? ??. Credit: Rob Schultz / Shutterstock 생성형 AI의 부상은 산업군과 관계없이 클라우드 전략을 다시금 기업 경영진의 주요 의제로 만들고 있다. 가능성은 크지만, 복잡성도 만만치 않다. 특히 예산 초과, 보안 리스크, 복잡하게 얽힌 하이브리드 환경을 갑자기 감당하게 된 CIO에게는 더욱 그렇다. 인사이트(Insight) 북미 CTO 후안 올란디니는 “기업이 가능한 모든 것을 시도하고 있어 막대한 비용이 발생하고 있다. 생성형 AI를 퍼블릭 클라우드에서 실행하면 컴퓨팅, 스토리지, 네트워크 트래픽 등 모든 항목에 비용이 부과되기 때문에 순식간에 지출이 불어난다”라고 지적했다. Juan Orlandini, CTO North America, Insight Insight 이처럼 급등하는 비용은 생성형 AI 워크로드의 근본적인 특성을 반영한다. 네트워크 및 보안 서비스 기업 GTT의 부사장 바스티앙 에르니는 “생성형 AI는 예측 불가능하고 데이터 집약적이며, 실험적인 경우가 많다. CIO도 특정 이니셔티브가 얼마나 성공할지 알기 어려운 경우가 많다”라며, “과도한 투자는 위험하고, 부족한 투자는 확장성과 사용자 경험을 제한한다”라고 덧붙였다. 비용은 데이터 중력(data gravity) 현상으로 인해 더 커진다. 대량의 데이터가 한 곳에 쌓이면, 다른 곳으로 이동시켜 처리하는 것이 기술적·금전적으로 비효율적인 상황이 되기 때문이다. 동시에 클라우드 환경은 중복성과 통제되지 않은 확산으로 인해 ‘데이터 늪(data swamp)’을 만들 수 있다. 올란디니는 컴퓨팅과 데이터를 분리할 경우 숨겨진 비용이 발생한다며, “데이터는 온프레미스에 있고, AI 서비스는 클라우드에 있을 경우, 고속 연결을 갖추거나 데이터를 클라우드로 복제해야 하는데, 둘 다 비용이 많이 든다”라고 경고했다. 하지만 수정된 하이브리드 및 멀티클라우드 전략은 또 다른 복잡성을 동반한다. 글로벌 환경에서 규제를 준수하고 업체 종속을 피하며, 성능과 비용의 균형을 맞추는 일은 쉽지 않다. 데이터 기술 기업 인터시스템즈(InterSystems)의 데이터 플랫폼 총괄 책임자 스콧 그나우는 “가장 큰 리스크는 업체 종속”이라며. “특정 솔루션 업체의 기술 스택에 종속되면 전환이 어렵고 비용도 많이 든다. 장기 전략이 탈선할 수 있다”라고 설명했다. 보안과 규제 준수 문제는 상황을 더욱 복잡하게 만든다. 115개국에서 청소년을 지원하는 NGO인 JA 월드와이드의 글로벌 기술 총괄 책임자 보리스 콜레프는 “우리는 다양한 관할권에서 학생 데이터를 다루기 때문에, GDPR부터 각국 청소년 보호법까지 모두 준수해야 한다”라며, 어떤 AI 서비스든 배포 전 엄격한 보안 심사를 거쳐야 한다고 강조했다. 다시 생각하는 클라우드의 장점과 단점 이처럼 복잡한 환경을 헤쳐 나가기 위해, CIO는 클라우드 전략의 근본적 장단점을 다시 생각해야 한다. 최적의 해법은 유연한 아키텍처 설계를 통해 데이터 근접성, 성능, 보안, 업체 중립성 간 균형을 맞추는 데 있다. 여기서 소개하는 4명의 IT 리더는 모두 “데이터는 소스 가까이에서 처리해야 한다”는 원칙을 강조했다. 온프레미스, 엣지, 로컬 클라우드 등 어떤 형태든 데이터를 이동시키면 지연과 비용이 발생한다. 그나우는 “실시간 AI는 데이터 소스에 가까이 있어야만 가능하다. 데이터가 있는 곳에서 모델을 실행하면 지연은 줄고 비용도 통제된다”라고 설명했다. Scott Gnau, head of data platforms, InterSystems InterSystems 데이터 이동은 보안 위험도 증가시킨다. JA 월드와이드처럼 조직이 분산된 경우는 특히 취약하다. 콜레프는 “데이터는 가능한 한 로컬에 두고 접근을 최소화하는 것을 우선순위에 둔다”라며 “우리는 GDPR, CCPA 같은 규제를 준수하기 위해 로컬 모델과 데이터센터 기반의 AI 오케스트레이션을 사용하고 있다”라고 밝혔다. JA 월드와이드가 메타데이터 기반 오케스트레이션을 통해 작업별로 가장 효율적인 위치를 결정한다. 콜레프는 “응답 시간과 위치를 기준으로 가장 효율적인 데이터셋을 선택하는 것”이라며, “이 접근 방식은 불필요한 데이터 이동을 줄이고, 규제 준수는 물론 비용까지 절감하게 해준다”라고 설명했다. 경우에 따라서는 로컬 클라우드 업체나 엣지 인프라를 사용하는 것이 필요하다. GTT의 에르니는 한 사례를 소개했는데, “영국의 한 대형 건설사는 계약서와 시공 상태를 비교하기 위해 현장에서 실시간으로 AI를 사용하고 있다. 이런 검증은 중앙 시스템의 처리를 기다릴 수 없다. 이런 실시간 애플리케이션에는 엣지 컴퓨팅이 필수”라고 말했다. 업체 종속을 피하려면 유연한 아키텍처가 필수다. 인사이트의 올란디니는 “AI 백엔드를 교체할 수 있는 플랫폼이나 프레임워크를 사용해야 한다”라며, “특정 업체에 종속되지 않도록 애플리케이션과 업체 사이에 추상화 계층을 구축하는 것이 좋다”라고 조언했다. 에르니도 같은 견해를 밝혔는데, “우리는 솔루션 업체나 기술에 구애받지 않으면서 신기술을 안전하게 실험하고 활성화할 수 있는 고성능 유연 플랫폼을 통해 혁신을 가능하게 한다”라고 말했다. 콜레프는 동유럽에서 경험한 예산 중심 사고방식이 자신의 접근 방식에 영향을 주었다고 밝혔다. “우리는 항상 업체 종속을 경계하고 오픈소스 솔루션을 먼저 고려한다. 대부분은 소규모 업체를 조합해 맞춤형 아키텍처를 구축한다”고 말했다. 공개 표준과 오픈소스 도구는 단지 이념이 아닌, 훌륭한 리스크 관리 수단이다. 인터시스템즈의 그나우는 “공개 표준과 교체 가능한 아키텍처를 고수한다. 이 방식은 비즈니스 요구가 바뀔 때 우리 자신과 우리의 고객이 쉽게 움직일 수 있는 자유를 제공한다”고 강조했다. JA 월드와이드의 경우, 선택 기준은 대부분 비용이다. 콜레프는 “우리는 오픈소스나 할인된 자원에 크게 의존한다. 기본은 오픈소스로 시작하고, 꼭 필요한 경우에만 유료 플랫폼에 투자한다”라고 밝혔다. AI 프로젝트는 통제 불능의 비용으로 악명이 높다. 많은 프로젝트가 기존의 비용 관리 체계를 벗어나 운영된다. 인사이트의 후안 올란디니는 핀옵스의 진화를 강조하며, “AI 프로젝트는 종종 사일로화되어 있다. 기업은 기존 워크로드와 마찬가지로 AI에도 동일한 절제를 적용해야 한다”라고 지적했다. Boris Kolev, global head of technology, JA Worldwide JA Worldwide 사용 패턴 모니터링은 핵심이다. JA 월드와이다는 분당 읽기수와 지연 시간을 추적해 활동 강도를 측정하고 있다. 콜레프는 “사용량이 급증하면 비용 초과를 막기 위해 수동으로 킬 스위치를 작동할 때도 있다. 장기적으로는 이 과정을 AI로 자동화하고 싶다”라고 밝혔다. CIO는 고객과 데이터를 모두 잘 이해해야 한다. 에르니는 “데이터 품질이 낮으면 저장 비용만 늘고 가치 있는 결과는 얻지 못한다. 특히 퍼블릭 클라우드에서는 데이터를 A 지점에서 B 지점으로 옮기는 데도 많은 비용이 든다”라고 지적했다. AI가 데이터를 탐하는 만큼 거버넌스의 중요성도 커진다. 에르니는 “기업은 활용도 낮은 데이터를 쌓아두는 경우가 많다. 데이터가 어디 있고, 그 가치가 무엇인지 파악하는 것은 이제 CIO의 핵심 과제”라고 덧붙였다. 아직은 초기 단계에 머물러 있는 AI 사용례 과장된 기대 속에서도 대부분 기업은 여전히 생성형 AI 도입 초기 단계에 머물러 있다. 인터시스템즈의 스콧 그나우는 “아직 본격적인 대규모 배포는 거의 보지 못했다. 대부분은 파일럿이나 초기 구현 단계에 있다”라고 말했다. 많은 기업이 가벼우면서도 위험이 낮은 분야인 음성 텍스트 변환, 문서 요약, 고객 서비스 챗봇 등으로 시작한 뒤, 점차 전략적 사용례로 확장하고 있다. 이런 초기 시도는 ROI를 검증하고 내부 신뢰를 구축하는 데 도움이 된다. 일부 기업은 API를 통해 기존 레거시 시스템에 AI를 계층적으로 도입하거나, RAG 전략을 데이터 워크플로에 삽입해 현재 인프라를 완전히 대체하기보다는 증강하는 방식을 취하고 있다. 이 접근은 진입 장벽을 낮추는 동시에 점진적 확장을 가능하게 한다. 경험이 축적되면서 데이터 품질, 지연 시간, 규제 조건이 잘 정의된 분야부터 AI 적용이 핵심 운영 영역으로 확장될 것으로 보인다. 이미 구체적인 성과를 내는 사례도 있다. JA 월드와이드는 학생의 기업가 정신 발표 역량을 향상시키는 ‘피치 마스터(pitch master)’ AI를 시험 중이다. 콜레프는 “이 AI는 톤, 내용, 자세, 비즈니스 모델 품질을 분석하고 피드백을 제공한다”라고 설명했다. GTT는 옵저버빌리티와 에이전틱 AI 분야에서 주목할 성과를 거두고 있다. 에르니는 “에이전틱 AI는 고객 응대, 티켓 등록 등 서비스 보장 기능을 지원할 수 있다. 옵저버빌리티는 결과 예측에 유리하다. 예를 들어 항공사가 승객 흐름에 따라 인력을 최적화할 수 있도록 돕는다”라고 설명했다. Bastien Aerni, VP, GTT GTT 이런 사례는 투기적 AI에서 목적 중심 배포로의 전환할 수 있다는 것을 보여준다. 테스트에서 확장 단계로 이동하면, 전략의 초점도 ‘가능성’에서 ‘성과’로 옮겨질 것이다. 변화를 위한 설계 생성형 AI는 클라우드 인프라의 규칙을 새로 쓰고 있다. CIO가 그에 맞춰 적응하려는 가운데, 과거의 IT 전략서는 더 이상 충분하지 않다. 성능, 비용, 유연성, 규제 준수 간 균형을 유지하는 동시에 향후 혁신과 규제를 예측해야 하며, 이를 위해 인프라 결정을 이전보다 훨씬 자주 재검토해야 한다. 생성형 AI 모델이 빠르게 진화하는 지금, 1년 전의 베스트 프랙티스가 현재의 비용 병목 요소가 될 수 있다. 유연한 아키텍처와 도구는 빠른 적응을 가능케 하며, 클라우드 전략은 AI 도입 단계별에 다라 서로 다른 인프라 접근이 필요하다는 사실을 반영해야 한다. 이런 단계 간 전환을 고비용의 전면 재구축 없이 자연스럽게 수행할 수 있어야, 성공적인 AI 인프라 전략이 완성된다. 올란디니는 “내일은 더 나은 도구가 10배 더 뛰어난 성능으로 등장할 수 있다. CIO는 언제든 방향을 바꿀 준비가 되어 있어야 한다”라고 조언했다. GTT의 에르니는 “이제는 3년짜리 IT 계획을 짜는 것만으로는 부족하다”라고 강조하며, “변화를 위한 아키텍처가 필요하다”라고 덧붙였다. 비용 거버넌스, 위치 인식 기반 컴퓨팅, 모듈형 아키텍처 등 어떤 요소든, 생성형 AI 시대의 승자는 단지 확장할 준비가 된 기업이 아니라 변화할 준비가 된 기업이 될 것이다.dl-ciokorea@foundryco.com ???? ???? ??? ??? IT ??? ???? ??? ????! ??? ??? ??? ?????. ????