娇色导航

AI 프로젝트가 성숙해짐에 따라 많은 IT 리더들이 비용을 절감하고 데이터 프라이버시를 보호하기 위해 퍼블릭 클라우드에서 프라이빗 클라우드나 온프레미스 환경으로 AI 워크로드를 이전하고 있다.

그러나 데이터센터 전문가들은 기존 레거시 데이터센터를 AI 시대에 맞게 업그레이드하려는 CIO들에게는 GPU 몇 개를 추가하는 수준을 훨씬 뛰어넘는, 막대한 숨은 비용이 기다리고 있을 수 있다고 경고한다.

일부 조직은 AI 프로젝트를 다시 내부로 들이는 과정에서 큰 업그레이드 없이도 가능할 수 있지만, 대규모 AI 워크로드를 계획하는 기업이라면 레거시 데이터센터 개조·개선(Retrofit)에 수천만 달러를 투입해야 할 수도 있다고 전문가들은 지적한다. 코로케이션 센터나 온프레미스 환경을 준비하는 데만도 수십만 달러가 들 수 있으며, 규모가 클수록 그 비용은 기하급수적으로 증가한다.

그럼에도 불구하고 CIO들이 AI 워크로드 수요를 보다 명확히 파악해 가면서 퍼블릭 클라우드를 벗어나려는 움직임은 계속되고 있다. 일부 IT 리더는 온프레미스 인프라나 코로케이션 데이터센터가 사용량 기반 과금 모델의 퍼블릭 클라우드보다 비용 예측이 수월하다고 보고 있다.

예전의 데이터센터와는 다르다

AI 인프라를 자체 보유하거나 임대하려는 경우, 고려해야 할 요소는 많다. 데이터센터 전력 및 냉각 솔루션 업체 슈나이더 일렉트릭(Schneider Electric)의 혁신 및 데이터센터 부문 부사장 스티브 칼리니는 “작게 시작하는 전략이 특정 상황에서는 효과적일 수 있지만, 대부분의 조직은 단발성 AI 활용을 넘어선 더 큰 계획을 갖고 있다”고 말했다.

칼리니는 레거시 데이터센터도 AI 워크로드에 맞게 개조·개선할 수 있지만, 이는 단순한 작업이 아니라고 강조했다. 본격적인 AI 워크로드에 대비하려면 냉각과 전력은 물론, 다양한 인프라 업그레이드가 필요하다는 설명이다.

그는 “매우 구체적인 용도가 있고, 그에 따라 프로세스에 AI를 통합하려는 상황이라면 GPU 한두 개와 서버만으로도 충분하다”라며 “하지만 대부분의 기업은 자율 에이전트나 에이전트 기반 AI로의 전환을 원하고 있으며, 이 경우 막대한 컴퓨팅 용량이 필요하다”라고 밝혔다.

신형 GPU를 여러 대 도입하는 것만으로도 상당한 비용이 들 수 있으며, 슈나이더 일렉트릭은 예산을 절감하려는 고객에게 이전 세대 GPU 활용을 조언하는 경우도 있다. 하지만 GPU를 포함한 AI 관련 기술은 너무 빠르게 진화하고 있어 최적의 도입 시점을 판단하기 어렵다는 게 현실이다.

칼리니는 “5년 전만 해도 데이터센터의 수명을 30년으로 보고 3~4차례 리프레시하는 구조였다”라며 “하지만 지금은 기술 변화 속도가 너무 빨라 전력과 냉각 수요도 지속적으로 늘어나기 때문에, 과거처럼 과잉 설계 후 점진적으로 활용하는 방식은 더 이상 유효하지 않다”라고 말했다.

수천만 달러에 달하는 구축비용

데이터센터 매매 및 임대 전문업체 와이어드RE(WiredRE)의 설립자 겸 CEO 에버렛 톰프슨은 AI 전용 신규 데이터센터를 그린필드 방식으로 신축할 경우, 메가와트당 1,100만~1,500만 달러(약 153억 ~208억 원)의 비용이 들 수 있다고 설명했다. 이 수치는 컴퓨팅 파워는 제외한 금액이다.

톰프슨은 내부에 AI 인프라 구축을 원하는 CIO라면 전력과 냉각은 물론, 컴퓨팅과 네트워킹 요소까지도 함께 고려해야 한다고 강조했다.

그는 “AI가 연구단계를 넘어 실제 프로덕션 환경으로 옮겨가면서 많은 조직이 기존 데이터센터로는 현대 AI 워크로드의 강도를 감당할 수 없다는 점을 깨닫고 있다”라며 “GPU 몇 개만 추가해서는 해결되지 않는다”라고 분석했다.

랙 밀도도 핵심 고려사항이다. 기존 데이터센터는 랙당 5~10킬로와트 수준으로 설계됐지만, AI 모델 훈련 등의 워크로드는 이를 50~100킬로와트 수준으로 끌어올린다.

톰프슨은 “레거시 시설은 이러한 증가를 감당할 전력 백본, 냉각 시스템, 구조적 준비가 부족한 경우가 많다”며 “결국 많은 CIO가 개조·개선, 재건축, 또는 임대라는 갈림길에 서게 된다”라고 말했다.

그는 냉각 시스템 역시 중요한 요소라고 덧붙였다. 단지 AI 구동을 가능하게 할 뿐 아니라, 관련 업그레이드를 통해 다른 분야의 비용도 줄일 수 있기 때문이다.

톰프슨은 “비효율적인 공기 기반 냉각 시스템을 최신 액체 냉각 인프라로 교체하면, 불필요한 에너지 소비를 줄이고 전력 사용 효율(power usage effectiveness)을 개선할 수 있다”라며 “이를 통해 실제 컴퓨팅에 활용 가능한 전력을 확보하게 되며, 결국 와트당 더 많은 비즈니스 가치를 창출할 수 있다. 용량 한계에 도달한 시설이라면 전력망 증설이나 신규 건설 없이도 이를 연기하거나 피할 수 있게 된다”라고 전했다.

개조·개선이 더 저렴할 수도 있다

노스웨스트AI컨설팅(Northwest AI Consulting)의 CEO이자 공동 설립자인 와이엇 메이햄은 신규 데이터센터를 짓는 그린필드 방식과 달리 개조·개선은 메가와트당 400만~800만 달러(약 55억~110억 원)의 비용이 들 수 있다고 설명했다. 이 비용은 하드웨어는 제외한 수치다.

현재 AI 학습용 랙은 80~120킬로와트의 전력을 사용하지만, 업계는 2030년까지 랙당 1메가와트에 이를 것으로 전망되고 있다. 메이햄은 “이러한 변화는 레거시 데이터센터가 처음 설계될 당시의 전제조건을 완전히 뛰어넘는 수준”이라며 “GPU만의 문제가 아니라, 전력 분배, 랙 구성, 액체 냉각이나 침지 냉각, 고속 인터커넥트, 심지어는 바닥 하중 설계까지 전면적인 개편이 요구된다”라고 말했다.

그는 CIO에게 구조적 안정성과 전력 인프라에 대한 감리를 먼저 진행할 것을 조언했다. 메이햄은 “오래된 플로어 레이즈드 구조는 무게가 4,000~8,000파운드(약 1,800~3,600kg)에 이르는 AI 랙을 견디지 못할 수 있다”라며 “하중 기준을 충족하지 못하거나, 유틸리티 연결이 여의치 않아 개조·개선이 무산된 사례도 있었다”라고 전했다.

또한 AI 학습과 추론은 필요한 인프라 구성 자체가 다르기 때문에, 자신이 활용할 AI 모델 유형, 목표 랙 밀도, 하이브리드 또는 코로케이션 방식 중 어떤 구조가 적합한지에 따라 업그레이드 방식을 달리해야 한다고 강조했다. 메이햄은 “자신의 AI 구성부터 정확히 파악하는 것이 핵심”이라고 덧붙였다.

AI 워크로드 소프트웨어 업체 피크AIO(PEAK:AIO)의 CEO 로저 커밍스도 개조·개선 비용은 시설의 규모와 노후도에 따라 크게 달라진다고 설명하며, CIO는 우선 자신이 실행할 AI 워크로드의 특성을 명확히 파악해야 한다는 데 동의했다.

커밍스는 이어 CIO는 AI 관련 데이터가 어디에 위치하는지, 얼마나 빠르게 이동해야 하는지, 모델이 어떻게 확장될지를 모두 고려해야 한다고 말했다.

커밍스는 “AI 인프라는 데이터를 중심으로 지능을 이동시키는 분산형, 연합형 아키텍처로 옮겨가고 있다”라며 “전통적인 중앙집중형 모델은 이런 흐름에 대응하기 어렵다. 유연성과 확장성, 데이터 거버넌스를 처음부터 설계에 반영해야 한다”라고 밝혔다.
dl-ciokorea@foundryco.com