娇色导航

????

??? ??

Anirban Ghoshal
Senior Writer

???, ????? ???? ??? GPU 13? 1,072? ?? “?? ?? ??”

??
2024.09.133?

??? AI ???? ?? ??? ??? ???? ?? AWS, ??, ??AI? ?? ?? ?? ????? ???? GPU? ???? ?? ? ??? ??.

오라클이 클라우드월드 2024 컨퍼런스에서 자사 클라우드 서비스를 통한 엔비디아 블랙웰 GPU 사전 주문을 접수하기 시작했다고 발표했다. 오라클 클라우드 인프라(OCI) 슈퍼클러스터를 통한 클라우드 서비스에 대해 13만 1,072개의 엔비디아 블랙웰 GPU를 제공한다는 설명이다.

전 세계 기업들이 GPU 제작에 사용되는 핵심 구성 요소인 고대역폭 메모리(HBM)를 구할 수 없는 상황에 직면해 있는 가운데, 이렇듯 많은 블랙웰 GPU를 제공하는 오퍼링의 출시는 중요한 의미를 갖는다. 여러 GPU 제조업체의 최고 경영진에 따르면 현재 HBM과 그에 따른 GPU의 대기 시간은 최소 18개월이며, 이는 2026년 이전에는 주문이 이행되지 않을 것이라는 의미다.

이러한 가운데 생성형 AI에 대한 수요가 꾸준히 증가함에 따라 AWS, 구글, 오픈AI와 같은 여러 대형 소프트웨어 회사에서 GPU의 중요성은 점점 더 커지고 있다.

LLM 제공업체들은 더 나은 성능의 다음 모델을 생산하고 출시하기 위해 끊임없이 경쟁하고 있다. 이를 위해서는 더 많은 데이터로 모델을 훈련시켜야 하며, 이를 위해서는 더 나은 성능의 GPU를 사용해 훈련 시간을 단축해야 한다.

오라클과 엔비디아는 공동 성명에서 엔비디아  수냉식 베어메탈 인스턴스가 탑재된 OCI 슈퍼클러스터가 NV링크 및 NV링크 스위치를 사용하여 단일 NV링크 도메인에서 최대 72개의 블랙웰 GPU가 129.6TBps의 총 대역폭으로 서로 통신할 수 있도록 할 것이라고 밝혔다. 

이번 블랙웰 GPU 서비스 제공 시기는 2025년 상반기로 관측된다. 양사는 그러나 구체적인 가격을 공개하지 않았다.

현재 오라클은 엔비디아 H100 GPU가 탑재된 OCI 슈퍼클러스터를 제공하고 있다. H200 GPU가 탑재된 슈퍼클러스터는 올해 말에 출시될 예정이다. 

한편 모델 트레이닝을 위해 엔비디아 GPU 기반 인프라를 제공하는 클라우드 서비스 제공업체는 오라클만이 아니다. AWS, 마이크로소프트, 구글 클라우드도 엔비디아와 파트너십을 맺고 클라우드에서 엔비디아의 GPU를 제공하고 있다.

엔비디아는 2023년 초에 클라우드 서비스 제공업체와 협력하여 클라우드에서 GPU를 제공하겠다는 계획을 처음 발표했다. 이후로 하이퍼스케일러와의 파트너십을 꾸준히 확장해 왔다. 이 칩 제조업체는 올해 초 클라우드에서 블랙웰 GPU를 제공하겠다는 계획을 공식적으로 발표했다.

다른 하이퍼스케일러보다 더 많은 GB200 GPU 제공
오라클이 클라우드에서 최신 엔비디아 GPU를 제공하는 유일한 클라우드 서비스 제공업체는 아니지만, 다른 어떤 하이퍼스케일러보다 더 많은 GB200 GPU를 제공한다는 점이 두드러진다.

오라클은 다른 하이퍼스케일러보다 6배나 많은 GPU를 제공한다고 주장항며, 2만 736개의 블랙웰 GPU로 구동되는 AW의 를 예로 들었다. AWS에 따르면 세이바는 이미 연구 목적으로 제공되고 있다.

AWS는 오라클과 마찬가지로 블랙웰 GPU 기반 클라우드 인프라 서비스의 가격을 아직 공개하지 않았으며, 2025년에 서비스를 제공할 예정이다. AWS는 클라우드 인프라 서비스를 통해 제공할 것으로 예상되는 총 GPU 수도 공개하지 않았다.

구글 클라우드 역시 블랙웰 GPU 기반 서비스의 가격 정보를 공개하지 않았으며, 2025년 초에 출시될 것으로 예상된다. 지난 4월, 구글 클라우드는 고객에게 GPU 지원 서비스를 제공할 것이라고 밝혔지만 고객 기업이 얼마나 많은 GPU를 주문할 수 있을지는 공개하지 않았다. dl-ciokorea@foundryco.com

Anirban Ghoshal
Senior Writer

Anirban is an award-winning journalist with a passion for enterprise software, cloud computing, databases, data analytics, AI infrastructure, and generative AI. He writes for CIO, InfoWorld, Computerworld, and Network World. He won the 2024 Silver Azbee Award for Best News Article in the Technology category. He has a post-graduate diploma in journalism from the Indian Institute of Journalism and New Media.

? ??? ?? ???