??????? ???? AI? ?? ??? ?? ??? ?? ???, ?? IT ???? ????? ?????? ??? ??? ??? ??? ? 지난해 많은 CIO가 첫 번째 스코프3(편집자 주: 제품 생산 외에 운송, 공급망, 제품 사용, 폐기와 같이 조직이 직접 통제하지 않는 자원에서 발생하는 탄소 배출) 보고서 작성 과제에 직면하는 동안 생성형 AI는 거의 모든 기업에 스며들었다. 정식으로 도입되는 일도 있었지만 대부분은 직원이 문서와 이메일을 작성하는 데 자신도 모르게 생성형 AI를 실험하는 식으로 유입됐다. 많은 조직의 사용 사례는 여기에서 그쳤다. 하지만 일부 IT 부서는 이제 코딩과 같은 작업에 생성형 AI의 사용을 승인하고 심지어 장려하고 있다. 어떤 조직은 소프트웨어 서비스 업체에 생성형 AI 구성 요소가 포함된 업그레이드를 요청하기도 한다. 반면, 스웨덴 핀테크 기업인 클라나(Klarna)처럼 내부 프로젝트뿐만 아니라 판매 제품에도 생성형 AI를 통합하고, AI를 어떻게 사용해야 하는지에 대한 거버넌스를 개발한 기업도 있다. 클라나는 2022년 11월 챗GPT가 출시된 이후 AI에 많은 관심을 기울여왔다. 현재는 기술 수준이나 역할에 관계없이 생성형 AI가 거의 모든 직원이 더 효율적으로 일하는 데 도움이 될 수 있다는 사내 분위기가 형성돼 있다. 클라나의 수석 엔지니어링 디렉터인 마틴 엘윈은 “현재 생산 및 개발 분야에서 생성형 AI를 사용할 수 있는 약 100개의 이니셔티브를 검토하고 있다. 엔지니어뿐만 아니라 재무, 법무, 마케팅 등 모든 부서에서 이 작업을 수행하고 있다”라고 말했다. 몇 주 전 클라나는 사람의 도움 없이 사용자의 질문에 답할 수 있는 AI 비서를 발표했다. 이 소프트웨어는 소비자가 가장 관련성 높은 판매자로부터 상품을 찾을 수 있도록 돕고, 결제 및 사후 지원도 제공한다. 클라나의 커뮤니케이션 책임자인 다니엘 그리브스에 따르면 AI 비서는 즉시 성공을 거뒀다. 그는 “출시 후 약 4주 만에 AI 비서가 고객 서비스 채팅 요청의 3분의 2 이상을 처리했다. 이제는 직원 약 700명 분의 업무를 수행하고 있다”라고 말했다. 이런 AI 활용 사례가 유용하게 들리긴 하지만, 한편에서는 우려도 낳고 있다. 랙스페이스 테크놀로지(Rackspace Technology)의 AI, 기술 및 지속가능성 부문 사장인 스리니 쿠시크는 “표면적으로, 그리고 현재 상황에서 AI와 지속가능성은 서로 반대 방향으로 가고 있다. AI는 대규모 언어 모델을 학습하거나 추론할 때 많은 전력을 소비한다. 이는 시작에 불과하다. 전력 소비는 기하급수적으로 늘고 있다”라고 지적했다. AI가 장기적으로 성과를 거두든 그렇지 않든 전체 탄소 배출량을 고려해야 하는 CIO는 이제 스코프3 보고서에 AI 항목을 포함시켜야 하는데, 그 계산은 매우 빠르게 복잡해지고 있다. 예를 들어 다른 사람이 학습시킨 모델을 사용해 추론을 실행하는 경우 CO2 배출량에 대한 점유율을 보고해야 한다. 제공업체가 전체 학습 비용을 알려줄 순 있지만 모델 수명 주기 동안 모든 사용자에게 그 비용을 어떻게 배분할지는 아직 알 수 없다. 한편 스위스의 글로벌 운송 및 물류 기업 퀴네+나겔(Kuehne+Nagel)의 최고 디지털 책임자이자 수석 부사장인 니클라스 선드버그는 “스코프3 보고는 새로운 개념이고, 생성형 AI도 마찬가지기 때문에 아직 명확한 것은 없다”라고 말했다. 저서인 ‘기술 리더를 위한 지속가능한 IT 플레이북’에서 이 주제를 다룬 만큼 그는 누구보다 스코프3 보고에 대해 잘 알고 있다. 모호한 상황이긴 하지만 AI 도입은 앞당겨지고 있다. 그 과정에서 일부 IT 리더는 자체 지속가능성 이니셔티브에 미치는 영향을 완화하기 위해 할 수 있는 3가지 방안을 마련했다. 이를 소개한다. 1. 대기업 서비스를 사용해 활용률 최적화엘윈은 “우리는 이미 AI의 고급 사용자다. 권장하는 사항은 온디맨드 AI 추론 환경을 공유한 대기업을 통해 AI, 특히 추론을 사용하는 것이다”라고 말했다. 퍼블릭 클라우드 서비스 사용자가 많을수록 활용률은 높아지기 때문에 이는 당연한 일이다. 전력 소모가 많은 AI 애플리케이션을 실행할 때 리소스를 개선하면 조직 전체의 탄소 발자국에도 변화를 가져올 수 있다. CIO는 모델 학습 방법과 추론 실행 방법에서 시작해 제공업체에 질문 목록을 작성하기까지 하면 한 단계 더 나아갈 수 있다. 엔터프라이즈 및 하이퍼스케일러를 위한 데이터센터 솔루션을 제공하는 기업 베른(Verne)의 CTO인 테이트 캔트렐은 “추론 서비스만 구매하는 경우 모든 업스트림에 대한 영향이 어느 정도인지 물어볼 수 있어야 한다. 추론 결과는 순식간에 나온다. 하지만 신경망 내부의 가중치가 그만한 속도를 내는 건 100~400메가와트의 전력으로 1~2개월의 걸친 방대한 학습을 통해 인프라를 끌어올렸기 때문이다. 그 비용은 어떻게 계산해야 할까?”라고 말했다.캔트렐은 CIO가 제공업체에 자체 보고 현황을 물어볼 것을 촉구했다. 그가 꼽은 질문은 “지속가능성 관점에서 서비스가 업스트림에 미치는 영향을 공개적으로 보고하고 있는가? 학습 프로세스는 얼마나 오래 진행됐고, 얼마나 오랫동안 유효하며, 얼마나 많은 고객에게 영향을 미쳤는가?” 등이다. 선드버그에 따르면 이상적인 솔루션은 AI 모델이 직접 탄소 발자국에 대해 알려주는 것이다. 그는 “마지막 쿼리의 탄소 발자국이 얼마인지 코파일럿이나 챗GPT에 물어볼 수 있어야 한다. 그러나 현재로선 그 질문에 답하는 도구가 없다”라고 언급했다. 2. 각 문제 해결하는 데 최적의 모델을 찾고 사용하기클라나는 AI 비서를 구축할 때 한 가지 AI 모델로만 모든 작업을 수행하지 않았다. 대신 서비스의 모든 단계를 평가해 각 부분에 실제로 필요한 것이 무엇인지 파악하는 과정을 거쳤다. 엘윈은 “리소스 효율을 높이기 위해 노력했다. 주어진 단계를 완료하는 데 필요한 기능을 제공하는 모델 중에서 가능한 한 작은 것을 사용하도록 했다”라고 설명했다. 또한 클라나는 다른 솔루션을 구축할 때도 이런 방식으로 생각할 수 있도록 가이드라인을 발표하고, 아이디어를 보편화시키기 위해 전사적으로 공유했다. 어떤 단계에는 GPT-4와 같은 포괄적 모델이 필요한 반면, 서비스의 다른 단계에서는 GPT-3.5 터보처럼 가벼운 모델로도 충분했다. 더 작은 모델은 학습 단계뿐만 아니라 추론 단계에서도 전력 소모가 적다. 궁극적으로 기업은 에너지 소비량을 측정해야 하는데, 쿼리 단위로 측정할 경우 소형 모델이 훨씬 효과적일 수 있다. 쿠시크는 “보험 환경에서 클레임 심사를 하는 데는 GPT-4가 필요하지 않다. 더 작고 더 많은 도메인별 데이터를 학습한 모델이 필요하며, 이는 GPT-4보다 해당 도메인의 질문에 더 정확하게 답변할 수 있다”라고 설명했다. 선드버그는 대기업들이 머신러닝을 도입한 지 꽤 됐지만 아직 더 큰 오픈소스 모델만큼 정교하지 않다면서도 “가격 책정이나 고객 이탈 예측과 같은 구체적인 기업 문제를 해결하는 데는 더 효과적일 수 있다”라고 말했다. 3. 사용 사례의 우선순위 지정CIO는 생성형 AI의 사용 사례에 균형 잡힌 시각을 갖고 우선순위를 정할 수 있다. 쿠시크는 “대부분의 직원에게 코파일럿은 불필요했고, 더 나은 이메일 작성의 이점이 구독 비용과 CO2 배출량을 정당화하진 못했다. 반면 법무 부서에서는 코파일럿을 통해 상당한 비용을 절감할 수 있었기 때문에 이를 배포했다”라고 언급했다. 사용 사례의 우선순위를 정한다는 것은 IT 리더가 일부 사용자에게 ‘AI가 문제에 대한 적절한 해결책이 아니다’라고 말해야 한다는 의미다. 이런 상황을 피하는 좋은 방법은 명확한 가이드라인을 미리 수립하는 것이다. 먼저 AI 도구의 탄소 발자국을 측정할 방법을 찾은 다음 각 사용 사례에서의 잠재적 이점과 비교해 보라. 선드버그는 “CIO가 특정 애플리케이션의 CO2 배출량 메트릭을 확보하는 것이 중요하다. 이를 통해 비용과 이점을 비교할 수 있다. 탄소 발자국이 얼마인지 스스로 알 수 없다면 소프트웨어 업체에 문의해야 한다”라고 조언했다. 하지만 이 문제가 어려워지는 까닭은 제공업체가 항상 알고 있는 것을 밝히지 않는다는 점이다. 선드버그는 “생성형 AI가 지속가능성의 기회를 열어줄 수는 있지만, 업체가 밝히지 않는 어두운 측면도 분명히 존재한다. 업체들은 해당 분야에서 최고가 되기 위한 경쟁에 너무 몰두하고 있다”라고 지적했다. dl-ciokorea@foundryco.com ???? ???? ??? ??? IT ??? ???? ??? ????! ??? ??? ??? ?????. ????