娇色导航

지난해 11월 챗GPT 출시 이후 생성형 AI에 대한 관심이 치솟았다. 프로덕티비티에서 추적한 상위 20개의 섀도우 IT SaaS 앱 리스트에서도 이를 확인할 수 있다. 그러나 이와 동시에 많은 조직이 인터넷 기반 범용 생성형 AI의 사용을 제한하고 있다. 그러면서도 다른 한편으로는 생성형 AI 모델을 소싱하고 사용하는 정책을 마련하느라 분주하다. 몇몇 CIO는 자신의 자산과 데이터를 생성형 AI와 조합하고자 모색하고 있다.

새로운 기술에서 흔히 나타나듯이, 문제 중 하나는 만들 것인가 아니면 구매할 것인가이다. 단 생성형 AI의 경우 문제가 좀더 복잡할 수 있다. 구매 서비스를 선택하기, 커스터마이제이션 감안, 유용성 및 신뢰성 확보 등에 필요한 작업이 방대하기 때문이다. 경쟁에서 뒤처지면 안 되겠지만 법정에 서는 일도 있어선 곤란하다. 

단순 활용과 직접 제작 사이
북미 지역의 맥킨지 디지털을 이끄는 선임 파트너인 에릭 라마르는 이러한 복잡한 기술을 만들고 구매하는 것을 엄격하게 구분하기보다는, 시중의 생성형 AI 모델을 가져와 다듬고, 드문 경우이겠지만 만드는 것을 나눠 생각해보라고 제시했다.

그는 “단순 ‘활용자’(taker) 유형이 있을 수 있다. 가령 코딩을 할 때 소프트웨어 개발 가속화를 위해 챗GPT와 같은 API 또는 깃허브 코파일럿과 같은 다른 애플리케이션을 통해 생성형 AI를 소비할 수 있다”라고 말했다. 하지만 생성형 AI가 포함된 완성된 앱만으로는 경쟁력 있는 차별화를 기대하기 어렵다. 그럼에도 불구하고 친숙한 업무 애플리케이션에 신기능의 형태로 생성형 AI가 적용되는 경우가 늘어나고 있다. 기업은 경쟁력 하락을 피하기 위해 이러한 기능을 채택하고자 할 수 있다. 

라마르는 “그리고 가공자(shaper) 유형이 있을 수 있다. 기존의 기본 모델을 기성품으로 활용하지만 자체 데이터로 재교육한다”라고 설명했다. 이를 통해 ‘환각’ 문제를 줄이고 더 정확하고 관련성 있는 결과를 얻을 수 있다고 그는 덧붙였다.

그는 “컨택 센터 애플리케이션을 생각해보자. 이러한 애플리케이션은 기업이 공급하는 제품의 종류, 제공하는 서비스의 종류, 그리고 문제 종류에 따라 매우 고유한 특성을 지닌다”라고 말했다. 일반적인 LLM은 보정이 어렵지만 가공자 유형을 선택한 기업은 미세 조정이라고 하는 프로세스를 이용해 자신의 데이터에 맞게 보정을 시도하게 된다. 미세 조정 작업은 호스팅 형태의 클라우드 LLM과 사용자가 직접 실행하는 오픈소스 LLM 모델 모두에 적용될 수 있다.

라마르는 맥킨지의 초기 실패 사례를 언급했다. 이 컨설팅 기업은 평가 인터뷰의 녹취록을 LLM에 공급함으로써 평가 작성 속도를 높이고자 시도했다. 그러나 라마르에 따르면 조직의 데이터에서 미세 조정 또는 그라운딩 작업의 부재로 인해 실패했다. 그는 “LLM은 다양한 역할, 우리가 어떤 종류의 일을 하는지, 사람들을 어떻게 평가하는지에 대한 맥락이 없었다”라고 말했다.

플러그인 모델이 있는 챗GPT 및 GPT4와 같은 생성형 AI 모델을 사용하면 문제를 해결할 수 있다. 다른 시스템에서 실시간 정보 또는 비즈니스 데이터를 검색하거나 다른 유형의 계산을 추가하거나 심지어 티켓을 열거나 예약하는 등의 조치를 취하는 API에 연결함으로써 LLM을 증강할 수 있는 것이다. 이는 마치 기업이 배송 경로를 생성하거나 배송 시간을 예측하기 위해 자체 기상 모델을 처음부터 구축하는 대신, 상용 기상 예측 서비스에 머신러닝 모델을 적용하는 것과 유사한 방식이다. 

그러나 가공 접근법이 그리 만만하지는 않다고 라마르는 경고했다. 단순히 자체 애플리케이션 및 프로세스에 LLM을 구축하는 것 이상의 작업이 수반될 수 있다는 이야기다. 그는 “좋은 결과를 얻으려면 모델에서 소비할 수 있는 데이터 환경을 만들어야 한다. 데이터 엔지니어링 기술이 필요하다. 이러한 모델을 재보정 할 수 있어야 하므로, 내부 머신러닝 역량이 요구되며 프롬프트 엔지니어링을 잘해야 한다”라고 말했다.

그는 특히 머신러닝에 대한 내부 전문성을 아직 구축하지 않은 기업의 경우, 생성형 AI에 대한‘샤이니 오브젝트 신드롬’(shiny object syndrome)을 조심해야 한다고 지적했다 그는 “향후 6개월에서 12개월 안에 아프게 다가올 현실이 있다. 생성형 AI가 ‘전통적인’ AI만큼 어렵다는 것이다”라고 말했다.

그러나 기존 모델과 서비스를 가공한 생성형 AI 시스템을 사용하면 경쟁력 있는 차별화를 제공할 가능성이 매우 높은 애플리케이션을 구현할 수 있다. 라마르는 마지막으로 훨씬 더 어렵고 가장 희소할 유형으로 직접 제작(making)이 있다고 말했다.

간과하면 손해
취약한 어린이, 가족 및 젊은 전문가를 지원하는 비영리 단체인 ‘더 컨틴전트’의 CIO인 피터 킴에 따르면, 소규모 조직의 경우, 자체적인 생성형 AI를 만드는 것은 고려하기조차 어렵다. 그의 조직은 불과 10여 명의 기술 직원만 보유하고 있다.

아동 복지 분야의 위기는 수요가 조직의 공급 역량을 능가한다는 것이다. 그럼에도 불구하고 그는 생성형 AI가 어떻게 청중을 프로파일링하고, 자원봉사 기회의 연속체에 대한 메시지를 평가하고, 지원자를 인턴십과 연계시키고, 심지어 새로운 직원을 모집하는 데 걸리는 시간을 줄일 수 있는지 큰 관심을 가지고 있다.

그는 마이크로소프트가 ‘클라우드 포 논프로핏’을 포함하여 많은 제품에 도입하고 있는 코파일럿 기능이 해답일 수 있다고 본다. 킴 CIO는 “간과하면 손해다. 왜냐하면 그것이 일상화될 것이기 때문이다. 만약 기업이 그것을 사용하지 않는다면, 뒤쳐질 것이다”라고 말했다.

킴은 특히 생성형 AI 서비스의 일부를 커스터마이징 작업에 활용할 계획이다. 그는 코파일럿 기능이 각기 상이하고 종종 구식인 시스템용으로 구축해야 하는 많은 커넥터를 코딩하고 데이터 쿼리를 작성하는 데 특히 도움이 될 것으로 기대하고 있다. 또한, 그는 지리적 및 인구 통계적 데이터의 뉘앙스를 이해하고, 과거 데이터에서 통찰력을 추출하여 실시간 데이터와 비교하여 패턴과 빠르게 이동할 수 있는 기회를 식별하기를 기대하고 있다.

그는 또 기존 수동 프로세스를 자동화하고 새로운 가능성을 모색하는 데 시간과 노력을 투입할 방침이다. 킴은 “AI를 활용해 기존과 같은 일을 하려는 것이 아니다. 이 새로운 강력한 기능을 가지고 어떻게 기존 비즈니스 프로세스를 리팩토링하거나 개선할 수 있을까?”라고 말했다.

그는 소규모 조직이라면 구입 후 잘 활용하는 방법을 고민할 만하다고 강조했다. “더 쉽게 사용할 수 있는 툴들이 있다. 조직의 성공을 가르는 요소로는 적응력과 검토 능력에 있을 것이라고 나는 생각한다”라고 말했다.

규모가 큰 조직에서는 개발 툴 및 통합 기능이 함께 제공되는 상용 LLM을 검토할 수 있다. 에어비앤비나 도이치 텔레콤처럼 상당한 기술 전문성을 보유한 조직조차도 자체적으로 LLM을 구축하기보다는 챗GPT와 같은 LLM을 미세 조정하는 쪽을 선택하고 있다.

내셔널 그리드 그룹의 CIDO인 아드리아나 카라보티스는 “상용 LLM을 사용하여 4개의 벽 안에서 특정 기업과 산업에 필요한 도메인 조각을 구축할 수 있다. 이미 상용화된 것을 취하지 않을 이유가 없다. 경쟁사들 또한 이미 사용 가능한 모든 것을 활용하려 할 것이다”라고 말했다.

파나소닉의 B2B 커넥트 부서는 애저 오픈AI 서비스를 사용하여 내부용 커넥트AI 어시스턴트를 구축하여 HR 및 IT뿐만 아니라 법률 및 회계 팀에서 사용하도록 했다. 회사의 IT 및 디지털 전략 선임 관리자인 히로키 무카이노는 자사가 활용한 방식도 다르지 않다고 설명했다. 그는 “보통의 기업이 자체적으로 그러한 서비스를 구축하는 것은 기술적으로 어렵고 비용이 많이 들 것이라고 생각했다”라고 말했다.

파나소닉에게는 직원 생산성을 높이는 것이 최우선 과제였다. 따라서 LLM을 만드는 데 시간을 보내는 대신 무카이노는 비즈니스 워크플로우를 위해 설계된 툴을 활용하고자 했다. 그는 “애저 오픈AI 서비스를 이용함으로써 사내에서 AI를 구축하는 것보다 훨씬 빠르게 AI 어시스턴트를 만들 수 있었으며, 이로써 사용성 향상에 시간을 할애할 수 있었다”라고 말했다.

그는 또한 현재 챗GPT의 단점을 보완하는 존재가 플러그인이라고 표현했다. 비즈니스 요구에 맞게 커스터마이징하는 해법이라는 진단이다. 현재 데이터의 벡터 임베딩을 사용하여 클라우드 LLM을 미세 조정하는 기능은 이미 애저 오픈AI 서비스용 애저인지 검색의 비공개 사전 체험판에 존재한다.

마이크로소프트 AI 플랫폼 기업 부사장인 존 몽고메리는 “내부 데이터를 사용하여 자체 코파일럿을 지원할 수 있다. 정확도가 즉시 향상되고 환각 현상이 감소한다. 특히 벡터 지원 기능을 추가하면 정확한 정보를 신속하게 검색하는 작업을 효율화할 수 있다”라고 말했다. 그러면 사내 파일 공유 문서든 SQL 클라우드 데이터베이스든 데이터 소스에 대한 벡터 인덱스와 애플리케이션에서 사용할 API 엔드포인트가 생성된다는 설명이다.

실제로 전문 서비스 공급업체 EY는 이미 채팅 에이전트를 구축하기 위해 여러 데이터 소스를 연결하고 있다. 이를 몽고메리는 모델의 집합이라고 부른다. 집합의 일부는 오픈소스 모델일 수 있다. 그는 “회사 건강보험에서 대응하는 안경의 수에 대한 정보는 비정형 문서에 담긴다, 청구된 안경의 수와 그 보장에 남아 있는 액수는 정형화된 쿼리에 남는다”라고 말했다.

데이터 사용 및 보호
라마르는 가공형 접근 방식을 채택하고 있는 기업들의 경우 데이터 환경이 네 개의 벽 안에 완전히 담기고 모델이 데이터로 옮겨지기를 원한다고 말했다. 소비자 버전의 생성형 AI 툴의 소비자 버전에 입력하는 것은 모두 근간 모델을 훈련시키는 데 사용된다(무료 서비스에 대한 트레이드오프임). 그러나 상용 버전의 경우 고객이 입력한 데이터가 모델 훈련에 사용되지 않는다.

예를 들어, 조직은 자체 데이터에 대해 애저 오픈AI를 실행할 수 있다. 조직의 데이터를 미세 조정하도록 선택하더라도 데이터는 마이크로소프트 테넌트 내에 유지되며 기반 모델에 다시 적용되지 않는다. 무카이노는 “데이터 사용 정책과 콘텐츠 필터링 기능 때문에 우리는 선택할 수 있었다”라고 말했다.

생성형 AI의 저작권 및 지적 재산권 관련 논란은 해소되지 않은 상태다. 그럼에도 불구하고 상용 모델 사용자는 그들 모델의 입력 및 출력을 소유한다. 정부 사용자와 같이 특히 민감한 정보를 보유한 고객은 쿼리에 대한 정보를 캡처하는 로그를 이용함으로써 데이터를 유출하는 위험을 최소화할 수도 있을 것이다.

LLM을 구매하든 구축하든 조직은 문서 개인 정보 보호, 권한 부여 및 거버넌스는 물론 데이터 보호에 대해 더 많이 고려해야 한다. 이미 법률 및 규정 준수 팀은 머신러닝 사용에 개입하고 있지만, 생성형 AI는 회사의 법 및 규정 준수 영역을 더욱 확대시키고 있다고 라마르는 전했다.

소스 및 검증
라마르에 따르면, 생성형 AI 툴에 내부 데이터를 추가함으로써 맥킨지는 ‘컨설턴트용 코파일럿’으로부터 좋은 답변을 얻을 수 있다. 그러나 회사는 여전히 조작 가능성을 우려했다. 그는 이를 방지하기 위해 답변의 기초가 되는 내부 참조가 노출되도록 했으며, 이를 사용하는 컨설턴트가 정확성을 확인할 책임을 갖도록 했다.

카라보티스는 “이러한 언어 모델들은 계속해서 배우고 강화되기 때문에 지적 호기심과 건강한 수준의 회의적인 태도가 필요하다”라고 말했다. 선임 리더십 그룹에게 경각심을 전하기 위해 그녀의 팀은 AI가 생성한 텍스트를 읽는 그녀의 딥 페이크 비디오를 만들었다.

그녀는 또 신뢰할 수 있는 내부 데이터가 잘못되거나 구식일 수도 있다고 경고했다. 그녀는 “인트라넷에서 제거되지 않았거나 버전 관리 기능이 없는 정책 문서를 보유하고 있지는 않은가? 그러면 LLM이 이 문서를 찾아 엉뚱한 대답을 내놓기 시작한다. 속성을 살펴보면서도 데이터를 확실히 정리해야 한다”라고 말했다.

과거 로우 코드에서 도출된 교훈이 책임감 있게 생성형 AI를 채택하는 작업에도 유효하다. 코드와 워크플로우를 개선하고, 사람들이 이미 수행하고 있는 일을 가속화하고, 자동화의 규모로 새로운 기능을 풀어놓는 것이지만, 여전히 인간 전문가가 관여해야 한다.

관건은 차별화
무카이노는 생성형 AI의 넓은 사용 범위와 유연성을 언급하며. 툴을 어떻게 활용하여 경쟁 우위를 창출하느냐가 궁극적으로 중요하다고 말했다.

생성형 AI를 통해, 자산 관리, 고객 지원, 소매, 제조, 물류 또는 산업별 워크로드를 재창조하려면 사용 정책을 설정하고 기술이 워크플로우 및 결과에 미치는 영향을 모니터링하는 데 많은 작업이 필요하다. 이러한 리소스와 기간에 대한 예산 책정도 필수적이다. 즉, 모델과 툴을 확보하고 조직의 더 많은 사람들이 생성형 AI가 무엇을 할 수 있는지 실험할 수 있도록 함으로써 경쟁업체보다 빠르게 구축 및 구축할 수 있는 역량을 확보하는 것이 차별화의 관건이라고 그는 말했다.

상용 모델의 발전 속도도 감안해야 한다. 오픈AI의 일반 LLM과 깃허브 코파일럿과 같은 작업 위에 구축된 보다 전문화된 LLM은 많은 사람들이 사용하면서 점차 개선된다. 이미 깃허브 코파일럿이 생성한 코드의 정확도는 작년에 도입된 이후로 훨씬 더 정확해졌다. 50만 달러를 들여 구축해도 이전 세대의 상용 모델과 겨우 필적하는 모델에 그칠 수 있다

기술이 발전함에 따라 구축 또는 구매에 대한 결정을 다시 검토할 준비가 되어야 한다고 라마르는 강조했다. 그는 “문제는 ‘얼마나 경쟁적으로 차별화할 수 있는가?’로 귀결되는데, 그 경계는 시간이 지남에 따라 바뀔 것이라고 생각한다”라고 말했다.

투자의 방향
몽고메리는 “직접 구축에 대한 담론은 대규모 언어 모델을 빌드하고 설계하는 데 이미 많은 전문 지식을 갖춘 조직에게 해당되는 이야기일 것”이라며, 메타의 경우 애저에서 LLM를 구축하고 있고 앤트로픽, 코이어, 미드저니와 같은 기업은 구글 클라우드 인프라를 이용해 LLM를 학습시키고 있다고 전했다. 

자체 생성형 AI 구축을 위한 리소스와 역량을 갖추고 있는 조직이라면, 또 별도의 도메인 특화 LLM이 필요한 조직이라면 GPT4와 같은 범용 모델의 성능을 뛰어넘는 기 위해 크게 투자할 이유가 있다고 그는 전했다.

물론 자체 버전의 오픈소스 LLM을 학습시키면 매우 큰 데이터 세트가 필요하다. 이러한 데이터 세트는 허깅 페이스와 같은 곳에서 얻을 수 있지만, 여전히 다른 사람이 큐레이션한 데이터라는 한계를 가진다. 또한 데이터를 정리, 중복 제거, 전처리, 토큰화하기 위한 데이터 파이프라인을 비롯해, 교육, 감독에 의한 미세 조정, 평가, 배포를 위한 방대한 인프라, 그리고 모든 단계에서 올바른 선택을 내릴 수 있는 심층적인 전문 지식이 필요하다. 

시중에는 수백 개의 사전 학습된 LLM 및 기타 기초 모델로 시작할 수 있는 여러 컬렉션이 있다. 일부는 일반적이고 다른 일부는 더 특화된 모델이다. 예를 들어, 생성형 AI 스타트업인 다큐가미(Docugami)는 5년 전부터 자체 LLM을 훈련하기 시작했는데, 대부분의 LLM이 사용하는 구문과 문장이 아닌 표, 목록, 단락과 같은 요소를 마크업하여 비즈니스 문서를 위한 XML 시맨틱 모델을 생성하는데 초점을 맞추고 있다. 이러한 전문성을 바탕으로 전문화된 LLM이 다른 목적으로 만들어진 더 크거나 더 비싼 LLM을 능가할 것이라고 다큐가미의 CEO 장 파올리는 말했다. 

그는 “LLM이 서로 다른 특성을 가질 수 있으며, 특정 시나리오에 더 잘 맞는 더 작은 LLM이 있을 수 있다는 사실을 이제 사람들이 이해하기 시작했다”라고 말했다. 그는 그러나 대부분의 조직이 자체 LLM을 만들지 않을 것이며, 심지어 자체 버전의 LLM을 만들지도 않을 것이라고 덧붙였다.

라마르 또한 자체 지식과 목적에 맞게 보정된 대규모 언어 모델을 소유한 기업은 극소수에 불과할 것이며 기업 내부에서 보정하는 언어 모델의 규모는 훨씬 작을 것이라고 말했다. 

몽고메리에 따르면 CIO는 어떤 종류의 LLM이 자신의 시나리오에 가장 적합한지 고민해야 하며, 선택할 수 있는 도구가 너무 많기 때문에 에이비어리(Aviary)와 같은 도구가 도움이 될 수 있다. CIO는 모델의 출처와 학습된 데이터의 출처를 고려할 필요가 있다. 몽고메리는 이러한 고민이 오픈소스 프로젝트 및 구성 요소에 대한 고민과 유사하다고 설명했다. 그는 “오픈소스 혁명을 통해 얻은 모든 학습이 AI에서도 일어나고 있다. 그 속도가 훨씬 빨라지고 있다”라고 말했다. 

IDC의 AI 인프라스트럭처 뷰 벤치마크에 따르면 AI 프로젝트가 실패하는 일반적인 이유는 부적절한 시스템이다. AI 스택을 올바르게 구축하는 것이 중요한 결정 중 하나인 셈이다. 마이크로소프트의 메가트론 튜링 NLG 530B 모델을 트레이닝하는 데는 4,000개 이상의 엔비디아 A100 GPU가 필요했다. 트레이닝의 효율성을 높이는 도구가 있지만, 여전히 상당한 전문 지식이 필요하며 미세 조정에도 비용이 많이 들기 때문에 비용을 절감하려면 강력한 AI 엔지니어링 기술이 필요하다.

도쿠가미의 파올리는 대부분의 조직이 오픈소스 모델을 채택하거나 상용 서비스 비용을 지불하는 구축보다는 생성형 AI 모델을 구매할 것으로 예상하며, “구축의 경우에도 이미 존재하는 것을 조합하는 것에 더 중점을 두게 될 것”이라고 말했다. 여기에는 새로운 스택을 사용하여 오픈소스 및 상용 옵션이 혼합된 솔루션을 조립하는 것도 포함된다.

파올리는 AI를 구매하든 구축하든, 생성형 AI 기반의 도구는 제품처럼 취급되어야 하며, 효과적 사용 여부를 확인하기 위해 일반적인 사용자 교육과 승인 테스트를 모두 거쳐야 한다고 지적했다. 그리고 이러한 도구가 제공할 수 있는 것에 대해 현실적으로 생각해야 한다고 강조했다.

그는 “CIO가 이해해야 할 현실이 있다. 하나의 LLM이 모든 것을 바꾸거나 디지털 트랜스포메이션을 수행하는 기적은 일어나지 않을 것이라는 점이다”라고 말했다. 

* Mary Branscombe는 CIO에 기고하는 전문 필자다.

dl-ciokorea@foundryco.com