娇色导航

극단적인 상황이라고 외면할 문제가 아니다. ‘도와줘’와 같은 무해한 명령이라도 AI가 해커의 기업 시스템 침입을 돕거나 제공하지 않아야 할 할인을 제공한다면 각종 문제를 일으킬 수 있다.

이미 기업용 AI가 의도한 대로 작동하지 않는 사례는 다수 등장했다. 예를 들어, 작년 말 캘리포니아에서는 챗GPT 기반 챗봇이 왓슨빌의 한 고객에게 2024년형 쉐보레 타호를 1달러에 판매하겠다고 약속하면서 “이는 법적 구속력이 있는 제안”이라고 단언했다.

이 사례에서는 딜러가 개입해 문제가 발생하지 않았지만, 에어캐나다 할인과 관련된 유사한 사례에서 달랐다. 고객이 소송을 제기했고 법원은 회사가 AI의 약속을 지켜야 한다는 판결을 내렸다.

해당 사례에서의 문제는 정확성이었다. 챗봇이 고객에게 잘못된 정보를 제공했기 때문이었다. 하지만 핵심 가치에 대한 문제도 있다. 챗봇은 자신이 상호작용하는 고객과 챗봇을 배포하는 회사 중 본질적으로 누구의 이익을 우선시하고 있을까? 아마도 챗봇을 만든 벤더일 가능성이 크다. 그렇다면 CIO는 이에 대해 무엇을 할 수 있을까?

일단 ‘지구를 파괴하지 않는다’를 핵심 가치로 받아들이지 않는 기업이나 정부가 AI를 만들지 않기를 바란다. 하지만 이는 CIO가 아니라 윤리학자와 정부 규제 당국이 개입할 문제일 터다. 카네기 멜론 대학교 테퍼 경영대학원의 교수인 데릭 레벤은 “내가 걱정하는 것은 이러한 문제가 아니다. MBA 학생들을 가르칠 때는 지금 당장과 관련한 AI 위험에 대해 더 우려한다”라고 말했다. 

이를 기업 관점에서 적용하면, 기업의 이익이 시장 내 다른 기업, 공급업체, 고객의 이익과 충돌할 수 있다는 점을 이해해야 한다는 의미로 이어진다. 레빈 교수는 “AI 시스템이 경쟁 기업의 이익이 아니라 기업의 이익을 증진하는지 확인해야 한다. 하지만 동시에 AI가 소비자의 이익과 경쟁사의 이익도 존중하도록 해야 한다”라고 설명했다.

그는 이것이 바로 요구되는 균형이며, 우리가 해결책을 개발해야 할 문제라고 강조하며, 고객과 다른 이해관계를 가진 공급업체에서 AI를 제공하는 경우 이는 어려운 문제가 될 수 있다고 덧붙였다.

특히 공급업체가 상당한 시장 지배력을 가지고 있는 경우 기업 고객의 선택지는 제한적일 수 있다. 소프트웨어 개발사 글로번트의 데이터 과학 및 AI 책임자인 JJ 로페즈 머피는 “모델이 고객의 이익에 반하도록 고도로 훈련된 경우에는 프롬프트로 할 수 있는 일이 많지 않다. 이는 해결하기 쉽지 않은 문제다”라고 말했다.

그럼에도 불구하고 정렬 위험(alignment risks) 식별, 모델 결과물 지속적 모니터링, 가드레일 설치, 모델에 구애받지 않는 인프라 구축 등 CIO가 회사를 보호하기 위해 취할 수 있는 몇 가지 조치가 있다. 

모든 정렬 위험이 같지는 않다
기업 리더는 윤리적으로, 투명하게, 책임감 있게 올바른 방식으로 AI를 사용해야 한다는 점에 동의할 것이다. AI가 세상을 파괴하거나 고객에게 독가스를 만드는 방법을 가르치는 회사가 되기를 원하는 사람은 아무도 없다.

2023년 말에 발표된 3,000명 이상의 비즈니스 및 IT 임원을 대상으로 한 아바나드(Avanade) 설문조사에 따르면, 48%가 책임감 있는 AI를 위한 완전한 정책을 마련했다고 답했다. 1만 명 이상의 직원과 360억 달러의 연매출을 올리는 미시간주 최대 규모의 HMO인 BCBSM(Blue Cross Blue Shield Michigan)이 그 중 한 곳이다.

이 조직의 기술 및 운영 담당 부사장 빌 판드리치는 “우리는 이사회를 통해 AI 원칙을 다룬다”라며 예를 들어, AI 모델은 개인의 의료 서비스 이용 여부에 대한 결정을 내릴 수 없고 해당 결정은 사람이 내려야 한다고 전했다.

이 조직에는 투명성, 보안 및 타사 AI에 대한 가이드라인도 있다. 그는 “AI를 사용하는 공급업체의 경우, 우리는 그들이 무엇을 하고 있는지 알아야 한다. 그것이 우리 회원이나 고객에게 영향을 미칠 수 있기에 우리에게는 알 필요가 있다”라고 말했다.

그는 근간이 마련되지 않으면 효과적으로 발전하기 어렵고 확장도 불가능하다며 “많은 사람들이 이러한 기본 요소를 건너뛰고 싶어 하지만 이러한 요소가 성숙하지 않으면 가치를 창출할 수 있는 여지가 매우 제한적이다. 우리가 이 분야에 투자하는 이유다”라고 말했다.

그러나 규제를 덜한 분야의 기업이나 위험도가 낮은 사용 사례에만 생성형 AI를 배포하는 기업의 경우 상황은 매우 다를 수 있다. 지난 4월 딜로이트가 약 2,000명의 비즈니스 리더를 대상으로 실시한 설문조사에 따르면, 72%가 2022년 말 생성형 AI가 등장한 이후 모든 형태의 AI에 대한 조직의 신뢰도가 높아졌다고 답했다.

5월에 발표된 또 다른 설문조사도 있다. 콜맨 파크스가 알터릭스의 의뢰로 실시한 설문조사에 따르면, 글로벌 IT 리더 2,000명 중 5%만이 생성형 AI로 인해 심각한 부정적인 영향을 받았다고 답했다. 생성형 AI 초기 배포가 상대적으로 정렬 충돌의 위험이 적은 가장 낮은 사용 사례에 집중했기 때문으로 풀이된다.

예를 들어 마케팅 팀에서 LLM을 사용하여 기사를 요약하는 경우다. 경영 컨설팅 회사인 아레트의 데이터 과학 및 분석 담당 부사장인 프리야 이라가바라푸는 “이 경우에는 LLM 자체가 조직 및 문화와 정렬됐는지 여부에 대해 크게 걱정할 필요가 없을 것이다”라고 말했다.

투명성 및 책임성
기업 가치와 AI 모델의 정렬은 학습 데이터, 가중치, 파인 튜닝에서 시작된다. 이러한 정보는 일반적으로 오픈AI와 같은 독점적 상용 플랫폼에서는 전혀 제공되지 않는다. 오픈소스 모델이라 하더라도 모든 모델이 이 정보를 공개하는 것은 아니다.

이라가바라푸는 “WNDY 문제는 투명성이 부족하다는 점이다. 모델이 어떤 데이터를 기반으로 학습되었는지, 모델에 어떤 파인 튜닝이 이루어졌는지 알 수 없다면 회사 가치에 부합한다고 믿을 수 없다”라고 말했다.

부즈 앨런 해밀턴의 AI 거버넌스 책임자인 데이브 프라카쉬는 AI가 어떤 관점이나 차별적 의도를 가지고 있지는 않다며, “그냥 방정식이다. 수학과 통계일 뿐이다. 그러나 최선의 의도를 가지고 있더라도 AI는 불행한 결과를 낳을 수 있다”라고 말했다.

의사로 경력을 시작한 프라카시는 의료 분야에서 문제 사례를 많이 목격했다. 예를 들어, 한 대형 보험 회사는 중증도를 평가하는 알고리즘의 기초로 의료 비용을 사용했다. “이 알고리즘은 훨씬 건강한 백인보다 아프리카계 미국인의 중증도 점수를 낮게 매겼다. 일부 하위 집단은 동일한 의료 서비스를 이용할 수 없고, 여러 직업을 갖고 있으며, 의료 보험에 가입하지 않고, 의료비 지출이 많지 않기 때문이었다”라고 그는 설명했다.

기업 고객이 시작할 수 있는 한 가지 방법은 공급업체의 이력 검토다. 공급업체가 다른 어떤 일을 했는지, 개인 정보를 존중했는지, 투명하게 업무를 수행했는지 등을 살펴보는 것이다.

LLM을 감사하여 편향성의 정도를 확인하는 방법, 미국의 AI 관련 행정 명령이나 EU AI 법을 얼마나 잘 준수하는지와 같이 CIO가 확인해야 할 다른 질문도 있다. 프라카시는 그러나 이러한 정보를 찾는 것이 항상 쉬운 일은 아니며, 이러한 정보를 판단하는 데 필요한 도구는 아직 개발 중이라고 전했다. “이러한 모델을 효율적으로 감사할 수 있는 날이 오기를 고대한다”라고 그는 말했다.

규제 기관, 비영리 단체, 공급업체 그룹, 업계 그룹은 이제 막 이러한 문제를 해결하기 위한 노력을 시작하고 있다. 그는 “표준을 만드는 것은 사람들에게 이러한 기술을 채택하는 방법에 대한 확신을 주기 때문에 모두에게 이익이 될 수 있다”라고 설명했다. 

단순한 사용 사례를 넘어 복잡한 목표를 위한 생성형 AI 기반의 시스템인 자율 AI 에이전트가 대중적으로 채택되기 시작하면서 투명성과 책임성이 더욱 중요해질 전망이다. 이러한 시스템은 목표 달성을 위한 계획을 세우고, 작업을 위임하고, 해당 작업이 성공적으로 완료되었는지 확인하고, 목표에 도달할 때까지 반복적으로 조율할 수 있다. 이를 위해서는 AI에 대한 수많은 호출이 필요하며 사소한 조정 문제도 빠르게 확대될 수 있으므로 기업은 이러한 자율 시스템의 총체적인 성과를 평가하는 방법을 배워야 한다.

파인 튜닝 및 가드레일
기업이 대형 상용 AI 공급업체를 사용한다고 해도 공급업체 모델에 완전히 종속되는 것은 아니다. 오픈AI와 같은 ‘블랙박스’ 공급업체도 기업이 Q&A 형식으로 학습 데이터를 추가할 수 있는 LLM을 파인 튜닝할 수 있도록 일부 지원한다. 아레트의 이라가바라푸는 신입 사원에게 업무 수행 방법의 예를 제시하여 교육하는 것과 비슷하다고 비유했다.

그는 “새로운 사람을 채용할 때는 그 사람의 능력을 보고 뽑기 마련이다. 이후 온보딩할 때 회사의 문화와 업무 수행 방식을 설명하여 신입 사원이 일할 수 있도록 한다. LLM의 온보딩도 다르지 않다”라고 말했다. 이 과정에서 파인 튜닝은 모델에 의미 있는 영향을 미치기 위해 모델 원본 데이터 세트의 0.5%에서 1% 사이의 데이터 세트가 필요하다고 그녀는 설명했다.

GPT 4의 파라미터가 1조 개가 넘는 것으로 알려졌기 때문에 1%도 많은 양이지만, 기업이 파인 튜닝할 때 전체 데이터 집합을 고려할 필요는 없다.

이라가바라푸는 “10개의 질문과 답변을 작성하고 모델을 파인 튜닝했다고 해서 이제 우리 조직의 가치에 완전히 부합한다고 주장할 수는 없다. 하지만 모든 것에 대해 세밀하게 조정할 필요도 없다. 특정 비즈니스 프로세스나 문화에만 적용하면 된다. LLM의 전체 범위를 다루는 것이 아니라 하나의 작은 영역이나 개념을 깊이 파고드는 것이 중요하다”라고 설명했다.

적절한 파인 튜닝을 통해 모델의 핵심 정렬 문제를 해결할 수 있다. 그리고 파인 튜닝이 효과가 있는지 확인하려면 동일한 질문을 다양한 방식으로 여러 번 반복하여 LLM을 테스트해야 한다.

아직까지 이를 자동화할 수 있는 좋은 방법이나 다른 모델의 정렬을 테스트하기 위해 특별히 설계된 오픈소스 LLM은 없지만, 그 필요성은 분명하다. 단순한 Q&A 사용 사례가 자율 AI 기반 에이전트로 발전함에 따라 이러한 종류의 테스트는 절대적으로 필요해질 가능성이 크다. 이라가바라푸는 “모든 조직은 지금 이 도구를 필요로 한다”라고 말했다.

공급업체 종속
기업이 특정 AI 공급업체를 사용할 수밖에 없는 경우, 일관성을 유지하기란 끝없는 싸움일 가능성이 크다. “예를 들어 윈도우에 내장되어 있다면 제어할 수 없을 수도 있다”라고 글로반트의 머피는 말했다. 하지만 다른 공급업체, 오픈소스 프로젝트 또는 자체 구축 LLM으로 쉽게 전환할 수 있다면 작업이 훨씬 더 간단해진다. 

머피는 “옵션이 있으면 공급업체가 정직성을 유지하고 기업 구매자에게 권한을 돌려줄 수 있다. 글로반트에는 통합 레이어인 AI 미들웨어가 있어 모델 간에 쉽게 전환할 수 있다. 상용 LLM이 될 수도 있다. 로컬에서 사용하거나 [AWS] Bedrock에서 사용할 수도 있다”라고 설명했다.

일부 조직은 자체 모델을 구축하기도 한다. 로페즈 머피는 “그렇기 때문에 일부 정부는 실리콘밸리 회사의 감성에 의존하지 않기 위해 자체적인 소버린 AI를 원한다”라고 전했다.

AI에 대한 높은 수준의 통제가 필요한 것은 정부뿐만이 아니다. 예를 들어 블루크로스 블루쉴드 미시간은 사이버 보안, 계약 분석, 회원 혜택에 대한 질문에 대한 답변과 관련된 고위험 AI 사용 사례를 보유하고 있다. 이러한 영역은 매우 민감하고 규제가 엄격하기 때문에 이 조직은 사내에 안전하고 통제된 전용 클라우드 환경에 AI 시스템을 구축했다. 

판트리치는 “모든 것을 내부에서 처리한다. 네트워크의 비공개 영역에서 모델을 학습하고 제어한 다음, 이를 프로덕션으로 옮기는 방법과 여부를 결정한다”라고 말했다. dl-ciokorea@foundryco.com