娇色导航

라마 2는 구글 트랜스포머 아키텍처를 개선한 모델이다. 첫 버전이었던 라마에서 개선된 부분에는 GPT-3를 본뜬 RMSNorm 사전 정규화, 구글의 PaLM에서 착안한 SwiGLU 활성화 함수, 멀티헤드 어텐션(multi-head attention)을 대신하는 , 에서 영감을 얻은 회전 위치 임베딩(RoPE) 등이 있다. 라마 학습에는  옵티마이저가 사용됐다. 또 라마 2는 라마보다 컨텍스트 길이가 증가했고(2,048 토큰에서 4,096으로 2배), 멀티쿼리 어텐션 대신 을 사용한다.

라마 2의 학습 말뭉치에는 공개적으로 사용 가능한 소스에서 가져온 데이터가 혼합돼 있다. 메타의 제품이나 서비스의 데이터는 포함되지 않았다고 회사 측은 밝혔다. 학습 데이터의 토큰 수는 2조 개다. 메타는 사전 학습에 리서치 수퍼 클러스터(Research Super Cluster)와 내부 프로덕션 클러스터를 사용했으며, 아울러 엔비디아 A100 GPU를 썼다. 사전 학습에는 70억 매개변수 모델은 18만 4,000 GPU 시간, 700억 매개변수 모델은 170만 GPU 시간이 걸렸다.

라마 2 챗을 미세 조정하는 데는 몇 개월이 걸렸고, SFT(Supervised Fine-Tuning)과 인간 피드백 기반 강화 학습(RLHF)이 모두 사용됐다. 메타는 고스트 어텐션(Ghost Attention; GAtt)을 활용해 라마 2 챗으로 하여금 대화 턴이 넘어갈 때 시스템 메시지(전체 명령어)를 잊지 않도록 했다.

라마 2는 안전한가?

몇몇 생성형 AI는 멋대로 답을 지어내거나 환각을 일으키고, 불쾌한 말을 하며, 심지어 자살을 권하는 등 각종 사건·사고를 일으켜 좋지 않은 인상을 남겼다. 잘못된 답은 사회적 혼란을 조장하는 등 위험할 수 있기 때문에 거의 모든 LLM에는 틀에 박힌 경고 문구가 첨부된다. “AI가 아무리 안전하다고 간주되더라도 결국 ‘확률적 앵무새(설득력 있는 언어를 생성하긴 하지만, 정작 언어의 의미를 이해하지 못하는 언어 모델을 일컫는 용어)’일 뿐이기 때문에 항상 답을 확인해야 한다.”

메타는 약 2,000개의 적대적 프롬프트를 사용한 인간 평가자의 평가에 근거해 라마 2 챗이 다른 모델만큼 안전하거나 더 안전하다고 주장한다. 하지만 메타의 경고도 유의할 필요가 있다. 프롬프트 집합의 한계, 검토 가이드라인의 주관성, 개별 평가자의 주관적 판단 등으로 인해 LLM 평가에 편향성이 내재될 수 있다는 점이다. 이런 안전성 평가에 사용된 콘텐츠 표준은 라마 2 챗 모델에 유리하도록 편향될 가능성이 높다.

라마 2의 윤리적 고려 사항

일반적인 LLM 윤리 및 안전 문제 외에, 라마 2와 라마에는 오픈소스 학습용 데이터 세트 중 하나인 의 북3(Books3) 섹션 관련 문제도 있다. 리차드 캐드리, 사라 실버맨, 크리스토퍼 골든은 에서 메타가 자신들에게 저작권이 있는 책을 포함한 북3를 모델 학습에 사용한 것은 저작권 침해라고 주장하며, 손해배상과 수익금 반환을 요구했다. 이 소송은 현재 진행 중이다.

최근 라고 하는 저장소는 덴마크 불법 복제 방지 단체(Rights Alliance)의  폐기 요청에 응해 북3를 삭제했다. 권리 연합은 다른 사이트에서도 삭제 절차를 밟고 있다. 아이러니하게도 북3는 오픈AI가 개인 서적 데이터 세트를 사용해 GPT-3를 학습시킨 이후, 생성형 AI 학습의 민주화를 목적으로 만들어졌다.

라마 2는 오픈소스인가?

라마 2 챗과 코드 라마를  라마 2를 “거의 오픈소스에 가깝다”라고 표현했다. “거의” 오픈소스인 이유는 무엇일까? 라마 2 라이선스에 두 가지 제약이 있기 때문이다. OSI(Open Source Initiative)의  제약은 다음과 같다.

“오픈소스가 되려면 개인이나 그룹 또는 분야에 따른 차별이 있어서는 안 된다는 요건이 있다(OSD 5번 및 6번). 메타의 라마 모델 및 코드 라이선스는 이 요건을 충족하지 않는다. 특히 일부 사용자의 상업적 사용을 제한하고(2항), 특정 목적을 위한 모델 및 소프트웨어 사용도 제한한다(허용 가능한 사용 정책).”

 2항은 다음과 같다.

“추가 상업적 이용 약관. 라마 2 버전 출시일 기준 라이선스 사용자 또는 사용자의 계열사가 제공하는 제품이나 서비스의 직전 달 월간 활성 사용자 수가 7억 명을 초과하는 경우 메타에 라이선스를 요청해야 하며, 메타는 단독 재량으로 라이선스를 부여할 수 있다. 메타가 명시적으로 권리를 부여할 때까지 본 계약 아래의 어떠한 권리도 행사할 수 없다.”

AWS, 구글 클라우드, 마이크로소프트 애저를 배제하기 위한 것으로 보이는 이 조항은 마리아DB에서 고안한 비즈니스 소프트웨어 라이선스(Business Software License)와 같은 맥락이다. 대부분의 소프트웨어 개발자는 이런 제약에 크게 신경 쓰지 않지만, 오픈소스 옹호자는 상당히 신경을 쓴다.

에서는 ▲법률 또는 타인의 권리를 위반 및 침해하는 행위 ▲개인의 사망 또는 신체적 상해 위험을 초래하는 활동 계획 또는 전개에 참여하고 이를 홍보, 선동, 촉진 또는 지원하는 행위 ▲고의적으로 타인을 기만하거나 오도하는 행위 ▲최종 사용자에게 AI 시스템의 알려진 위험을 적절히 공개하지 않는 행위를 위해 라마를 사용할 수 없다고 규정한다.

즉, 라마를 사용해 무기를 개발하거나, 불법 약물을 만들거나, 명예를 훼손하는 문구 또는 영상을 만들거나, 그 외에 다른 AI 모델에서 발생한 여러 피해 사례 중 하나라도 일으키면 라이선스 위반이 된다는 의미다.

이 같은 메타의 태도에 공감할 수 있고 거의 동의하지만, 이것이 에 위배된다는 마풀리의 지적은 옳다. 이를테면 생성형 AI를 사용해서 합법으로 판명될 약물을 설계하는 것과 불법으로 판명될 약물을 설계하는 행위 사이에 명확한 선험적 경계가 있는지 의문을 제기하지 않을 수 없다.

라마를 사용해 통증 완화를 위한 약물을 설계했는데, 출시 이후 안전성 모니터링에서 중독성이 높은 것으로 판단돼 1급 규제 물질로 금지된다고 가정해 보자. 설계 과정에서 사용 정책을 위반하게 될지 어떻게 알 수 있겠는가? 아마 거의 불가능하다. 

한편 OSI는 현재 이다.

코드 라마는 무엇인가?

코드 라마는 프로그래밍 코드를 자동으로 생성하는 AI 모델이다. 코드별 데이터 세트, 특히 라마 2를 처음 학습시키는 데 사용된 것과 동일한 코드를 다량 활용해 라마 2를 미세 조정하는 방식으로 학습했다. 메타는 코드 라마가 코드와 자연어 프롬프트 모두에서 코드와 코드에 대한 자연어를 생성할 수 있으며, 코드 완성 및 디버깅 용도로도 쓸 수 있다고 말했다. 코드 라마는 파이썬, C++, 자바, PHP, 타입스크립트(자바스크립트), C#, 배쉬 등 오늘날 많이 사용되는 언어를 지원한다.

은 다음과 같다.

• 코드 라마는 코드와 자연어 프롬프트 모두에서 코드와 코드에 대한 자연어를 생성할 수 있는 LLM이다.

• 코드 라마는 연구 및 상업적 용도로 무료 사용할 수 있다.

• 코드 라마는 라마 2를 기반으로 구축됐으며, 다음의 3가지 모델로 제공된다.
(코드 라마: 기본 코드 모델/코드 라마 – 파이썬: 파이썬용으로 특화된 모델/코드 라마 – 인스트럭트: 자연어 명령어를 이해하도록 미세 조정된 모델)

• 메타의 자체 벤치마크 테스트 결과, 코드 라마는 공개적으로 사용 가능한 다른 최신 LLM을 앞서는 결과를 보였다.

코드 라마의 크기는 70억, 130억, 340억 매개변수로 나뉜다. 모든 코드 라마 모델은 1만 6,000개의 토큰 시퀀스를 학습했으며, 최대 10만 개의 토큰 입력으로 개선됐다. 70억/130억 기본 및 인스트럭트 모델은 코드 완성을 가능하게 해주는 중간 채우기 학습도 거쳤다.

70억 모델은 단일 GPU로 가동할 수 있다. 예상대로 340억 모델이 가장 좋은 결과를 반환하지만, 작은 모델이 더 빠르고 지연 시간이 짧기 때문에 편집기 내에서 사용하기 더 적합하며, 그런 이유로 중간 채우기 학습도 이뤄졌다.
editor@itworld.co.kr