메타가 연산 비용을 획기적으로 줄인 차세대 대규모 언어 모델 ‘라마4’를 공개하며 중국 AI 기업 딥시크에 정면 대응했다. 지난해 4월 ‘라마3’를 출시한 지 1년 만이다.
라마 시리즈는 AI 개발에 필요한 소스코드를 공개하는 ‘개방형 AI’ 진영의 대표주자다. 메타는 이번에 경량 모델 ‘스카우트(Scout)’와 범용 모델 ‘매버릭(Maverick)’ 등 두 가지 버전의 라마4를 선보였다. 딥시크가 낮은 비용과 높은 성능을 앞세워 개방형 AI 시장에서 주목받자 메타도 맞불을 놓은 셈이다.
라마4는 ‘전문가 혼합(Mixture of Experts)’ 방식을 채택했다. 질문 유형에 따라 관련된 전문가 영역만 활성화해 응답하는 방식으로, 모든 영역을 한꺼번에 사용하는 기존 모델보다 연산 효율이 높다. 딥시크가 먼저 도입한 이 방식을 메타가 차용한 것으로 풀이된다. 다만 메타는 텍스트에만 대응하는 딥시크와 달리 이미지와 영상까지 모두 처리 가능한 ‘멀티모달’ 기능을 차별점으로 내세웠다.
경량 모델인 스카우트는 엔비디아의 구형 AI 가속기 H100 한 장으로도 작동 가능하다. 메타는 “GPU 한 장만으로도 이전 세대 모델보다 강력한 성능을 발휘하며, 구글의 경량 AI 모델 젬마3보다 우수한 결과를 냈다”고 설명했다.
범용 모델인 매버릭은 총 4000억 개의 매개변수를 학습했으나 실제 응답 시에는 170억 개만 활성화하는 구조로 설계됐다. 메타는 “GPT-4o, 제미나이 2.0 등과 비교해 코딩, 추론, 이미지 등에서 동등하거나 능가하는 성능을 보였고, 딥시크보다 절반 이하의 매개변수로 유사한 결과를 낼 수 있다”고 밝혔다.
현재 메타는 매개변수 2조 개 규모의 초고성능 모델 ‘베히모스(Behemoth)’도 개발 중이다.
라마4의 공개로 개방형 AI 시장의 경쟁은 한층 치열해질 것으로 전망된다. 미국 테크 전문 매체 테크크런치는 “딥시크의 돌풍이 라마4의 출시를 앞당겼다”며 “메타는 딥시크의 비용 절감 비결을 파악하기 위해 급히 상황실을 꾸렸다”고 전했다.
About the Author
