인공지능(AI) 트렌드 분석 플랫폼 전문 기업 뉴엔AI가 자사 거대언어모델(LLM) '퀘타LLMs'로 국내 AI 성능 평가 지표인 'K-AI 리더보드' 종합 1위를 차지했다. 단순히 모델 크기를 키우는 방식이 아니라 한국어 구어체 데이터와 최적화 전략을 앞세워 성능을 끌어올렸다는 평가다.
뉴엔AI는 10일 자사 LLM '퀘타LLMs(QuettaLLMs-27B-Koreasoner-V3)'가 K-AI 리더보드에서 종합 1위를 기록했다고 밝혔다. K-AI 리더보드는 과학기술정보통신부·한국지능정보사회진흥원(NIA)이 관리하는 'AI 허브'를 기반으로 운영되는 평가 체계다. 국내 환경에 최적화된 황금성사이트 AI 성능을 공인하는 지표로 꼽힌다.?
평가엔 한국어 특유의 문화·언어 이해도를 측정하는 'CLIcK'과 변호사·회계사 등 전문직 자격시험을 바탕으로 고난도 추론 능력을 평가하는 'KMMLU-Pro' 등이 활용된다.
뉴엔AI는 이번 성과의 배경으로 '벤치마크 최적화 전략'을 지목했다. 최근 LLM 시장이 단순 파라미터( 바다이야기게임2 매개변수) 경쟁을 넘어 미세조정(파인튜닝) 데이터의 질, 양자화, 전이 학습 전략에 따라 실제 성능이 갈리는 흐름으로 바뀌고 있는데 이와 부합한다는 설명이다.
뉴엔AI는 수년간 온라인 트렌드 데이터를 분석하면서 축적한 고품질 구어체 데이터세트를 학습에 투입해 성능을 극대화했다. 자체 최적화 알고리즘을 통해 베이스 모델의 추론 능력은 유지하 릴게임황금성 면서도 한국어 특유의 문법적 미묘함과 맥락 이해도를 끌어올렸다는 것이다.
실제 평가에서도 고른 성적을 보였다. 뉴엔AI는 한국어 지식 측정 지표인 CLIcK에서 0.794점, 복합 추론 능력을 평가하는 KMMLU-Pro에서 0.676점을 기록했다. 회사는 전 분야에서 고른 고득점을 확보하면서 기술적 완성도를 입증한 결과라고 강조했다.
체리마스터pc용다운로드 모델 개발을 주도한 김광수 뉴엔AI 부장은 "이번 성과는 모델 규모보다 데이터에 대한 깊은 이해와 수행 과제에 최적화된 학습이 한국어 특화 성능을 결정짓는 핵심임을 입증한 사례"라며 "앞으로도 한국어 맥락에 최적화된 고성능 언어모델을 지속적으로 고도화해 국내 AI 생태계 발전에 기여할 것"이라고 말했다.
김대영 한경닷컴 기자 릴게임5만 kdy@hankyung.com