[AI 논문] 올해의 한국어 LLM에 선정된 야놀자 언어 모델, EEVE

안녕하세요! 오늘은 최근 "올해의 한국어 LLM"으로 선정된 야놀자의 대형 언어 모델, EEVE에 대해 살펴보겠습니다. EEVE모델은 Efficient and Effective Vocabulary Expansion의 약자로, 효율적이고 효과적인 어휘 확장을 위한 파라미터 동결, 서브워드 기반 임베딩 초기화, 다단계 학습과 같은 접근방법을 통해 기존의 영어 언어 모델을 한국어 모델로 확장하고 새로운 언어 토큰을 통합한 모델입니다. 야놀자는 EEVE 언어 모델을 통해 사용자의 후기를 요약하고 인사이트를 얻기 위해 도입하였다고 하는데요, 이 블로그에서는 논문을 통해 EEVE 모델의 개요, 어휘 확장 방법, 학습과정, 성능평가 결과에 대해 알아보고, Ollama UI, LM Studio를 활용해서 EEVE 모델과 대화해 보겠습니다. 

올해의 한국어 LLM 야놀자 언어 모델, EEVE

https://www.aitimes.com/news/articleView.html?idxno=158608

야놀자·이든티앤에스, '올해의 한국어 LLM' 우수 모델 수상 - AI타임스

"이 포스팅은 쿠팡 파트너스 활동의 일환으로, 이에 따른 일정액의 수수료를 제공받습니다."

논문개요

이 논문의 목적은 영어 중심 언어 모델을 다른 언어로 확장하고 새로운 언어 토큰을 효과적으로 통합하는 방법을 제시하는 것입니다. 특히 한국어에 대해 이러한 방법론을 제시하며, 새로운 언어 토큰을 모델의 어휘에 효과적으로 통합함으로써 모델의 적용 가능성을 향상시키고 다양한 언어적 맥락에서의 성능을 향상시키는 것을 목표로 합니다. 이를 통해 한국어를 포함한 다른 언어에 대한 언어 모델의 확장과 적용 가능성을 높이는 것이 이 논문의 핵심 목적입니다.

• 논문제목 : Efficient and Effective Vocabulary Expansion Towards Multilingual Large Language Models
• 논문저자 : Yanolja, South Korea
• 논문게재 사이트: https://arxiv.org/abs/2402.14714
• 논문게재일 : 2024년 2월

올해의 한국어 LLM에 선정된 야놀자 언어 모델, EEVE

 

논문의 연구내용

이 논문은 Efficient and Effective Vocabulary Expansion(EEVE, 효율적이고 효과적인 어휘 확장 방법)을 제안합니다. 영어 중심 언어 모델을 비영어 언어로 확장하고 새로운 언어의 토큰을 통합하기 위해 파라미터 동결과 서브워드 기반 임베딩 초기화를 결합한 방법론을 제시하고, 이를 위해 7단계의 다단계 학습 절차를 도입하여 새로운 언어의 특성을 모델에 효과적으로 통합합니다.

어휘 확장 방법

이 논문에서 제안한 어휘 확장 방법은 다음과 같은 주요 내용과 동작 원리를 갖추고 있습니다:

• 파라미터 동결 (Parameter Freezing): 기존 영어 중심 언어 모델(Solar10.7B, Phi-2)의 일부 파라미터를 학습 과정에서 고정시킴으로써 새로운 한국어 토큰을 효과적으로 학습할 수 있도록 돕습니다. 특정한 파라미터 그룹의 가중치 갱신을 멈추게 함으로써 해당 파라미터를 학습의 대상에서 제외시키므로써, 이전 언어에 대한 간섭과 손상을 최소화하고, 모델의 안정성을 유지하며, 새로운 언어의 특징을 충분히 학습할 수 있도록 돕는 역할을 합니다.
• 서브워드 기반 임베딩 초기화 (Subword-based Embedding Initialization): 새로운 언어의 토큰을 서브워드로 분해하고, 이를 통해 임베딩을 초기화합니다. 이것은 새로운 언어의 단어를 더 작은 단위로 분해하여 모델이 새로운 언어의 특성을 더 정확하게 이해하고 학습할 수 있도록 돕습니다. 서브워드 기반 임베딩 초기화는 새로운 언어의 단어를 모델에 효과적으로 통합하기 위한 과정 중 하나입니다. 임베딩 초기화에 대한 설명은 아래 더 보기를 클릭하시면 됩니다.

임베딩 초기화는 모델이 학습을 시작할 때 단어를 효과적으로 이해하고 학습할 수 있도록 단어를 벡터로 표현하는 과정입니다. 이 과정은 모델의 성능과 학습 속도에 큰 영향을 미치며, 적절한 초기화는 모델의 학습 능력을 향상시킵니다. 초기화를 통해 모델은 단어의 의미를 적절하게 파악하고, 단어 간의 의미적 관계를 이해하여 학습할 수 있습니다. 따라서 임베딩 초기화는 모델의 학습 과정을 원활하게 진행시키고, 더 나은 결과를 얻기 위해 필수적입니다.

서브워드 기반 임베딩 초기화 개념도

위 개념도는 새로 추가된 토큰의 출력 임베딩이 해당 토큰을 구성하는 첫 번째 서브워드 토큰의 출력 임베딩으로 초기화된다는 것을 설명합니다. 이렇게 함으로써 모델은 새로운 토큰과 해당 서브워드 사이의 관련성을 유지하면서 새로운 토큰을 이해하고 예측할 수 있게 됩니다. 예를 들어, "하세요"라는 새로운 토큰의 출력 임베딩은 이 토큰을 구성하는 첫 번째 서브워드 토큰 "하"의 출력 임베딩과 유사하게 초기화됩니다. 이렇게 함으로써 모델은 "하세요"를 예측할 때 "하"와 관련된 정보를 활용할 수 있습니다.

일반적인 초기화	서브워드 기반 임베딩 초기화
단어를 전체적으로 하나의 벡터로 표현	단어를 서브워드(단어의 부분) 단위로 분해하여 표현
단어의 의미를 고려하지 않고 하나의 벡터로 표현	단어의 구성 요소를 고려하여 각 부분의 의미를 반영하여 표현
단어 간 의미적 관계를 잘 파악하지 못할 수 있음	단어의 의미를 더 정확하게 파악하여 의미적 관계를 잘 이해하고 학습함
모든 단어를 동일하게 다룸	단어의 구성 요소에 따라 다르게 처리하여 단어의 의미를 더 잘 이해하고 학습함

• 다단계 학습 (Multi-stage Training): 새로운 언어의 토큰을 효과적으로 통합하기 위해 7개의 단계로 구성된 과정입니다. 각 단계에서는 입력 및 출력 임베딩을 순차적으로 최적화하여 모델에 새로운 언어의 특성을 점진적으로 학습합니다. 이러한 다단계 접근 방식은 모델의 안정성과 성능을 보장하면서 새로운 언어의 특성을 잘 반영합니다.

이러한 접근 방식은 새로운 언어로의 모델 확장을 효과적으로 수행하기 위해 기존의 언어 모델을 최적화하고 새로운 언어의 특성을 효과적으로 통합합니다.

다단계 학습과정

다단계 학습 과정은 EEVE-Korean-10.8B-v1.0 모델의 어휘 확장을 위한 방법론을 제시합니다. 다음 그림에서 🔥와 ❄️ 이모지는 각각 훈련 가능한 파라미터와 동결된 파라미터를 나타냅니다.

EEVE의 다단계 학습과정

• 1단계 (새로운 입력 임베딩): 새로 추가된 토큰의 입력 임베딩을 학습합니다. "입력 임베딩을 학습한다"는 말은 모델이 텍스트 데이터를 이해하고 처리할 수 있도록 단어를 벡터 형식으로 변환하는 과정을 의미합니다. 다른 모든 모델 매개변수를 동결시키고 새로운 토큰의 입력 임베딩만 학습합니다. 모델이 새로운 토큰을 인식하고 처리하는 데 도움이 되는 기초를 제공합니다. 
• 2단계 (새로운 출력 임베딩): 새로운 토큰을 다양한 맥락에서 정확하게 생성하기 위해 출력 임베딩(lm_head)만 조정합니다. 다른 대부분의 매개변수를 동결하여 모델의 안정성을 유지합니다. lm_head는 Language Model Head의 줄임말로, 언어 모델의 출력 부분을 가리킵니다.
• 3단계 (새로운 입력 및 출력 임베딩): 새로운 토큰의 입력 및 출력 임베딩을 동시에 업데이트합니다. 입력 및 출력 임베딩 간의 일치를 통해 모델이 새로운 토큰을 이해하고 예측하는 방법을 배웁니다.
• 4단계 (모든 출력 임베딩): 이전에는 기본 모델의 모든 매개변수가 동결되어 있었으므로 이제 이전 토크나이저와 새로운 토크나이저 사이의 로짓(Logit)이 다르게 조정되었다고 가정하고, 이전 매개변수의 출력 임베딩을 업데이트하여 모델이 새로운 토큰을 더 잘 생성하도록 합니다. 여기서 "로짓(Logit)"은 모델이 각 토큰에 대해 예측하는 출력 값입니다.
• 5단계 (새로운 입력 및 모든 출력 임베딩): 모델의 어휘 전체에 걸쳐 모든 출력 임베딩을 미세 조정하면서 새로운 토큰의 입력 임베딩을 계속해서 개선합니다. 목표는 모델이 확장된 어휘 내의 모든 토큰을 정확하게 예측할 수 있도록 함으로써 모델이 이전에 학습한 언어 이해 능력과 조화롭게 동작하도록 보장하는 것을 의미합니다. 즉, 새로운 토큰이 모델의 입력으로 제공될 때, 모델은 이를 이해하고 적절한 문맥에서 활용할 수 있어야 합니다
• 6단계 (모든 레이어): 이 단계에서는 모든 모델 매개변수를 최적화합니다. 어휘 확장을 위해 업데이트된 임베딩 레이어를 모델의 전체적인 매개변수에 효과적으로 통합합니다.
• 7단계 (내부 레이어): 이 단계에서는 모델의 내부 레이어를 업데이트합니다. 어휘 확장 과정에서의 향상된 성능이 모델의 핵심 처리 능력에 반영됩니다.

7단계가 완료되면 모델은 새로운 토큰을 입력으로 받아들이고 해당 토큰에 대한 출력을 생성하는 방법을 배우게 됩니다. 이러한 단계적인 접근은 모델이 새로운 토큰을 인식하고 생성하는 능력을 향상시키면서 모델의 전반적인 언어 생성 프로세스에 새로운 어휘가 매끄럽게 통합되도록 보장합니다.

항목	다단계 학습	비 다단계 학습
학습 방법	새로운 어휘를 다양한 단계로 구조화된 절차로 학습	단일 단계로 전체 모델을 한 번에 학습
파라미터 동결	특정한 단계에서 일부 파라미터를 동결하여 안정성 유지	모든 파라미터를 동시에 학습
효과	새로운 어휘를 효과적으로 모델에 통합	새로운 어휘의 통합이 단일 학습보다 덜 효과적 일 수 있음
모델의 안정성 유지	특정한 단계에서 파라미터 동결을 통해 모델의 안정성 유지	단일 학습 단계에서는 파라미터를 업데이트할 때 모델이 불안정 할 수 있음
계산 비용	단계별로 학습을 진행하므로 더 많은 계산 비용 발생	전체 모델을 한 번에 학습하므로 계산 비용이 낮을 수 있음

 

EEVE의 다단계 학습은 여러 가지 장점을 가지고 있습니다:

• 언어 통합 능력 강화: 새로운 언어의 토큰을 효과적으로 모델에 통합함으로써, 다양한 언어의 데이터를 처리하는 능력을 향상시킵니다.
• 안정성 보장: 입력 및 출력 임베딩을 단계적으로 학습함으로써 모델의 안정성을 유지하면서 새로운 토큰을 통합합니다.
• 성능 향상: 다단계 학습은 모델의 성능을 향상시키는 데 도움이 됩니다. 새로운 언어의 토큰을 효과적으로 학습하고 처리함으로써 모델의 전반적인 성능을 개선할 수 있습니다.
• 적은 계산 비용: 모델의 입력 및 출력 임베딩을 단계적으로 학습함으로써 전체적인 학습 과정의 계산 비용을 줄일 수 있습니다. 특히, 더 큰 어휘를 처리하는 경우에 유용합니다.
• 적용 범위 확대: 다단계 학습은 다양한 언어 처리 작업 및 응용 프로그램에 적용될 수 있습니다. 새로운 언어의 토큰을 효과적으로 통합함으로써 모델의 적용 범위를 확대할 수 있습니다.

이러한 장점들은 EEVE의 다단계 학습을 통해 모델의 언어 이해 능력과 적용 가능성을 향상시키는 데 기여합니다.

728x90

성능평가 결과

야놀자 언어 모델은 Open LLM Leaderboard에서 다양한 작업에 대해 평가되었으며, 각 작업에 대한 성능 지표가 포함되어 있습니다. 최신 결과는 다음과 같습니다.

측정 데이터셋	설명	값
평균	모든 평가 작업에 대한 평균 성능입니다.	66.48
AI2 Reasoning Challenge (25-Shot)	초등학교 수준 과학 시험 문제들을 포함하는 객관식 문항 응답 데이터셋으로, 25번의 학습을 통해 모델의 성능을 측정합니다.	64.85
HellaSwag (10-Shot)	95%이상의 정확도로 일반적인 사람들이 답변할수 있는 수준의 상식적 이해 및 상황 이해 작업에 중점을 둔 데이터셋으로, 10번의 학습을 통해 모델의 성능을 측정합니다.	83.04
MMLU (5-Shot)	이미지와 텍스트가 함께 제공되는 다중 모달 데이터를 이해하는 능력을 평가하는 데이터셋입니다. 5번의 학습을 통해 모델의 성능을 측정합니다.	64.23
TruthfulQA (0-shot)	건강, 법률, 금융 및 정치를 포함한 38가지 범주를 아우르는 817개의 질문에 대해 추가 정보 없이 0-샷 학습 상황에서 사실에 기반하여 질문에 정확히 답하는 능력을 평가하는 데이터셋입니다.	54.09
Winogrande (5-shot)	모호한 대명사의 해석 문제를 다루는 문장내 빈칸 채우기 데이터셋으로, 5번의 학습을 통해 모델의 성능을 측정합니다.	81.93
GSM8k (5-shot)	8,500개의 다단계 추론이 필요한 초등학교 수학 문제를 다루는 데이터셋으로, 5번의 학습을 통해 모델의 성능을 측정합니다.	50.72

 

측정 데이터셋을 모두 학습하면 모두 100점을 맞을 수 있을 것 같지만, 훈련 데이터에서 일반적인 패턴과 개념을 학습하여 논리적 추론과 상식적 이해를 필요로 하는 새로운 문제에서 인간을 뛰어넘는 것은 어려운 과제 중 하나입니다. 벤치마크 테스트 데이터셋을 사용한 결과는 모델이 해당 데이터셋에서 얼마나 잘 작동하는지를 보여주는 지표에 불과하며, 실제 응용 환경에서의 성능을 보장하지는 않습니다.

 

EEVE-Korean-Instruct-10.8B-v1.0 모델의 학습 데이터는 크게 두 가지 소스에서 비롯됩니다:

• Open-Orca/SlimOrca-Dedup 번역 데이터: 이 데이터는 Open-Orca 프로젝트의 일환으로 제작된 원본 영어 데이터를 한국어로 번역한 번역 데이터셋으로, 번역 모델의 품질을 향상시키기 위해 다양한 언어 쌍에서 수집된 병렬 문장 쌍을 포함하고 있습니다. 각 병렬 문장 쌍은 하나의 언어로 작성된 원본 문장과 해당 원본 문장의 번역인 대상 문장으로 구성됩니다. SlimOrca-Dedup은 Open-Orca 프로젝트에서 생성된 데이터 중에서 중복을 제거한 부분집합입니다.
• argilla/ultrafeedback-binarized-preferences-cleaned 번역 데이터: 이 데이터는 UltraFeedback 프레임워크에 따라 생성된 피드백을 이용하여 생성된 데이터입니다. 이 데이터셋은 사용자 피드백을 긍정적인 피드백과 부정적인 피드백으로 분류하는 이진화된 레이블로 표시하고 있으며, 사용자와 에이전트 간 상호 작용을 통해 수집된 각 샘플  데이터는 이러한 피드백을 한국어로 번역하고 정제하여 생성되었습니다.

이 두 가지 데이터 소스를 통해 EEVE-Korean-Instruct-10.8B-v1.0 모델은 한국어 자연어 이해 및 생성 작업에 대한 학습을 수행합니다.

Benchmarks 비교

Benchmarks에서는 EEVE-Korean 모델의 성능을 평가하기 위해 KoBEST 벤치마크를 채택합니다. 이 벤치마크는 한국어로 번역된 언어 이해 과제를 제공하는데, 그중에는 불리언 질문 답변 (BQ), 상식적 인과 추론 (CP), 문맥에 민감한 단어 이해 (WIC), 상식적 추론 (HS), 그리고 감정 부정 인식 (SN)이 포함됩니다.

 

EEVE-Korean-10.8B-v1.0은 유사한 크기의 사전 훈련 모델들보다 평균 성능이 우수합니다. 특히 EEVE-Korean은 영어 성능을 희생하지 않고 한국어 성능을 개선한 유일한 경우입니다. 예를 들어, 동일한 기본 모델을 기반으로 한 OPENSOLAR-KO-10.7B는 EEVE-Korean-Instruct-10.8B-v1.0보다 약간 우수한 성능을 보입니다. 그러나 이 모델은 영어 능력을 유지하지 못하고 오히려 영어 과제에서 낮은 성능을 보입니다.

 

마찬가지로, 작은 모델인 EEVE-Korean-2.8B-v1.0도 기본 모델로 Phi-2를 공유하는 phi-2-ko-v0.1 모델과 비교하여 유사한 추세를 보입니다. 이는 EEVE 훈련 전략의 효과성을 입증하며, 경쟁 모델보다 훨씬 적은 학습 토큰을 사용했음에도 불구하고 성능을 개선했다는 것을 보여줍니다.

 

DEMO 실행

다음은 실제로 EEVE-Korean-10.8B-v1.0 언어 모델을 Ollama UI와 LM Studio를 통해 만나보겠습니다. 

GGUF 파일 다운로드

먼저, 아래 허깅페이스 모델페이지에서 ggml-model-Q4_K_M.gguf 파일(6.5GB)을 다운로드합니다. Q5 버전도 있지만 더 많은 시스템 리소스를 요구하므로 본인의 컴퓨터 사양에 맞게 다운로드하면 됩니다. 

https://huggingface.co/heegyu/EEVE-Korean-Instruct-10.8B-v1.0-GGUF/tree/main

heegyu/EEVE-Korean-Instruct-10.8B-v1.0-GGUF at main

EEVE-Korean-10.8B 허깅페이스 모델페이지

Modelfile 작성

다음은 모델파일 작성단계입니다. 이 파일은 모델의 청사진으로, 가중치, 매개변수, 프롬프트 템플릿 등을 지정하는 역할을 합니다. Ollama 윈도우 버전이 설치된 상태에서 아래 내용을 복사해서 파일이름을 Modelfile로 설정하고 위 단계에서 EEVE 모델을 다운로드한 디렉토리에 저장합니다.  

FROM ./ggml-model-Q4_K_M.gguf
TEMPLATE """[INST] {{ .System }} {{ .Prompt }} [/INST]"""
PARAMETER stop "[INST]"
PARAMETER stop "[/INST]"
SYSTEM You are my AI assistant.

 

위 모델 파일의 내용은 다음과 같은 의미를 갖습니다:

• `FROM ./ggml-model-Q4_K_M.gguf`: 이 부분은 사용할 GGUF 모델의 경로를 지정합니다. 즉, 해당 경로에서 GGUF 모델을 불러와서 사용하게 됩니다.
• `TEMPLATE """[INST] {{ .System }} {{ .Prompt }} [/INST]""""`: 이 부분은 모델이 생성하는 텍스트의 형식을 지정합니다. 여기서 `{{ .System }}`과 `{{ .Prompt }}`는 각각 시스템과 프롬프트 변수를 나타냅니다. 이 변수들은 모델이 생성하는 텍스트에서 실제 값으로 대체됩니다.
• `PARAMETER stop "[INST]"`: 이 부분은 모델이 생성한 텍스트를 중지할 때 사용할 문자열을 정의합니다. 여기서는 "[INST]" 문자열을 중지 문자열로 사용하게 됩니다.
• `SYSTEM You are my AI assistant.`: 이 부분은 시스템 프롬프트를 정의합니다. 즉, 모델이 생성하는 텍스트의 맥락을 결정하는 역할을 합니다. 이 경우에는 "You are my AI assistant."라는 문장이 사용되었으므로 모델은 AI 비서로서 작동하는 것처럼 동작할 것입니다.

요약하면, 주어진 모델 파일은 "You are my AI assistant."라는 시스템 프롬프트를 사용하여 다운로드한 GGUF 모델을 활용하고, 모델이 생성하는 텍스트의 형식을 지정하며, 생성된 텍스트를 중지할 때 사용할 문자열을 정의하는 역할을 합니다.

Ollama 로컬 언어 모델 생성

다음은 전단계에서 만든 모델 파일을 이용해서 Ollama 로컬 언어 모델을 생성하는 단계입니다. 윈도우 명령어 프롬프트에서 "ollama create modelname -f Modelfile"를 입력하여 로컬 언어 모델을 생성합니다. modelname은 원하는 이름으로 설정할 수 있습니다. 저는 모델이름을 "EEVE-Korean-10.8B"으로 설정하였습니다. 

Ollama 로컬 언어 모델 생성

모델 생성이 완료되면 아래 화면과 같이 "ollama list" 명령을 통해 확인할 수 있으며, "ollama run EEVE-Korean-10.8B" 명령으로 언어 모델을 바로 불러와서 대화를 실행할 수 있습니다. 

ollama list 모델 생성 확인 및 ollama run 실행 화면

아래 화면은 Ollama 명령어 줄 인터페이스에서 "딥러닝에 대해 알려줘"라고 한글로 질문하고 답변한 화면입니다. 

EEVE-Korean-10.8B 답변 화면

Ollama UI, LM Studio 대화

다음은 Ollama UI 및 LM Studio를 통해 EEVE-Korean-10.8B와 대화를 해보겠습니다. 먼저, Ollama UI는 크롬 브라우저 확장기능을 활용한 오프라인 대화 인터페이스로 아래 이전 포스트를 참고하시면 설치방법을 확인하실 수 있습니다. 

2024.04.10 - [대규모 언어모델] - Dolphin 2.8: 무엇이든 대답하는 무검열 Mistral 최신 모델과 오프라인 대화(크롬 브라우저 Ollama UI

Dolphin 2.8: 무엇이든 대답하는 무검열 Mistral 최신 모델과 오프라인 대화(크롬 브라우저 Ollama UI)

Ollama UI 화면 오른쪽 상단 Model 리스트에서 EEVE-Korean-10.8B을 선택하고 대화를 실행하면 됩니다. EEVE 논문내용에 대해서 아래화면과 같이 질문해 보았는데 모델 자신에 대한 내용이라 그런지 잘 설명해 줍니다. 

Ollama UI 를 통한 EEVE-Korean-10.8B와 대화

다음은 LM Studio를 이용해서 대화를 해볼 건데요. LM Studio는 대형 언어 모델을 쉽게 다운로드하고 활용할 수 있는 잘 알려진 도구이며, 자세한 내용은 아래 링크에서 확인하시고 쉽게 다운로드할 수 있습니다. 

https://lmstudio.ai/

👾 LM Studio - Discover and run local LLMs

LM Studio를 실행하시면 오른쪽 돋보기 아이콘을 클릭한 후, 검색창에 eeve라고 입력한 후, "heegyu/EEVE-Korean-Instruct-10.8B-v1.0-GGUF" 모델을 다운로드하시면 됩니다. 

LM Studio heegyu/EEVE-Korean-Instruct-10.8B-v1.0-GGUF" 모델 다운로드

벤치마크 결과에 따르면, EEVE-Korean-10.8B는 한국어 성능을 향상시키면서 영어 성능을 유지하는 유일한 모델로 나타났는데요, LM Studio에서 직접 영어와 한국어로 물어본 결과, 아래 화면과 같이 두 언어에 대해 모두 우수한 품질의 답변을 받을 수 있었습니다. 

블랙홀 이론 영어 질문에 대한 EEVE-Korean-10.8B 답변

블랙홀 이론 한국어 질문에 대한 EEVE-Korean-10.8B 답변

"이 포스팅은 쿠팡 파트너스 활동의 일환으로, 이에 따른 일정액의 수수료를 제공받습니다."

맺음말

오늘 포스팅에서는 야놀자가 개발한 한국어 대규모 언어 모델 EEVE를 소개하고, 논문에서 제시하는 어휘 확장 방법, 학습 과정, 성능 평가 결과, Ollama UI 및 LM Studio를 통한 실제 대화 예시 등을 살펴보았습니다. EEVE는 효율적인 어휘 확장을 위한 파라미터 동결, 서브워드 기반 임베딩 초기화, 다단계 학습 과정 등을 통해 기존 영어 모델을 한국어 모델로 확장하고 새로운 언어 토큰을 통합한 모델입니다.

 

야놀자 언어 모델은 Open LLM Leaderboard에서 다양한 작업에 대해 평가되었으며, 각 작업에 대한 성능 지표에서 우수한 결과를 보여주었습니다. 특히, EEVE-Korean은 영어 성능을 희생하지 않고 한국어 성능을 개선한 유일한 모델이라는 점에서 주목할 만합니다. Ollama UI 및 LM Studio를 통한 실제 대화 예시에서도 EEVE는 다양한 질문에 대해 정확하고 유익한 답변을 제공하며, 뛰어난 한국어 능력을 보여주었습니다.

 

야놀자의 EEVE가 한국어 자연어 처리 및 생성 분야의 발전에 중요한 역할을 할 것으로 기대됩니다. 오늘의 블로그 내용은 여기서 마치겠습니다. 저는 다음에 더 유익한 정보를 가지고 찾아뵙겠습니다. 감사합니다.

 

https://fornewchallenge.tistory.com/

 

 

2024.03.05 - [대규모 언어모델] - [Ollama 활용] 허깅페이스 Solar를 나만의 커스텀 언어 모델로 바꾸기

[Ollama 활용] 허깅페이스 Solar를 나만의 커스텀 언어 모델로 바꾸기