Dolphin 2.8: 무엇이든 대답하는 무검열 Mistral 최신 모델과 오프라인 대화(크롬 브라우저 Ollama UI)

안녕하세요! 오늘은 Mistral AI의 최신 대규모 언어 모델 Mistral 7B v0.2를 기반으로 미세조정하여 만들어진 Dolphin 2.8 모델을 크롬 브라우저에서 만나보겠습니다. Dolphin 2.8은 2024년 3월 23일에 MistralAI가 발표한 Mistral 7B v0.2를 기반으로 하여 개발되었으며, 텍스트를 처리할 때 고려하는 문맥의 크기는 32k 컨텍스트로서 다양한 명령, 대화 및 코딩 기능을 제공합니다. 이 모델은 검열되지 않았으며, 정렬 및 편견을 제거하기 위해 학습 데이터셋을 필터링하여, 보다 중립적이고 공정한 방식으로 조정했다고 합니다. 이 블로그에서는 크롬 브라우저의 Ollama UI 확장기능을 통해 Dolphin 2.8 언어모델과 오프라인으로 대화해 보겠습니다. 

Dolphin 2.8: 무엇이든 대답하는 무검열 Mistral 최신 모델과 오프라인 대화

 

https://huggingface.co/cognitivecomputations/dolphin-2.8-mistral-7b-v02

cognitivecomputations/dolphin-2.8-mistral-7b-v02 · Hugging Face

"이 포스팅은 쿠팡 파트너스 활동의 일환으로, 이에 따른 일정액의 수수료를 제공받습니다."

크롬 Ollama UI 설치

먼저 아래 링크에 접속하여 크롬 브라우저에 Ollama UI를 설치합니다. 설치방법은 일반 크롬 확장 프로그램과 동일하며, 설치 후 다음 화면과 같이 주소창 오른쪽 확장 프로그램 아이콘에 Ollama UI가 보이도록 고정핀을 클릭합니다. 

크롬 브라우저 확장 프로그램 Ollama UI 설치

https://chromewebstore.google.com/detail/ollama-ui/cmgdpmlhgjhoadnonobjeekmfcehffco

ollama-ui

 

Ollama UI 크롬 브라우저 확장 프로그램 설치화면

물론 Ollama UI를 사용하려면 컴퓨터에 대형 언어 모델 관리도구인 Ollama가 설치되어있어야 하는데요. Ollama의 설치방법은 다운로드 링크나 아래에 이전 포스트를 참조하시면 됩니다. 현재 지원하는 OS는 macOS, Linux,  Windows(Preview)이며 이 블로그에서는 Windows(Preview) 용으로 진행하였습니다. 

2023.12.15 - [대규모 언어모델] - Ollama를 활용한 대규모 언어 모델 웹 인터페이스 만들기: Mistral 7B와의 대화

Ollama를 활용한 대규모 언어 모델 웹 인터페이스 만들기: Mistral 7B와의 대화

Ollama의 설치 정상여부를 확인하려면 윈도우 명령어 프롬프트에서 "ollama -v"를 입력하시면 버전이 표시됩니다. 

ollama -v 명령어 실행결과

 

Dolphin 2.8 다운로드

다음은 Dolphin 2.8 모델을 다운로드하는 단계입니다. 모델을 다운로드하기 위해서는 윈도우 명령어 프롬프트에서 "ollama pull dolphin-mistral:v2.8" 명령어를 입력합니다. 용량은 약 4GB이며, 다운로드가 완료되면 "ollama list" 명령으로 로컬 언어 모델의 리스트를 확인할 수 있습니다. 

ollama pull 명령어 실행화면

ollama list 명령어 실행화면

아래 링크를 클릭하시면 Ollama의 모델 페이지에서 Dolphin 2.8 모델에 대한 내용을 알아보실 수 있습니다. 

https://ollama.com/library/dolphin-mistral

dolphin-mistral

728x90

오프라인 대화

이제 다운로드한 Dolphin 2.8 모델과 오프라인으로 대화를 하는 단계입니다. 먼저 크롬 브라우저를 실행하고 주소창 오른쪽 확장아이콘에서 ollama-ui 아이콘을 클릭하시면 아래 화면과 같이 Ollama UI가 열립니다. 우측의 모델 리스트를 클릭하면 "dolphin-mistral:latest"와 같이 다운로드한 Dolphin 2.8 모델이 보이게 됩니다. 

Ollama UI 모델 리스트 선택화면

 

오프라인 확인은 컴퓨터의 인터넷 접속이나 Wifi 연결을 종료하시고 테스트해 보시면 됩니다. 아래 화면과 같이 Wifi가 꺼져있지만 대화가 잘 진행되는 것을 확인하실 수 있습니다. 대화는 저장하거나 삭제할 수 있으며, 내 컴퓨터에서만 확인할 수 있습니다. 

오프라인 대화 테스트 화면

위에서 설명한 바와 같이 Dolphin 2.8 모델은 무검열 모델이며,  'Uncensored(무검열)'란 부적절한 내용이나 표현의 제한이 없는 언어 모델을 말합니다.  일반적인 언어 모델은 불법적이고 비윤리적인 정보를 제공할 수 없다고 응답하지만, Uncensored 모델은 이러한 질문에도 제한 없이 답변할 수 있습니다.

 

아래 화면과 같이 자동차에 침입하는 방법을 질문하면 일반 모델은 불법적인 정보를 제공할 수 없다고 하지만, Dolphin 2.8 모델은 잘 대답합니다. 이 언어모델을 만들고 배포한 개발자 Eric Hartford는 그의 블로그에서 "이 모델의 출력물을 가지고 당신이 하는 일은 당신에게 책임이 있습니다. 마치 당신이 칼, 자동차 또는 라이터로 무엇을 하든지 그에 대한 책임이 당신에게 있는 것처럼요."와 같이 언급하고 있으니 주의해서 사용하시면 될 것 같습니다. 

자동차에 침입하는 방법에 대한 Dolphin 2.8 언어모델의 응답

"이 포스팅은 쿠팡 파트너스 활동의 일환으로, 이에 따른 일정액의 수수료를 제공받습니다."

맺음말

오늘 블로그에서는 최신 대규모 언어 모델 Mistral 7B v0.2를 기반으로 미세조정하여 만들어진 Dolphin 2.8 모델을 크롬 브라우저에서 Ollama를 통해 만나보았습니다. Dolphin 2.8 모델은 많은 기능과 활용성을 제공하지만, 무검열 모델로서 어떤 종류의 질문에도 자유롭게 답변할 수 있습니다. 이 모델을 사용할 때에는 항상 책임을 가지고 모델의 출력물을 이용하여 행동할 때에는 그 결과에 대해 본인이 전적으로 책임을 져야 합니다.

 

언어모델이 제공하는 정보나 응답을 신중하게 검토하고, 법과 윤리에 부합하는 방식으로만 활용해야 합니다. 개발자인 Eric Hartford도 각별한 주의를 당부한 것처럼 우리가  칼이나 자동차를 사용하는 것과 마찬가지로 언어 모델을 사용하는 것에도 책임이 따르게 됩니다. 앞으로 이러한 종류의 모델이 발전하고 다양한 분야에 활용되기 위해서는 이러한 윤리적인 지침을 따르는 것이 중요할 것으로 보입니다.

 

오늘 내용은 여기까지입니다. 저는 다음에 더 유익한 정보를 가지고 다시 찾아뵙겠습니다. 감사합니다. 

 

https://fornewchallenge.tistory.com/

 

 

2024.01.13 - [대규모 언어모델] - Ollama와 대규모 언어 모델 Llama2-uncensored를 활용한 PDF 요약과 음성변환

Ollama와 대규모 언어 모델 Llama2-uncensored를 활용한 PDF 요약과 음성변환