무료로 혼자 사용하는 GPT4 AI 챗봇 만들기!!

안녕하세요. 최근 이슈가 되고있는 오픈 AI의 GPT4 언어모델은 ChatGPT 플러스 사용자에게 월 20달러로 제공되는 유료 서비스입니다. 오늘은 GPT4뿐만 아니라 다양한 대규모 언어모델을 무료로 사용할 수 있는 방법을 소개해드리려고 하는데요. 최신 대규모 언어모델을 내컴퓨터에 설치해서 나만의 AI 챗봇을 무료로 만드는 방법에 대해서 알아보겠습니다. 

 

무료로 혼자 사용하는 GPT4 AI 챗봇 만들기

 

1단계 웹 UI 설치하기

먼저 채팅을 할수 있는 웹 UI를 설치하기위해 깃허브 레파지토리(https://github.com/oobabooga/text-generation-webui)에 접속합니다. 화면에 있는 53개의 파일들을 깃허브 데스크톱( https://desktop.github.com/)을 설치해서 복사하거나 아래 왼쪽 화면에 보이는 녹색버튼 Code를 클릭해서 Download ZIP을 선택해서 다운로드합니다.

 

압축을 풀거나 복사한 파일 중 start_windows.bat 파일을 실행하면 필요한 구성요소가 설치되고, 설치도중  NVIDIA, AMD 등 그래픽카드 종류를 선택하면 Webui 설치가 완료됩니다. (자세한 설치방법은 페이지 아래쪽에 나와있습니다. 그래픽 카드 드라이버가 오래된 경우 나중에 챗봇이 대답할 때 에러가 발생하므로 드라이버 업데이트를 추천합니다.)

깃허브 웹 UI 설치파일

웹 UI 설치모습

 

Running on local URL:  http://127.0.0.1:7860 메시지가 나오면 브라우저 주소창에 http://127.0.0.1:7860/을 입력하면 아래화면과 같은 Webui 화면을 보실 수 있습니다. 다음은 LLM(대규모 언어모델)을 다운로드할 차례입니다. 

Webui가 설치완료된 모습

 

 

 

 

 

 

 

2단계 최신 대규모언어모델 다운로드

대규모 언어 모델(Large Language Model, LLM)은 방대한 양의 텍스트 데이터로 훈련된 인공지능 모델입니다. LLM은 텍스트를 생성하고, 언어를 번역하고, 다양한 종류의 창의적인 콘텐츠를 작성하고, 질문에 답변하는 등 다양한 작업을 수행할 수 있습니다.  

 

LLM을 다운로드하기 위해 허깅페이스(https://huggingface.co/TheBloke)에 접속합니다. 허깅페이스는 기계 학습 모델을 구축, 배포 및 교육하기 위한 도구와 리소스를 개발하는 프랑스계 미국 회사이자 오픈 소스 커뮤니티입니다. 

해당 페이지에는 Tom Jobbins라는 사람이 올려놓은 LLM이 오늘 현재 시점으로 2,743개가 등록되어 있는데요. 메타의 Llama 2나 오픈 AI의 GPT-4 같은 모델들을 기반으로 한 오픈 소스도 다운로드할 수 있습니다. 

LLM 모델 선택화면(좌), GPT4 기반 모델(우)

수많은 언어모델을 다 사용해 보지는 못했지만 제가 몇 가지 사용해 본 결과, "airoboros-l2-7B-gpt4-m2.0-gguf"와 "Llama-2-7B-Chat-GGUF"가 응답속도도 빠르고 용량도 적당하여 추천합니다. airoboros-l2-7B-gpt4-m2.0-gguf는 오픈AI의 GPT4 기반의 언어모델이고 Llama-2-7B-Chat-GGUF는 메타의 Llama 2를 기반으로 만든 70억 개의 매개변수를 학습시켜 개발한 모델입니다.  아래 화면과 같이 모델명을 검색하여 클릭하면 해당 언어모델을 다운로드할 수 있습니다.  

airoboros-l2-7B-gpt4-m2.0-gguf 대규모 언어모델

보통은 언어모델명을 복사하여 Webui 화면의 Model을 클릭하고, Download model or LoRA 밑에 칸에 모델명을 붙여 넣고 Download를 클릭합니다. 하지만 언어모델의 종류가 많은 경우 이렇게 하면 같은 종류의 모델이 모두 다운로드되므로 그중에서 가장 품질이 좋고 밸런스가 좋은 모델  airoboros-l2-7B-gpt4-m2.0.Q4_K_M.gguf 만 아래 좌측화면과 같이 클릭하여 수동으로 다운로드합니다. 

대규모 언어모델 다운로드 화면

다운로드 위치는 설치드라이브:\text-generation-webui-main\models 폴더에 다운로드하면 됩니다.  다운로드 후 Webui 화면의 Model 밑에 드롭다운 옆 리프레쉬 버튼을 클릭한 후 Load를 클릭하면 언어모델의 로딩이 완료됩니다. 

대규모 언어모델의 로딩이 완료된 모습

 

ChatGPT 활용교육을 받아보세요

 

3단계 나만의 언어모델과 채팅하기

언어모델의 로딩이 성공적으로 끝나면 Webui 화면에서 Chat을 선택해서 나만의 언어모델과 채팅을 할 수 있습니다. 제가 사용해 본 결과 airoboros-l2-7B-gpt4-m2.0.Q4_K_M.gguf 언어모델은 영어와 한글을 모두 인식하고 속도도 느리지 않아서 사용에 불편이 없었습니다. Llama-2-7B-Chat-GGUF도 비슷한 성능을 보여주었습니다. 

 

대답이 중간에 멈추는 경우 채팅창 옆 3선 메뉴에 마우스를 가져가면 나오는 메뉴에서 Continue를 클릭하면 됩니다.  새로운 주제로 채팅을 할 때는 같은 방법으로 Start new chat을 선택하면 됩니다.  채팅창 밑에는 과거의 채팅기록을 선택할 수 있고, 채팅기록의 이름을 변경할 수 있습니다. 챗봇의 아이콘이나 응답방식을 커스터마이징 할수도 있습니다. 

 

나만의 챗봇을 커스터마이징 하는 기능은 마치 오픈AI의 GPTs와 비슷한 기능으로 챗봇의 응답방식이나 아이콘, 반응스타일 등을 지정함으로써 사용자에 따라 다양한 챗봇을 만들수 있는 기능입니다. 

 

https://fornewchallenge.tistory.com/

"이 포스팅은 쿠팡 파트너스 활동의 일환으로, 이에 따른 일정액의 수수료를 제공받습니다."

 

마치며

이번 프로젝트는 오픈 AI의 GPT4를 기반으로 하는 오픈소스 형식의 대규모 언어모델을 쉽게 사용해볼 수 있는 흥미로운 프로젝트였습니다. 사용자 그래픽카드의 성능이 따라준다면 13B, 30B(300억개의 매개변수)로 학습한 언어모델도 다운로드하여 사용할수 있습니다. 저는 중간에 그래픽 드라이버의 업데이트 때문에 많은 시간이 소요됐는데요. 여러분의 시간을 절약해 드리기 위해 아래에 설치오류를 해결할 수 있는 링크를 소개해 드립니다 

 

오늘은 이렇게 대규모 언어모델을 내 컴퓨터에 설치하여 나만의 챗봇을 만들어 보았습니다. 여러분도 나만의 챗봇 비서를 만들어 보시면 어떨까요? 그럼 저는 다음에 더욱 유익한 정보로 다시 찾아뵙겠습니다. 감사합니다. 

 

그래픽 카드 버전이 낮은 경우 에러 메시지

https://blog.naver.com/rsh0831/222614032855

NVIDIA 그래픽드라이버 설치오류 해결