PrivateGPT 윈도우11 설치 가이드 : 내 컴퓨터에 문서AI가?

안녕하세요. 오늘은 pdf나 hwp와 같은 문서를 챗봇에 입력하고 문서에 대해 대화할 수 있는 PrivateGPT(개인용 GPT)를 설치하는 과정에 대해 알아보겠습니다. 이 블로그는 윈도우11 운영체제를 기준으로 1단계 Conda 설치하기, 2단계 레파지토리 복사하기, 3단계 Poetry 설치하기, 4단계 개인용 GPT 실행하기 순서로 작성하였습니다. 

문서대화가 가능한 PrivateGPT - 빙 이미지 크리에이터

 

1단계 Conda 설치하기

먼저 Conda라는 Python 패키지 관리자 및 가상 환경 관리자를 컴퓨터에 설치해야하는 데요. Python 패키지 관리자는 Python 패키지를 설치, 업데이트, 제거하는 데 사용되는 도구입니다. 가상 환경 관리자는 Python 애플리케이션을 별도의 환경에서 실행할 수 있도록 하는 도구입니다. Conda는 다음과 같은 기능을 제공합니다.

• Python 패키지 설치, 업데이트, 제거
• 가상 환경 생성, 활성화, 비활성화
• 패키지 간 종속성 관리
• 환경 변수 관리

여기서는 Conda의 최소 버전 Miniconda를 설치합니다. Miniconda는 Conda의 핵심 기능만 포함하고 있으므로 Anaconda와 같은 다른 Conda 배포판보다 설치 크기가 작습니다.

• 여기를 클릭해서 Windows용 Miniconda 설치 프로그램을 다운로드합니다.
• 설치 프로그램을 실행하고 화면에 표시된 지침에 따라 설치를 완료합니다.
• 설치 중 "나의 PATH 환경 변수에 Miniconda3 추가"란을 선택해야 합니다.
• 설치 후 Anaconda Powershell Prompt를 열어 다음 단계로 진행합니다. 

Miniconda — miniconda documentation

 

누구나 쉽게 배우는 ChatGPT 파이썬 코딩

 

2단계 레파지토리 복사하기

다음은 PrivateGPT 깃허브 레파지토리(https://github.com/imartinez/privateGPT)에 있는 파일을 아래 명령어를 Anaconda Powershell Prompt에 입력하여  내 컴퓨터로 복사하고 환경을 설정합니다. 

git clone https://github.com/imartinez/privateGPT
cd privateGPT
conda create -n privateGPT python=3.11 
conda activate privateGPT

 

깃허브 레파지토리 복사

 

사용자 환경에 따라서 GitHub Desktop 프로그램과 추가적으로 Microsoft Visual Studiio의 최신 버전을 설치해야 할수 있습니다. Microsoft Visual Studio 설치 시에는 "C++를 사용한 데스크톱 개발"을 체크해야 합니다. 

 

 

 

3단계 Poetry 설치

다음 단계는 Poetry의 설치단계입니다. Poetry는 Python 패키지 관리자입니다. Python 패키지 관리자는 Python 패키지를 설치, 업데이트, 제거하는 데 사용되는 도구입니다. Anaconda Powershell Prompt에 아래 코드를 입력하여 Poetry를 설치합니다. 

conda install -c conda-forge pipx 
pipx install poetry
set "PATH=%USERPROFILE%\.local\pipx\venvs\poetry\Scripts;%PATH%"
poetry install --with ui,local

 

설치도중  llama-cpp-python 부분에서 에러가 발생하는 경우, 아래 깃허브 사이트를 참조하여 Microsoft Visual Studiio를 설치하시면 해결됩니다.  GPU사용을 위해 다음과 같이 pytorch 설치 및 설정이 필요할수 있습니다. 

pip install torch==2.0.0+cu118 --index-url https://download.pytorch.org/whl/cu118
$env:CMAKE_ARGS='-DLLAMA_CUBLAS=on'; poetry run pip install --force-reinstall --no-cache-dir llama-cpp-python

Error building llama-cpp-python hnswlib · Issue #18 · imartinez/privateGPT

poetry 설치과정

누구나 쉽게 배우는 ChatGPT 파이썬 코딩

 

4단계 개인용 GPT 실행

Poetry 설치가 완료되면 Anaconda Powershell Prompt에 다음 코드를 입력해서 개인용 GPT를 실행합니다.  

cd scripts
ren setup setup.py
cd ..
poetry run python scripts/setup.py
set PGPT_PROFILES=local
set PYTHONPATH=.
poetry run python -m uvicorn private_gpt.main:app --reload --port 8001

 

코드를 입력하고 모델이 다운로드될 때까지 기다렸다가 "Application startup complete"(애플리케이션 시작 완료)를 발견하면 웹 브라우저를 열고 127.0.0.1:8001로 이동하면 아래와 같이 PrivateGPT 메인화면을 만나실 수 있습니다. 

PrivateGPT 메인화면

프로그램을 시작하는 과정에서 "UnicodeDecodeError: 'cp949' codec can't decode byte 0xf0 in position 15726: illegal multibyte sequence"와 같은 encoding 방식 관련 에러가 발생하는 경우 \privateGPT\private_gpt\launcher.py 파일을 열어서 아래 화면의 선택된 부분과 같이 "UTF8"로 수정하시면 해결됩니다. 

encoding관련 에러발생 시 수정하는 부분

 

드디어 내컴퓨터에 문서대화가 가능한 PrivateGPT가 설치완료 되었습니다. Upload Files를 누르고 pdf, hwp, txt 등과 같은 파일을 업로드하고 요약해 달라고 하면 아래 화면과 같이 동작합니다. 한글도 인식하며, 속도는 개인 컴퓨터 성능에 따라 많은 내용의 문서를 등록하거나 처리할때 다소 느리게 느껴질 수 있으니 참고해 주시기 바랍니다. 

PrivateGPT의 PDF 문서 요약기능

"이 포스팅은 쿠팡 파트너스 활동의 일환으로, 이에 따른 일정액의 수수료를 제공받습니다."

https://fornewchallenge.tistory.com/

마치며

PrivateGPT 설치는 Conda, Pytorch, Microsoft Visual Studio 등 코딩 관련 프로그램에 익숙하지 않으신 분들에게 어려울 수도 있지만 하나하나 문제가 생길 때마다 구글 바드나 인터넷 검색을 활용해서 해결해 나가시다 보면 또 다른 희열을 느끼실 수 있습니다. 설치과정을 요약한 아래 링크를 참조하시면 도움이 많이 되실 것 같습니다. 

https://simplifyai.in/2023/11/privategpt-installation-guide-for-windows-machine-pc/

privateGPT Installation Guide for Windows Machine (PC) - simplifyai.in

 

오늘은 내컴퓨터에서 문서를 챗봇에 입력하고 문서에 대해 대화할 수 있는 PrivateGPT를 설치해 보았습니다. 매일매일 새로운 AI모델과 프로그램이 등장하는 요즘 여러분이 AI와 좀 더 친해지실 수 있도록 저는 다음 시간에 더욱 유익한 정보로 다시 찾아뵙겠습니다. 감사합니다. 

 

2023.11.26 - [대화형 AI] - 무료로 혼자 사용하는 GPT4 AI 챗봇 만들기!!

무료로 혼자 사용하는 GPT4 AI 챗봇 만들기!!