🧐🔍Local Deep Researcher: Ollama를 활용한 로컬 LLM 웹 리서치

안녕하세요! 오늘은 Langchain-AI 팀에서 개발한 로컬 웹 리서치 및 보고서 작성 도구인 Local Deep Researcher에 대해 알아보겠습니다. 이 도구는 Ollama 또는 LMStudio를 활용하여 다양한 LLM(Large Language Model)을 로컬 환경에서 실행하며, 자동화된 검색과 심층 분석을 통해 신뢰할 수 있는 연구 보고서를 생성하는 기능을 갖추고 있습니다.

Local Deep Researcher는 단순한 검색 도구를 넘어, 검색 결과를 요약하고, 탐색을 반복 수행하여 보다 깊이 있는 정보를 제공하며, 데이터 보안을 유지하면서도 강력한 웹 리서치를 수행할 수 있습니다. 이번 블로그에서는 Local Deep Researcher의 핵심 기능, 사용 방법 및 활용 사례를 상세히 살펴보겠습니다.

🧐🔍Local Deep Researcher: Ollama를 활용한 로컬 LLM 웹 리서치

728x90

1. Local Deep Researcher 개요

Local Deep Researcher는 로컬 환경에서 웹 리서치를 수행하고 보고서를 작성하는 데 도움을 주는 보조 도구입니다. 이 도구는 Ollama 또는 LMStudio를 통해 호스팅 되는 모든 LLM(Large Language Model)을 활용하여 작동합니다. 사용자가 특정 주제를 입력하면, Local Deep Researcher는 웹 검색 쿼리를 생성하고, 검색 결과를 수집하며, 검색 결과의 내용을 요약합니다. 이 과정에서 얻어진 요약 정보를 바탕으로 지식 격차를 파악하고, 이를 해결하기 위한 새로운 검색 쿼리를 생성하여 정해진 횟수만큼 반복적인 리서치를 수행합니다. 최종적으로 사용된 모든 출처를 명시한 마크다운 형식의 요약 보고서를 제공합니다.

Local Deep Researcher 동작 개념도

Local Deep Researcher는 langchain-ai에서 개발하여 공개한 프로젝트로, GitHub에서 소스 코드 및 관련 정보를 확인할 수 있습니다. 해당 프로젝트는 MIT 라이선스를 따르고 있습니다. 현재까지 6.8k의 스타와 662개의 포크를 기록하며 많은 관심을 받고 있습니다.

https://github.com/langchain-ai/local-deep-researcher

GitHub - langchain-ai/local-deep-researcher: Fully local web research and report writing assistant

 

 

 

 

2. Local Deep Researcher 특징 및 주요 기능

Local Deep Researcher는 다음과 같은 특징과 주요 기능을 제공합니다.

• 완전한 로컬 작동: 인터넷 연결은 필요하지만, 모든 중요한 처리 과정은 사용자의 로컬 환경에서 이루어집니다. 이는 데이터 보안 및 개인 정보 보호 측면에서 큰 장점을 제공합니다.
• 다양한 로컬 LLM 지원: Ollama 또는 LMStudio와 같은 로컬 LLM 호스팅 플랫폼을 통해 다양한 언어 모델을 선택하여 사용할 수 있습니다. 사용자는 자신의 필요와 환경에 맞춰 최적의 모델을 구성할 수 있습니다.
• 자동화된 웹 리서치: 사용자가 주제를 제시하면, LLM이 자동으로 검색 쿼리를 생성하고, 검색 엔진을 통해 관련 정보를 수집합니다. 기본적으로 DuckDuckGo 검색 엔진을 사용하며, API 키를 통해 SearXNG, Tavily, Perplexity와 같은 다른 검색 도구를 사용할 수도 있습니다.
• 결과 요약 및 출처 명시: 리서치 과정을 통해 얻어진 모든 정보를 종합하여 마크다운 형식의 최종 보고서를 생성합니다. 보고서에는 요약 내용뿐만 아니라 각 정보의 출처가 명확하게 인용되어 정보의 신뢰성을 높입니다.
• LangGraph Studio 연동: LangGraph Studio UI를 통해 Local Deep Researcher의 실행 과정을 시각적으로 확인하고, 다양한 설정을 직접 구성할 수 있습니다. 환경 변수, UI 설정, 기본 설정 값 간의 우선순위를 통해 유연한 설정이 가능합니다.
• 모델 호환성 처리: 일부 LLM은 구조화된 JSON 출력을 생성하는 데 어려움을 겪을 수 있습니다. Local Deep Researcher는 이러한 상황에 대비하여 폴백 메커니즘을 제공하여 안정적인 작동을 보장합니다. 예를 들어, DeepSeek R1 (7B) 및 DeepSeek R1 (1.5B) 모델의 JSON 출력 문제를 처리하기 위한 대체 방식을 제공합니다.
• 다양한 배포 옵션: LangGraph Academy의 Module 6에서 자세한 배포 옵션을 확인할 수 있으며, Docker 컨테이너를 통해 실행할 수도 있습니다. Docker를 사용하는 경우 Ollama는 별도로 실행하고 OLLAMA_BASE_URL 환경 변수를 설정해야 합니다.
• TypeScript 구현: Perplexity 검색 기능을 제외한 TypeScript로 포팅된 버전도 제공되어 JavaScript 환경에서도 활용할 수 있습니다.

 

 

 

 

3. Local Deep Researcher 사용방법

Local Deep Researcher를 사용하기 위한 기본적인 단계는 다음과 같습니다.

1) 저장소 복제: GitHub 저장소에서 Local Deep Researcher 프로젝트를 로컬 환경으로 복제합니다.

git clone https://github.com/langchain-ai/local-deep-researcher.git
cd local-deep-researcher

2) .env 파일 설정: 복제된 디렉토리의 .env.example 파일을 .env로 복사한 후, 필요에 따라 환경 변수를 설정합니다. 이 파일에서 사용할 LLM, 검색 도구, API 키 및 기타 설정을 지정할 수 있습니다.

cp .env.example .env

3) 로컬 LLM 선택 및 설정: Ollama 또는 LMStudio 중 사용할 플랫폼을 선택하고, 해당 플랫폼에서 원하는 LLM을 다운로드합니다. .env 파일에서 LLM_PROVIDER, OLLAMA_BASE_URL (Ollama 사용 시), LOCAL_LLM, LMSTUDIO_BASE_URL (LMStudio 사용 시) 등의 변수를 설정합니다.

• Ollama 사용 예시: 다음 명령어로 DeepSeek-R1:8B 모델을 로컬에 다운로드합니다. 

ollama pull deepseek-r1:8b

DeepSeek-R1:8B  모델 다운로드

• 모델 다운로드가 완료되면 .env 환경설정 파일에서 LLM_PROVIDER, OLLAMA_BASE_URL, LOCAL_LLM 변수를 설정합니다. 

LLM_PROVIDER=ollama
OLLAMA_BASE_URL="http://localhost:11434"
LOCAL_LLM=deepseek-r1:8b

• LMStudio 사용 예시: LMStudio 앱을 실행하고 원하는 모델을 다운로드 및 로드한 후, "Local Server" 탭에서 서버를 시작합니다. .env 파일에 모델 이름 및 서버 URL을 설정합니다. .env 파일 설정은 다음과 같습니다. 

LLM_PROVIDER=lmstudio
LOCAL_LLM=qwen_qwq-32b
LMSTUDIO_BASE_URL=http://localhost:1234/v1

4) 검색 도구 및 API 키 설정 (선택 사항): 기본 검색 엔진인 DuckDuckGo를 사용하는 경우 API 키가 필요하지 않습니다. 다른 검색 도구(Tavily, Perplexity)를 사용하려면 해당 서비스의 API 키를 .env 파일에 설정합니다. 또한, 최대 웹 리서치 루프 횟수, 전체 페이지 콘텐츠 가져오기 여부 등을 설정할 수 있습니다. .env 파일 설정 예시 (Tavily 사용):

SEARCH_API=tavily
TAVILY_API_KEY=tvly-YOUR_API_KEY
MAX_WEB_RESEARCH_LOOPS=5
FETCH_FULL_PAGE=true

5) LangGraph 서버 실행: LangGraph Studio UI를 통해 Local Deep Researcher를 실행하고 과정을 시각화할 수 있습니다. 가상 환경을 활성화한 후 LangGraph 서버를 실행합니다. 

python -m venv .venv
source .venv/bin/activate
curl -LsSf https://astral.sh/uv/install.sh | sh
uv pip install -e .
uv pip install -U "langgraph-cli[inmem]"
langgraph dev

uv 파이썬 패키지 설치 도구 다운로드 및 설치

LangGraph 프로젝트의 커맨드 라인 인터페이스 도구 설치 화면

LangGraph 프로젝트를 위한 로컬 개발 서버 시작

• LangGraph Studio UI 접근: LangGraph 서버가 실행되면 터미널에 출력되는 URL을 통해 LangGraph Studio 웹 UI에 접속합니다. 일반적으로 https://smith.langchain.com/studio/?baseUrl=http://127.0.0.1:2024와 같은 형태입니다.
• 설정 및 리서치 시작: 리서치 깊이, LLM 공급자, LLM 모델명 등을 설정하고, 리서치 주제를 입력하면 Local Deep Researcher가 작동을 시작하고, 그 과정을 UI를 통해 시각적으로 확인할 수 있습니다.
• 결과 확인: 리서치가 완료되면 최종 요약 보고서가 마크다운 파일로 저장되며, LangGraph Studio UI의 그래프 상태에서도 확인할 수 있습니다. 사용된 모든 출처 또한 그래프 상태에 저장되어 있습니다.

Local Deep Researcher 시작화면

Local Deep Researcher 설정 화면

Local Deep Researcher 리서치 동작과정

Local Deep Researcher 리서치 완료 화면

다음은 "Tell me about Ghibli Style"이라는 프롬프트에 대한 실행결과입니다. 

Ghibli 스타일은 일본 애니메이션 스튜디오인 스튜디오 기블리의 독특한 시각적 스타일을 설명합니다. 
이 스타일은 블루스카이, 따뜻하고 신비로운 분위기를 불러일으키며, 부드러운 색상 팔레트와 복잡한 조명, 현실과 판타지의 균형을 유지하여 즉시 식별할 수 있고 깊이 있는 몰입감을 제공합니다.
Ghibli 스타일 이미지의 창작 과정은 시간에 따라 변화했습니다. 초기에는 전통적인 손으로 그린 기법과 물감 및 아크릴 배경, 레이어링 기법 등이 사용되었습니다. 
이후 디지털 기술 발전에 따라 디지털 페인팅, 병합 및 텍스처링, 미세한 3D 모델링 등의 기법이 도입되었습니다.
최근에는 인공지능(AI) 기반의 이미지 생성 기술이 발달하여 Ghibli 스타일 이미지를 더 쉽게 만들 수 있게 되었습니다. 
AI 도구를 선택하고 상세한 텍스트 프롬프트를 입력하면, AI는 Ghibli 스타일의 패턴을 학습하여 초기 이미지를 생성합니다. 마지막으로, 필터링 및 텍스처 추가 등의 작업을 통해 이미지가 완성됩니다.
이러한 과정을 통해 Ghibli 스타일은 전통적인 기법과 디지털 기술, 그리고 최신 AI 기반의 방법을 결합하여 더욱 다양한 표현이 가능해졌습니다.

Local Deep Researcher 실행결과의 출처

5. 맺음말

Local Deep Researcher는 로컬 환경에서 웹 리서치 및 보고서 작성 기능을 제공하는 유용한 도구입니다. Ollama나 LMStudio와 같은 로컬 LLM 플랫폼과의 통합을 통해 데이터 보안을 강화하고, 다양한 언어 모델을 활용할 수 있다는 장점이 있습니다. 또한, 자동화된 반복 검색, 지식 격차 분석, 출처가 명시된 요약 보고서 생성 등의 기능은 사용자가 효율적으로 심층적인 리서치를 수행하고, 신뢰할 수 있는 정보를 바탕으로 보고서를 작성하는 데 큰 도움을 줄 수 있습니다.

 

LangGraph Studio와의 연동을 통해 리서치 과정을 시각적으로 이해하고, 다양한 설정을 직관적으로 관리할 수 있다는 점 또한 Local Deep Researcher의 큰 장점 중 하나입니다. Local Deep Researcher는 개인 정보 보호가 중요한 연구 환경, 특정 분야에 대한 심층적인 자료 조사가 필요한 경우, 또는 로컬 LLM을 활용한 연구 개발 등 다양한 상황에서 그 가치를 발휘할 수 있을 것으로 기대됩니다. 여러분도 한번  Local Deep Researcher를 활용해 보시길 추천드리면서 저는 다음 시간에 더 유익한 정보를 가지고 다시 찾아뵙겠습니다. 감사합니다. 

 

https://fornewchallenge.tistory.com/

 

2024.11.10 - [AI 언어 모델] - 💡Ollama 로컬 멀티모달 AI: Llama 3.2 Vision 설치 및 활용 가이드

💡Ollama 로컬 멀티모달 AI: Llama 3.2 Vision 설치 및 활용 가이드