Brave 브라우저 AI 어시스턴트: Ollama와 LM Studio 활용법🚀🛡️🤖

안녕하세요! 오늘은 광고차단, 빌트인 VPN, 개인 검색 등 보안과 프라이버시를 강화한 Brave 웹 브라우저의 AI 어시스턴트, "Leo AI"에 대해 알아보겠습니다. Leo AI는 Brave 브라우저 내장 AI 어시스턴트로서, 웹페이지 요약, 콘텐츠 생성, 번역, 프로그래밍 지원, PDF 및 문서 분석 등을 도와줌으로써 효율적인 브라우징 환경을 지원합니다. 이 블로그에서는 Ollama와 LM Studio를 활용해서 Leo AI를 설정하고 사용하는 방법에 대해 알아보겠습니다. 

Brave 브라우저 AI 어시스턴트: Ollama와 LM Studio 활용법🚀🛡️🤖

"이 포스팅은 쿠팡 파트너스 활동의 일환으로, 이에 따른 일정액의 수수료를 제공받습니다."

Leo AI 주요 기능

Leo AI는 Brave 브라우저에 내장된 스마트 AI 어시스턴트로, 다양한 기능을 통해 사용자의 웹 탐색 경험을 향상시킵니다. 주요 기능은 다음과 같습니다:

• 웹 페이지 요약: 복잡한 웹페이지나 긴 기사들을 간단히 요약해 주어 시간을 절약할 수 있습니다.
• 콘텐츠 생성: 블로그 글, 이메일, 에세이 등을 작성하는 데 도움을 줍니다.
• 번역: 다양한 언어로 텍스트를 번역할 수 있습니다.
• 코드 도움: 소프트웨어 애플리케이션 및 데이터베이스 쿼리를 위한 코드 샘플을 제공하여 프로그래밍을 지원합니다.
• PDF 및 문서 분석: PDF, Google Docs, Google Sheets와 같은 문서를 분석하여 필요한 정보를 빠르게 제공합니다.

1. 웹 페이지 요약: 복잡한 내용을 간략하게 요약해 줍니다. 

Leo AI 웹 페이지 요약기능

2. 콘텐츠 생성: 아래 화면과 같이 소셜 미디어용 콘텐츠 등을 작성할 수 있습니다. 

Leo AI 소셜 미디어 게시물 작성 예시

3. PDF 및 문서 분석: PDF나 DOC 같은 문서의 내용을 기반으로 한 질문과 응답이 가능합니다. 

Leo AI의 PDF 문서 분석기능

728x90

Leo AI 설정방법

Brave 브라우저의 Leo AI를 설정하는 과정은 비교적 간단하며, 특히 사용자가 자신만의 AI 모델을 사용할 수 있는 "BYOM(Bring Your Own Model)" 기능을 통해 Ollama와 LM Studio를 사용해서 Leo AI를 설정할수 있습니다. 

Brave 브라우저 설치

먼저, Brave 브라우저는 아래 Nightly 버전 다운로드 링크에 접속해서 설치파일을 다운로드한 후 실행합니다. Nightly 버전이 아닌 Brave 홈페이지에서 다운로드해서 설치하는 일반버전의 경우 Bring your own model 기능이 없습니다.  기본적으로 탑재되는 AI 모델은 Mixtral, Claude 3 Haiku, Claide 3 Sonnet, Llama 3 8b의 네 가지 모델이며, Llama 3 8b 모델을 제외하고 다른 세 가지 모델은 시간당 답변 한도의 제한이 있습니다.

Brave Nightly 버전 다운로드 페이지(좌), Leo AI 모델 답변 제한(우)

https://brave.com/download-nightly/

Download Brave Nightly | Brave

Ollama 설정

1. Ollama 다운로드 및 설치

- Ollama 공식 웹사이트를 방문하여 자신의 플랫폼에 맞는 버전을 선택합니다.

- 다운로드한 파일을 실행하여 설치를 완료하고, 터미널을 열어 다음 명령어를 입력합니다:

ollama pull 모델명

모델명은 Ollama 웹 사이트 라이브러리의 모델명을 참고해서 입력하면 됩니다. 웹 페이지 요약이나 콘텐츠 생성은 Qwen2나 Aya모델, 코딩 지원은 Deepseek-Coder-V2 모델을 추천합니다. 

 

2. Ollama 모델을 Leo에 연결

- Brave 브라우저를 열고 설정(Settings) 메뉴로 이동합니다.

- 좌측 Leo 섹션에서 "Bring your own model" 옵션을 선택하고, "Add new model"을 클릭합니다.

Brave 브라우저 설정 메뉴-레오-Bring your own model

- Label: 모델 구분을 위해 Ollama 또는 원하는 이름으로 입력합니다. 

- Model request name: 모델 이름은 "ollama run 모델명" 명령어에서 사용한 모델명을 입력합니다. 

- Server endpoint: 서버 엔드포인트로 "http://localhost:11434/v1/chat/completions"라고 입력합니다. 

- API Key: 필요시 인증 키 입력란으로 Ollama 모델은 입력하지 않아도 됩니다. 

Leo AI Ollama qwen2 모델 입력 예시(좌), qwen2 모델 답변 화면(우)

Leo AI 기사 요약 예시

LM Studio 설정

1. LM Studio 다운로드 및 설치

- LM Studio 다운로드 페이지에서 자신의 플랫폼에 맞는 버전을 다운로드합니다.

- 설치 완료 후, LM Studio를 실행하고, 검색창에 "EEVE"라고 입력하고 결과 리스트에서 "heegyu/EEVE-Korean-Instruct-10.8B-v1.0-GGUF"를 찾아, "ggml-model-Q4_K_M.gguf" 또는 "ggml-model-Q5_K_M.gguf" 양자화 모델을 다운로드합니다. EEVE 모델은 올해의 한국어 LLM에 선정된 야놀자의 대형 언어 모델로, 영어와 한국어에 모두 우수한 성능을 보이는 국산 언어모델입니다. 자세한 내용은 아래 포스트를 참고하시기 바랍니다. 

2024.04.13 - [AI 언어 모델] - [AI 논문] 올해의 한국어 LLM에 선정된 야놀자 언어 모델, EEVE

[AI 논문] 올해의 한국어 LLM에 선정된 야놀자 언어 모델, EEVE

LM Studio 메인화면 EEVE 모델 검색

EEVE 모델의 다운로드가 완료되면 좌측 아이콘 중 Local Server 메뉴를 클릭한 후, 화면 상단 모델선택 드롭다운 메뉴를 누르고 아래 화면과 같이 EEVE 모델을 로딩합니다. 화면 우측 시스템 프롬프트로 한국어 답변 등을 설정할 수 있습니다. 

LM Studio EEVE 모델 로딩 화면

로컬 서버가 정상적으로 기동 되면 다음 화면과 같이 이벤트 로그가 보입니다. 

LM Studio 로컬 서버 이벤트 로그

2. LM Studio 모델을 Leo에 연결

- Brave 브라우저를 열고 설정(Settings) 메뉴로 이동합니다.

- Leo 섹션에서 "Bring your own model" 옵션을 선택하고, "Add new model"을 클릭합니다. 

- Label: 모델 구분을 위해 LM Studio 또는 원하는 이름으로 입력합니다. 

- Model request name: 요청 시 사용할 모델 이름으로 EEVE 모델을 사용하는 경우 heegyu/EEVE-Korean-Instruct-10.8B-v1.0-GGUF로 입력합니다. 

- Server endpoint: 서버 엔드포인트는 http://localhost:1234/v1/chat/completions로 입력합니다. 

- API Key: 필요시 인증 키 입력란으로 LM Studio 모델은 입력하지 않아도 됩니다. 

Leo AI LM Studio EEVE 모델 입력 예(좌), EEVE 모델 답변화면(우)

https://brave.com/blog/byom-nightly/

Bring Your Own Model (BYOM): using Brave Leo with your own LLMs | Brave

맺음말

이 블로그 포스트에서는 Brave 브라우저의 AI 어시스턴트, Leo AI에 대해 알아보고, Ollama와 LM Studio를 활용하여 Leo AI를 설정하고 사용하는 방법을 소개했습니다. Brave는 광고 및 추적 차단, 빌트인 VPN, 개인 검색 등 보안과 프라이버시를 강조하는 웹 브라우저로, 이러한 기능들을 더욱 강화하는 Leo AI를 통해 웹 페이지 요약, 콘텐츠 생성, 번역, 프로그래밍 지원, PDF 및 문서 분석 등 다양한 작업을 효율적으로 수행할 수 있습니다.

 

Leo AI를 설정하기 위해 Brave Nightly 버전을 설치하고, Ollama와 LM Studio를 이용한 자신만의 AI 모델을 연결함으로써 사용자는 자신에게 맞는 최적의 브라우징 환경을 구축할 수 있습니다. 사용해 본 후기는 다음과 같습니다.

• 다양한 언어 모델을 자유롭게 선택해서 브라우저 어시스턴트로 사용할 수 있다.  
• 추천질문 기능을 통해 편리하게 주제에 대해 파악할 수 있다. 
• Ollama 모델은 가끔 접속이 느리거나 끊기는 경우가 있다.

이 블로그가 Brave와 Leo AI를 활용해서 더욱 안전하고 편리하게 브라우징 경험을 향상하는 데 도움이 되었기를 바라면서 저는 다음 시간에 더욱 유익한 정보를 가지고 다시 찾아뵙겠습니다. 감사합니다!

 

https://fornewchallenge.tistory.com/

 

 

2024.04.17 - [AI 언어 모델] - 야놀자 한국어 언어 모델 EEVE와 Ollama로 구현하는 로컬 RAG

야놀자 한국어 언어 모델 EEVE와 Ollama로 구현하는 로컬 RAG