LobeChat: AI 기반 대화 서비스 플랫폼 설치 및 활용 가이드

안녕하세요! 오늘은 LobeChat이라는 GitHub 32k 스타를 받고 있는 AI 기반 대화 서비스 플랫폼을 소개해드리겠습니다. LobeChat은 AWS Bedrock, Google AI, OpenAI 등의 모델과 통합되어 사용자에게 풍부한 대화 경험을 제공하며, 텍스트와 음성 대화, 이미지 인식 및 생성, 플러그인 시스템 등 다양한 기능을 통해 사용자가 맞춤형 AI 서비스를 쉽게 활용할 수 있도록 합니다. 이 블로그에서는 LobeChat의 주요 기능과 특징, 설치방법에 대해서 알아보겠습니다. 

LobeChat: AI 기반 대화 서비스 플랫폼 설치 및 활용 가이드

"이 포스팅은 쿠팡 파트너스 활동의 일환으로, 이에 따른 일정액의 수수료를 제공받습니다."

LobeChat이란?

LobeChat는 다양한 기능과 서비스를 제공하여 사용자가 AI 기반 대화 서비스를 보다 효과적으로 활용할 수 있도록 돕는 플랫폼입니다. 주요 특징들은 다음과 같습니다: 

 

1. 다중 모델 서비스 제공자 지원: LobeChat는 다양한 모델 서비스 제공자를 지원합니다. 이를 통해 사용자는 더 많은 선택의 폭을 가질 수 있으며, 개발자들은 더 넓은 범위의 선택지를 활용할 수 있습니다. 지원하는 모델 서비스 제공자는 다음과 같습니다:

• AWS Bedrock: Claude 및 LLama2 모델을 포함한 다양한 자연어 처리 모델을 지원합니다.
• Anthropic (Claude): Claude 3 및 Claude 2 모델을 통해 멀티모달 기능과 확장된 컨텍스트를 지원합니다.
• Google AI (Gemini Pro, Gemini Vision): 고급 언어 이해 및 생성 능력을 지원합니다.
• Groq: 추론 속도 가속 솔루션으로 빠르고 효율적으로 메시지 시퀀스를 처리하고 응답을 생성합니다.
• OpenRouter: 다양한 모델의 라우팅 최적화를 지원합니다.
• Together.ai: 100개 이상의 오픈 소스 모델을 사용자가 사용한 만큼만 비용을 지불할 수 있도록 지원합니다.
• Moonshot AI (Dark Side of the Moon): 중국의 혁신적인 AI 스타트업의 모델을 통합했습니다.
• DeepSeek: 오픈소스 최고 성능과 가격을 균형 있게 맞춘 모델을 제공합니다.

2. 로컬 대형 언어 모델 (LLM) 지원: LobeChat는 Ollama 기반의 로컬 모델을 지원하여 사용자가 자신의 모델을 유연하게 사용할 수 있도록 합니다. 설정 메뉴에서 자신이 다운로드한 모델을 불러올수 있습니다. 

Ollama  기반 로컬 모델 지원

3. 시각적 인식: OpenAI의 최신 gpt-4-vision 모델과 Gemini 1.5 pro모델을 지원하여 시각적 인식 기능을 제공합니다. 사용자는 이미지를 업로드하거나 드래그 앤 드롭하여 대화 상자에 넣을 수 있으며, 에이전트가 이미지의 내용을 인식하고 이에 기반한 지능형 대화를 진행할 수 있습니다. 

Gemini 1.5 pro 시각적 인식 기능

4. TTS & STT 음성 대화: LobeChat는 텍스트를 음성으로 변환하는 TTS(Text-to-Speech) 및 음성을 텍스트로 변환하는 STT(Speech-to-Text) 기술을 지원합니다. 이를 통해 사용자는 실제 사람과 대화하는 것처럼 에이전트와 상호 작용할 수 있습니다. 해당 기능은 OpenAI API Key가 필요합니다. 

5. 텍스트에서 이미지 생성: 최신 텍스트-이미지 생성 기술을 통해 사용자는 대화 중에 직접 이미지 생성 도구를 사용할 수 있습니다. DALL-E 3, MidJourney 및 Pollinations와 같은 AI 도구를 활용하여 아이디어를 이미지로 변환할 수 있습니다. 음성대화와 마찬가지로  해당 기능은 OpenAI API Key가 필요합니다. 

6. 플러그인 시스템 (Function Calling): 플러그인 시스템은 LobeChat의 핵심 기능을 확장하여 실시간 정보 검색, 문서 검색, 이미지 생성, 다양한 플랫폼 데이터 획득 등 다양한 기능을 수행할 수 있도록 합니다. 이 기능은 모델 중에서 아래 화면과 같이 함수 호출을 지원하는 표시가 있는 경우 사용 가능합니다. 

함수 호출을 지원하는 언어 모델

날씨정보 제공 에이전트

7. 에이전트 마켓 (GPTs) LobeChat: Agent Marketplace는 사용자들이 자신이 개발한 에이전트를 공유하고, 다양한 에이전트를 발견할 수 있는 플랫폼입니다. 자동 워크플로우를 통해 에이전트를 여러 언어 버전으로 번역할 수 있습니다. 

Lobe Chat 에이전트 마켓

8. 사용자 정의 테마: 사용자는 LobeChat의 테마 모드를 유연하게 조정할 수 있으며, 다양한 색상 옵션을 통해 개인화된 경험을 제공합니다. 

LobeChat 테마 모드

https://github.com/lobehub/lobe-chat

GitHub - lobehub/lobe-chat: 🤯 Lobe Chat - an open-source, modern-design LLMs/AI chat framework. Supports Multi AI Providers(

728x90

설치 및 설정방법

이 블로그의 실행환경은 Windows 11 Pro(23H2),  파이썬 버전 3.11, 코드 에디터는 비주얼 스튜디오 코드(이하 VSCode)입니다. Lobe Chat의 설치 방법은 다음 순서와 같습니다. 

1. GitHub 레포지토리 복제 : 명령 프롬프트에서 아래 명령어로 레포지토리를 복제하고 작업 디렉토리로 이동합니다.

git clone https://github.com/lobehub/lobe-chat
cd lobe-chat

GitHub 레포지토리 복제

2. pnpm 패키지 매니저 설치: 아래 명령어로 pnpm을 설치합니다.

npm install -g pnpm

pnpm을 설치

3. 종속성 설치 : 다음 명령어로 LobeChat 종속성을 설치합니다.

pnpm install

LobeChat 종속성 설치

4. 개발 서버 실행: 아래 명령어로 로컬에서 개발 서버가 실행되면, 브라우저에서 http://localhost:3000에 접속하여 LobeChat를 사용할 수 있습니다.

pnpm dev

개발 서버 실행

LobeChat 시작화면

다음 화면은 채팅 초기화면으로 사용자 정의 비서 목록과 언어 모델을 선택할 수 있으며, 날씨나 인터넷 검색과 같은 확장도구와 음성입력을 선택할 수 있습니다. 모델별로 단일 세션당 사용가능한 토큰의 숫자도 표시됩니다. 

채팅 초기화면

다음 화면은 설정화면으로 OpenAI, Ollama, DeepSeek, Google, Groq 등의 모델이 사용가능합니다.

모델 설정 화면

아래 화면과 같이 DeepSeek-V2 모델도 DeepSeek API를 입력하면 사용이 가능합니다. 참고로 DeepSeek-V2는 오픈소스 모델 중 코딩성능과 추론성능이 우수한 모델이며, edabit 파이썬 코딩 난이도 Expert 문제도 정답을 맞혔습니다.

DeepSeek-V2 모델 설정

DeepSeek-V2 Expert 난이도 문제 통과 화면

추론성능 가속 솔루션 Groq도 API Key를 입력하면 llama3-8B/70B, Mixtral 8*7, Gemma 7B모델을 사용할 수 있습니다.  

Groq 모델 설정화면

Ollama 모델 다운로드 화면

Ollama 모델은 위 화면과 같이 Lobe Chat 내에서 다운로드와 삭제가 가능하며, 모든 대화는 번역이 가능합니다.  

채팅 내용 번역 기능

언어 모델 응답 토큰 제한 표시

또한 함수 호출을 지원하는 모듈은 확장도구 메뉴를 통해 인터넷 검색과, 날씨 검색 등이 가능하며, 플러그인 스토어를 통해 다양한 도구를 설치할 수 있습니다. 

함후 호출 지원 언어 모델

인터넷 검색 확장 기능

플러그인 스토어

하루에 사용가능한 온라인 언어 모델별 토큰수가 제한이 있으며, 토큰이 모두 사용되면 채팅을 더 이상 할 수 없습니다. 

언어 모델이 가지고 있는 최대 토큰수

 

사용후기

오늘은 LobeChat이라는 AI 기반 대화 서비스 플랫폼에 대해 알아보았습니다. LobeChat은 다양한 AI 모델 통합, 텍스트 및 음성 대화, 이미지 인식 및 생성, 플러그인 시스템 등의 다양한 기능을 제공하여 사용자에게 풍부하고 맞춤형 대화 경험을 선사합니다. GitHub 32k 이상의 스타를 받은 LobeChat은 그 인기를 증명하듯, 많은 사용자들에게 사랑받고 있습니다.

 

LobeChat의 주요 기능과 설치 방법을 알아보았는데요, 사용해 본 느낌은 다음과 같습니다.

• 채팅 플랫폼의 완성도가 높고, 다양한 에이전트를 활용할 수 있다. 
• 인터넷 검색, 비전 모델 지원, 번역 등 다양한 부가기능이 구현되어 있다. 
• Ollama를 제외한 온라인 언어 모델은 사용할 수 있는 토큰수가 제한되어 아쉽다

 

블로그 내용은 여기까지입니다. 여러분도 LobeChat을 사용해 보시고, 다양한 언어 모델과 맞춤형 대화를 경험해 보시기 바랍니다. 저는 다음에 더 유익한 정보를 가지고 다시 찾아뵙겠습니다. 감사합니다. 

 

https://fornewchallenge.tistory.com/

 

 

2024.05.15 - [AI 도구] - Librechat: 온라인, 오프라인 AI 모델을 통합한 오픈소스 챗봇 플랫폼

Librechat: 온라인, 오프라인 AI 모델을 통합한 오픈소스 챗봇 플랫폼