🚀FLUX GGUF로 고품질 AI 이미지를 빠르게 생성: ComfyUI 가이드

안녕하세요! 오늘은 최근 가장 핫한 Flux 모델을 빠르고 효율적으로 실행하는 GGUF 버전을 사용해서 이미지를 생성하는 방법에 대해 알아보겠습니다. GGUF(GPT-Generated Unified Format)는 AI 모델을 효율적으로 저장하고 로드하는 파일 형식으로 작은 파일 크기, 빠른 로딩 속도, 메모리 효율성이 주요 장점이며, 다양한 플랫폼과 하드웨어에서 호환성이 우수하여 AI 모델 배포와 사용을 간소화할 수 있습니다. 이 블로그에서는 "ComfyUI-GGUF" 커스텀 노드를 ComfyUI에 설치해서 고품질 이미지를 빠르게 생성하는 방법에 대해 살펴보겠습니다. 

🚀FLUX GGUF로 초고속 AI 이미지 생성: ComfyUI 가이드

"이 포스팅은 쿠팡 파트너스 활동의 일환으로, 이에 따른 일정액의 수수료를 제공받습니다."

GGUF 파일형식 개요

GGUF(GPT-Generated Unified Format)는 AI 모델, 특히 대규모 언어 모델(LLM)을 저장하고 로드하기 위한 최신 파일 형식으로 기존의 GGML(GPT-Generated Model Language) 형식을 개선하여 개발되었습니다. GGUF는 AI 모델의 가중치, 구조, 메타데이터를 효율적으로 저장하는 바이너리 형식으로, 이 형식은 모델의 크기를 줄이고 로딩 속도를 향상시키고, 다양한 하드웨어와 플랫폼에서의 호환성을 개선하기 위해 설계되어 다음과 같은 특징을 가집니다. 

• 통합된 메타데이터: 모델의 구조, 토크나이저 정보, 버전 등의 메타데이터를 파일 내에 통합하여 저장합니다.
• 효율적인 양자화: 모델 가중치의 정밀도를 조절하여 파일 크기를 최적화합니다.
• 메모리 매핑: 대용량 모델을 빠르게 로드하고 효율적으로 사용할 수 있게 합니다.
• 크로스 플랫폼 지원: 다양한 운영 체제와 하드웨어에서 사용 가능합니다.
• 버전 관리: 형식의 버전을 명시하여 호환성 문제를 최소화합니다.

GGUF 파일 형식은 다음과 같은 장점을 가집니다. 

• 파일 크기 감소: 효율적인 압축과 양자화로 모델 파일의 크기를 크게 줄일 수 있습니다.
• 빠른 로딩 속도: 메모리 매핑 기술을 활용하여 대규모 모델도 빠르게 로드할 수 있습니다.
• 메모리 효율성: 필요한 부분만 메모리에 로드하여 리소스 사용을 최적화합니다.
• 유연성: 다양한 모델 구조와 크기에 적용 가능합니다.
• 확장성: 새로운 기능이나 메타데이터를 쉽게 추가할 수 있는 구조입니다.
• 호환성: 다양한 플랫폼과 프레임워크에서 사용 가능합니다.

https://huggingface.co/city96/FLUX.1-dev-gguf/tree/main

city96/FLUX.1-dev-gguf at main

728x90

ComfyUI-GGUF 설치

다음은 ComfyUI-GGUF 커스텀 노드 설치방법입니다. 아래 화면과 같이 ComfyUI Manager에서 Custom Nodes Manager를 클릭한 후, gguf로 노드를 검색하고 "ComfyUI GGUF"노드를 찾아서 Install을 클릭한 후 재시작하면 됩니다. ComfyUI Manager가 설치되지 않은 경우 명령어 프롬프트에서 아래 명령어로 설치하시면 됩니다. 

cd ComfyUI/custom_nodes
git clone https://github.com/ltdrdata/ComfyUI-Manager.git

ComfyUI-GGUF 커스텀 노드 검색화면

다음은 이미지를 생성하기 위한 ComfyUI 워크플로우 파일을 아래에서 다운로드합니다.

FLUX_GGUF_WORKFLOW.json

0.00MB

Flux GGUF 워크플로우

위 워크플로우에 포함된 노드를 실행하기 위한 모델 파일의 다운로드 주소와 저장위치는 다음과 같습니다. 

노드명	파일명	저장위치	URL
Unet Loader(GGUF)	flux1-dev-Q4_0.gguf	unet	https://huggingface.co/city96/FLUX.1-dev-gguf/resolve/main/flux1-dev-Q4_0.gguf?download=true
DualCLIPLoader	t5xxl_fp8_e4m3fn.safetensors	clip	https://huggingface.co/comfyanonymous/flux_text_encoders/resolve/main/t5xxl_fp8_e4m3fn.safetensors?download=true
DualCLIPLoader	model.safetensors	clip	https://huggingface.co/openai/clip-vit-large-patch14/resolve/main/model.safetensors?download=true
Load VAE	diffusion_pytorch_model.safetensors	vae	https://huggingface.co/black-forest-labs/FLUX.1-dev/resolve/main/vae/diffusion_pytorch_model.safetensors?download=true
Lora Loader	lora.safetensors	loras	https://huggingface.co/XLabs-AI/flux-RealismLora/resolve/main/lora.safetensors?download=true

 

이미지 생성결과

flux1-dev-Q4_0.gguf 모델을 적용한 Flux GGUF 워크플로우로 생성한 이미지는 NVIDIA GeForce RTX-4060 메모리 8GB 기준으로 이미지 1장에 약 1분 40초 정도 소요되었습니다. 프롬프트 출처는 https://blackforestlabs.ai/입니다.

filmic photo of a group of three women on a street downtown, they are holding their hands up the camera

old man with glasses portrait, photo, 50mm, f1.4, natural light, Pathéchrome

A robot holding chalk looking at a blackboard that reads the following poem:”ln pixels’ dance, AI’s craft will rise, Transforming visions through machine eyes, From dreams to screens, new worlds unfurled, AI’s brush reshapes our visual world.”

beautiful pixel art of a street in tokyo

A hidden cenote in the heart of a lush jungle beckons with crystalline turquoise waters. Vibrant emerald vines cascade down weathered limestone walls, their tendrils barely kissing the water’s surface. Shafts of golden sunlight pierce through a natural skylight above, creating a mystical interplay of light and shadow on the cavern walls. Iridescent butterflies flit between exotic orchids clinging to rocky outcrops. A partially submerged Mayan ruin, its intricate carvings softened by time, stands as a silent sentinel at the water’s edge. Schools of tiny silver fish dart through the crystal-clear depths, their scales glinting like underwater stars. At the far end of the cenote, a small waterfall tumbles melodiously into the pool, its mist creating ephemeral rainbows in the dappled light.

detailed cinematic dof render of an old dusty detailed CRT monitor on a wooden desk in a dim room with items around, messy dirty room. On the screen are the letters “FLUX” glowing softly. High detail hard surface render
flux1-dev-Q4_0.gguf	flux1-dev-Q5_0.gguf

위 비교표에서 보시듯이 flux1-dev-Q4_0.gguf(6.6GB)과 flux1-dev-Q5_0.gguf(8GB) 모델의 이미지 생성 결과는 큰 차이가 없지만 Q5 모델이 좀 더 정확한 텍스트 표현 성능을 보여주었습니다. 

 

맺음말

이 블로그에서는 최신 AI 이미지 생성 모델인 Flux의 GGUF 버전을 ComfyUI에서 사용하는 방법에 대해 알아보았습니다. GGUF 파일 형식의 주요 장점과 특징을 살펴보고, ComfyUI-GGUF 커스텀 노드를 설치하는 과정을 단계별로 알아보았습니다. 또한 실제 생성된 이미지 결과를 통해 Flux GGUF 모델의 성능을 확인하고, 서로 다른 양자화 버전(Q4와 Q5)의 결과를 비교하여 품질과 파일 크기 간의 트레이드오프를 살펴보았습니다.

 

이미지 생성 모델의 GGUF 형식은 작은 파일 크기와 빠른 로딩 속도, 높은 호환성 등의 장점으로 AI 모델의 효율적인 배포와 사용을 가능하게 하며, 이는 특히 리소스가 제한된 환경에서 고품질 이미지를 생성하고자 하는 사용자들에게 큰 도움이 될 것 같습니다. 

 

오늘 블로그는 여기까지입니다. 저는 그럼 다음 시간에 더 유익한 정보를 가지고 다시 찾아뵙겠습니다. 감사합니다. 

 

https://fornewchallenge.tistory.com/

 

 

2024.08.09 - [AI 언어 모델] - 🎨Flux Dev FP8 버전: 저사양 GPU로 Flux를 무료로 즐기세요!

🎨Flux Dev FP8 버전: 저사양 GPU로 Flux를 무료로 즐기세요!