Stable Diffusion과 ComfyUI로 AI 사진작가에 도전하세요

안녕하세요. 오늘은 생성형 AI를 활용해서 사진작가에 도전해 보겠습니다. 활용도구는 노드 기반의 인터페이스로 코드를 작성하지 않고도 Stable Diffusion을 사용할 수 있는 ComfyUI, 빠른 이미지 생성이 가능한 Stable Diffusion LCM입니다. 이 블로그에서는 ComfyUI를 이용한 Stable Diffusion LCM의 활용방법에 대해 살펴보실 수 있습니다. 

Stable Diffusion LCM으로 생성한 사진

1단계 ComfyUI 설치하기

ComfyUI는 Stable Diffusion을 위한 노드 기반의 GUI(Graphical User Interface, 그래픽 사용자 인터페이스)입니다. ComfyUI를 사용하면 코드를 작성하지 않고도 Stable Diffusion을 사용하여 이미지를 생성할 수 있으며, 다양한 노드가 제공되고, 이 노드를 연결하여 이미지 생성 워크플로우를 구성할 수 있습니다.

 

ComfyUI 설치는 이전에 제가 AI 인플루언서 만들기 편에서 Facefusion을 설치하기 위해서 이용한 Pinokio라는 AI 브라우저를 통해서 간단하게 설치하실 수 있습니다. Pinokio AI 브라우저의 설치는 아래 링크를 참고하시기 바랍니다. 

 

2023.11.29 - [AI 도구] - 누구나 쉽게 할 수 있는 AI 인플루언서 만들기

누구나 쉽게 할수있는 AI 인플루언서 만들기

 

Pinokio를 이용한 ComfyUI 설치화면

 

설치가 완료되면 http://127.0.0.1:8188/의 주소로 브라우저에서 아래 화면과 같은 ComfyUI 초기화면이 열립니다. 메인화면은 이미지 생성을 위한 프로세스들을 선으로 연결한 모습(워크플로우)입니다. 오른쪽 메뉴에는 워크플로우를 불러오거나, 저장할 수 있는 기능과, 구성요소를 업데이트할 수 있는 Manager가 위치하고 있습니다. 

ComfyUI의 실행 초기화면 워크 플로우

 

 

"이 포스팅은 쿠팡 파트너스 활동의 일환으로, 이에 따른 일정액의 수수료를 제공받습니다."

 

2단계 구성요소 다운로드

ComfyUI를 이용해서 Stable Diffusion을 구동하기 위해서 필요한 요소들을 다운로드하는 단계입니다. 이 블로그에서 필요한 구성요소의 파일명과 다운로드 위치 및 용도는 다음과 같습니다. 

구성요소 ConfyUI 폴더명	파일명	용도	다운로드
ComfyUI\models\checkpoints	dreamshaper_8.safetensors	이미지 학습 모델 파일	https://huggingface.co/digiplay/DreamShaper_8/blob/main/dreamshaper_8.safetensors
ComfyUI\models\loras	diffusion_pytorch_model.fp16.safetensors	특정한 부분만을 집중적으로 학습시킨 데이터  (Stable Diffusion LCM)	https://huggingface.co/latent-consistency/lcm-sdxl/blob/main/diffusion_pytorch_model.fp16.safetensors
ComfyUI\models\vae	vae-ft-mse-840000-ema-pruned.safetensors	그림의 색감과 채도 또는 선명도 향상	https://huggingface.co/stabilityai/sd-vae-ft-mse-original/blob/main/vae-ft-mse-840000-ema-pruned.safetensors
ComfyUI\models\upscale_models	4x-UltraSharp.pth	이미지 세부 묘사 추가 및 이미지 품질 향상	https://huggingface.co/lokCX/4x-Ultrasharp/blob/main/4x-UltraSharp.pth

• checkpoint : 특정 지점에서 모델의 상태를 저장하여 이미지를 학습한 기본 모델 
• loras: 피사체의 특정한 부분만을 집중적으로 학습시킨 데이터(Stable Diffusion LCM)
• vae : 그림의 색감과 채도 또는 선명도 등의 퀄리티를 높여주는 데이터
• upscale_models : 이미지의 해상도를 높이고, 세부 묘사 추가 및 이미지 품질 향상

위 표에서 다운로드한 각 파일을 ComfyUI\models 폴더 밑에  checkpoints, loras, vae, upscale_models 폴더에 넣으면 됩니다. Stable Diffusion LCM(Latent Consistency Model)에 대한 설명은 이전 블로그 포스트를 참고하세요.

2023.11.18 - [AI 논문 요약] - AI 논문분석 : 실시간 Stable Diffusion 이미지 생성! 체험해 보세요

AI 논문분석 : 실시간 Stable Diffusion 이미지 생성! 체험해보세요

 

728x90

 

3단계 커스텀 노드 설치

다음은 워크플로우를 불러와서 커스텀 노드를 설치하는 단계입니다. 워크플로우는 이미지 생성을 위한 프로세스들을 선으로 연결한 것입니다. 오늘 사용할 워크플로우 파일의 이름은 LCM Lora2BYPASS.json 파일입니다. 

LCM Lora2BYPASS.json

0.03MB

 

위 파일을 다운로드하여 ComfyUI에서 불러오면, 기본으로 설치되어있지 않은 커스텀 노드를 불러오지 못했다는 에러가 나옵니다. 화면 오른쪽 메뉴에서 Manager를 클릭하고 Install Missing Custom Nodes를 클릭하여 모두 설치해 줍니다. 

커스텀 노드 설치를 위한 Manager 화면

 

4단계 노드 설정 및 그림 그리기

커스텀 노드가 모두 설치되고 나면 ComfyUI를 다시 시작한 후 각 노드를 살펴봅니다.

Efficient Loader 노드에서 ckpt_name, vae_name, lora_name을 각각 클릭하여 2단계에서 다운로드한 파일을 선택합니다. Load Upscale Model 노드에서 model_name도 마찬가지로 4x-UltraSharp.pth을 선택해 줍니다. 

Efficient Loader 노드(좌),  Load Upscale Model 노드(우)

 

자, 이제 모든 ComfyUI의 설치, 다운로드, 설정이 끝나고 그림을 그려볼 차례입니다. 맨 왼쪽의 Canvas_Tab(Edit In Another Tab)의 Edit를 누릅니다. 그럼 아래 왼쪽 화면과 같이 그림판과 비슷한 창이 뜨는데 여기서 본인이 그리고 싶은 모델과 주변의 모습을 대략 그립니다. 그리고 Efficient Loader 노드의 Positive Prompt(위칸)와 Negative Prompt(아래칸)에 다음과 같이 일반적인 프롬프트만 입력하고 Queue Prompt를 클릭하면 이미지가 생성됩니다. 

• Positive Prompt : masterpiece, best quality, 1girl, shiny skin, cinematic lighting, ultra-detailed, 8k
• Negative Prompt : (nsfw:1.5), (easynegative:1.3) (bad_prompt:1.3) badhandv4 bad-hands-5 (negative_hand-neg) (bad-picture-chill-75v), (worst quality:1.3), (low quality:1.3), (bad quality:1.3), (a shadow on skin:1.3), (a shaded skin:1.3), (a dark skin:1.3), (blush:1.3), (signature, watermark, username,letter, copyright name, copyright, chinese text, artist name, name tag, company name, name tag, text, error:1.5), (bad anatomy:1.5), (low quality hand:1.5), (worst quality hand:1.5), (earwear, earring ,earrings:), (earrings:1.5)

ComfyUI CanvasTab 노드로 그린 그림(좌),  Stable Diffusion LCM Model이 생성한 사진(우)

Stable Diffusion LCM으로 생성한 사진

ComfyUI 페이지 - 깃 허브

https://fornewchallenge.tistory.com/

"이 포스팅은 쿠팡 파트너스 활동의 일환으로, 이에 따른 일정액의 수수료를 제공받습니다."

마치며

ComfyUI를 이용해서 마우스로 그린 그림이 Stable Diffusion LCM을 거쳐서 멋진 사진으로 탄생했는데요. 참고로 컴퓨터의 성능이 충분한 경우 Canvas_Tab(Edit In Another Tab)에 Queue on change를 true로 변경하면 그림판에서 그림을 그리는 것과 거의 동시에 이미지가 생성될 수 있습니다. 라이브 드로잉(Live Drawing)도 상용화가 멀지 않은것 같네요. 

 

오늘은 복잡하고 자세한 프롬프트나 코드작성 없이 Stable Diffusion을 좀 더 직관적이고 편리하게 사용할 수 있도록 도와주는 ComfyUI로 고퀄리티의 사진을 만들어 보았습니다. 여러분도 한번 ComfyUI로 멋진 사진작가가 돼 보세요. 그럼 저는 다음에 더욱 유익한 정보를 가지고 다시 찾아뵙겠습니다. 감사합니다.