Luma AI 드림머신: 혁신적인 다중 모달 비디오 생성기(feat. SwarmUI)

안녕하세요! 오늘은 최근 공개된 Luma의 동영상 생성 AI, 드림머신(Dream Machine)에 대해서 알아보겠습니다. 드림머신은 텍스트 및 이미지 프롬프트를 입력받아 현실적이고 고품질의 비디오를 빠르게 생성하는 다중 모달 AI 모델로, 복잡한 시공간 운동을 모델링하여 자연스러운 동작과 카메라 움직임을 재현하며, 무료로 시작할 수 있습니다. 이 블로그에서는 드림머신의 주요 기능에 대해 살펴보고, SwarmUI로 이미지를 생성해서 드림머신의 동영상 생성기능을 체험해 보겠습니다. 

Luma AI 드림머신: 혁신적인 텍스트-비디오 생성기(feat. SwarmUI)

"이 포스팅은 쿠팡 파트너스 활동의 일환으로, 이에 따른 일정액의 수수료를 제공받습니다."

드림머신 주요 기능

드림머신은 사용자가 설명 텍스트를 입력하면 이를 기반으로 약 5초 분량의 시네마틱 품질의 비디오를 120초 내에 생성할 수 있으며, 복잡한 시공간 운동과 자연스러운 카메라 움직임을 구현할 수 있습니다. 주요 기능은 다음과 같습니다:

• 텍스트-비디오 생성: 사용자가 설명적인 텍스트 프롬프트를 입력하면 실제와 같은 비디오 클립을 생성합니다.
• 빠른 비디오 생성: 120 프레임을 약 120초 내에 생성하여 동급의 도구 중에서 가장 빠릅니다
• 시네마틱 품질: 복잡한 시공간 운동을 모델링하여 현실적이고 일관된 동작, 높은 캐릭터 일관성, 자연스러운 카메라 움직임을 생성합니다.
• 사용 용이성: 사용자 친화적인 인터페이스로, 사용자 입력만으로 몇 분 내에 고품질 비디오를 생성합니다.
• 접근성: 현재 월 최대 30개의 비디오 생성을 무료로 제공하며, 스탠다드, 프로, 프리미어 월 구독 요금제를 운영합니다.
• 통합 가능성: 인기 있는 창작 소프트웨어와의 통합을 위해 API와 플러그인을 제공할 계획입니다.

드림머신은 초기 사용자들 사이에서 긍정적인 반응을 얻고 있으며, 특히 사용자 생성 이미지 입력을 통한 비디오 생성에서 프로페셔널 수준의 우수한 품질을 보여주고 있습니다. 

 

https://lumalabs.ai/dream-machine  

Luma Dream Machine

드림머신의 월 구독 요금제

Luma AI에서 설명하는 드림머신의 한계는 다음과 같습니다:

• 비디오 길이 제한: 현재 생성되는 비디오의 길이는 약 5초로, 짧은 클립에 한정됩니다.
• 복잡한 장면 처리: 복잡한 장면이나 매우 특정한 동작에 대해 처리 능력이 제한적일 수 있으며, 인물의 얼굴이 시간이 흐를수록 변화하는 등 일관성 문제가 발생할 수 있습니다. 
• 모핑 문제: 비디오 생성 시 일부 변형이나 모핑(morphing) 현상이 나타날 수 있습니다.
• 높은 수요로 인한 대기 시간: 많은 사용자가 동시에 이용할 경우 비디오 생성 대기 시간이 길어질 수 있습니다.

이러한 한계는 Luma AI가 개선 중이며, 향후 업데이트를 통해 해결될 가능성이 있습니다.

드림머신 소개 동영상

728x90

동영상 생성테스트

다음은 드림머신으로 동영상 생성테스트를 해볼 건데요. 테스트는 Text-to-Video와 Image-to-Video로 구분해서 진행해 보겠습니다. 이 블로그의 테스트 환경은 Windows 11 Pro(23H2), CPU i9-13900H, 2.60 GHz, RAM16GB, GPU RTX4060 8GB입니다. SwarmUI 설치방법은 아래 이전 포스팅을 참고하세요

2024.06.15 - [AI 언어 모델] - Stable Diffusion 3 Medium: 최신 T2I 모델 설치와 활용법(SwarmUI)

Stable Diffusion 3 Medium: 최신 T2I 모델 설치와 활용법(SwarmUI)

Text-to-Video 테스트

먼저 텍스트입력을 통한 비디오 생성입니다. 다음은 드림머신에 접속해서 텍스트 프롬프트를 통해 얻은 결과입니다.

A mystical forest at dawn, with glowing trees, magical creatures like unicorns and fairies, and a sparkling river flowing gently. 4k, highly detailed, cinematic

A bustling futuristic cityscape at night, with flying cars, neon lights, tall skyscrapers, and holographic billboards showing advertisements. 4k, highly detailed, cinematic

A serene beach at sunset, with waves gently crashing, a couple walking hand in hand, and the sky filled with hues of orange, pink, and purple. 4k, highly detailed, cinematic

A spacecraft traveling through space, passing by planets, asteroids, and stars, with astronauts floating and observing the galaxy. 4k, highly detailed, cinematic

Text-to-Video에서 고품질을 얻기 위해서는 보다 상세한 프롬프트 연구가 필요할것 같습니다.

Image-to-Video 테스트

다음은 이미지 입력을 통한 비디오 생성입니다. 진행순서는 다음과 같습니다.

1. 아래 Civitai 웹사이트에서 체크포인트 모델파일을 다운로드합니다. (DucHaiten-Pony-XL, iNiverse-Mix)

https://civitai.com/models/376450/duchaiten-pony-xl-no-score

DucHaiten-Pony-XL (no-score) - pony-no-score_v4.0 | Stable Diffusion Checkpoint | Civitai

위 사이트의 다운로드 버튼을 클릭하고, "duchaitenPonyXLNo_ponyNoScoreV40.safetensors" 파일(약 6.7GB)을 StableSwarmUI\Models\Stable-Diffusion 디렉토리에 저장합니다. 가입이 안 돼 있는 경우 구글 연동으로 가입합니다. 

https://civitai.com/models/226533/iniverse-mix-xlsfw-and-nsfw

iNiverse Mix XL(SFW & NSFW) - GuoFeng Turbo v1.4 | Stable Diffusion Checkpoint | Civitai

다음은 위 사이트의 다운로드 버튼을 클릭하고, "iniverseMixXLSFWNSFW_guofengTurboV14.safetensors" 파일(약 6.9GB)을 동일한 디렉토리에 저장합니다. 

2. SwarmUI에서 모델을 선택하고 텍스트 프롬프트를 입력해서 이미지를 생성합니다. 

SwarmUI 화면 아래쪽 Model 메뉴에서 미소녀는 duchaitenPonyXL 모델, 눈동자는 iniverseMixXL 모델을 선택하고, Positive와 Negative 텍스트 프롬프트에 각각 아래와 같이 입력한 후, Generate를 클릭합니다. 

• 미소녀 텍스트 프롬프트

Positive Prompt:
Close-up details, realistic style photo Japanese young woman, black hair, long hair, outstanding style, tall, cute, in her teens. Use soft lighting to cast gentle shadows on the subject, adding a touch of dimension to your images without compromising details, score_9, score_8_up, score_7_up
Negative Prompt:
score_6, score_5, score_4, source_pony, (worst quality:1.2), (low quality:1.2), (normal quality:1.2), lowres, bad anatomy, bad hands, signature, watermarks, ugly, imperfect eyes, skewed eyes, unnatural face, unnatural body, error, extra limb, missing limbs, painting by bad-artist

• 눈동자 텍스트 프롬프트

Positive Prompt:
The image showcases a close-up of a human eye illuminated by a spectrum of vibrant colors. The iris appears multi-colored, blending hues like blue, green, and yellow in a striking pattern. Surrounding the eye, the skin reflects similar rainbow tones, creating a surreal and mesmerizing effect. The vivid colors seem to merge seamlessly, casting dynamic shadows and highlights, giving the impression of light refracting through a prism. The overall composition evokes a sense of wonder and ethereal beauty, with the eye as the focal point amidst the radiant colors. best Ray tracing,prismatic colors,35mm photograph,professional grade,RAW photography,
Negative Prompt:
(worst quality, low quality, illustration, 3d, 2d, painting, cartoons, sketch),bad hands,too many fingers,fused fingers,mutated hands and fingers,malformed hands,extra legs,missing fingers,poorly drawn hands,mutated hands,malformed limbs,missing limb,floating limbs,disconnected limbs,bad feet,long body,bad body,extra arms,extra limb,pubic hair,text,disfigured,mutated,deformed,long neck,

 

화면 좌측 Core Parameter 설정의 Steps와 CFG Scale 아래 화면을 참고해서 설정하고, Sampler는 dpmpp_2m, Seed는 랜덤, Resolution(해상도)은 1024x1024로 설정하였습니다. (두 모델 모두 동일)

SwarmUI 이미지 생성화면

SwarmUI 이미지 생성화면

생성된 이미지는 다음과 같습니다. 

3. 드림머신 사이트에 접속해서 생성된 이미지와 텍스트 프롬프트를 입력하고 비디오를 생성합니다. 아래 동영상의 텍스트 프롬프트는 "a girl is smiling"입니다. 

SwarmUI 생성 이미지	드림머신 생성 비디오

아래 동영상의 텍스트 프롬프트는 "Zoom in on the pupil."입니다. 

SwarmUI 생성 이미지	드림머신 생성 비디오

드림머신의 동영상 생성 테스트 결과, 텍스트로부터의 동영상 생성은 보다 정밀하고, 상세한 프롬프트가 필요하지만, 생성된 이미지로부터의 동영상 생성은 간단한 프롬프트 만으로도 고품질의 동영상을 생성할 수 있었습니다. 

 

맺음말

오늘은 Luma의 최신 AI 동영상 생성기인 드림머신을 통해 텍스트와 이미지를 기반으로 한 혁신적인 동영상 생성 기술을 살펴보았습니다. 드림머신은 사용자 친화적인 인터페이스를 통해 복잡한 시공간 운동을 모델링하여 시네마틱 품질의 비디오를 빠르게 생성하며, 텍스트-비디오 생성의 새로운 다크호스로 부상하고 있습니다.

 

특히, 간단한 텍스트 프롬프트와 사용자 생성 이미지를 통해 실감 나는 비디오를 제작할 수 있어, 마케팅, 교육, 창작 분야에 새로운 가능성을 열어줍니다. 드림머신은 아직 몇 가지 한계를 가지고 있지만, 향후 개선을 통해 더욱 강력한 도구로 발전하기를 기대해 봅니다. 여러분도 드림머신을 직접 경험해 보고, 창의적인 아이디어를 실현해 보시기 바랍니다.

 

오늘 블로그는 여기까지입니다. 저는 그럼 다음 시간에 더 유익한 정보를 가지고 다시 찾아뵙겠습니다. 감사합니다!

 

https://fornewchallenge.tistory.com/

 

 

2024.05.01 - [AI 도구] - [LLAMA3 활용] ComfyUI 프롬프트 자동 작성 및 유튜브 동영상 요약 10초 완료!

[LLAMA3 활용] ComfyUI 프롬프트 자동 작성 및 유튜브 동영상 요약 10초 완료!