ComfyUI 실습 : Text-to-Image

ComfyUI 실습 : Text-to-Image

입력된 텍스트로 이미지를 생성하기 입니다.
(동작은 윈도우나 맥이나 동일하지만 최신 고성능 맥북이 아니라면
가능하다면 윈도우 지포스 그래픽카드를 사용하시길 권장합니다.)

1. ComfyUI 앱 실행후 왼쪽 템플릿을 눌러주세요.

2. Templetes에서 Getting Started를 선택해주세요.

3. Getting Started 에서 맨 위에 있는 텍스트-> 이미지(신규)를 눌러주세요.

처음 설치하였다면 모델이 없기 때문에 오류 팝업이 나오며, 애플 실리콘 맥이 아닌경우에만 다운로드를 눌러줍니다. 
(AI 모델 다운로드 하려면 하드디스크 용량이 많이 필요합니다 ㅠㅠ)

!! 주의: 애플 실리콘 맥의 경우에는 fp8 모듈의 경우에 다운로드 하지마세요. 용량 낭비입니다.

다운로드중 닫아도 됩니다. 

왼쪽의 모델에서 다운로드 중인 목록을 볼수 있습니다.

4. Qwen Text-to-Image 노드에서 원하는 텍스트 입력하기
(후드티를 입고 컴퓨터하는 한국 남성을 만들어달라고 요청해봤습니다)

텍스트 입력후에 우측 상단에 있는 실행을 눌러줍니다.

5. 실행중에 다음과 같은 오류가 발생할 수 있습니다.

 노드가 허용하는 LoRA 파일 목록에 현재 선택된 파일명이 들어있지 않아서 프롬프트 유효성 검증에서 막힌 겁니다.

Qwen Text-to-image 노드에서 현재 3번째에 있는 lora name 영역을 선택하면, 현재 설치되어 사용할 수 있는 목록을 볼수가 있고, Qwen-Image-Lightning-4steps-V1.0.safetensors 를 선택합니다.

애플 M 시리즈 맥의 경우에는 다시 실행하면 다음과 같은 오류가 나며 실행이 되지 않습니다.
애플 실리콘 맥(M1~ 시리즈) 의 경우에 fp8로 된 타입을 지원하지 않기 때문에 발생합니다.

이경우에 저사양의 맥북이면 다른 템플릿을 사용하길 권장합니다. 

위와 같이 fp16 사용하는 모델을 다운로드(ComfyUI Manager -> Model Manager에서 수동으로 각 모델 검색해서 Install-> Refresh) 받아서 사용해봤는데
제가 사용한 맥북이 초기 M1 시리즈 인데 fp8모델이 아닌 fp16 모델을 사용하다보니 다음과 같은 메모리 부족이 발생합니다. ㅠㅠ 

 

지포스 그래픽 카드가 있는 윈도우 PC로 동일하게 실행한 경우에는 다음과 같은 화면을 보게 될것입니다.
(fp8 모델을 그냥 사용가능하기에 메모리 오류가 발생하지 않았습니다)

최종 결과 화면  

후드티를 입고 컴퓨터를 하고 있는 누군가의 이미지가 생성되었습니다

 

Qwen Text-to-Image 모듈에서

batch_size를 2로 변경하고 실행해보면 다음과 같이 2장의 이미지를 생성하게 됩니다. 
동일한 동작으로 몇개의 이미지를 만들것인가 라고 생각하면 됩니다.  

이번에는 step을 1로 변경하고 실행해보면 다음과 같이 흐릿한 이미지를 생성하게 됩니다.

이번에는 step을 16로 변경하고 실행해보면 조금 더 선명하고 세밀한 이미지를 생성하게 됩니다.
step이 무엇인지 감이 오시죠? 몇 단계를 거쳐서 이미지를 만들것 인가로 생각하시면 됩니다. 

그럼 seed는 무엇일까요?
흠. AI가 생성하는 이미지의 무작위 번호라고 보면 됩니다. 동일한 번호는 동일한 이미지를 의미합니다. 
(-1 또는 random 하게 해주면 실행할때마다 다른 이미지 생성하게 됩니다)

아래 이미지처럼 seed를 바꾸면 동일한 모델 동일한 설정이라하더라도 새로운 이미지를 생성하게 됩니다. 
(왼쪽에 seed가 0인 경우와 1인 경우의 사진이 다른것을 볼수 있습니다)

seed의 역할은 이미지 재현성(Reproducibility)를 보장해주고,
Noise 초기화 값을 제어해주기 때문에 번호가 다르면 다른 이미지를 생성하게 됩니다.