이번에는 스테이블 디퓨전을 통해 AI영상을 만드는 방법에 대해서 설명해보려고 한다. 많은 방법이 있겠지만, 쉽게 할 수 있는 방법 3가지를 소개하려고 한다. 바로 img2img, deforum, mov2mov이다. 여기서 img2img는 기본적인 설정이지만, deforum과 mov2mov는 익스텐션을 해야한다. 아래에서 자세하게 설명하겠다. 아래 영상은 실제 시연 영상이다.
< 스테이블디퓨전 연구소 오픈 채팅방 >
(같이 공부하고 싶다면 아래 링크 클릭!)
https://open.kakao.com/o/glPd6M8e
목차
1. img2img로 만드는 방법
2. deforum으로 만드는 방법
3. mov2mov로 만드는 방법
4. 영상 제작에 대한 생각
< Step by Step 스테이블 디퓨전 입문 전자책이 출간했습니다. 구매는 아래 이미지를 클릭하세요. >
1. img2img로 만드는 방법
일단 img2img로 만드는게 제일 어렵다. 이번 글에서는 간단하게 원리만 알아보자. 먼저 영상을 프레임으로 쪼개야한다.프레임 쪼개고 합치는 건 여러 툴이 필요하므로 따라하기 쉬운 샘플을 준비했다. 일단 원하는 영상을 준비한다.
* 사이트 주소 : https://ezgif.com/video-to-png
위 사이트로 들어간다. 영상을 프레임으로 쪼개주는 사이트다. 사이트로 들어간 뒤 위 이미지 1번 Video to PNG인지 확인하고, 2번 영상을 등록하고, 3번 업로드한다.
그리고 1번 원하는 시간대를 설정하고 PNG로 바꾸고, 3번 다운을 받는다.
다음은 구글 드라이브에 원하는 폴더에 이미지를 넣고, 경로를 복사한다. 잘 모르겠다고 생각하면 위 이미지 경로대로, 'gdrive-mydrive-colab notebooks-sd-input-test'에 이미지를 넣고, 경로를 복사한다. 구글 드라이브 메인 화면에서는 'sd-input-test' 순으로 들어가면 된다. 없다면 폴더를 만들어주자.
이제 스테이블 디퓨전을 실행시키고, 위 이미지 1번 img2img에 2번 batch에 3번에는 입력할 사진이 있는 폴더, 4번에는 출력할 사진이 있는 폴더를 설정한다. 위에서 인풋 테스트를 만들었다면 아래에서는 아웃풋 테스트를 만들어서 경로 복사 붙여넣기 하자.
< 프롬프트 참고(3가지 방법 모두 같음) > * 아래 프롬프트 복사를 원할 경우 링크 클릭
- 파지티브 프롬프트(위칸)
<lora:koreanDollLikeness_v15:0.5>, ultra detailed, highres, (realistic, photo-realistic:1.4), 8k, raw photo, (masterpiece), (best quality), physically-based rendering, blurry, rating:safe, 1 girl, depth_of_field, blurry_background, solo, photo, upper_body, teeth, looking_at_viewer, smile, lips, long brown hair, shirt, nose, blurry_foreground, Korea, realistic photography, professional color graded, 8K, F2.4, 35mm.
- 네거티브 프롬프트(아래칸)
ng_deepnegative_v1_75t, paintings, sketches, (low quality:2), (normal quality:2), (worst quality:2), lowres,((monochrome)), ((grayscale)), acnes, skin spots, age spot, skin blemishes, bad feet, ((wrong feet)), (wrong shoes), bad hands, distorted, blurry, missing fingers, multiple feet, bad knees, extra fingers
다음은 스크롤을 내려 1번 restore faces를 설정하고, 2번 사이즈는 입력할 이미지와 동일한 사이즈로 해주자. 3번은 CFG Sclae은 보통 10, denoising strength는 같은 성별일 경우 0.2~0.3 성별이 다른 경우 0.4~0.5을 설정한다. AI 여자친구는 나의 분신이기 때문에 0.5로 설정해줬다.
다음은 스크롤을 내려 컨트롤넷은 1번 enable 설정, 2번 프리프로세서는 openpose, 3번 모델도 control_openpose로 설정하고, 4번 사이즈도 입력할 사이즈와 동일하게 설정해주자. 그리고 제너레이트하자.
그러면 출력 파일이 생성이된다. 파일을 보면 보통 마음이 들진 않을 것이다. 수 차례 반복해서 영상과 적합한 프롬프트와 설정을 찾아야 한다. 나도 몇 가지 영상을 만들다가 머리 뽀개지는 줄 알았다. 보통 1초당 30장의 이미지가 있어야 정상적으로 보인다.
* 사이트 주소 : https://ezgif.com/maker
이제 위 사이트로 가서 1번 GIF Maker인지 확인하고, 2번 파일 등록, 3번 생성해주자. 아마 프레임이 많지 않기 때문에 이쁘게 나오지 않을 것이다.
https://youtube.com/shorts/qUzUvsjJwYQ?feature=share
이러한 원리로 1초당 30장을 등록하면 위와 같은 영상을 만들 수 있다.
2. deforum으로 만드는 방법
* 주소 : https://github.com/deforum-art/deforum-stable-diffusion
디포럼 익스텐션이 없다면 위 주소를 아래 '설치하는 방법 클릭'에 따라 설치해주자
그리고 원하는 이미지를 추출한다. 딱히 설정과 프롬프트는 중요하지 않다.
그 다음 1번 디포럼에 가서 2번 기본 상태창인 런에 가서 3번 사이즈는 출력한 이미지와 동일하게 설정해주고, 4번 씨드 복사 5번 리스토얼 페이스는 예의상 클릭해주자.
다음은 위 이미지에 따라 1번 디포럼에 2번 prompts에 3번이 핵심인데 위와 같이 입력해주자. 4번은 출력한 이미지와 동일한 프롬프트 입력해준다. 3번이 핵심인데 3번을 기본 설정으로 하면 아래와 같은 이상한 토끼가 나온다.
일단 위와 같은 설정으로 진행했다면 아래와 같은 영상을 만들 수 있다. 좀 더 디테일하게 영상을 제작하는 방법이 있을 텐데 아무리 삽질해도 좋은 영상이 나오지 않는다. 제일 쉽고 간단한 방법은 다음에 설명할 mov2mov다
https://youtube.com/shorts/yxeamiwzJ2E?feature=share
3. mov2mov로 만드는 방법
* 필요한 익스텐션 주소
- mov2mov : https://github.com/Scholar01/sd-webui-mov2mov
- ddetailer : https://github.com/dustysys/ddetailer
- dynamic-thresholding : https://github.com/mcmonkeyprojects/sd-dynamic-thresholding
* 영상 추출하는 방법
먼저 디포럼과 같이 익스텐션을 설치해주자. 설치 주소와 설치하는 방법은 위 참고에 있다. 그리고 원하는 이미지를 만들어주자.
여기서는 설정과 프롬프트는 중요하지 않다. 원하는 이미지를 뽑고, 씨드를 복사한다.
다음 위 이미지 1번 mov2mov 설정으로 가고, 2번과 3번에 프롬프트를 복사 붙여넣기 한다. 그리고 4번에 영상을 넣는다.
다음 스크롤을 내려 1번 restore faces를 설정하고, 2번은 사이즈는 영상 사이즈로 설정, 3번 denoising strength는 0.5 내외로 설정해주고 제너레이트된다.
바로 영상으로 나온 게 아니라 파일로 나온다. 경로는 구글드라이브-sd-'stable-diffusion-webui'-outputs-'mov2mov-images'에 들어가면 해당 날짜 폴더에 이미지가 있고, 다시 이미지들은 img2img 합칠 때 처럼 합치면 아래와 같은 영상이 된다.
https://youtube.com/shorts/s3lGAoe8VaA?feature=share
4. 영상 제작에 대한 생각
기술이 빨라도 너무 빨리 발전하고 있다. 이때까지 AI영상 제작을 위해 img2img와 deforum만 삽질했는데, mov2mov를 알고나니 신세계다.
< 아래 링크는 Step by Step 스테이블디퓨전 입문 커리큘럼입니다! >
(전자책, VOD, 전용 오픈채팅방, 실시간 미팅, 과제 등 한 달 커리큘럼입니다!)
'빠르게 배우고 싶다면 클릭하세요!'
'Step by Step! 스테이블디퓨전 입문' 카테고리의 다른 글
| 내가 ‘원하는 AI 이미지’ 만드는 방법 #스테이블디퓨전 (0) | 2023.05.14 |
|---|---|
| 스테이블디퓨전(Stablediffusion) 프롬프트(prompt) 사용법 (1) | 2023.05.13 |
| 스테이블디퓨전 코랩 시작하기! 코랩 유료 구독하는 방법, GPU 백엔드에 연결할 수 없음 (0) | 2023.05.12 |
| Step by Step! 스테이블디퓨전 전자책 프롤로그! (2) | 2023.05.09 |
| 스테이블디퓨전 사용법! 코랩 설치부터 AI 이미지와 AI 아바타 영상 제작까지 #stablediffusion (2) | 2023.04.13 |
댓글