От къде тръгна всичко

Първоначално всичко тръгна от стихотворение, което написах преди време - Помолих се. Стихотворение, което мой приятел реши да се опита да превърне в песен - метъл балада. Не съм сигурен, че във вид на песен този текст носи същия смисъл и същата тежест, но какво пък - нека видим до къде ще стигне… Мина време, музиката и песента бяха готови (не се сърдете на вокалиста - добре се е справил с музиката, но за вокалист май не го бива особено 😃). Трябваше и някакво видео, обаче, а какъв по евтин и сиромашки начин да се направи видео от това да бъде генерирано от AI?

В началото бе ChatGPT…

Заиграх се в разговори с ChatGPT заради идеята да генерирам изцяло с AI видео за песен с дължина около 5 минути. Този процес премина през дълго лутане в идеята да съживя снимка или AI генерирано изображение с движение само на облаци и мъгла.

Първо - снимката

Първоначално генерирах снимка с помощта на prompt за ComfyUI, който ми даде ChatGPT (много е отзивчив, понякога). Това беше и неговата препоръка, първо - positive prompt:

melancholic heavy metal atmosphere,
lonely guitarist sitting on a cliff at night,
dark clouds, moonlight breaking through,
long hair blowing in the wind,
gothic mood, emotional, dramatic lighting,
cinematic composition, volumetric fog,
dark blue and silver color palette,
epic but sad atmosphere

И към него - negative prompt:

cartoon, anime, low quality, blurry, oversaturated, text, watermark

В резултат на това, ComfyUI генерира снимка, която подпалва въображението:

Статична снимка вместо видео

Чудесно, музиката изглежда по-жива, когато има визуална репрезентация - в случая снимка. Но това не е много обичайно, по-добре е да бъде истински видео клип.

Тук се породиха някои идеи - след като в сцената има облаци, защо да не се превърне в някакъв вид clouds motion видео, в което единствено се вижда движение на облаци заради вятър - по такъв начин, че да се получи video loop. В такова затворено видео реално трябва да се генерират няколко секунди по такъв начин, че първият кадър да бъде идентичен с последният кадър, така видеот може да се затвори. Тоест можем да го сложим произволен брой пъти последователно и ще изглежда като непрекъснато движение - чудесен сиромашки метод за генериране на видеоклип към песен.

Добре, но тук започнаха проблеми - ComfyUI не е много силен инструмент в подобен тип задачи - след продължително търсене и пробване на различни варианти, така и не успях да генерирам видео по използвайки този трик. Дори Image-To-Video композиции със зададени първи и последен кадър не свършиха никаква работа - ако първият кадър, който дадем на съществуващите модели съвпада с последния - на практика във видеото няма съвсем никакво движение и прилича на статична картинка.

Така след много проби и грешки реших, че ще генерирам цяло видео по “трудния начин”: Ще генерирам подобни снимки с горния промпт и ще превърна всяка от тях в отделно кратко видео, които накрая ще бъдат комбинирани в един цял видеоклип.

В света на 17-те снимки

И така, генерирах общо 17 снимки с абсолютно еднакъв prompt - което съответно доведе до доста подобни 17 броя снимки. След което използвах готова композиция в ComfyUI за съживяване на снимки и превръщането им във видео. Това работи прекрасно, но изисква солидно количество ресурси за добро качество - а откъм ресурси имам малки оплаквания от видеокартата, която използвам - твърде малко VRAM за такъв тип задачи (само 8GB). Затова и крайният резултат е видео със значително ниско качество. Отделните сегменти (17 броя) са клипчета (видео) по 12 секунди всяко, състоящи се от 121 кадъра и със скорост 10 кадъра в секунда.

За генерирането на клипчетата от снимките използвах следния positive prompt:

subtle wind motion moves clouds and the hair of the performer in the same direction
the performer stands still while playing his guitar

За negative prompt оставих стойността по подразбиране (на китайски, нямам представа какво означава). В резултат се получиха всички онези 17 клипчета, които съставят крайният резултат.

Сглобяване с ffmpeg

Чудесно, има 17 отделни видео файла по 12 секунди всеки, и трябва да бъдат събрани в един видеоклип. За целта използвах ffmpeg с xfade ефект. Тъй, като трябваше да получа видео с дължина 5 минути и 2 секунди, част от отделните сегменти се повтаря:

ffmpeg \
    -i ~/ComfyUI/ComfyUI/output/video/ComfyUI_00041_.mp4 \
    -i ~/ComfyUI/ComfyUI/output/video/ComfyUI_00058_.mp4 \
    -i ~/ComfyUI/ComfyUI/output/video/ComfyUI_00043_.mp4 \
    -i ~/ComfyUI/ComfyUI/output/video/ComfyUI_00044_.mp4 \
    -i ~/ComfyUI/ComfyUI/output/video/ComfyUI_00045_.mp4 \
    -i ~/ComfyUI/ComfyUI/output/video/ComfyUI_00046_.mp4 \
    -i ~/ComfyUI/ComfyUI/output/video/ComfyUI_00047_.mp4 \
    -i ~/ComfyUI/ComfyUI/output/video/ComfyUI_00048_.mp4 \
    -i ~/ComfyUI/ComfyUI/output/video/ComfyUI_00049_.mp4 \
    -i ~/ComfyUI/ComfyUI/output/video/ComfyUI_00050_.mp4 \
    -i ~/ComfyUI/ComfyUI/output/video/ComfyUI_00051_.mp4 \
    -i ~/ComfyUI/ComfyUI/output/video/ComfyUI_00052_.mp4 \
    -i ~/ComfyUI/ComfyUI/output/video/ComfyUI_00053_.mp4 \
    -i ~/ComfyUI/ComfyUI/output/video/ComfyUI_00054_.mp4 \
    -i ~/ComfyUI/ComfyUI/output/video/ComfyUI_00055_.mp4 \
    -i ~/ComfyUI/ComfyUI/output/video/ComfyUI_00056_.mp4 \
    -i ~/ComfyUI/ComfyUI/output/video/ComfyUI_00057_.mp4 \
    -filter_complex \
    "[0:v][1:v]xfade=duration=1:offset=11[v1];
      [v1][2:v]xfade=duration=1:offset=22[v2];
      [v2][3:v]xfade=duration=1:offset=33[v3];
      [v3][4:v]xfade=duration=1:offset=44[v4];
      [v4][5:v]xfade=duration=1:offset=55[v5];
      [v5][6:v]xfade=duration=1:offset=66[v6];
      [v6][7:v]xfade=duration=1:offset=77[v7];
      [v7][8:v]xfade=duration=1:offset=88[v8];
      [v8][9:v]xfade=duration=1:offset=99[v9];
      [v9][10:v]xfade=duration=1:offset=110[v10];
    [v10][11:v]xfade=duration=1:offset=121[v11];
    [v11][12:v]xfade=duration=1:offset=132[v12];
    [v12][13:v]xfade=duration=1:offset=143[v13];
    [v13][14:v]xfade=duration=1:offset=154[v14];
    [v14][15:v]xfade=duration=1:offset=165[v15];
    [v15][0:v]xfade=duration=1:offset=165[v16];
    [v16][1:v]xfade=duration=1:offset=176[v17];
    [v17][2:v]xfade=duration=1:offset=187[v18];
    [v18][3:v]xfade=duration=1:offset=198[v19];
    [v19][4:v]xfade=duration=1:offset=209[v20];
    [v20][5:v]xfade=duration=1:offset=220[v21];
    [v21][6:v]xfade=duration=1:offset=231[v22];
    [v22][7:v]xfade=duration=1:offset=242[v23];
    [v23][8:v]xfade=duration=1:offset=253[v24];
    [v24][9:v]xfade=duration=1:offset=264[v25];
    [v25][10:v]xfade=duration=1:offset=275[v26];
    [v26][11:v]xfade=duration=1:offset=286[v27];
    [v27][12:v]xfade=duration=1:offset=297[v]" \
    -map "[v]" -c:v libx264 \
    out.mp4

След още известни обработки - отрязване на крайния резултат до точна дължина (00:05:02) и добавяне на fade-in и fade-out ефекти в началото и края, сглобяване на клипа с музиката - накрая стигаме и до резултата - метъл балада със собствен клип (и всички артефакти по него, получени вследствие на ниската прецизност на AI):