Google представила нейромережу для генерації відео

Компанія Google представила нейромережу Imagen Video. Цей AI-генератор здатен створювати якісне відео за словесними запитами.

Всього кілька днів тому Meta представила свою нейромережу Make-To-Video, яка генерує відео за словесними описами, а тепер до цього сегменту приєднується компанія Google.

Нейромережа Imagen Video: особливостіImagen Video здатна за словесними запитами генерувати відео з роздільною здатністю 1280 768 пікселів і частотою 24 кадри в секунду. Інструмент базується на алгоритмі Imagen, що є аналогом DALL-E 2 та Stable Diffusion. Генератор картинок використовує велику передбачену мовну нейромережу та каскадну дифузну модель.

Як пояснюють в Google, Imagen Video бере текстовий опис і створює 16-кадровий ролик з роздільною здатністю 24х48 пікселів і частотою 3 FPS. Потім система масштабує та «передбачає» додаткові зображення. В результаті алгоритм генерує 128-кадрову анімацію з роздільною здатністю 1280×768 пікселів та частотою 24 FPS.

Для навчання Imagen Video розробники використовували 14 млн пар «відео-опис» та 60 млн «зображення-текст», а також загальнодоступний набір даних LAION-400M, що дозволило моделі застосовувати низку естетичних аспектів.

У порівнянні з доступними сьогодні системами створення зображень Imagen Video також може належним чином відтворювати текст. У той час як і Stable Diffusion, і DALL-E 2 важко перекладають підказки на зразок «логотип для „Diffusion“» у читабельний шрифт, Imagen Video відтворює це без проблем.

Це не означає, що Imagen Video не має обмежень. Як і у випадку з Make-A-Video, навіть кліпи, вибрані з Imagen Video, тремтять і місцями спотворені.

Щоб покращити ситуацію, команда Imagen Video планує об'єднати зусилля з дослідниками Phenaki, ще однієї системи перетворення тексту у відео від Google, яка дебютувала сьогодні та може перетворювати довгі, детальні підказки на двохвилинні відеоролики — хоча і з нижчою якістю.

За матеріалами https://speka.media/