Мы За последние 10 месяцев мы прошли долгий путь от того, чтобы Уилл Смит ел спагетти. Видео, создаваемое искусственным интеллектом, развивается с ошеломляющими темпами, а новая выдающаяся модель пространственно-временной диффузии Google Lumiere снова меняет цели.
Люмьер может создавать удивительно реалистичные – или высококачественные сюрреалистические – видеоклипы продолжительностью до пяти секунд. Он может анимировать неподвижные изображения или только их части в ответ на текстовые подсказки на естественном языке о том, что вы хотите видеть.
Он может взять изображение, клонировать стиль этого изображения, а затем используйте этот стиль, чтобы создать серию видеороликов на другие темы, которые выглядят и ощущаются настолько похожими, что их можно было бы создать в брендинговом агентстве.
Он может взять ваше собственное исходное видео и превратить все в Лего, оригами или цветы — вам просто нужно ему это сказать.
Люмьер
И если приведенные выше демонстрации являются каким-либо показателем, он обладает, безусловно, самыми продвинутыми возможностями рисования видео, которые мы когда-либо видели. Вы можете просто закрасить часть изображения, которая вам не нравится, и Люмьер автоматически заполнит эту область так красиво, что вы, вероятно, даже не заметите, если бы не искали ее. Бывший парень в твоем любимом видео? Не долго.
Исследовательская группа утверждает, что «пространственно-временная архитектура U-net» Люмьера строит всю длину видео сразу, за один проход – в отличие от предыдущих моделей, которые часто генерировали начало и конечный кадр, а затем попытайтесь угадать, что произойдет между ними.
Как бы то ни было, результаты говорят сами за себя – это новый уровень техники в области генеративного видео с искусственным интеллектом, оно, откровенно говоря, ошеломляет и, вероятно, через несколько месяцев будет выглядеть так же глупо и дрянно, как Уилл Смит, поедающий спагетти. Как раз к следующим президентским выборам в США. Ура!
Функция «Inpainting» просто потрясающая; вычеркните часть фрейма, и он заполнит ее за вас. Исследование Google
На данный момент это всего лишь исследовательский проект, который избавляет Google от необходимости агрессивно нейтрализовать систему ради авторских прав, дезинформации, безопасности и разжигания ненависти. , нагота, конфиденциальность и всевозможные другие политики – процесс, который неизменно приводит к снижению качества результатов в этих генеративных моделях.
Но это все равно огромный шаг вперед, и будет интересно увидеть, насколько хорошо работает Люмьер, если и когда мы, немытые и нахальные массы, доберемся до него.
