Большая модель искусственного интеллекта /ИИ/ для преобразования текста и изображения в видео под названием Vidu, разработанная Университетом Цинхуа и китайской ИИ-компанией ShengShu Technology недавно стала доступна для глобального использования,-Синьхуа. 2 августа 2024 г.

Эта модель способна создавать 4-секундные клипы за 30 секунд и может создавать видеоролики продолжительностью до 32 секунд за один раз.

«Vidu может имитировать реальный физический мир, создавая детализированные сцены, которые соответствуют физическим законам, таким как эффекты естественного освещения и тени, а также сложные выражения лиц. Кроме того, он может генерировать сюрреалистический контент с глубиной и сложностью», — сказал заместитель директора Института искусственного интеллекта университета Цинхуа Чжу Цзюнь.

Он добавил, что для различных жанров, таких как научная фантастика, романтика и анимация, Vidu может создавать сцены соответствующего стиля, а также высококачественные кинематографические спецэффекты, такие как дым, блики и др.

Модель также может создавать различные типы динамичных кадров, включая длинные, крупные и средние планы, а также создавать такие эффекты, как общий план, съемка с «проводкой» и переходы между сценами.

Пользователи могут загружать портретные фото или самостоятельно разработанное пользователем изображение персонажа и использовать текстовые описания, чтобы указывать персонажам на выполнение любых действий в любой сцене. Эта функция упрощает процесс производства видео и расширяет свободу творчества.