Несколько дней назад в открытый доступ вышла нейросеть HeyGen от OpenAI, которая переводит речь на видео на без потери особенностей речи: тембра голоса, косноязычия и звуковых акцентов. Коротко говоря, нейронка просто переозвучивает видео на другой язык за несколько минут.
В этом обзоре мы протестируем HeyGen, посмотрим, насколько хорошо она работает и разберем, как ей пользоваться.
Как начать работать с HeyGen
Чтобы начать работу, нужно зарегистрироваться. Для этого можно просто залогинится через аккаунт Gmail:
Затем нам предлагают пройти короткие вопрос, ответы ни на что не влияют — они нужны для внутреннего сбора данных. После этого мы попадаем на главную страницу сервиса:
Здесь все очень просто: выбираем файл, язык, который будем переводить видео и нажимаем кнопку Submit. Выбранный файл не может превышать 500Мб, а длина должны быть от 30 секунд до 5 минут. Перевести видео можно на 8 языков: английский, испанский, французский, хинди, итальянский, немецкий, польский и португальский.
После регистрации для теста пользователям дают 1 кредит, которого хватит на перевод одного видео:
Дальше их придется покупать. Минимально можно купить 15 кредитов за $29, а максимум — 120 кредитов за $239:
Также кредиты можно получать отправляя приглашения друзьям: за каждого приведенного дают 1 кредит, а если он купит подписку, то 3 кредита.
Мы посмотрели, как все работает, а теперь перейдем к тесту новой нейронки.
Тестируем HeyGen
HeyGen принимает для обработки видео, где человек в кадре находится статично, без резкой смены кадров.
Для теста мы взяли отрывок из новостей, который ведет Иванов Евгений. Это поможет посмотреть насколько HeyGen способен сохранять особенности речи и мимики людей на видео, а также правильно перевести их на английский язык.
После выбора файла и языка, списывается 1 кредит и видео уходит в очередь на обработку, где показывают, сколько запросов сейчас обрабатывается нейросетью:
Ждать пришлось трое суток, но видео так и не начало обрабатываться. Возможно, это связано с тем, что сейчас HeyGen на волне популярности и каждый хочет ее протестировать. У владельцев подписки есть возможность пропустить очередь.
Процесс оплаты очень простой, но картой РФ этого сделать нельзя. Сразу после оплаты видео начало обрабатываться:
Уже через пару минут видео готово. Из этого можно сделать простой вывод, бесплатно протестировать нейронку точно не получится. По крайней мере пока такой большой хайп.
Результат:
HeyGen отлично выполнил свою работу, маску почти не видно, а тембр голоса и особенности речи и интонации сохранены.
Также мы взяли одно из видео популярного инфоцыгана Ибрагима, в котором он рассказывает об очередном запуске ракеты и перевели его на французский язык:
Маска наложения речи так же почти незаметна, а сам перевод выполнен корректно, с сохранением особенностей голоса.
Популярные интернет-мемы и HeyGen
После выхода HeyGen в открытый доступ пользователи стали публиковать в соцсетях переозвученные на английский язык популярные интернет-мемы, которые уже стали классическими. Мы тоже не остались в стороне и решили прогнать через нейронку любимые мемы.
Мы прогнали через нейросеть несколько популярных видео из интернета. Сделать это было не так просто, так как многие видео не подходили и HeyGen их отклонял по разным причинам. У нас получилось обработать популярный мем «А Марк был хороший»:
Результат печальный: видео плохо перевелось, половина речи вообще пропало, а маска была очень видна. Возможно, после дополнительных манипуляций и улучшения качества видео получилось бы хорошо, но наша цель посмотреть на плюсы и минусы.
После этого мы решили посмотреть, как нейросеть справится с переводом видео Антона Лапенко, где он в образе советского инженера рассказывает про осеннюю депрессию.
В целом, это классный результат. HeyGen сохранил особенности голоса, но не полностью. При этом, на видео иногда видно маску, которая накладывает при обработке.
Заключение
HeyGen — это новый прорыв в технологиях. Нейронка может переозвучивать видео и делать это хорошо, если соблюсти все требования. Исходя из наших тестов можно сказать, что она наиболее хорошо подойдет для адаптации видео для YouTube на другие языки, переозвучки креативов в формате новостников и других целей.
У нее есть минусы, но они не такие критичные и на них не стоит зацикливаться. В любом случае HeyGen — это полезный инструмент, который хорошо справляется с задачами. Надеемся, что в будущем мы увидим, как нейронка будет развиваться, становится проще в использовании и выдавать более качественные результаты.
