Afftimes
ТОП выплаты вебам!

Обзор на новую нейросеть для перевода видео на другие языки HeyGen от OpenAI

Как
0
359
19 сентября, 2023

Несколько дней назад в открытый доступ вышла нейросеть HeyGen от OpenAI, которая переводит речь на видео на без потери особенностей речи: тембра голоса, косноязычия и звуковых акцентов. Коротко говоря, нейронка просто переозвучивает видео на другой язык за несколько минут.

В этом обзоре мы протестируем HeyGen, посмотрим, насколько хорошо она работает и разберем, как ей пользоваться. 

Подними до $12 000
Подними до $12 000
Реклама

Как начать работать с HeyGen

Чтобы начать работу, нужно зарегистрироваться. Для этого можно просто залогинится через аккаунт Gmail:

Обзор на новую нейросеть для перевода видео на другие языки HeyGen от OpenAI

Затем нам предлагают пройти короткие вопрос, ответы ни на что не влияют — они нужны для внутреннего сбора данных. После этого мы попадаем на главную страницу сервиса:

Обзор на новую нейросеть для перевода видео на другие языки HeyGen от OpenAI

Здесь все очень просто: выбираем файл, язык, который будем переводить видео и нажимаем кнопку Submit. Выбранный файл не может превышать 500Мб, а длина должны быть от 30 секунд до 5 минут. Перевести видео можно на 8 языков: английский, испанский, французский, хинди, итальянский, немецкий, польский и португальский.

После регистрации для теста пользователям дают 1 кредит, которого хватит на перевод одного видео:

Обзор на новую нейросеть для перевода видео на другие языки HeyGen от OpenAI

Дальше их придется покупать. Минимально можно купить 15 кредитов за $29, а максимум — 120 кредитов за $239:

Обзор на новую нейросеть для перевода видео на другие языки HeyGen от OpenAI

Также кредиты можно получать отправляя приглашения друзьям: за каждого приведенного дают 1 кредит, а если он купит подписку, то 3 кредита. 

Мы посмотрели, как все работает, а теперь перейдем к тесту новой нейронки.

Тестируем HeyGen

HeyGen принимает для обработки видео, где человек в кадре находится статично, без резкой смены кадров. 

Для теста мы взяли отрывок из новостей, который ведет Иванов Евгений. Это поможет посмотреть насколько HeyGen способен сохранять особенности речи и мимики людей на видео, а также правильно перевести их на английский язык.

После выбора файла и языка, списывается 1 кредит и видео уходит в очередь на обработку, где показывают, сколько запросов сейчас обрабатывается нейросетью:

Обзор на новую нейросеть для перевода видео на другие языки HeyGen от OpenAI

Ждать пришлось трое суток, но видео так и не начало обрабатываться. Возможно, это связано с тем, что сейчас HeyGen на волне популярности и каждый хочет ее протестировать. У владельцев подписки есть возможность пропустить очередь.

Процесс оплаты очень простой, но картой РФ этого сделать нельзя. Сразу после оплаты видео начало обрабатываться:

Обзор на новую нейросеть для перевода видео на другие языки HeyGen от OpenAI

Уже через пару минут видео готово. Из этого можно сделать простой вывод, бесплатно протестировать нейронку точно не получится. По крайней мере пока такой большой хайп.

Результат:

HeyGen отлично выполнил свою работу, маску почти не видно, а тембр голоса и особенности речи и интонации сохранены.

Также мы взяли одно из видео популярного инфоцыгана Ибрагима, в котором он рассказывает об очередном запуске ракеты и перевели его на французский язык:

Маска наложения речи так же почти незаметна, а сам перевод выполнен корректно, с сохранением особенностей голоса. 

Популярные интернет-мемы и HeyGen

После выхода HeyGen в открытый доступ пользователи стали публиковать в соцсетях переозвученные на английский язык популярные интернет-мемы, которые уже стали классическими. Мы тоже не остались в стороне и решили прогнать через нейронку любимые мемы. 

Мы прогнали через нейросеть несколько популярных видео из интернета. Сделать это было не так просто, так как многие видео не подходили и HeyGen их отклонял по разным причинам. У нас получилось обработать популярный мем «А Марк был хороший»:

Результат печальный: видео плохо перевелось, половина речи вообще пропало, а маска была очень видна. Возможно, после дополнительных манипуляций и улучшения качества видео получилось бы хорошо, но наша цель посмотреть на плюсы и минусы.

После этого мы решили посмотреть, как нейросеть справится с переводом видео Антона Лапенко, где он в образе советского инженера рассказывает про осеннюю депрессию.

В целом, это классный результат. HeyGen сохранил особенности голоса, но не полностью. При этом, на видео иногда видно маску, которая накладывает при обработке. 

Заключение

HeyGen — это новый прорыв в технологиях. Нейронка может переозвучивать видео и делать это хорошо, если соблюсти все требования. Исходя из наших тестов можно сказать, что она наиболее хорошо подойдет для адаптации видео для YouTube на другие языки, переозвучки креативов в формате новостников и других целей.

У нее есть минусы, но они не такие критичные и на них не стоит зацикливаться. В любом случае HeyGen — это полезный инструмент, который хорошо справляется с задачами. Надеемся, что в будущем мы увидим, как нейронка будет развиваться, становится проще в использовании и выдавать более качественные результаты.

Оцените статью по 5-бальной шкале

Добавить комментарий

Ваш адрес email не будет опубликован. Обязательные поля помечены *

Читайте также

Комментарии (3)

Добавить комментарий

Ваш адрес email не будет опубликован. Обязательные поля помечены *

Поле обязательно для заполнения
Необходимо ввести валидный E-mail
Поле обязательно для заполнения
Рекомендуем не пропустить скидку 83% на Dolphin{anty}😍

До конца месяца антик даёт скидку 83% на пожизненную подписку. Акция работает абсолютно для всех пользователей: как новых, так и старых😎

ЗАБРАТЬ СКИДКУ