Московское время
:
EUR 74.90 USD 65.99
Курс валют на 17.11.2018
Наука

Нейросеть научили переносить движения тела между двумя видео

Специалисты Университета Калифорнии в Беркли разработали алгоритм, позволяющий переносить движения всего тела между двумя роликами. В процессе обучения нейросети ученые использовали короткие видеозаписи с действиями людей.

Нейросеть научили переносить движения тела между двумя видео


Разработчики в своем алгоритме применили не прямой перенос, а через промежуточные модели. Такой способ выбран из-за сложности набора кадров, каждое изображение которых в точности отражало бы движения из исходного видео. Могут также возникнуть мешающие переносу стилистические различия, например, отличающаяся одежда.

Американские специалисты прибегли к 3-стадийной схеме. Для начала открытый алгоритм OpenPose преобразует исходный ролик в упрощенную модель тела, состоящую из соединенных линиями ключевых точек. Затем движения прототипа переносятся на целевой образ, нормализуясь путем стабилизации различий в пропорциях людей. После этого алгоритм pix2pixHD, разработанный в 2017 году другими инженерами, переводит действия модели в фотореалистичное видео.



Основным недостатком нейросети ученые называют необходимость обучения ее на ролике с множеством движений, а переносить их модель сможет лишь на запись с конкретным человеком, хотя в качестве исходных данных можно использовать ролики с разными людьми. После усовершенствования механизм pix2pixHD при создании новых кадров начал учитывать предыдущие, делая их намного согласованнее. В новой технологии переноса движений между видео специалисты использовали также алгоритм, отвечающий за «оформление» лица.

Читайте также: Следы марихуаны в грудном молоке удерживаются до шести дней

Автор: Ева Вит


Читайте также
Добавление комментария
Последние новости