В корпорации Google разработали алгоритм замены реального фона видео на другой. Технология на основе нейросетей уже способна обрабатывать видео в реальном времени даже на мобильных устройствах.

Новая функция уже доступна части пользователей мобильного приложения YouTube. Об этом сообщается в блоге Google Research.

Замену фона часто применяют при съемке современных фильмов или сериалов. Обычно для этого применяют хромакей - технологию, при которой актеры снимаются на ярком зеленом или синем фоне, после чего на этот фон в видеоредакторе накладывается другое изображение. Эта технология удобна для съемки больших проектов, но для повседневного использования обычными людьми плохо подходит, поскольку требует как наличия самого зеленого экрана для фона, так и навыков обработки подобного контента. Помимо этого также существуют технологии автоматического компьютерного вырезания фона, но большинство из них имеет низкое качество конечного изображения или требуют большой вычислительной мощности.

Теперь для этого не требуется зеленый экран.

Разработчики из Google создали нейросетевой алгоритм для замены фона в реальном времени, который подходит даже для мобильных устройств. Они взяли за основу предложенную ранее архитектуру сверточной нейросети, разработанную именно для сегментации изображений. Поскольку задача заключалась в том, чтобы нейросеть могла работать в реальном времени на обычных смартфонах, разработчики оптимизировали нейросеть, снизив количество каналов на среднем уровне сети более, чем в 10 раз.

Суть работы нейросети сводится к стандартной процедуре сегментации на объект и фон. Для того, чтобы увеличить временную согласованность соседних кадров программисты добавили к трем каналам (красный, зеленый, синий) еще один, представляющий собой предыдущий сегментированный кадр.

 
 
Исходный кадр (слева) разделен по трем цветным каналам и объединен с предыдущей маской (в середине). Это используется как вход в нашу нейронную сеть для прогнозирования маски для текущего кадра (справа). Фото: research.googleblog.com

Пример изображения, тщательно аннотированного с девятью "наклайками".  Элементы переднего плана накладываются поверх изображения. Фото: research.googleblog.com

Анимация: research.googleblog.com

Видео: youtube.com/ANI News Official 

Как сообщала "Страна", глава CNN призвал власти США взяться за монополии Facebook и Google. Он констатировал угрожающее и растущее влияние глобальной социальной сети и интернет-поисковика.

Напомним, что фейковое видео ограбления от Facebook собрало 4 миллиона просмотров за два дня.  

Читайте Страну в Google News - нажмите Подписаться