Ученые научили нейросеть определять звучание каждого пикселя на видео
Ученые обучили нейросеть вычислять звучание каждого отдельного фрагмента аудиоряда в составе видео на «уровне пикселей». Она станет отделять звучание и картинку, что позволит улучшить первое: изменять громкость, тембр, добавлять фильтры и совершать другие операции.
Проект реализуют ученые из Массачусетского технологического института, которые ни разу не анонсировали собственную разработку. Проект изначально тестировали на порядка 60 часах видео. Искусственный интеллект выяснил и поменял инструменты на «уровне пикселей», затем отправил звуки, которые имеют отношение к различным инструментам.
Такое изобретение позволит значительно повысить качество звука. Искусственный интеллект сможет определять звуки свыше 20 распространенных инструментов. Программа поможет экспертам изменить качество аудиоряда с минимальным количеством усилий.
