Ученые из подразделения Disney Research и Ратгерского университета в Нью-Джерси научили алгоритм читать текст сценария и создавать на его основе раскадровку и видео. Работа ученых опубликована на сайте Arxiv.org. 

Для создания видео алгоритм упрощает предложения, разбивая их на более короткие и заменяя слова на синонимы. Затем он подбирает для каждого слова в сценарии соответствующую 3D-модель из встроенной библиотеки. Кроме того, алгоритм определяет технические данные, такие как время действия сцены, эмоции персонажей и другие. На основе всей этой информации он создает анимационный 3D-ролик.

В ходе исследования выяснилось, что лучше всего (наиболее близко к анимации, сделанной людьми) алгоритм умеет изображать человеческие манеры. Сравнение с другими алгоритмами обработки естественного языка показало, что новая разработка дает более близкий к человеческому результат.

Фотография: Generating Animations from Screenplays / Disney Research, Rutgers University, ETH Zurich

Почти половина (45,23%) добровольцев, опрошенных учеными, согласились, что алгоритм корректно визуализирует текст. Также 68% респондентов считают, что алгоритм на основе текста создает видео «приемлемого» качества.

Рекомендуемые статьи

Добавить комментарий

Ваш адрес email не будет опубликован.

Close