Версия для слабовидящих
Программу научили писать инструкции по видеороликам с YouTube Печать Email
Новости об инновациях
22.12.2015

Исследователи из Корнелльского университета и Стэнфордского университета разработали платформу, которая самостоятельно составляет пошаговые инструкции на основе видеороликов, опубликованных на YouTube. Подробнее о проекте RoboWatch можно прочитать на сайте университета

Для составления инструкций исследователи взяли сто наиболее популярных запросов в энциклопедии WikiHow, из которых выбрали те, которые относятся к взаимодействию с физическими объектами. В результате авторы отобрали семнадцать запросов, четырнадцать из которых относились к приготовлению пищи. После этого программа самостоятельно по данным запросам нашла на YouTube и скачала ролики и субтитры на английском языке, если они были.

Схема работы системы. Изображение: Ozan Sener et al. / Cornell University
.[image]

После загрузки роликов система их разбивает на кадры и искала в них общие предметы в кадре и ключевые слова в субтитрах, по которым определяла необходимые для процесса шаги. После этого алгоритм составляет пошаговую инструкцию на основании полученных шагов, а при помощи субтитров генерирует к каждому этапу текстовое описание. 

Получившиеся в результате обработки видеороликов инструкции можно передавать непосредственно для использования роботами, считают исследователи. Например, они составили при помощи RoboWatch инструкции по прочистке засорившегося слива, по завязыванию галстука, по приготовлению омлета и молочного коктейля.

Ранее аналогичную программу разработали французские ученые из Высшей нормальной школы, их алгоритм продемонстрировал успешное составление двух инструкций: по сердечно-легочной реанимации и по замене автомобильного колеса. Разработка ученых из Корнелльского университета позволяет при достаточно количестве видео создать пошаговую инструкцию практически для любой задачи.

Также разработками в этой области занимаются исследователи из проекта RoboHow Института искусственного интеллекта Бременского университета. Немецкие ученые научили робота PR2 самостоятельно учиться по текстовым инструкциям портала WikiHow. В частности, робот научился готовить блинчики и пиццу.

Автор: Николай Воронцов

Источник - http://www.nanonewsnet.ru/news/2015/programmu-nauchili-pisat-instruktsii-po-videorolikam-s-youtube

 

Карта сайта Карта сайта Карта сайта Карта сайта Карта сайта Карта сайта Карта сайта Карта сайта Карта сайта Карта сайта Карта сайта Карта сайта Карта сайта Карта сайта Карта сайта Карта сайта Карта сайта Карта сайта Карта сайта Карта сайта Карта сайта Карта сайта Карта сайта Карта сайта Карта сайта Карта сайта Карта сайта Карта сайта Карта сайта Карта сайта Карта сайта Карта сайта Карта сайта Карта сайта Карта сайта Карта сайта Карта сайта Карта сайта Карта сайта Карта сайта Карта сайта Карта сайта Карта сайта Карта сайта Карта сайта Карта сайта Карта сайта Карта сайта Карта сайта Карта сайта Карта сайта Карта сайта Карта сайта Карта сайта Карта сайта Карта сайта Карта сайта Карта сайта Карта сайта Карта сайта Карта сайта Карта сайта Карта сайта Карта сайта Карта сайта Карта сайта Карта сайта Карта сайта Карта сайта Карта сайта Карта сайта Карта сайта Карта сайта Карта сайта Карта сайта Карта сайта Карта сайта Карта сайта Карта сайта Карта сайта Карта сайта Карта сайта Карта сайта Карта сайта Карта сайта Карта сайта Карта сайта Карта сайта Карта сайта Карта сайта Карта сайта Карта сайта Карта сайта Карта сайта Карта сайта Карта сайта Карта сайта Карта сайта Карта сайта Карта сайта Карта сайта Карта сайта Карта сайта Карта сайта Карта сайта Карта сайта Карта сайта Карта сайта Карта сайта Карта сайта Карта сайта Карта сайта Карта сайта Карта сайта Карта сайта Карта сайта Карта сайта Карта сайта Карта сайта Карта сайта Карта сайта Карта сайта Карта сайта Карта сайта Карта сайта Карта сайта Карта сайта Карта сайта Карта сайта Карта сайта Карта сайта Карта сайта