Нейросеть научилась определять время по часам с циферблатом

02 Dec 2021

Британские исследователи научили свёрточную нейросеть распознавать время на стрелочных часах с точностью до минуты. Для обучения они использовали нарезку видеокадров, в которых мелькают такие часы, а также искусственные изображениях часов с циферблатом. Для этого потребовалось разработать отдельный алгоритм, генерирующий изображения часов в разных ракурсах с добавлением искажений от нерезкости, тени или дополнительных линий. После обучения нейросеть смогла правильно определить время на изображениях реальных часов в 75—85 процентах случаев.

Самые распространённые типы часов в наше время — часы с цифровым дисплеем и «аналоговые», обычно выполненные в виде круглого циферблата со стрелками. Для определения времени по циферблатным часам необходимо обладать определёнными навыками считывания информации исходя из пространственной ориентации объектов (в данном случае — двух или трёх стрелок, ориентированных по кругу циферблата). Для большинства взрослых людей эти навыки являются очевидными настолько, что мы о них не задумываемся и одинаково хорошо считываем время с обоих типов устройств. Но для нейросетей и систем компьютерного зрения «аналоговый» дисплей значительно сложнее цифрового. Компьютеры хорошо понимают, что показывают цифровые индикаторы на снимках — здесь задача напоминает задачу распознавания текста, с которой программное обеспечение давно успешно справляется. Кроме того, разные цифровые дисплеи выглядят более-менее одинаково. Циферблаты же бывают выполнены с огромным разнообразием форм, а цифры могут располагаться на них самым причудливым образом — их даже может не быть совсем. Кроме этого, на считывание влияют различные искажения на реальных снимках, в частности, тени, а также угол расположения камеры по отношению к циферблату. Исследователи Оксфордского университета попробовали восполнить этот пробел в машинном обучении и научить нейросети пользоваться часами со стрелками. Все данные проекта можно найти в репозитории на github, кроме того, статья по итогам разработки доступна на arXiv.org.

В качестве наборов для обучения и испытания модели можно использовать множество готовых изображений, содержащихся в различных базах, специально создаваемых для разработки нейросетей. Авторы использовали две крупные базы COCO (Microsoft Common Objects in Context) и OpenImages, из которых взяли в сумме более трёх тысяч аннотированных изображений циферблатов часов. В дополнение они разработали генератор виртуальных стрелочных часов, затем использованный для создания обучающего набора данных. Алгоритм создаёт изображения часов в разных стилях, под разными углами и со случайным положением стрелок. К изображениям можно добавлять артефакты и искажения, которые встречаются на реальных снимках. В основном это нерезкость, тени, а также случайные линии, которые могут быть на реальных циферблатах, например, частью дизайна и которые машинное зрение могло бы перепутать со стрелками. Обучение модели проходило на таких сгенерированных изображениях и на 3,5 тыс. видео из интернета, содержащих идущие часы со стрелками.

В распоряжении создателей нейросетей для таких задач удачно оказался ещё один готовый набор данных, который также использовали авторы — артхаусный фильм 2010-го года «Часы» Кристиана Марклея. Он представляет собой 24-часовую нарезку сцен из тысяч фильмов, в которых в кадре демонстрируются часы самых разных форм и под разными ракурсами. Режиссёрский замысел помог выполнить «разметку» этого набора данных в том смысле, в котором это понимается в машинном обучении. Сцены в фильме смонтированы так, что показания на часах на экране в каждый момент совпадают с течением реального времени демонстрации фильма с 00:00 до 24:00. Поэтому изготовить размеченный кадр с часами из фильма (изображение часов + указание информации о времени для нейросети) можно просто, взяв соответствующую метку времени. Как минимум это облегчает работу, избавляя от необходимости вручную проставлять время на 1244 использованных кадрах из фильма.

Процесс считывания времени нейросетью проходит в несколько этапов. Первичная обработка после определения циферблатных часов на снимке заключается в деформации циферблата таким образом, чтобы он «смотрел» прямо в кадр. Это задача для свёрточной сети преобразований (Convolutional Transform Network). После этого другой алгоритм занимается непосредственно распознаванием времени на стрелках.

После обучения на искусственно созданных изображениях с дефектами и видеороликах с часами работу нейросети проверили на реальных фотографиях из трёх тестовых наборов. Инженерам удалось добиться считывания времени с часов со стрелками с точностью до минут. В качестве метрики для оценки качества обучения можно выбрать правильное определение отдельно часа, минуты, или и того и другого с разной точностью, учитывая, что стрелки на циферблатах в реальном мире могут иметь самый разный дизайн вплоть до того, что машине не под силу отличить часовую стрелку от минутной. Всего на 4472 изображениях часов (две базы фотографий и кадры из фильма «Часы») удалось правильно определить время в 73—85 процентах случаев в зависимости от набора данных и критерия «правильности» считывания.

Источник: XX2 век

Jan 20
Научная конференция «2022: тенденции, прогнозы, риски»

Фонд Горчакова совместно с Международным институтом развития научного сотрудниче ...

Jan 18
Научная конференция «2022: тенденции, прогнозы, риски»

Фонд Горчакова совместно с Международным институтом развития научного сотрудниче ...

Nov 17
VIII Евразийский экономический конгресс

Евразийский экономический конгресс ежегодно объединяет представителей делового и ...

Oct 28
Юбилейная конференция «Россия-Европа: актуальные проблемы международной журналистики» пройдёт в России

Десятую конференцию, посвящённую проблемам международной журналистики, примет Ка ...

Oct 19
В Суздале прошел Медиафорум-2021, посвящённый свободе журналистики в современных реалиях

Представители Центра Масс-медиа Международного института развития научного сотру ...

Наши партнеры

Президиум

Profesor Name
Пономарева Елена Георгиевна

Президент Международного Института Развития Научного Сотрудничества
Российский политолог, историк, публицист. Доктор политических наук, профессор МГИМО

Profesor Name
Ариф Асалыоглу

Генеральный директор Международного Института Развития Научного Сотрудничества

Profesor Name
Мейер Михаил Серафимович

Научный руководитель Международного Института Развития Научного Сотрудничества
Доктор исторических наук. Профессор

Profesor Name
Наумкин Виталий Вячеславович

Председатель Попечительского совета Международного Института Развития Научного Сотрудничества
Доктор исторических наук, профессор, член-корреспондент РАН. Директор Института востоковедения РАН. Член научного совета Российского совета по международным делам.

Profesor Name
Мирзеханов Велихан Салманханович

Заместитель Председателя Попечительского совета Международного Института Развития Научного Сотрудничества
Доктор исторических наук. Профессор кафедры стран постсоветского зарубежья РГГУ, профессор факультета глобальных процессов МГУ им. М.В. Ломоносова.

Встреча российских и турецких молодых интеллектуалов