Visual analysis of the amount of advertising in the urban environment using computer vision (U-Net + PSP-Net) || Визуальный анализ заполненности городской среды элементами рекламы с помощью компьютерного зрения (U-Net + PSP-Net)
PDF-файл с визуальными материалами - https://drive.google.com/file/d/1v0ffq4pYv2SAMInnPkagXIEkRLmf0ife/view?usp=share_link
На основе сегментации изображений проведем анализ количества рекламы в городской среде.Работа включает в себя анализ по следующим пунктам:
- Рекламные экраны,стенды вдоль тротуаров и дорог и т.д.
- Вывески-названия на фасадах зданий. Из результатов сегментации вычисляется соотношение площади рекламных элементов к площади кадра; Развитие темы взможно в:
- Анализе заполненности элементами рекламы фасадов зданий, являющихся объектом культурного наследия и т.п.(актуально для КГИОП)
- Анализе количества рекламы вдоль дорог - воздействие на фокус внимания водителя.
В Исследовании архитектура нейронной сети основана на комбинации U-Net и PSP-Net, что позволило добиться более четких и явных контуров сегмнентирования.
Based on image segmentation, we will analyze the amount of advertising in the urban environment. The work includes an analysis of the following points:
- Advertising screens, stands along sidewalks and roads, etc.
- Signboards-names on the facades of buildings. From the results of segmentation, the ratio of the area of advertising elements to the area of the frame is calculated; The development of the theme is possible in:
- Analysis of the occupancy of the facades of buildings that are objects of cultural heritage, etc. with advertising elements (relevant for Department of Protection of Cultural and Historical Monuments)
- Analysis of the amount of advertising along the roads - the impact on the focus of the driver's attention.
In the Study, the architecture of the neural network is based on a combination of U-Net and PSP-Net, which made it possible to achieve clearer and more explicit segmentation contours.
[Схема архитектуры сети || Architecture diagram]
Создана база из 480 фотографий и проведена сегментация изображений:
- Экраны, плакаты, стенды и аналоги сегментированы красным цветом 250,0,0.
- Текстовые вывески на фасадах сегментированы зеленым цветов 0,250,0.
- Остальная часть фотографии - черным. Преимущественно угол обзора соответствует 60-80 градусам,при которых человеческое зрение воспринимает символы, также есть расширенный угол, условно соответствующий углузрения 120 градусов (периферийное зрение),что позволяет провести своего рода анализ того,сколько "лишней" информации мы наблюдаем в городской среде.
Формат изображений PNG, размер 4032х3024. Проведена аугментация - база расширена до 1.920 кадров. После первого этапа обучения - до 2.400 кадров.
A database of 480 photographs was created and image segmentation was carried out:
- Screens, posters, stands and analogues are segmented in red 250.0.0.
- Text signs on the facades are segmented in green 0.250.0.
- The rest of the photo is in black. Mostly, the viewing angle corresponds to 60-80 degrees, at which human vision perceives symbols, there is also an extended angle, conditionally corresponding to 120 degree vision (peripheral vision), which allows us to conduct a kind of analysis of how much "extra" information we observe in the urban environment.
PNG image format, size 4032x3024 Augmentation was carried out - the base was expanded to 1.920 frames. After the first stage of training - up to 2.400 frames.
[Обучающая выборка || Training set]
[Реузльтаты обучения || Results]
