Unusual Event Detection in Surveillance Videos

Detalhes bibliográficos
Autor(a) principal: Nazaré, Tiago Santana de
Data de Publicação: 2020
Tipo de documento: Tese
Idioma: eng
Título da fonte: Biblioteca Digital de Teses e Dissertações da USP
Texto Completo: https://www.teses.usp.br/teses/disponiveis/55/55134/tde-16022021-150800/
Resumo: Presently, surveillance cameras have been massively employed to monitor public spaces such as malls, train stations and airports. The video feed generated by several of these security cameras is monitored, in real-time, by a small group of people in a control room to detect anomalous behaviors. Nonetheless, human monitoring is extremely ineffective when it comes to detecting anomalies in surveillance footage, mainly because such task is both tedious (most of the time nothing interesting/abnormal happens) and challenging (a single person is in responsible for keeping track of multiple cameras at the same time). The aforementioned problems motivated the machine vision community to develop automated methods for detecting unusual behaviors in security videos. Despite recent advances in this area, we have noticed that current video anomaly detection methods have some gaps regarding: i) the lack of noise removal/management techniques when modeling motion patterns using optical-flow estimates; and ii) the need for a more adaptive approach to tackle changes in viewing distances. Motivated by those issues, we proposed some methods/studies aiming at improving anomaly detection in surveillance videos, while maintaining (or reducing) computational cost. Our experiments show that employing lightweight filtering to optical-flow estimates and anomaly scores can significantly improve anomaly detection performance in surveillance scenarios, without increasing computational complexity. Furthermore, we presented an automatic method to estimate changes in object size caused by variations in viewing changes, which is capable of improving anomaly detection performance and reducing setup time. Based on those findings, we designed an anomaly detection method that is capable to achieve state-of-the-art anomaly detection performance in challenging surveillance scenarios employing only optical-flow information. Additionally, we showed that a domain-specific auto-encoder is capable of achieving comparable anomaly detection results to the ones of features from pre-trained CNN models, while having a significant lower computational complexity (smaller number of network parameters).
id USP_3bc42c4073312bb417f95ff677d030a0
oai_identifier_str oai:teses.usp.br:tde-16022021-150800
network_acronym_str USP
network_name_str Biblioteca Digital de Teses e Dissertações da USP
repository_id_str 2721
spelling Unusual Event Detection in Surveillance VideosDetecção de anomalias em vídeos de segurançaAnomaly detectionComputer visionDetecção de anomaliasFluxo óticoOptical-flowSurveillance videosVídeos de segurançaVisão computacionalPresently, surveillance cameras have been massively employed to monitor public spaces such as malls, train stations and airports. The video feed generated by several of these security cameras is monitored, in real-time, by a small group of people in a control room to detect anomalous behaviors. Nonetheless, human monitoring is extremely ineffective when it comes to detecting anomalies in surveillance footage, mainly because such task is both tedious (most of the time nothing interesting/abnormal happens) and challenging (a single person is in responsible for keeping track of multiple cameras at the same time). The aforementioned problems motivated the machine vision community to develop automated methods for detecting unusual behaviors in security videos. Despite recent advances in this area, we have noticed that current video anomaly detection methods have some gaps regarding: i) the lack of noise removal/management techniques when modeling motion patterns using optical-flow estimates; and ii) the need for a more adaptive approach to tackle changes in viewing distances. Motivated by those issues, we proposed some methods/studies aiming at improving anomaly detection in surveillance videos, while maintaining (or reducing) computational cost. Our experiments show that employing lightweight filtering to optical-flow estimates and anomaly scores can significantly improve anomaly detection performance in surveillance scenarios, without increasing computational complexity. Furthermore, we presented an automatic method to estimate changes in object size caused by variations in viewing changes, which is capable of improving anomaly detection performance and reducing setup time. Based on those findings, we designed an anomaly detection method that is capable to achieve state-of-the-art anomaly detection performance in challenging surveillance scenarios employing only optical-flow information. Additionally, we showed that a domain-specific auto-encoder is capable of achieving comparable anomaly detection results to the ones of features from pre-trained CNN models, while having a significant lower computational complexity (smaller number of network parameters).Atualmente, câmeras de segurança têm sido amplamente usadas para monitorar espaços públicos, como shoppings, estações de trem e aeroportos. O vídeo gerado por várias dessas câmeras de segurança é monitorado, em tempo real, por um pequeno grupo de pessoas em uma sala de controle para detectar comportamentos anômalos. No entanto, o monitoramento humano é extremamente ineficaz quando se trata de detectar anomalias em vídeos de segurança, principalmente porque tal tarefa é tediosa (na maioria das vezes nada de interessante/anormal acontece) e difícil (uma única pessoa é responsável por monitorar várias câmeras ao mesmo tempo). Tais problemas motivaram a comunidade de visão computacional a desenvolver métodos automatizados para detectar comportamentos incomuns em vídeos de segurança. Apesar dos recentes avanços nessa área, notamos que os atuais métodos de detecção de anomalias em vídeos de segurança têm algumas lacunas como: i) falta de uso de técnicas de remoção/tratamento de ruído ao modelar movimentos usando fluxo óptico; e ii) necessidade de uma abordagem mais adaptativa para lidar com as mudanças de tamanho dos objetos causadas por distorçcões de perspectiva. Motivados por essas questões, propusemos alguns métodos/estudos com o objetivo de melhorar a detecção de anomalias em vídeos de segurança, mantendo (ou reduzindo) o custo computacional. Nossos experimentos mostram que o uso de técnicas simples de filtragem das estimativas de fluxo óptico e scores de anomalias podem melhorar significativamente o desempenho da detecção de anomalias em cenários de vigilância, sem aumentar a complexidade computacional. Além disso, apresentamos um método que automaticamente estima alterações no tamanho do objeto causadas por distorções de perspectiva, o que ajuda a melhorar o desempenho de detecção de anomalias e reduzir o tempo de configuração do sistema de seguraça. Com base nessas descobertas, projetamos um método de detecção de anomalias, que usa somente informações de fluxo óptico, e é capaz de obter resultados de detecção de anomalias muito bons em cenários desafiadores. Além disso, mostramos que um auto-encoder treinado para um cenário específico de vigilância é capaz de alcançar resultados de detecção de anomalias comparáveis aos de features de CNNs pré-treinadas, mesmo tendo uma complexidade computacional significativamente menor (menor número de parâmetros de rede).Biblioteca Digitais de Teses e Dissertações da USPMello, Rodrigo Fernandes dePonti, Moacir AntonelliNazaré, Tiago Santana de2020-12-10info:eu-repo/semantics/publishedVersioninfo:eu-repo/semantics/doctoralThesisapplication/pdfhttps://www.teses.usp.br/teses/disponiveis/55/55134/tde-16022021-150800/reponame:Biblioteca Digital de Teses e Dissertações da USPinstname:Universidade de São Paulo (USP)instacron:USPLiberar o conteúdo para acesso público.info:eu-repo/semantics/openAccesseng2021-02-16T20:13:02Zoai:teses.usp.br:tde-16022021-150800Biblioteca Digital de Teses e Dissertaçõeshttp://www.teses.usp.br/PUBhttp://www.teses.usp.br/cgi-bin/mtd2br.plvirginia@if.usp.br|| atendimento@aguia.usp.br||virginia@if.usp.bropendoar:27212021-02-16T20:13:02Biblioteca Digital de Teses e Dissertações da USP - Universidade de São Paulo (USP)false
dc.title.none.fl_str_mv Unusual Event Detection in Surveillance Videos
Detecção de anomalias em vídeos de segurança
title Unusual Event Detection in Surveillance Videos
spellingShingle Unusual Event Detection in Surveillance Videos
Nazaré, Tiago Santana de
Anomaly detection
Computer vision
Detecção de anomalias
Fluxo ótico
Optical-flow
Surveillance videos
Vídeos de segurança
Visão computacional
title_short Unusual Event Detection in Surveillance Videos
title_full Unusual Event Detection in Surveillance Videos
title_fullStr Unusual Event Detection in Surveillance Videos
title_full_unstemmed Unusual Event Detection in Surveillance Videos
title_sort Unusual Event Detection in Surveillance Videos
author Nazaré, Tiago Santana de
author_facet Nazaré, Tiago Santana de
author_role author
dc.contributor.none.fl_str_mv Mello, Rodrigo Fernandes de
Ponti, Moacir Antonelli
dc.contributor.author.fl_str_mv Nazaré, Tiago Santana de
dc.subject.por.fl_str_mv Anomaly detection
Computer vision
Detecção de anomalias
Fluxo ótico
Optical-flow
Surveillance videos
Vídeos de segurança
Visão computacional
topic Anomaly detection
Computer vision
Detecção de anomalias
Fluxo ótico
Optical-flow
Surveillance videos
Vídeos de segurança
Visão computacional
description Presently, surveillance cameras have been massively employed to monitor public spaces such as malls, train stations and airports. The video feed generated by several of these security cameras is monitored, in real-time, by a small group of people in a control room to detect anomalous behaviors. Nonetheless, human monitoring is extremely ineffective when it comes to detecting anomalies in surveillance footage, mainly because such task is both tedious (most of the time nothing interesting/abnormal happens) and challenging (a single person is in responsible for keeping track of multiple cameras at the same time). The aforementioned problems motivated the machine vision community to develop automated methods for detecting unusual behaviors in security videos. Despite recent advances in this area, we have noticed that current video anomaly detection methods have some gaps regarding: i) the lack of noise removal/management techniques when modeling motion patterns using optical-flow estimates; and ii) the need for a more adaptive approach to tackle changes in viewing distances. Motivated by those issues, we proposed some methods/studies aiming at improving anomaly detection in surveillance videos, while maintaining (or reducing) computational cost. Our experiments show that employing lightweight filtering to optical-flow estimates and anomaly scores can significantly improve anomaly detection performance in surveillance scenarios, without increasing computational complexity. Furthermore, we presented an automatic method to estimate changes in object size caused by variations in viewing changes, which is capable of improving anomaly detection performance and reducing setup time. Based on those findings, we designed an anomaly detection method that is capable to achieve state-of-the-art anomaly detection performance in challenging surveillance scenarios employing only optical-flow information. Additionally, we showed that a domain-specific auto-encoder is capable of achieving comparable anomaly detection results to the ones of features from pre-trained CNN models, while having a significant lower computational complexity (smaller number of network parameters).
publishDate 2020
dc.date.none.fl_str_mv 2020-12-10
dc.type.status.fl_str_mv info:eu-repo/semantics/publishedVersion
dc.type.driver.fl_str_mv info:eu-repo/semantics/doctoralThesis
format doctoralThesis
status_str publishedVersion
dc.identifier.uri.fl_str_mv https://www.teses.usp.br/teses/disponiveis/55/55134/tde-16022021-150800/
url https://www.teses.usp.br/teses/disponiveis/55/55134/tde-16022021-150800/
dc.language.iso.fl_str_mv eng
language eng
dc.relation.none.fl_str_mv
dc.rights.driver.fl_str_mv Liberar o conteúdo para acesso público.
info:eu-repo/semantics/openAccess
rights_invalid_str_mv Liberar o conteúdo para acesso público.
eu_rights_str_mv openAccess
dc.format.none.fl_str_mv application/pdf
dc.coverage.none.fl_str_mv
dc.publisher.none.fl_str_mv Biblioteca Digitais de Teses e Dissertações da USP
publisher.none.fl_str_mv Biblioteca Digitais de Teses e Dissertações da USP
dc.source.none.fl_str_mv
reponame:Biblioteca Digital de Teses e Dissertações da USP
instname:Universidade de São Paulo (USP)
instacron:USP
instname_str Universidade de São Paulo (USP)
instacron_str USP
institution USP
reponame_str Biblioteca Digital de Teses e Dissertações da USP
collection Biblioteca Digital de Teses e Dissertações da USP
repository.name.fl_str_mv Biblioteca Digital de Teses e Dissertações da USP - Universidade de São Paulo (USP)
repository.mail.fl_str_mv virginia@if.usp.br|| atendimento@aguia.usp.br||virginia@if.usp.br
_version_ 1809090760616706048