Unusual Event Detection in Surveillance Videos
Autor(a) principal: | |
---|---|
Data de Publicação: | 2020 |
Tipo de documento: | Tese |
Idioma: | eng |
Título da fonte: | Biblioteca Digital de Teses e Dissertações da USP |
Texto Completo: | https://www.teses.usp.br/teses/disponiveis/55/55134/tde-16022021-150800/ |
Resumo: | Presently, surveillance cameras have been massively employed to monitor public spaces such as malls, train stations and airports. The video feed generated by several of these security cameras is monitored, in real-time, by a small group of people in a control room to detect anomalous behaviors. Nonetheless, human monitoring is extremely ineffective when it comes to detecting anomalies in surveillance footage, mainly because such task is both tedious (most of the time nothing interesting/abnormal happens) and challenging (a single person is in responsible for keeping track of multiple cameras at the same time). The aforementioned problems motivated the machine vision community to develop automated methods for detecting unusual behaviors in security videos. Despite recent advances in this area, we have noticed that current video anomaly detection methods have some gaps regarding: i) the lack of noise removal/management techniques when modeling motion patterns using optical-flow estimates; and ii) the need for a more adaptive approach to tackle changes in viewing distances. Motivated by those issues, we proposed some methods/studies aiming at improving anomaly detection in surveillance videos, while maintaining (or reducing) computational cost. Our experiments show that employing lightweight filtering to optical-flow estimates and anomaly scores can significantly improve anomaly detection performance in surveillance scenarios, without increasing computational complexity. Furthermore, we presented an automatic method to estimate changes in object size caused by variations in viewing changes, which is capable of improving anomaly detection performance and reducing setup time. Based on those findings, we designed an anomaly detection method that is capable to achieve state-of-the-art anomaly detection performance in challenging surveillance scenarios employing only optical-flow information. Additionally, we showed that a domain-specific auto-encoder is capable of achieving comparable anomaly detection results to the ones of features from pre-trained CNN models, while having a significant lower computational complexity (smaller number of network parameters). |
id |
USP_3bc42c4073312bb417f95ff677d030a0 |
---|---|
oai_identifier_str |
oai:teses.usp.br:tde-16022021-150800 |
network_acronym_str |
USP |
network_name_str |
Biblioteca Digital de Teses e Dissertações da USP |
repository_id_str |
2721 |
spelling |
Unusual Event Detection in Surveillance VideosDetecção de anomalias em vídeos de segurançaAnomaly detectionComputer visionDetecção de anomaliasFluxo óticoOptical-flowSurveillance videosVídeos de segurançaVisão computacionalPresently, surveillance cameras have been massively employed to monitor public spaces such as malls, train stations and airports. The video feed generated by several of these security cameras is monitored, in real-time, by a small group of people in a control room to detect anomalous behaviors. Nonetheless, human monitoring is extremely ineffective when it comes to detecting anomalies in surveillance footage, mainly because such task is both tedious (most of the time nothing interesting/abnormal happens) and challenging (a single person is in responsible for keeping track of multiple cameras at the same time). The aforementioned problems motivated the machine vision community to develop automated methods for detecting unusual behaviors in security videos. Despite recent advances in this area, we have noticed that current video anomaly detection methods have some gaps regarding: i) the lack of noise removal/management techniques when modeling motion patterns using optical-flow estimates; and ii) the need for a more adaptive approach to tackle changes in viewing distances. Motivated by those issues, we proposed some methods/studies aiming at improving anomaly detection in surveillance videos, while maintaining (or reducing) computational cost. Our experiments show that employing lightweight filtering to optical-flow estimates and anomaly scores can significantly improve anomaly detection performance in surveillance scenarios, without increasing computational complexity. Furthermore, we presented an automatic method to estimate changes in object size caused by variations in viewing changes, which is capable of improving anomaly detection performance and reducing setup time. Based on those findings, we designed an anomaly detection method that is capable to achieve state-of-the-art anomaly detection performance in challenging surveillance scenarios employing only optical-flow information. Additionally, we showed that a domain-specific auto-encoder is capable of achieving comparable anomaly detection results to the ones of features from pre-trained CNN models, while having a significant lower computational complexity (smaller number of network parameters).Atualmente, câmeras de segurança têm sido amplamente usadas para monitorar espaços públicos, como shoppings, estações de trem e aeroportos. O vídeo gerado por várias dessas câmeras de segurança é monitorado, em tempo real, por um pequeno grupo de pessoas em uma sala de controle para detectar comportamentos anômalos. No entanto, o monitoramento humano é extremamente ineficaz quando se trata de detectar anomalias em vídeos de segurança, principalmente porque tal tarefa é tediosa (na maioria das vezes nada de interessante/anormal acontece) e difícil (uma única pessoa é responsável por monitorar várias câmeras ao mesmo tempo). Tais problemas motivaram a comunidade de visão computacional a desenvolver métodos automatizados para detectar comportamentos incomuns em vídeos de segurança. Apesar dos recentes avanços nessa área, notamos que os atuais métodos de detecção de anomalias em vídeos de segurança têm algumas lacunas como: i) falta de uso de técnicas de remoção/tratamento de ruído ao modelar movimentos usando fluxo óptico; e ii) necessidade de uma abordagem mais adaptativa para lidar com as mudanças de tamanho dos objetos causadas por distorçcões de perspectiva. Motivados por essas questões, propusemos alguns métodos/estudos com o objetivo de melhorar a detecção de anomalias em vídeos de segurança, mantendo (ou reduzindo) o custo computacional. Nossos experimentos mostram que o uso de técnicas simples de filtragem das estimativas de fluxo óptico e scores de anomalias podem melhorar significativamente o desempenho da detecção de anomalias em cenários de vigilância, sem aumentar a complexidade computacional. Além disso, apresentamos um método que automaticamente estima alterações no tamanho do objeto causadas por distorções de perspectiva, o que ajuda a melhorar o desempenho de detecção de anomalias e reduzir o tempo de configuração do sistema de seguraça. Com base nessas descobertas, projetamos um método de detecção de anomalias, que usa somente informações de fluxo óptico, e é capaz de obter resultados de detecção de anomalias muito bons em cenários desafiadores. Além disso, mostramos que um auto-encoder treinado para um cenário específico de vigilância é capaz de alcançar resultados de detecção de anomalias comparáveis aos de features de CNNs pré-treinadas, mesmo tendo uma complexidade computacional significativamente menor (menor número de parâmetros de rede).Biblioteca Digitais de Teses e Dissertações da USPMello, Rodrigo Fernandes dePonti, Moacir AntonelliNazaré, Tiago Santana de2020-12-10info:eu-repo/semantics/publishedVersioninfo:eu-repo/semantics/doctoralThesisapplication/pdfhttps://www.teses.usp.br/teses/disponiveis/55/55134/tde-16022021-150800/reponame:Biblioteca Digital de Teses e Dissertações da USPinstname:Universidade de São Paulo (USP)instacron:USPLiberar o conteúdo para acesso público.info:eu-repo/semantics/openAccesseng2021-02-16T20:13:02Zoai:teses.usp.br:tde-16022021-150800Biblioteca Digital de Teses e Dissertaçõeshttp://www.teses.usp.br/PUBhttp://www.teses.usp.br/cgi-bin/mtd2br.plvirginia@if.usp.br|| atendimento@aguia.usp.br||virginia@if.usp.bropendoar:27212021-02-16T20:13:02Biblioteca Digital de Teses e Dissertações da USP - Universidade de São Paulo (USP)false |
dc.title.none.fl_str_mv |
Unusual Event Detection in Surveillance Videos Detecção de anomalias em vídeos de segurança |
title |
Unusual Event Detection in Surveillance Videos |
spellingShingle |
Unusual Event Detection in Surveillance Videos Nazaré, Tiago Santana de Anomaly detection Computer vision Detecção de anomalias Fluxo ótico Optical-flow Surveillance videos Vídeos de segurança Visão computacional |
title_short |
Unusual Event Detection in Surveillance Videos |
title_full |
Unusual Event Detection in Surveillance Videos |
title_fullStr |
Unusual Event Detection in Surveillance Videos |
title_full_unstemmed |
Unusual Event Detection in Surveillance Videos |
title_sort |
Unusual Event Detection in Surveillance Videos |
author |
Nazaré, Tiago Santana de |
author_facet |
Nazaré, Tiago Santana de |
author_role |
author |
dc.contributor.none.fl_str_mv |
Mello, Rodrigo Fernandes de Ponti, Moacir Antonelli |
dc.contributor.author.fl_str_mv |
Nazaré, Tiago Santana de |
dc.subject.por.fl_str_mv |
Anomaly detection Computer vision Detecção de anomalias Fluxo ótico Optical-flow Surveillance videos Vídeos de segurança Visão computacional |
topic |
Anomaly detection Computer vision Detecção de anomalias Fluxo ótico Optical-flow Surveillance videos Vídeos de segurança Visão computacional |
description |
Presently, surveillance cameras have been massively employed to monitor public spaces such as malls, train stations and airports. The video feed generated by several of these security cameras is monitored, in real-time, by a small group of people in a control room to detect anomalous behaviors. Nonetheless, human monitoring is extremely ineffective when it comes to detecting anomalies in surveillance footage, mainly because such task is both tedious (most of the time nothing interesting/abnormal happens) and challenging (a single person is in responsible for keeping track of multiple cameras at the same time). The aforementioned problems motivated the machine vision community to develop automated methods for detecting unusual behaviors in security videos. Despite recent advances in this area, we have noticed that current video anomaly detection methods have some gaps regarding: i) the lack of noise removal/management techniques when modeling motion patterns using optical-flow estimates; and ii) the need for a more adaptive approach to tackle changes in viewing distances. Motivated by those issues, we proposed some methods/studies aiming at improving anomaly detection in surveillance videos, while maintaining (or reducing) computational cost. Our experiments show that employing lightweight filtering to optical-flow estimates and anomaly scores can significantly improve anomaly detection performance in surveillance scenarios, without increasing computational complexity. Furthermore, we presented an automatic method to estimate changes in object size caused by variations in viewing changes, which is capable of improving anomaly detection performance and reducing setup time. Based on those findings, we designed an anomaly detection method that is capable to achieve state-of-the-art anomaly detection performance in challenging surveillance scenarios employing only optical-flow information. Additionally, we showed that a domain-specific auto-encoder is capable of achieving comparable anomaly detection results to the ones of features from pre-trained CNN models, while having a significant lower computational complexity (smaller number of network parameters). |
publishDate |
2020 |
dc.date.none.fl_str_mv |
2020-12-10 |
dc.type.status.fl_str_mv |
info:eu-repo/semantics/publishedVersion |
dc.type.driver.fl_str_mv |
info:eu-repo/semantics/doctoralThesis |
format |
doctoralThesis |
status_str |
publishedVersion |
dc.identifier.uri.fl_str_mv |
https://www.teses.usp.br/teses/disponiveis/55/55134/tde-16022021-150800/ |
url |
https://www.teses.usp.br/teses/disponiveis/55/55134/tde-16022021-150800/ |
dc.language.iso.fl_str_mv |
eng |
language |
eng |
dc.relation.none.fl_str_mv |
|
dc.rights.driver.fl_str_mv |
Liberar o conteúdo para acesso público. info:eu-repo/semantics/openAccess |
rights_invalid_str_mv |
Liberar o conteúdo para acesso público. |
eu_rights_str_mv |
openAccess |
dc.format.none.fl_str_mv |
application/pdf |
dc.coverage.none.fl_str_mv |
|
dc.publisher.none.fl_str_mv |
Biblioteca Digitais de Teses e Dissertações da USP |
publisher.none.fl_str_mv |
Biblioteca Digitais de Teses e Dissertações da USP |
dc.source.none.fl_str_mv |
reponame:Biblioteca Digital de Teses e Dissertações da USP instname:Universidade de São Paulo (USP) instacron:USP |
instname_str |
Universidade de São Paulo (USP) |
instacron_str |
USP |
institution |
USP |
reponame_str |
Biblioteca Digital de Teses e Dissertações da USP |
collection |
Biblioteca Digital de Teses e Dissertações da USP |
repository.name.fl_str_mv |
Biblioteca Digital de Teses e Dissertações da USP - Universidade de São Paulo (USP) |
repository.mail.fl_str_mv |
virginia@if.usp.br|| atendimento@aguia.usp.br||virginia@if.usp.br |
_version_ |
1815257013867773952 |