Deep Learning for Multi-Animal Tracking

Detalhes bibliográficos
Autor(a) principal: Valente, Madalena de Oliveira Santos Lourenço
Data de Publicação: 2021
Tipo de documento: Dissertação
Idioma: eng
Título da fonte: Repositório Científico de Acesso Aberto de Portugal (Repositórios Cientìficos)
Texto Completo: http://hdl.handle.net/10451/49385
Resumo: Tese de mestrado integrado, Engenharia Biomédica e Biofísica (Engenharia Clínica e Instrumentação Médica) Universidade de Lisboa, Faculdade de Ciências, 2021
id RCAP_a791ed386ff65007d90397e06a2028dd
oai_identifier_str oai:repositorio.ul.pt:10451/49385
network_acronym_str RCAP
network_name_str Repositório Científico de Acesso Aberto de Portugal (Repositórios Cientìficos)
repository_id_str 7160
spelling Deep Learning for Multi-Animal Trackingtracking baseado em imagenstransfer learningaprendizagem em ensembleidentificação de paresTeses de mestrado - 2021Departamento de FísicaTese de mestrado integrado, Engenharia Biomédica e Biofísica (Engenharia Clínica e Instrumentação Médica) Universidade de Lisboa, Faculdade de Ciências, 2021In collective behaviour studies, the use of multi-animal tracking systems is extremely valuable. To be able to identify and track each individual in a group helps in the study and understanding of their behaviour in the collective. For this, researchers can use tracking systems, which can use sensors to detect the individuals; or they can use image-based tracking, with or without the need to mark the individuals. idtracker.ai is a state-of-the-art multi-animal image-based tracking system that uses convolutional neural networks to identify each of the individuals in a video. In videos with a higher density of individuals, idtracker.ai cannot extract enough frames of the single individuals (few frames ≈ 30) and the training of the identification network is slower. With the idea of decreasing this training time, here we propose to test three different machine learning methods. The first method is to use Transfer Learning models, with the expectation that the training can be done with few data. The second method is to use the ensemble method to join the results of various models of the idtracker.ai identification network, and thus decrease the variability of classification. Finally, the third method is to use not only multi-class labels but also pairwise-labels to increase the amount of information the network has available for training. The three methods are compared to the idtracker.ai model in terms of image classification accuracy and training time. Transfer learning and ensemble improved the accuracy of classification, but failed to reduce the time of training of the identification network. The pairwise method increased accuracy and time of training was comparable to the one of idtracker.ai. More specifically, by training the identification network with multi-class labeled images and pairwise-labeled images, the information the network can have from few images leads to an average classification accuracy of 94% (for 3000 images per class with 30 multi-labeled images per class). This is comparable to idtracker.ai trained with 3000 multi-labeled images (per class) - 98% accuracy, and is better than when idtracker.ai is trained with 30 multi-labeled images - 56% accuracy.Polavieja, Gonzalo deConceição, RaquelRepositório da Universidade de LisboaValente, Madalena de Oliveira Santos Lourenço2021-09-01T13:47:34Z202120212021-01-01T00:00:00Zinfo:eu-repo/semantics/publishedVersioninfo:eu-repo/semantics/masterThesisapplication/pdfhttp://hdl.handle.net/10451/49385TID:202933989enginfo:eu-repo/semantics/openAccessreponame:Repositório Científico de Acesso Aberto de Portugal (Repositórios Cientìficos)instname:Agência para a Sociedade do Conhecimento (UMIC) - FCT - Sociedade da Informaçãoinstacron:RCAAP2023-11-08T16:53:09Zoai:repositorio.ul.pt:10451/49385Portal AgregadorONGhttps://www.rcaap.pt/oai/openaireopendoar:71602024-03-19T22:01:02.780582Repositório Científico de Acesso Aberto de Portugal (Repositórios Cientìficos) - Agência para a Sociedade do Conhecimento (UMIC) - FCT - Sociedade da Informaçãofalse
dc.title.none.fl_str_mv Deep Learning for Multi-Animal Tracking
title Deep Learning for Multi-Animal Tracking
spellingShingle Deep Learning for Multi-Animal Tracking
Valente, Madalena de Oliveira Santos Lourenço
tracking baseado em imagens
transfer learning
aprendizagem em ensemble
identificação de pares
Teses de mestrado - 2021
Departamento de Física
title_short Deep Learning for Multi-Animal Tracking
title_full Deep Learning for Multi-Animal Tracking
title_fullStr Deep Learning for Multi-Animal Tracking
title_full_unstemmed Deep Learning for Multi-Animal Tracking
title_sort Deep Learning for Multi-Animal Tracking
author Valente, Madalena de Oliveira Santos Lourenço
author_facet Valente, Madalena de Oliveira Santos Lourenço
author_role author
dc.contributor.none.fl_str_mv Polavieja, Gonzalo de
Conceição, Raquel
Repositório da Universidade de Lisboa
dc.contributor.author.fl_str_mv Valente, Madalena de Oliveira Santos Lourenço
dc.subject.por.fl_str_mv tracking baseado em imagens
transfer learning
aprendizagem em ensemble
identificação de pares
Teses de mestrado - 2021
Departamento de Física
topic tracking baseado em imagens
transfer learning
aprendizagem em ensemble
identificação de pares
Teses de mestrado - 2021
Departamento de Física
description Tese de mestrado integrado, Engenharia Biomédica e Biofísica (Engenharia Clínica e Instrumentação Médica) Universidade de Lisboa, Faculdade de Ciências, 2021
publishDate 2021
dc.date.none.fl_str_mv 2021-09-01T13:47:34Z
2021
2021
2021-01-01T00:00:00Z
dc.type.status.fl_str_mv info:eu-repo/semantics/publishedVersion
dc.type.driver.fl_str_mv info:eu-repo/semantics/masterThesis
format masterThesis
status_str publishedVersion
dc.identifier.uri.fl_str_mv http://hdl.handle.net/10451/49385
TID:202933989
url http://hdl.handle.net/10451/49385
identifier_str_mv TID:202933989
dc.language.iso.fl_str_mv eng
language eng
dc.rights.driver.fl_str_mv info:eu-repo/semantics/openAccess
eu_rights_str_mv openAccess
dc.format.none.fl_str_mv application/pdf
dc.source.none.fl_str_mv reponame:Repositório Científico de Acesso Aberto de Portugal (Repositórios Cientìficos)
instname:Agência para a Sociedade do Conhecimento (UMIC) - FCT - Sociedade da Informação
instacron:RCAAP
instname_str Agência para a Sociedade do Conhecimento (UMIC) - FCT - Sociedade da Informação
instacron_str RCAAP
institution RCAAP
reponame_str Repositório Científico de Acesso Aberto de Portugal (Repositórios Cientìficos)
collection Repositório Científico de Acesso Aberto de Portugal (Repositórios Cientìficos)
repository.name.fl_str_mv Repositório Científico de Acesso Aberto de Portugal (Repositórios Cientìficos) - Agência para a Sociedade do Conhecimento (UMIC) - FCT - Sociedade da Informação
repository.mail.fl_str_mv
_version_ 1799134558782750720

Registros relacionados