Employing citizen science to label polygons of segmented images

Detalhes bibliográficos
Autor(a) principal: Marinalva Dias Soares
Data de Publicação: 2011
Tipo de documento: Tese
Idioma: eng
Título da fonte: Biblioteca Digital de Teses e Dissertações do INPE
Texto Completo: http://urlib.net/sid.inpe.br/mtc-m19/2011/08.02.16.43
Resumo: A interpretação de cenas em imagem pode ser considerada a associação de significado semântico aos objetos contidos na imagem. Normalmente, antes da interpretação, é preciso segmentar a imagem. A segmentação particiona uma imagem em regiões (usualmente polígonos), de modo que os elementos pertencentes a cada região sejam similares com relação a uma ou mais propriedades tais como nível de cinza, textura ou cor. No entanto, a segmentação pode criar um grande número de polígonos e esses polígonos devem ser rotulados, usualmente com alta informação semântica. A rotulação de polígonos pode ser manual ou automática. A rotulação manual precisa de um especialista humano para usar seu conhecimento e experiência. No entanto, esta tarefa é, embora não complexa, demorada, repetitiva e propensa a erros. É impraticável para um único especialista analisar e rotular polígono por polígono. A rotulação automática deve incorporar conhecimento humano para obter sucesso. Entretanto, a rotulação automática também pode levar a erros uma vez que os algoritmos não podem reproduzir fielmente o conhecimento e experiência que os humanos usam. Esta tese apresenta uma alternativa para rotulação manual de polígonos, baseada em citizen science, usando vários agentes humanos que podem ou não ter o mesmo conhecimento que o especialista para realizar a tarefa de rotulação. Citizen science envolve voluntários do público em geral que agem como participantes ou observadores para coleta, classificação ou análise de dados. Os dados dos voluntários podem ou não ser precisos; erros são esperados. Mas, coletivamente, a participação de voluntários pode gerar conhecimento e bons resultados para a pesquisa científica. O experimento conduzido com os voluntários neste trabalho foi baseado na rotulação de mais de 2400 polígonos resultantes da segmentação de uma imagem de cena urbana. Várias métricas foram derivadas das análises realizadas nos dados coletados durante o processo de rotulação. Isso possibilitou avaliar a qualidade e confiabilidade das rotulações dos voluntários. Essas métricas demonstraram que citizen science é uma abordagem viável e é uma alternativa potencial para ser considerada para rotulação de polígonos. O trabalho também mostra que esta alternativa agrega valores e complementa o conhecimento fornecido pelo especialista do domínio. Exemplos de como essas métricas podem ser empregadas pelo especialista também são apresentados.
id INPE_9560a2ce0a232eef1c20a4ba580303cc
oai_identifier_str oai:urlib.net:sid.inpe.br/mtc-m19/2011/08.02.16.43.37-0
network_acronym_str INPE
network_name_str Biblioteca Digital de Teses e Dissertações do INPE
spelling info:eu-repo/semantics/publishedVersioninfo:eu-repo/semantics/doctoralThesisEmploying citizen science to label polygons of segmented imagesEmpregando ciência cidadã para rotular polígonos de imagens segmentadas2011-06-06Luciano Vieira DutraNandamudi Lankalapalli VijaykumarClodoveu Augusto Davis JuniorFrancisco Vilar BrasileiroMarinalva Dias SoaresInstituto Nacional de Pesquisas EspaciaisPrograma de Pós-Graduação do INPE em Computação AplicadaINPEBRcitizen sciencepolygons labelingimage segmentationdata qualityuser reliabilityciência cidadã rotulação de polígonossegmentação de imagensqualidade de dadosconfiabilidade do usuárioA interpretação de cenas em imagem pode ser considerada a associação de significado semântico aos objetos contidos na imagem. Normalmente, antes da interpretação, é preciso segmentar a imagem. A segmentação particiona uma imagem em regiões (usualmente polígonos), de modo que os elementos pertencentes a cada região sejam similares com relação a uma ou mais propriedades tais como nível de cinza, textura ou cor. No entanto, a segmentação pode criar um grande número de polígonos e esses polígonos devem ser rotulados, usualmente com alta informação semântica. A rotulação de polígonos pode ser manual ou automática. A rotulação manual precisa de um especialista humano para usar seu conhecimento e experiência. No entanto, esta tarefa é, embora não complexa, demorada, repetitiva e propensa a erros. É impraticável para um único especialista analisar e rotular polígono por polígono. A rotulação automática deve incorporar conhecimento humano para obter sucesso. Entretanto, a rotulação automática também pode levar a erros uma vez que os algoritmos não podem reproduzir fielmente o conhecimento e experiência que os humanos usam. Esta tese apresenta uma alternativa para rotulação manual de polígonos, baseada em citizen science, usando vários agentes humanos que podem ou não ter o mesmo conhecimento que o especialista para realizar a tarefa de rotulação. Citizen science envolve voluntários do público em geral que agem como participantes ou observadores para coleta, classificação ou análise de dados. Os dados dos voluntários podem ou não ser precisos; erros são esperados. Mas, coletivamente, a participação de voluntários pode gerar conhecimento e bons resultados para a pesquisa científica. O experimento conduzido com os voluntários neste trabalho foi baseado na rotulação de mais de 2400 polígonos resultantes da segmentação de uma imagem de cena urbana. Várias métricas foram derivadas das análises realizadas nos dados coletados durante o processo de rotulação. Isso possibilitou avaliar a qualidade e confiabilidade das rotulações dos voluntários. Essas métricas demonstraram que citizen science é uma abordagem viável e é uma alternativa potencial para ser considerada para rotulação de polígonos. O trabalho também mostra que esta alternativa agrega valores e complementa o conhecimento fornecido pelo especialista do domínio. Exemplos de como essas métricas podem ser empregadas pelo especialista também são apresentados.Interpretation of scenes in image can be considered as associating semantic meaning to objects in the image. Usually, before the interpretation, it is necessary to segment the image. Segmentation partitions an image into regions (usually polygons), so the elements belonging to each region are similar with respect to one or more properties such as gray level, texture or color. However, segmentation may create several polygons and these polygons must be labeled, usually with semantically high information about it. Polygon labeling can be manual or automatic. Manual labeling needs a human expert to use his/her knowledge and experience. However, this task is, though not complex, time-consuming, repetitive and error prone. It is impractical for a single expert to analyze polygon by polygon and label them. Automatic labeling must incorporate human knowledge to be successful. However, automatic labeling may also to lead to errors since algorithms cannot reproduce faithfully the knowledge and experience that humans use. This thesis presents an alternative for manual labeling of polygons, based on citizen science, using several different human agents that may not have the same expertise as the expert to perform the labeling task. Citizen Science involves volunteers from the general public that act as participants or observers for data collection, classification or analysis. The volunteers' data may or may not be accurate; errors are expected. But, collectively, the volunteers' participation can generate knowledge and good results for scientific research. The experiment conducted with the volunteers in this work was based on labeling of more than 2400 polygons resulting from the segmentation of an image of urban scene. Several metrics have been derived from analyzing the data collected during the labeling process. This enabled the evaluation of the quality and reliability of their participation. These metrics demonstrated that citizen science is a feasible approach and it is a potential alternative to be considered for labeling polygons. The work also shows that this alternative aggregates values and complements the knowledge provided by a domain's expert. Examples of how these metrics may be employed by the expert are also presented.http://urlib.net/sid.inpe.br/mtc-m19/2011/08.02.16.43info:eu-repo/semantics/openAccessengreponame:Biblioteca Digital de Teses e Dissertações do INPEinstname:Instituto Nacional de Pesquisas Espaciais (INPE)instacron:INPE2021-07-31T06:53:39Zoai:urlib.net:sid.inpe.br/mtc-m19/2011/08.02.16.43.37-0Biblioteca Digital de Teses e Dissertaçõeshttp://bibdigital.sid.inpe.br/PUBhttp://bibdigital.sid.inpe.br/col/iconet.com.br/banon/2003/11.21.21.08/doc/oai.cgiopendoar:32772021-07-31 06:53:40.751Biblioteca Digital de Teses e Dissertações do INPE - Instituto Nacional de Pesquisas Espaciais (INPE)false
dc.title.en.fl_str_mv Employing citizen science to label polygons of segmented images
dc.title.alternative.pt.fl_str_mv Empregando ciência cidadã para rotular polígonos de imagens segmentadas
title Employing citizen science to label polygons of segmented images
spellingShingle Employing citizen science to label polygons of segmented images
Marinalva Dias Soares
title_short Employing citizen science to label polygons of segmented images
title_full Employing citizen science to label polygons of segmented images
title_fullStr Employing citizen science to label polygons of segmented images
title_full_unstemmed Employing citizen science to label polygons of segmented images
title_sort Employing citizen science to label polygons of segmented images
author Marinalva Dias Soares
author_facet Marinalva Dias Soares
author_role author
dc.contributor.advisor1.fl_str_mv Luciano Vieira Dutra
dc.contributor.advisor2.fl_str_mv Nandamudi Lankalapalli Vijaykumar
dc.contributor.referee1.fl_str_mv Clodoveu Augusto Davis Junior
dc.contributor.referee2.fl_str_mv Francisco Vilar Brasileiro
dc.contributor.author.fl_str_mv Marinalva Dias Soares
contributor_str_mv Luciano Vieira Dutra
Nandamudi Lankalapalli Vijaykumar
Clodoveu Augusto Davis Junior
Francisco Vilar Brasileiro
dc.description.abstract.por.fl_txt_mv A interpretação de cenas em imagem pode ser considerada a associação de significado semântico aos objetos contidos na imagem. Normalmente, antes da interpretação, é preciso segmentar a imagem. A segmentação particiona uma imagem em regiões (usualmente polígonos), de modo que os elementos pertencentes a cada região sejam similares com relação a uma ou mais propriedades tais como nível de cinza, textura ou cor. No entanto, a segmentação pode criar um grande número de polígonos e esses polígonos devem ser rotulados, usualmente com alta informação semântica. A rotulação de polígonos pode ser manual ou automática. A rotulação manual precisa de um especialista humano para usar seu conhecimento e experiência. No entanto, esta tarefa é, embora não complexa, demorada, repetitiva e propensa a erros. É impraticável para um único especialista analisar e rotular polígono por polígono. A rotulação automática deve incorporar conhecimento humano para obter sucesso. Entretanto, a rotulação automática também pode levar a erros uma vez que os algoritmos não podem reproduzir fielmente o conhecimento e experiência que os humanos usam. Esta tese apresenta uma alternativa para rotulação manual de polígonos, baseada em citizen science, usando vários agentes humanos que podem ou não ter o mesmo conhecimento que o especialista para realizar a tarefa de rotulação. Citizen science envolve voluntários do público em geral que agem como participantes ou observadores para coleta, classificação ou análise de dados. Os dados dos voluntários podem ou não ser precisos; erros são esperados. Mas, coletivamente, a participação de voluntários pode gerar conhecimento e bons resultados para a pesquisa científica. O experimento conduzido com os voluntários neste trabalho foi baseado na rotulação de mais de 2400 polígonos resultantes da segmentação de uma imagem de cena urbana. Várias métricas foram derivadas das análises realizadas nos dados coletados durante o processo de rotulação. Isso possibilitou avaliar a qualidade e confiabilidade das rotulações dos voluntários. Essas métricas demonstraram que citizen science é uma abordagem viável e é uma alternativa potencial para ser considerada para rotulação de polígonos. O trabalho também mostra que esta alternativa agrega valores e complementa o conhecimento fornecido pelo especialista do domínio. Exemplos de como essas métricas podem ser empregadas pelo especialista também são apresentados.
dc.description.abstract.eng.fl_txt_mv Interpretation of scenes in image can be considered as associating semantic meaning to objects in the image. Usually, before the interpretation, it is necessary to segment the image. Segmentation partitions an image into regions (usually polygons), so the elements belonging to each region are similar with respect to one or more properties such as gray level, texture or color. However, segmentation may create several polygons and these polygons must be labeled, usually with semantically high information about it. Polygon labeling can be manual or automatic. Manual labeling needs a human expert to use his/her knowledge and experience. However, this task is, though not complex, time-consuming, repetitive and error prone. It is impractical for a single expert to analyze polygon by polygon and label them. Automatic labeling must incorporate human knowledge to be successful. However, automatic labeling may also to lead to errors since algorithms cannot reproduce faithfully the knowledge and experience that humans use. This thesis presents an alternative for manual labeling of polygons, based on citizen science, using several different human agents that may not have the same expertise as the expert to perform the labeling task. Citizen Science involves volunteers from the general public that act as participants or observers for data collection, classification or analysis. The volunteers' data may or may not be accurate; errors are expected. But, collectively, the volunteers' participation can generate knowledge and good results for scientific research. The experiment conducted with the volunteers in this work was based on labeling of more than 2400 polygons resulting from the segmentation of an image of urban scene. Several metrics have been derived from analyzing the data collected during the labeling process. This enabled the evaluation of the quality and reliability of their participation. These metrics demonstrated that citizen science is a feasible approach and it is a potential alternative to be considered for labeling polygons. The work also shows that this alternative aggregates values and complements the knowledge provided by a domain's expert. Examples of how these metrics may be employed by the expert are also presented.
description A interpretação de cenas em imagem pode ser considerada a associação de significado semântico aos objetos contidos na imagem. Normalmente, antes da interpretação, é preciso segmentar a imagem. A segmentação particiona uma imagem em regiões (usualmente polígonos), de modo que os elementos pertencentes a cada região sejam similares com relação a uma ou mais propriedades tais como nível de cinza, textura ou cor. No entanto, a segmentação pode criar um grande número de polígonos e esses polígonos devem ser rotulados, usualmente com alta informação semântica. A rotulação de polígonos pode ser manual ou automática. A rotulação manual precisa de um especialista humano para usar seu conhecimento e experiência. No entanto, esta tarefa é, embora não complexa, demorada, repetitiva e propensa a erros. É impraticável para um único especialista analisar e rotular polígono por polígono. A rotulação automática deve incorporar conhecimento humano para obter sucesso. Entretanto, a rotulação automática também pode levar a erros uma vez que os algoritmos não podem reproduzir fielmente o conhecimento e experiência que os humanos usam. Esta tese apresenta uma alternativa para rotulação manual de polígonos, baseada em citizen science, usando vários agentes humanos que podem ou não ter o mesmo conhecimento que o especialista para realizar a tarefa de rotulação. Citizen science envolve voluntários do público em geral que agem como participantes ou observadores para coleta, classificação ou análise de dados. Os dados dos voluntários podem ou não ser precisos; erros são esperados. Mas, coletivamente, a participação de voluntários pode gerar conhecimento e bons resultados para a pesquisa científica. O experimento conduzido com os voluntários neste trabalho foi baseado na rotulação de mais de 2400 polígonos resultantes da segmentação de uma imagem de cena urbana. Várias métricas foram derivadas das análises realizadas nos dados coletados durante o processo de rotulação. Isso possibilitou avaliar a qualidade e confiabilidade das rotulações dos voluntários. Essas métricas demonstraram que citizen science é uma abordagem viável e é uma alternativa potencial para ser considerada para rotulação de polígonos. O trabalho também mostra que esta alternativa agrega valores e complementa o conhecimento fornecido pelo especialista do domínio. Exemplos de como essas métricas podem ser empregadas pelo especialista também são apresentados.
publishDate 2011
dc.date.issued.fl_str_mv 2011-06-06
dc.type.status.fl_str_mv info:eu-repo/semantics/publishedVersion
dc.type.driver.fl_str_mv info:eu-repo/semantics/doctoralThesis
status_str publishedVersion
format doctoralThesis
dc.identifier.uri.fl_str_mv http://urlib.net/sid.inpe.br/mtc-m19/2011/08.02.16.43
url http://urlib.net/sid.inpe.br/mtc-m19/2011/08.02.16.43
dc.language.iso.fl_str_mv eng
language eng
dc.rights.driver.fl_str_mv info:eu-repo/semantics/openAccess
eu_rights_str_mv openAccess
dc.publisher.none.fl_str_mv Instituto Nacional de Pesquisas Espaciais
dc.publisher.program.fl_str_mv Programa de Pós-Graduação do INPE em Computação Aplicada
dc.publisher.initials.fl_str_mv INPE
dc.publisher.country.fl_str_mv BR
publisher.none.fl_str_mv Instituto Nacional de Pesquisas Espaciais
dc.source.none.fl_str_mv reponame:Biblioteca Digital de Teses e Dissertações do INPE
instname:Instituto Nacional de Pesquisas Espaciais (INPE)
instacron:INPE
reponame_str Biblioteca Digital de Teses e Dissertações do INPE
collection Biblioteca Digital de Teses e Dissertações do INPE
instname_str Instituto Nacional de Pesquisas Espaciais (INPE)
instacron_str INPE
institution INPE
repository.name.fl_str_mv Biblioteca Digital de Teses e Dissertações do INPE - Instituto Nacional de Pesquisas Espaciais (INPE)
repository.mail.fl_str_mv
publisher_program_txtF_mv Programa de Pós-Graduação do INPE em Computação Aplicada
contributor_advisor1_txtF_mv Luciano Vieira Dutra
_version_ 1706809353241100288

Registros relacionados