Reconstrução 3D não rígida de plantas no cultivo agrícola a partir de imagens de campo

Detalhes bibliográficos
Autor(a) principal: Sampaio, Gustavo Scalabrini
Data de Publicação: 2022
Tipo de documento: Tese
Idioma: por
eng
Título da fonte: Biblioteca Digital de Teses e Dissertações do Mackenzie
Texto Completo: https://dspace.mackenzie.br/handle/10899/28844
Resumo: Devido ao aumento da demanda por produtos agrícolas e da qualidade dos produtos cultivados, cada vez mais tecnologias fazem parte dos processos no campo. A introdução da robótica na agricultura agilizou atividades como semeadura e colheita, tornando a safra mais produtiva e rentável. Os processos de acompanhamento automático do crescimento da plantação começam a ser explorados com o objetivo de reduzir a carga de trabalho humano e utilizar recursos, como água e pesticidas, de maneira mais eficiente. Nesse contexto, a reconstrução 3D de plantas tem papel fundamental, uma vez que possibilita a criação de modelos precisos para fins de fenotipagem. No entanto, por estar em sua fase inicial, trabalhos que tratam desse tema são limitados à reconstrução de objetos rígidos, não considerando fatores do campo que causam a movimentação das plantas, como vento e chuva. Essa limitação motivou a proposição e o desenvolvimento de um sistema capaz de reconstruir plantas em cenas não rígidas. Assim, este trabalho apresenta os materiais, métodos e técnicas para o desenvolvimento desse sistema, o qual, a partir de vídeos RGB-D e dados de sensores coletados em campo por um robô, tem por objetivo gerar modelos precisos de plantas de forma não rígida. Além de uma técnica inédita para a remoção do plano de fundo dos dados de profundidade, são apresentadas técnicas para o tratamento das nuvens de pontos, geração de superfícies e deformação do modelo, selecionadas a partir da análise de diversos trabalhos de reconstrução 3D. Como saída, são criados modelos 3D com dados acumulados ao longo do tempo, coloridos com referência aos dados dos sensores. Testes apontaram resultados promissores. O sistema se mostrou capaz de reconstruir modelos 3D das plantas em contextos diferentes; desde plantas no início do seu ciclo de vida até plantas adultas. Os dados dos sensores se mostraram relevantes, permitindo a identificação das condições ambientais da plantação. Por fim, espera-se que o sistema possa ser aplicado para geração de insumos para processos de fenotipagem, possibilitando análises estruturais das plantas e do meio ao qual estão inseridas.
id UPM_964e106308b83a0d1f82f0fc9161cb1f
oai_identifier_str oai:dspace.mackenzie.br:10899/28844
network_acronym_str UPM
network_name_str Biblioteca Digital de Teses e Dissertações do Mackenzie
repository_id_str 10277
spelling Sampaio, Gustavo ScalabriniSilva, Leandro Augusto da2022-03-10T12:44:22Z2022-03-10T12:44:22Z2022-02-10https://dspace.mackenzie.br/handle/10899/28844Devido ao aumento da demanda por produtos agrícolas e da qualidade dos produtos cultivados, cada vez mais tecnologias fazem parte dos processos no campo. A introdução da robótica na agricultura agilizou atividades como semeadura e colheita, tornando a safra mais produtiva e rentável. Os processos de acompanhamento automático do crescimento da plantação começam a ser explorados com o objetivo de reduzir a carga de trabalho humano e utilizar recursos, como água e pesticidas, de maneira mais eficiente. Nesse contexto, a reconstrução 3D de plantas tem papel fundamental, uma vez que possibilita a criação de modelos precisos para fins de fenotipagem. No entanto, por estar em sua fase inicial, trabalhos que tratam desse tema são limitados à reconstrução de objetos rígidos, não considerando fatores do campo que causam a movimentação das plantas, como vento e chuva. Essa limitação motivou a proposição e o desenvolvimento de um sistema capaz de reconstruir plantas em cenas não rígidas. Assim, este trabalho apresenta os materiais, métodos e técnicas para o desenvolvimento desse sistema, o qual, a partir de vídeos RGB-D e dados de sensores coletados em campo por um robô, tem por objetivo gerar modelos precisos de plantas de forma não rígida. Além de uma técnica inédita para a remoção do plano de fundo dos dados de profundidade, são apresentadas técnicas para o tratamento das nuvens de pontos, geração de superfícies e deformação do modelo, selecionadas a partir da análise de diversos trabalhos de reconstrução 3D. Como saída, são criados modelos 3D com dados acumulados ao longo do tempo, coloridos com referência aos dados dos sensores. Testes apontaram resultados promissores. O sistema se mostrou capaz de reconstruir modelos 3D das plantas em contextos diferentes; desde plantas no início do seu ciclo de vida até plantas adultas. Os dados dos sensores se mostraram relevantes, permitindo a identificação das condições ambientais da plantação. Por fim, espera-se que o sistema possa ser aplicado para geração de insumos para processos de fenotipagem, possibilitando análises estruturais das plantas e do meio ao qual estão inseridas.CAPES - Coordenação de Aperfeiçoamento de Pessoal de NívelIPM - Instituto Presbiteriano MackenzieMackPesquisa - Fundo Mackenzie de PesquisaporengAttribution-NonCommercial-NoDerivs 3.0 Brazilhttp://creativecommons.org/licenses/by-nc-nd/3.0/br/info:eu-repo/semantics/openAccessreconstrução 3Dvisão computacionalrobóticaagriculturaReconstrução 3D não rígida de plantas no cultivo agrícola a partir de imagens de campoinfo:eu-repo/semantics/publishedVersioninfo:eu-repo/semantics/doctoralThesisreponame:Biblioteca Digital de Teses e Dissertações do Mackenzieinstname:Universidade Presbiteriana Mackenzie (MACKENZIE)instacron:MACKENZIEhttp://lattes.cnpq.br/1396385111251741https://orcid.org/0000-0002-8671-3102http://lattes.cnpq.br/6516369977507577https://orcid.org/0000-0003-1150-5584Menezes, Mario Olimpio dehttp://lattes.cnpq.br/4882949829423994https://orcid.org/0000-0003-0263-3541Thomaz, Carlos Eduardohttp://lattes.cnpq.br/1787052168477889https://orcid.org/0000-0001-5566-1963Pamboukian, Sergio Vicente DenserKitani, Edson Caoruhttp://lattes.cnpq.br/4714240398706670http://lattes.cnpq.br/6731656353508097https://orcid.org/0000-0003-4526-5056Due to the increased demand for agricultural products and the quality of cultivated products,more and more Technologies are part of the processes in the field.Theintroduction of robotics in agriculture has speeded up activities such as seeding and harvesting, making the crop more productive and profitable. The automatic monitoring of plantation growth begin to be explored with the aim of reducing the human workload and using resources, such as water and pesticides, more efficiently. In this context, the 3D plants reconstruction plays a fundamental role, since it allows the creation of accurate models for phenotyping purposes. However, because it is in its initial phase, works that deal with this theme are limited to the reconstruction of rigid objects, not considering factors in the field that cause the plant movements, such as wind and rain. This limitation motivated the proposition and the development of a system capable of reconstructing plants in non-rigid scenes. Thus, this work presents the materials, methods and techniques for the development of this system, which, from RGB-D videos and sensor data collected in the field by a robot, aims to generate accurate models of plants in a non-rigid way. In addition to a novel technique for background removal of the depth data, techniques for point cloud treatment, surface reconstruction and model deformation are presented, selected from the analysis of several 3D reconstruction works. As output, 3D models are created with data accumulated over time, colored with reference to the sensors data. Tests showed promising results. The system was able to reconstruct 3D plants models in different contexts; from plants at the beginning of their life cycle to adult plants. The sensor data proved to be relevant, allowing the environmental conditions identification of the plantation. Finally, it is expected that the system can be applied for generate inputs for phenotyping processes, enabling structural analysis of the plants and the environment in which they are inserted.3D reconstructioncomputer visionroboticsagricultureEscola de Engenharia Mackenzie (EE)Engenharia Elétrica e ComputaçãoCNPQ::ENGENHARIAS::ENGENHARIA ELETRICACC-LICENSElicense_rdflicense_rdfapplication/rdf+xml; charset=utf-8811https://dspace.mackenzie.br/bitstream/10899/28844/2/license_rdfe39d27027a6cc9cb039ad269a5db8e34MD52ORIGINALGUSTAVO SCALABRINI SAMPAIO - protegido.pdfGUSTAVO SCALABRINI SAMPAIO - protegido.pdfGustavo Scalabrini Sampaioapplication/pdf28603871https://dspace.mackenzie.br/bitstream/10899/28844/1/GUSTAVO%20SCALABRINI%20SAMPAIO%20-%20protegido.pdf2a2cef487a0f491b553e9d0acbf2c8b9MD51LICENSElicense.txtlicense.txttext/plain; charset=utf-81997https://dspace.mackenzie.br/bitstream/10899/28844/3/license.txtfb735e1a8fa1feda568f1b61905f8d57MD5310899/288442022-03-10 09:44:22.447TElDRU7Dh0EgREUgRElTVFJJQlVJw4fDg08gTsODTy1FWENMVVNJVkEKCkNvbSBhIGFwcmVzZW50YcOnw6NvIGRlc3RhIGxpY2Vuw6dhLCB2b2PDqiAobyBhdXRvciAoZXMpIG91IG8gdGl0dWxhciBkb3MgZGlyZWl0b3MgZGUgYXV0b3IpIGNvbmNlZGUgw6AgVW5pdmVyc2lkYWRlIFByZXNiaXRlcmlhbmEgTWFja2VuemllIG8gZGlyZWl0byBuw6NvLWV4Y2x1c2l2byBkZSByZXByb2R1emlyLCAgdHJhZHV6aXIgKGNvbmZvcm1lIGRlZmluaWRvIGFiYWl4byksIGUvb3UgZGlzdHJpYnVpciBzZXUgdHJhYmFsaG8gKGluY2x1aW5kbyBvIHJlc3VtbykgcG9yIHRvZG8gbyBtdW5kbyBubyBmb3JtYXRvIGltcHJlc3NvIGUgZWxldHLDtG5pY28gZSBlbSBxdWFscXVlciBtZWlvLCBpbmNsdWluZG8gb3MgZm9ybWF0b3Mgw6F1ZGlvIG91IHbDrWRlby4KClZvY8OqIGNvbmNvcmRhIHF1ZSBhIFVuaXZlcnNpZGFkZSBQcmVzYml0ZXJpYW5hIE1hY2tlbnppZSBwb2RlLCBzZW0gYWx0ZXJhciBvIGNvbnRlw7pkbywgdHJhbnNwb3IgbyBzZXUgdHJhYmFsaG8gcGFyYSBxdWFscXVlciBtZWlvIG91IGZvcm1hdG8gcGFyYSBmaW5zIGRlIHByZXNlcnZhw6fDo28uCgpWb2PDqiB0YW1iw6ltIGNvbmNvcmRhIHF1ZSBhIFVuaXZlcnNpZGFkZSBQcmVzYml0ZXJpYW5hIE1hY2tlbnppZSBwb2RlIG1hbnRlciBtYWlzIGRlIHVtYSBjw7NwaWEgZG8gc2V1IHRyYWJhbGhvIHBhcmEgZmlucyBkZSBzZWd1cmFuw6dhLCBiYWNrLXVwIGUgcHJlc2VydmHDp8Ojby4KClZvY8OqIGRlY2xhcmEgcXVlIHNldSB0cmFiYWxobyDDqSBvcmlnaW5hbCBlIHF1ZSB2b2PDqiB0ZW0gbyBwb2RlciBkZSBjb25jZWRlciBvcyBkaXJlaXRvcyBjb250aWRvcyBuZXN0YSBsaWNlbsOnYS4gVm9jw6ogdGFtYsOpbSBkZWNsYXJhIHF1ZSBvIGRlcMOzc2l0byBkbyBzZXUgdHJhYmFsaG8gbsOjbywgcXVlIHNlamEgZGUgc2V1IGNvbmhlY2ltZW50bywgaW5mcmluZ2UgZGlyZWl0b3MgYXV0b3JhaXMgZGUgbmluZ3XDqW0uCgpDYXNvIGEgc2V1IHRyYWJhbGhvIGNvbnRlbmhhIG1hdGVyaWFsIHF1ZSB2b2PDqiBuw6NvIHBvc3N1aSBhIHRpdHVsYXJpZGFkZSBkb3MgZGlyZWl0b3MgYXV0b3JhaXMsIHZvY8OqIGRlY2xhcmFyIHF1ZSBvYnRldmUgYSBwZXJtaXNzw6NvIGlycmVzdHJpdGEgZG8gZGV0ZW50b3IgZG9zIGRpcmVpdG9zIGF1dG9yYWlzIHBhcmEgY29uY2VkZXIgw6AgVW5pdmVyc2lkYWRlIFByZXNiaXRlcmlhbmEgTWFja2VuemllIG9zIGRpcmVpdG9zIGFwcmVzZW50YWRvcyBuZXN0YSBsaWNlbsOnYSwgZSBxdWUgZXNzZSBtYXRlcmlhbCBkZSBwcm9wcmllZGFkZSBkZSB0ZXJjZWlyb3MgZXN0w6EgY2xhcmFtZW50ZSBpZGVudGlmaWNhZG8gZSByZWNvbmhlY2lkbyBubyB0ZXh0byBvdSBubyBjb250ZcO6ZG8gZG8gc2V1IHRyYWJhbGhvIG9yYSBkZXBvc2l0YWRvLgoKQ0FTTyBPIFRSQUJBTEhPIE9SQSBERVBPU0lUQURPIFRFTkhBIFNJRE8gUkVTVUxUQURPIERFIFVNIFBBVFJPQ8ONTklPIE9VIEFQT0lPIERFIFVNQSBBR8OKTkNJQSBERSBGT01FTlRPIE9VIE9VVFJPIE9SR0FOSVNNTyBRVUUgTsODTyBTRUpBIEEgVU5JVkVSU0lEQURFIFBSRVNCSVRFUklBTkEgTUFDS0VOWklFLCBWT0PDiiBERUNMQVJBIFFVRSBSRVNQRUlUT1UgVE9ET1MgRSBRVUFJU1FVRVIgRElSRUlUT1MgREUgUkVWSVPDg08gQ09NTyBUQU1Cw4lNIEFTIERFTUFJUyBPQlJJR0HDh8OVRVMgRVhJR0lEQVMgUE9SIENPTlRSQVRPIE9VIEFDT1JETy4KCkEgVW5pdmVyc2lkYWRlIFByZXNiaXRlcmlhbmEgTWFja2VuemllIHNlIGNvbXByb21ldGUgYSBpZGVudGlmaWNhciBjbGFyYW1lbnRlIG8gc2V1IG5vbWUgKHMpIG91IG8ocykgbm9tZShzKSBkbyhzKSBkZXRlbnRvcihlcykgZG9zIGRpcmVpdG9zIGF1dG9yYWlzIGRvIHNldSB0cmFiYWxobywgZSBuw6NvIGZhcsOhIHF1YWxxdWVyIGFsdGVyYcOnw6NvLCBhbMOpbSBkYXF1ZWxhcyBjb25jZWRpZGFzIHBvciBlc3RhIGxpY2Vuw6dhLgo=Biblioteca Digital de Teses e Dissertaçõeshttp://tede.mackenzie.br/jspui/PRI
dc.title.pt_BR.fl_str_mv Reconstrução 3D não rígida de plantas no cultivo agrícola a partir de imagens de campo
title Reconstrução 3D não rígida de plantas no cultivo agrícola a partir de imagens de campo
spellingShingle Reconstrução 3D não rígida de plantas no cultivo agrícola a partir de imagens de campo
Sampaio, Gustavo Scalabrini
reconstrução 3D
visão computacional
robótica
agricultura
title_short Reconstrução 3D não rígida de plantas no cultivo agrícola a partir de imagens de campo
title_full Reconstrução 3D não rígida de plantas no cultivo agrícola a partir de imagens de campo
title_fullStr Reconstrução 3D não rígida de plantas no cultivo agrícola a partir de imagens de campo
title_full_unstemmed Reconstrução 3D não rígida de plantas no cultivo agrícola a partir de imagens de campo
title_sort Reconstrução 3D não rígida de plantas no cultivo agrícola a partir de imagens de campo
author Sampaio, Gustavo Scalabrini
author_facet Sampaio, Gustavo Scalabrini
author_role author
dc.contributor.author.fl_str_mv Sampaio, Gustavo Scalabrini
dc.contributor.advisor1.fl_str_mv Silva, Leandro Augusto da
contributor_str_mv Silva, Leandro Augusto da
dc.subject.por.fl_str_mv reconstrução 3D
visão computacional
robótica
agricultura
topic reconstrução 3D
visão computacional
robótica
agricultura
description Devido ao aumento da demanda por produtos agrícolas e da qualidade dos produtos cultivados, cada vez mais tecnologias fazem parte dos processos no campo. A introdução da robótica na agricultura agilizou atividades como semeadura e colheita, tornando a safra mais produtiva e rentável. Os processos de acompanhamento automático do crescimento da plantação começam a ser explorados com o objetivo de reduzir a carga de trabalho humano e utilizar recursos, como água e pesticidas, de maneira mais eficiente. Nesse contexto, a reconstrução 3D de plantas tem papel fundamental, uma vez que possibilita a criação de modelos precisos para fins de fenotipagem. No entanto, por estar em sua fase inicial, trabalhos que tratam desse tema são limitados à reconstrução de objetos rígidos, não considerando fatores do campo que causam a movimentação das plantas, como vento e chuva. Essa limitação motivou a proposição e o desenvolvimento de um sistema capaz de reconstruir plantas em cenas não rígidas. Assim, este trabalho apresenta os materiais, métodos e técnicas para o desenvolvimento desse sistema, o qual, a partir de vídeos RGB-D e dados de sensores coletados em campo por um robô, tem por objetivo gerar modelos precisos de plantas de forma não rígida. Além de uma técnica inédita para a remoção do plano de fundo dos dados de profundidade, são apresentadas técnicas para o tratamento das nuvens de pontos, geração de superfícies e deformação do modelo, selecionadas a partir da análise de diversos trabalhos de reconstrução 3D. Como saída, são criados modelos 3D com dados acumulados ao longo do tempo, coloridos com referência aos dados dos sensores. Testes apontaram resultados promissores. O sistema se mostrou capaz de reconstruir modelos 3D das plantas em contextos diferentes; desde plantas no início do seu ciclo de vida até plantas adultas. Os dados dos sensores se mostraram relevantes, permitindo a identificação das condições ambientais da plantação. Por fim, espera-se que o sistema possa ser aplicado para geração de insumos para processos de fenotipagem, possibilitando análises estruturais das plantas e do meio ao qual estão inseridas.
publishDate 2022
dc.date.accessioned.fl_str_mv 2022-03-10T12:44:22Z
dc.date.available.fl_str_mv 2022-03-10T12:44:22Z
dc.date.issued.fl_str_mv 2022-02-10
dc.type.status.fl_str_mv info:eu-repo/semantics/publishedVersion
dc.type.driver.fl_str_mv info:eu-repo/semantics/doctoralThesis
format doctoralThesis
status_str publishedVersion
dc.identifier.uri.fl_str_mv https://dspace.mackenzie.br/handle/10899/28844
url https://dspace.mackenzie.br/handle/10899/28844
dc.language.iso.fl_str_mv por
eng
language por
eng
dc.rights.driver.fl_str_mv Attribution-NonCommercial-NoDerivs 3.0 Brazil
http://creativecommons.org/licenses/by-nc-nd/3.0/br/
info:eu-repo/semantics/openAccess
rights_invalid_str_mv Attribution-NonCommercial-NoDerivs 3.0 Brazil
http://creativecommons.org/licenses/by-nc-nd/3.0/br/
eu_rights_str_mv openAccess
dc.source.none.fl_str_mv reponame:Biblioteca Digital de Teses e Dissertações do Mackenzie
instname:Universidade Presbiteriana Mackenzie (MACKENZIE)
instacron:MACKENZIE
instname_str Universidade Presbiteriana Mackenzie (MACKENZIE)
instacron_str MACKENZIE
institution MACKENZIE
reponame_str Biblioteca Digital de Teses e Dissertações do Mackenzie
collection Biblioteca Digital de Teses e Dissertações do Mackenzie
bitstream.url.fl_str_mv https://dspace.mackenzie.br/bitstream/10899/28844/2/license_rdf
https://dspace.mackenzie.br/bitstream/10899/28844/1/GUSTAVO%20SCALABRINI%20SAMPAIO%20-%20protegido.pdf
https://dspace.mackenzie.br/bitstream/10899/28844/3/license.txt
bitstream.checksum.fl_str_mv e39d27027a6cc9cb039ad269a5db8e34
2a2cef487a0f491b553e9d0acbf2c8b9
fb735e1a8fa1feda568f1b61905f8d57
bitstream.checksumAlgorithm.fl_str_mv MD5
MD5
MD5
repository.name.fl_str_mv
repository.mail.fl_str_mv
_version_ 1757177212431237120