Reconstrução 3D não rígida de plantas no cultivo agrícola a partir de imagens de campo
Autor(a) principal: | |
---|---|
Data de Publicação: | 2022 |
Tipo de documento: | Tese |
Idioma: | por eng |
Título da fonte: | Biblioteca Digital de Teses e Dissertações do Mackenzie |
Texto Completo: | https://dspace.mackenzie.br/handle/10899/28844 |
Resumo: | Devido ao aumento da demanda por produtos agrícolas e da qualidade dos produtos cultivados, cada vez mais tecnologias fazem parte dos processos no campo. A introdução da robótica na agricultura agilizou atividades como semeadura e colheita, tornando a safra mais produtiva e rentável. Os processos de acompanhamento automático do crescimento da plantação começam a ser explorados com o objetivo de reduzir a carga de trabalho humano e utilizar recursos, como água e pesticidas, de maneira mais eficiente. Nesse contexto, a reconstrução 3D de plantas tem papel fundamental, uma vez que possibilita a criação de modelos precisos para fins de fenotipagem. No entanto, por estar em sua fase inicial, trabalhos que tratam desse tema são limitados à reconstrução de objetos rígidos, não considerando fatores do campo que causam a movimentação das plantas, como vento e chuva. Essa limitação motivou a proposição e o desenvolvimento de um sistema capaz de reconstruir plantas em cenas não rígidas. Assim, este trabalho apresenta os materiais, métodos e técnicas para o desenvolvimento desse sistema, o qual, a partir de vídeos RGB-D e dados de sensores coletados em campo por um robô, tem por objetivo gerar modelos precisos de plantas de forma não rígida. Além de uma técnica inédita para a remoção do plano de fundo dos dados de profundidade, são apresentadas técnicas para o tratamento das nuvens de pontos, geração de superfícies e deformação do modelo, selecionadas a partir da análise de diversos trabalhos de reconstrução 3D. Como saída, são criados modelos 3D com dados acumulados ao longo do tempo, coloridos com referência aos dados dos sensores. Testes apontaram resultados promissores. O sistema se mostrou capaz de reconstruir modelos 3D das plantas em contextos diferentes; desde plantas no início do seu ciclo de vida até plantas adultas. Os dados dos sensores se mostraram relevantes, permitindo a identificação das condições ambientais da plantação. Por fim, espera-se que o sistema possa ser aplicado para geração de insumos para processos de fenotipagem, possibilitando análises estruturais das plantas e do meio ao qual estão inseridas. |
id |
UPM_964e106308b83a0d1f82f0fc9161cb1f |
---|---|
oai_identifier_str |
oai:dspace.mackenzie.br:10899/28844 |
network_acronym_str |
UPM |
network_name_str |
Biblioteca Digital de Teses e Dissertações do Mackenzie |
repository_id_str |
10277 |
spelling |
Sampaio, Gustavo ScalabriniSilva, Leandro Augusto da2022-03-10T12:44:22Z2022-03-10T12:44:22Z2022-02-10https://dspace.mackenzie.br/handle/10899/28844Devido ao aumento da demanda por produtos agrícolas e da qualidade dos produtos cultivados, cada vez mais tecnologias fazem parte dos processos no campo. A introdução da robótica na agricultura agilizou atividades como semeadura e colheita, tornando a safra mais produtiva e rentável. Os processos de acompanhamento automático do crescimento da plantação começam a ser explorados com o objetivo de reduzir a carga de trabalho humano e utilizar recursos, como água e pesticidas, de maneira mais eficiente. Nesse contexto, a reconstrução 3D de plantas tem papel fundamental, uma vez que possibilita a criação de modelos precisos para fins de fenotipagem. No entanto, por estar em sua fase inicial, trabalhos que tratam desse tema são limitados à reconstrução de objetos rígidos, não considerando fatores do campo que causam a movimentação das plantas, como vento e chuva. Essa limitação motivou a proposição e o desenvolvimento de um sistema capaz de reconstruir plantas em cenas não rígidas. Assim, este trabalho apresenta os materiais, métodos e técnicas para o desenvolvimento desse sistema, o qual, a partir de vídeos RGB-D e dados de sensores coletados em campo por um robô, tem por objetivo gerar modelos precisos de plantas de forma não rígida. Além de uma técnica inédita para a remoção do plano de fundo dos dados de profundidade, são apresentadas técnicas para o tratamento das nuvens de pontos, geração de superfícies e deformação do modelo, selecionadas a partir da análise de diversos trabalhos de reconstrução 3D. Como saída, são criados modelos 3D com dados acumulados ao longo do tempo, coloridos com referência aos dados dos sensores. Testes apontaram resultados promissores. O sistema se mostrou capaz de reconstruir modelos 3D das plantas em contextos diferentes; desde plantas no início do seu ciclo de vida até plantas adultas. Os dados dos sensores se mostraram relevantes, permitindo a identificação das condições ambientais da plantação. Por fim, espera-se que o sistema possa ser aplicado para geração de insumos para processos de fenotipagem, possibilitando análises estruturais das plantas e do meio ao qual estão inseridas.CAPES - Coordenação de Aperfeiçoamento de Pessoal de NívelIPM - Instituto Presbiteriano MackenzieMackPesquisa - Fundo Mackenzie de PesquisaporengAttribution-NonCommercial-NoDerivs 3.0 Brazilhttp://creativecommons.org/licenses/by-nc-nd/3.0/br/info:eu-repo/semantics/openAccessreconstrução 3Dvisão computacionalrobóticaagriculturaReconstrução 3D não rígida de plantas no cultivo agrícola a partir de imagens de campoinfo:eu-repo/semantics/publishedVersioninfo:eu-repo/semantics/doctoralThesisreponame:Biblioteca Digital de Teses e Dissertações do Mackenzieinstname:Universidade Presbiteriana Mackenzie (MACKENZIE)instacron:MACKENZIEhttp://lattes.cnpq.br/1396385111251741https://orcid.org/0000-0002-8671-3102http://lattes.cnpq.br/6516369977507577https://orcid.org/0000-0003-1150-5584Menezes, Mario Olimpio dehttp://lattes.cnpq.br/4882949829423994https://orcid.org/0000-0003-0263-3541Thomaz, Carlos Eduardohttp://lattes.cnpq.br/1787052168477889https://orcid.org/0000-0001-5566-1963Pamboukian, Sergio Vicente DenserKitani, Edson Caoruhttp://lattes.cnpq.br/4714240398706670http://lattes.cnpq.br/6731656353508097https://orcid.org/0000-0003-4526-5056Due to the increased demand for agricultural products and the quality of cultivated products,more and more Technologies are part of the processes in the field.Theintroduction of robotics in agriculture has speeded up activities such as seeding and harvesting, making the crop more productive and profitable. The automatic monitoring of plantation growth begin to be explored with the aim of reducing the human workload and using resources, such as water and pesticides, more efficiently. In this context, the 3D plants reconstruction plays a fundamental role, since it allows the creation of accurate models for phenotyping purposes. However, because it is in its initial phase, works that deal with this theme are limited to the reconstruction of rigid objects, not considering factors in the field that cause the plant movements, such as wind and rain. This limitation motivated the proposition and the development of a system capable of reconstructing plants in non-rigid scenes. Thus, this work presents the materials, methods and techniques for the development of this system, which, from RGB-D videos and sensor data collected in the field by a robot, aims to generate accurate models of plants in a non-rigid way. In addition to a novel technique for background removal of the depth data, techniques for point cloud treatment, surface reconstruction and model deformation are presented, selected from the analysis of several 3D reconstruction works. As output, 3D models are created with data accumulated over time, colored with reference to the sensors data. Tests showed promising results. The system was able to reconstruct 3D plants models in different contexts; from plants at the beginning of their life cycle to adult plants. The sensor data proved to be relevant, allowing the environmental conditions identification of the plantation. Finally, it is expected that the system can be applied for generate inputs for phenotyping processes, enabling structural analysis of the plants and the environment in which they are inserted.3D reconstructioncomputer visionroboticsagricultureEscola de Engenharia Mackenzie (EE)Engenharia Elétrica e ComputaçãoCNPQ::ENGENHARIAS::ENGENHARIA ELETRICACC-LICENSElicense_rdflicense_rdfapplication/rdf+xml; charset=utf-8811https://dspace.mackenzie.br/bitstream/10899/28844/2/license_rdfe39d27027a6cc9cb039ad269a5db8e34MD52ORIGINALGUSTAVO SCALABRINI SAMPAIO - protegido.pdfGUSTAVO SCALABRINI SAMPAIO - protegido.pdfGustavo Scalabrini Sampaioapplication/pdf28603871https://dspace.mackenzie.br/bitstream/10899/28844/1/GUSTAVO%20SCALABRINI%20SAMPAIO%20-%20protegido.pdf2a2cef487a0f491b553e9d0acbf2c8b9MD51LICENSElicense.txtlicense.txttext/plain; charset=utf-81997https://dspace.mackenzie.br/bitstream/10899/28844/3/license.txtfb735e1a8fa1feda568f1b61905f8d57MD5310899/288442022-03-10 09:44:22.447TElDRU7Dh0EgREUgRElTVFJJQlVJw4fDg08gTsODTy1FWENMVVNJVkEKCkNvbSBhIGFwcmVzZW50YcOnw6NvIGRlc3RhIGxpY2Vuw6dhLCB2b2PDqiAobyBhdXRvciAoZXMpIG91IG8gdGl0dWxhciBkb3MgZGlyZWl0b3MgZGUgYXV0b3IpIGNvbmNlZGUgw6AgVW5pdmVyc2lkYWRlIFByZXNiaXRlcmlhbmEgTWFja2VuemllIG8gZGlyZWl0byBuw6NvLWV4Y2x1c2l2byBkZSByZXByb2R1emlyLCAgdHJhZHV6aXIgKGNvbmZvcm1lIGRlZmluaWRvIGFiYWl4byksIGUvb3UgZGlzdHJpYnVpciBzZXUgdHJhYmFsaG8gKGluY2x1aW5kbyBvIHJlc3VtbykgcG9yIHRvZG8gbyBtdW5kbyBubyBmb3JtYXRvIGltcHJlc3NvIGUgZWxldHLDtG5pY28gZSBlbSBxdWFscXVlciBtZWlvLCBpbmNsdWluZG8gb3MgZm9ybWF0b3Mgw6F1ZGlvIG91IHbDrWRlby4KClZvY8OqIGNvbmNvcmRhIHF1ZSBhIFVuaXZlcnNpZGFkZSBQcmVzYml0ZXJpYW5hIE1hY2tlbnppZSBwb2RlLCBzZW0gYWx0ZXJhciBvIGNvbnRlw7pkbywgdHJhbnNwb3IgbyBzZXUgdHJhYmFsaG8gcGFyYSBxdWFscXVlciBtZWlvIG91IGZvcm1hdG8gcGFyYSBmaW5zIGRlIHByZXNlcnZhw6fDo28uCgpWb2PDqiB0YW1iw6ltIGNvbmNvcmRhIHF1ZSBhIFVuaXZlcnNpZGFkZSBQcmVzYml0ZXJpYW5hIE1hY2tlbnppZSBwb2RlIG1hbnRlciBtYWlzIGRlIHVtYSBjw7NwaWEgZG8gc2V1IHRyYWJhbGhvIHBhcmEgZmlucyBkZSBzZWd1cmFuw6dhLCBiYWNrLXVwIGUgcHJlc2VydmHDp8Ojby4KClZvY8OqIGRlY2xhcmEgcXVlIHNldSB0cmFiYWxobyDDqSBvcmlnaW5hbCBlIHF1ZSB2b2PDqiB0ZW0gbyBwb2RlciBkZSBjb25jZWRlciBvcyBkaXJlaXRvcyBjb250aWRvcyBuZXN0YSBsaWNlbsOnYS4gVm9jw6ogdGFtYsOpbSBkZWNsYXJhIHF1ZSBvIGRlcMOzc2l0byBkbyBzZXUgdHJhYmFsaG8gbsOjbywgcXVlIHNlamEgZGUgc2V1IGNvbmhlY2ltZW50bywgaW5mcmluZ2UgZGlyZWl0b3MgYXV0b3JhaXMgZGUgbmluZ3XDqW0uCgpDYXNvIGEgc2V1IHRyYWJhbGhvIGNvbnRlbmhhIG1hdGVyaWFsIHF1ZSB2b2PDqiBuw6NvIHBvc3N1aSBhIHRpdHVsYXJpZGFkZSBkb3MgZGlyZWl0b3MgYXV0b3JhaXMsIHZvY8OqIGRlY2xhcmFyIHF1ZSBvYnRldmUgYSBwZXJtaXNzw6NvIGlycmVzdHJpdGEgZG8gZGV0ZW50b3IgZG9zIGRpcmVpdG9zIGF1dG9yYWlzIHBhcmEgY29uY2VkZXIgw6AgVW5pdmVyc2lkYWRlIFByZXNiaXRlcmlhbmEgTWFja2VuemllIG9zIGRpcmVpdG9zIGFwcmVzZW50YWRvcyBuZXN0YSBsaWNlbsOnYSwgZSBxdWUgZXNzZSBtYXRlcmlhbCBkZSBwcm9wcmllZGFkZSBkZSB0ZXJjZWlyb3MgZXN0w6EgY2xhcmFtZW50ZSBpZGVudGlmaWNhZG8gZSByZWNvbmhlY2lkbyBubyB0ZXh0byBvdSBubyBjb250ZcO6ZG8gZG8gc2V1IHRyYWJhbGhvIG9yYSBkZXBvc2l0YWRvLgoKQ0FTTyBPIFRSQUJBTEhPIE9SQSBERVBPU0lUQURPIFRFTkhBIFNJRE8gUkVTVUxUQURPIERFIFVNIFBBVFJPQ8ONTklPIE9VIEFQT0lPIERFIFVNQSBBR8OKTkNJQSBERSBGT01FTlRPIE9VIE9VVFJPIE9SR0FOSVNNTyBRVUUgTsODTyBTRUpBIEEgVU5JVkVSU0lEQURFIFBSRVNCSVRFUklBTkEgTUFDS0VOWklFLCBWT0PDiiBERUNMQVJBIFFVRSBSRVNQRUlUT1UgVE9ET1MgRSBRVUFJU1FVRVIgRElSRUlUT1MgREUgUkVWSVPDg08gQ09NTyBUQU1Cw4lNIEFTIERFTUFJUyBPQlJJR0HDh8OVRVMgRVhJR0lEQVMgUE9SIENPTlRSQVRPIE9VIEFDT1JETy4KCkEgVW5pdmVyc2lkYWRlIFByZXNiaXRlcmlhbmEgTWFja2VuemllIHNlIGNvbXByb21ldGUgYSBpZGVudGlmaWNhciBjbGFyYW1lbnRlIG8gc2V1IG5vbWUgKHMpIG91IG8ocykgbm9tZShzKSBkbyhzKSBkZXRlbnRvcihlcykgZG9zIGRpcmVpdG9zIGF1dG9yYWlzIGRvIHNldSB0cmFiYWxobywgZSBuw6NvIGZhcsOhIHF1YWxxdWVyIGFsdGVyYcOnw6NvLCBhbMOpbSBkYXF1ZWxhcyBjb25jZWRpZGFzIHBvciBlc3RhIGxpY2Vuw6dhLgo=Biblioteca Digital de Teses e Dissertaçõeshttp://tede.mackenzie.br/jspui/PRI |
dc.title.pt_BR.fl_str_mv |
Reconstrução 3D não rígida de plantas no cultivo agrícola a partir de imagens de campo |
title |
Reconstrução 3D não rígida de plantas no cultivo agrícola a partir de imagens de campo |
spellingShingle |
Reconstrução 3D não rígida de plantas no cultivo agrícola a partir de imagens de campo Sampaio, Gustavo Scalabrini reconstrução 3D visão computacional robótica agricultura |
title_short |
Reconstrução 3D não rígida de plantas no cultivo agrícola a partir de imagens de campo |
title_full |
Reconstrução 3D não rígida de plantas no cultivo agrícola a partir de imagens de campo |
title_fullStr |
Reconstrução 3D não rígida de plantas no cultivo agrícola a partir de imagens de campo |
title_full_unstemmed |
Reconstrução 3D não rígida de plantas no cultivo agrícola a partir de imagens de campo |
title_sort |
Reconstrução 3D não rígida de plantas no cultivo agrícola a partir de imagens de campo |
author |
Sampaio, Gustavo Scalabrini |
author_facet |
Sampaio, Gustavo Scalabrini |
author_role |
author |
dc.contributor.author.fl_str_mv |
Sampaio, Gustavo Scalabrini |
dc.contributor.advisor1.fl_str_mv |
Silva, Leandro Augusto da |
contributor_str_mv |
Silva, Leandro Augusto da |
dc.subject.por.fl_str_mv |
reconstrução 3D visão computacional robótica agricultura |
topic |
reconstrução 3D visão computacional robótica agricultura |
description |
Devido ao aumento da demanda por produtos agrícolas e da qualidade dos produtos cultivados, cada vez mais tecnologias fazem parte dos processos no campo. A introdução da robótica na agricultura agilizou atividades como semeadura e colheita, tornando a safra mais produtiva e rentável. Os processos de acompanhamento automático do crescimento da plantação começam a ser explorados com o objetivo de reduzir a carga de trabalho humano e utilizar recursos, como água e pesticidas, de maneira mais eficiente. Nesse contexto, a reconstrução 3D de plantas tem papel fundamental, uma vez que possibilita a criação de modelos precisos para fins de fenotipagem. No entanto, por estar em sua fase inicial, trabalhos que tratam desse tema são limitados à reconstrução de objetos rígidos, não considerando fatores do campo que causam a movimentação das plantas, como vento e chuva. Essa limitação motivou a proposição e o desenvolvimento de um sistema capaz de reconstruir plantas em cenas não rígidas. Assim, este trabalho apresenta os materiais, métodos e técnicas para o desenvolvimento desse sistema, o qual, a partir de vídeos RGB-D e dados de sensores coletados em campo por um robô, tem por objetivo gerar modelos precisos de plantas de forma não rígida. Além de uma técnica inédita para a remoção do plano de fundo dos dados de profundidade, são apresentadas técnicas para o tratamento das nuvens de pontos, geração de superfícies e deformação do modelo, selecionadas a partir da análise de diversos trabalhos de reconstrução 3D. Como saída, são criados modelos 3D com dados acumulados ao longo do tempo, coloridos com referência aos dados dos sensores. Testes apontaram resultados promissores. O sistema se mostrou capaz de reconstruir modelos 3D das plantas em contextos diferentes; desde plantas no início do seu ciclo de vida até plantas adultas. Os dados dos sensores se mostraram relevantes, permitindo a identificação das condições ambientais da plantação. Por fim, espera-se que o sistema possa ser aplicado para geração de insumos para processos de fenotipagem, possibilitando análises estruturais das plantas e do meio ao qual estão inseridas. |
publishDate |
2022 |
dc.date.accessioned.fl_str_mv |
2022-03-10T12:44:22Z |
dc.date.available.fl_str_mv |
2022-03-10T12:44:22Z |
dc.date.issued.fl_str_mv |
2022-02-10 |
dc.type.status.fl_str_mv |
info:eu-repo/semantics/publishedVersion |
dc.type.driver.fl_str_mv |
info:eu-repo/semantics/doctoralThesis |
format |
doctoralThesis |
status_str |
publishedVersion |
dc.identifier.uri.fl_str_mv |
https://dspace.mackenzie.br/handle/10899/28844 |
url |
https://dspace.mackenzie.br/handle/10899/28844 |
dc.language.iso.fl_str_mv |
por eng |
language |
por eng |
dc.rights.driver.fl_str_mv |
Attribution-NonCommercial-NoDerivs 3.0 Brazil http://creativecommons.org/licenses/by-nc-nd/3.0/br/ info:eu-repo/semantics/openAccess |
rights_invalid_str_mv |
Attribution-NonCommercial-NoDerivs 3.0 Brazil http://creativecommons.org/licenses/by-nc-nd/3.0/br/ |
eu_rights_str_mv |
openAccess |
dc.source.none.fl_str_mv |
reponame:Biblioteca Digital de Teses e Dissertações do Mackenzie instname:Universidade Presbiteriana Mackenzie (MACKENZIE) instacron:MACKENZIE |
instname_str |
Universidade Presbiteriana Mackenzie (MACKENZIE) |
instacron_str |
MACKENZIE |
institution |
MACKENZIE |
reponame_str |
Biblioteca Digital de Teses e Dissertações do Mackenzie |
collection |
Biblioteca Digital de Teses e Dissertações do Mackenzie |
bitstream.url.fl_str_mv |
https://dspace.mackenzie.br/bitstream/10899/28844/2/license_rdf https://dspace.mackenzie.br/bitstream/10899/28844/1/GUSTAVO%20SCALABRINI%20SAMPAIO%20-%20protegido.pdf https://dspace.mackenzie.br/bitstream/10899/28844/3/license.txt |
bitstream.checksum.fl_str_mv |
e39d27027a6cc9cb039ad269a5db8e34 2a2cef487a0f491b553e9d0acbf2c8b9 fb735e1a8fa1feda568f1b61905f8d57 |
bitstream.checksumAlgorithm.fl_str_mv |
MD5 MD5 MD5 |
repository.name.fl_str_mv |
|
repository.mail.fl_str_mv |
|
_version_ |
1757177212431237120 |