Framework de mineração de dados agropecuários

Detalhes bibliográficos
Autor(a) principal: Santos, Euristenede Vanuel Francisco das Neves
Data de Publicação: 2021
Tipo de documento: Trabalho de conclusão de curso
Idioma: por
Título da fonte: Repositório Institucional da UTFPR (da Universidade Tecnológica Federal do Paraná (RIUT))
Texto Completo: http://repositorio.utfpr.edu.br/jspui/handle/1/26519
Resumo: Este trabalho apresenta o desenvolvimento de um framework de mineração de dados agropecuários. Utilizando o processo de extração de conhecimento em base de dados ,denominado Knowledge Discovery in Data bases KDD e seguindo as suas cinco etapas: seleção dos dados, pré-processamento, transformação, mineração, validação e visualização de resultados. A codificação do framework foi por meio da linguagem de programação Python, fazendo o uso de bibliotecas de aprendizagem de máquina dos cikit learn e pandas, de bibliotecas para plotagem de gráficos do matplotlibe o desenho das interfaces por meio do IDE Qt Designer. Foi utilizado os algoritmos K-médias e DBScan para realizar agrupamentos de dados, e os algoritmos de árvores de decisão e Naive bayes para classificação. Tabelas do último censo agropecuário realizado em 2017, disponível no Sistema IBGE de Recuperação Automática– SIDRA, foram utilizadas para realizar um estudo de caso apresentado na seção 4 deste trabalho, com objetivo de testar a viabilidade do framework. Por meio do estudo de caso ou só do framework apresentou ser viável para utilização por profissionais ou pesquisadores da área. O algoritmo de agrupamento K-médias apresentou resultados igual a 0.78, 0.74 e 0.64 para um K igual a 2,3 e 4 respectivamente, já o DBScan não apresentou resultados satisfatórios. O desempenho do classificador baseado em árvore de decisão conseguiu alcançar a marca de 100% sobre as métricas de precisão, recall e f1-score, enquanto, o classificador Naives bayes alcançou a marca de 80, 96 e 85% para precisão, recall e f1-score, respectivamente.
id UTFPR-12_fcebadb62fc3b5cdb5242b8e3c39fa10
oai_identifier_str oai:repositorio.utfpr.edu.br:1/26519
network_acronym_str UTFPR-12
network_name_str Repositório Institucional da UTFPR (da Universidade Tecnológica Federal do Paraná (RIUT))
repository_id_str
spelling 2021-11-26T18:25:29Z2021-11-26T18:25:29Z2021-08-23SANTOS, Euristenede Vanuel Francisco das Neves. Framework de mineração de dados agropecuários. 2021. Trabalho de Conclusão de Curso (Bacharelado em Ciências da Computação) - Universidade Tecnológica Federal do Paraná, Santa Helena, 2021.http://repositorio.utfpr.edu.br/jspui/handle/1/26519Este trabalho apresenta o desenvolvimento de um framework de mineração de dados agropecuários. Utilizando o processo de extração de conhecimento em base de dados ,denominado Knowledge Discovery in Data bases KDD e seguindo as suas cinco etapas: seleção dos dados, pré-processamento, transformação, mineração, validação e visualização de resultados. A codificação do framework foi por meio da linguagem de programação Python, fazendo o uso de bibliotecas de aprendizagem de máquina dos cikit learn e pandas, de bibliotecas para plotagem de gráficos do matplotlibe o desenho das interfaces por meio do IDE Qt Designer. Foi utilizado os algoritmos K-médias e DBScan para realizar agrupamentos de dados, e os algoritmos de árvores de decisão e Naive bayes para classificação. Tabelas do último censo agropecuário realizado em 2017, disponível no Sistema IBGE de Recuperação Automática– SIDRA, foram utilizadas para realizar um estudo de caso apresentado na seção 4 deste trabalho, com objetivo de testar a viabilidade do framework. Por meio do estudo de caso ou só do framework apresentou ser viável para utilização por profissionais ou pesquisadores da área. O algoritmo de agrupamento K-médias apresentou resultados igual a 0.78, 0.74 e 0.64 para um K igual a 2,3 e 4 respectivamente, já o DBScan não apresentou resultados satisfatórios. O desempenho do classificador baseado em árvore de decisão conseguiu alcançar a marca de 100% sobre as métricas de precisão, recall e f1-score, enquanto, o classificador Naives bayes alcançou a marca de 80, 96 e 85% para precisão, recall e f1-score, respectivamente.This work presents the development of a framework for data mining of agricultural data. Using the process of knowledge extraction in databases, called Knowledge Discovery in KDD Databases and following its five steps: data selection, pre processing, transformation, mining, validation, and visualization of results. The framework was developed using the Python programming language, using machine learning libraries from scikit-learn and pandas, graph plotting libraries from matplotlib and interface design through the Qt Designer IDE.The K-means and DBScan algorithms were used to perform data grouping, and the decision tree and Naive Bayes algorithms for classification. Tables from the last agricultural censos conducted in 2017, available in the IBGE System for Automatic Recovery-SIDRA, were used to perform a case study presented in section 4 of this work to test the feasibility of the framework. Through the case study, the use of the framework proved to be viable for use by professionals or researchers in the area. The K-means clustering algorithm is equal to 0.78, 0.74, and 0.64 for a K equal to 2, 3, and 4, respectively. The performance of the decision tree-based classifier achieved 100% on the metrics of precision, recall, and f1-score, while the Naive Bayes classifier achieved 80, 96, and 85% for precision, recall, and f1-score, respectively.Agência Nacional de Energia Elétrica (ANEEL)porUniversidade Tecnológica Federal do ParanáSanta HelenaCiência da ComputaçãoUTFPRBrasilCNPQ::CIENCIAS EXATAS E DA TERRAMineração de dados (Computação)Framework (Arquivo de computador)Agricultura - EstatísticasData miningFramework (Computer program)Agriculture - StatisticsFramework de mineração de dados agropecuáriosAgricultural data mining frameworkinfo:eu-repo/semantics/publishedVersioninfo:eu-repo/semantics/bachelorThesisSanta HelenaBrilhador, AndersonMatte, AlessandraBrilhador, AndersonMatte, AlessandraBeuren, Arlete TeresinhaYamamoto, Lilian YukariSantos, Euristenede Vanuel Francisco das Nevesinfo:eu-repo/semantics/openAccessreponame:Repositório Institucional da UTFPR (da Universidade Tecnológica Federal do Paraná (RIUT))instname:Universidade Tecnológica Federal do Paraná (UTFPR)instacron:UTFPRORIGINALSH_COCIC_2021_1_1.pdfSH_COCIC_2021_1_1.pdfapplication/pdf1441232http://repositorio.utfpr.edu.br:8080/jspui/bitstream/1/26519/1/SH_COCIC_2021_1_1.pdfd93dc260e0d575b6a24bd0a4d4766675MD51LICENSElicense.txtlicense.txttext/plain; charset=utf-81290http://repositorio.utfpr.edu.br:8080/jspui/bitstream/1/26519/2/license.txtb9d82215ab23456fa2d8b49c5df1b95bMD52TEXTSH_COCIC_2021_1_1.pdf.txtSH_COCIC_2021_1_1.pdf.txtExtracted texttext/plain137740http://repositorio.utfpr.edu.br:8080/jspui/bitstream/1/26519/3/SH_COCIC_2021_1_1.pdf.txt479b06e3896d9c0230d247343e111a17MD53THUMBNAILSH_COCIC_2021_1_1.pdf.jpgSH_COCIC_2021_1_1.pdf.jpgGenerated Thumbnailimage/jpeg1299http://repositorio.utfpr.edu.br:8080/jspui/bitstream/1/26519/4/SH_COCIC_2021_1_1.pdf.jpg0472acbaf4f7725154faf286beab3879MD541/265192021-11-27 04:05:49.053oai:repositorio.utfpr.edu.br:1/26519TmEgcXVhbGlkYWRlIGRlIHRpdHVsYXIgZG9zIGRpcmVpdG9zIGRlIGF1dG9yIGRhIHB1YmxpY2HDp8OjbywgYXV0b3Jpem8gYSBVVEZQUiBhIHZlaWN1bGFyLCAKYXRyYXbDqXMgZG8gUG9ydGFsIGRlIEluZm9ybWHDp8OjbyBlbSBBY2Vzc28gQWJlcnRvIChQSUFBKSBlIGRvcyBDYXTDoWxvZ29zIGRhcyBCaWJsaW90ZWNhcyAKZGVzdGEgSW5zdGl0dWnDp8Ojbywgc2VtIHJlc3NhcmNpbWVudG8gZG9zIGRpcmVpdG9zIGF1dG9yYWlzLCBkZSBhY29yZG8gY29tIGEgTGVpIG5vIDkuNjEwLzk4LCAKbyB0ZXh0byBkZXN0YSBvYnJhLCBvYnNlcnZhbmRvIGFzIGNvbmRpw6fDtWVzIGRlIGRpc3BvbmliaWxpemHDp8OjbyByZWdpc3RyYWRhcyBubyBpdGVtIDQgZG8gCuKAnFRlcm1vIGRlIEF1dG9yaXphw6fDo28gcGFyYSBQdWJsaWNhw6fDo28gZGUgVHJhYmFsaG9zIGRlIENvbmNsdXPDo28gZGUgQ3Vyc28gZGUgR3JhZHVhw6fDo28gZSAKRXNwZWNpYWxpemHDp8OjbywgRGlzc2VydGHDp8O1ZXMgZSBUZXNlcyBubyBQb3J0YWwgZGUgSW5mb3JtYcOnw6NvIGUgbm9zIENhdMOhbG9nb3MgRWxldHLDtG5pY29zIGRvIApTaXN0ZW1hIGRlIEJpYmxpb3RlY2FzIGRhIFVURlBS4oCdLCBwYXJhIGZpbnMgZGUgbGVpdHVyYSwgaW1wcmVzc8OjbyBlL291IGRvd25sb2FkLCB2aXNhbmRvIGEgCmRpdnVsZ2HDp8OjbyBkYSBwcm9kdcOnw6NvIGNpZW50w61maWNhIGJyYXNpbGVpcmEuCgogIEFzIHZpYXMgb3JpZ2luYWlzIGUgYXNzaW5hZGFzIHBlbG8ocykgYXV0b3IoZXMpIGRvIOKAnFRlcm1vIGRlIEF1dG9yaXphw6fDo28gcGFyYSBQdWJsaWNhw6fDo28gZGUgClRyYWJhbGhvcyBkZSBDb25jbHVzw6NvIGRlIEN1cnNvIGRlIEdyYWR1YcOnw6NvIGUgRXNwZWNpYWxpemHDp8OjbywgRGlzc2VydGHDp8O1ZXMgZSBUZXNlcyBubyBQb3J0YWwgCmRlIEluZm9ybWHDp8OjbyBlIG5vcyBDYXTDoWxvZ29zIEVsZXRyw7RuaWNvcyBkbyBTaXN0ZW1hIGRlIEJpYmxpb3RlY2FzIGRhIFVURlBS4oCdIGUgZGEg4oCcRGVjbGFyYcOnw6NvIApkZSBBdXRvcmlh4oCdIGVuY29udHJhbS1zZSBhcnF1aXZhZGFzIG5hIEJpYmxpb3RlY2EgZG8gQ8OibXB1cyBubyBxdWFsIG8gdHJhYmFsaG8gZm9pIGRlZmVuZGlkby4gCk5vIGNhc28gZGUgcHVibGljYcOnw7VlcyBkZSBhdXRvcmlhIGNvbGV0aXZhIGUgbXVsdGljw6JtcHVzLCBvcyBkb2N1bWVudG9zIGZpY2Fyw6NvIHNvYiBndWFyZGEgZGEgCkJpYmxpb3RlY2EgY29tIGEgcXVhbCBvIOKAnHByaW1laXJvIGF1dG9y4oCdIHBvc3N1YSB2w61uY3Vsby4KRepositório de PublicaçõesPUBhttp://repositorio.utfpr.edu.br:8080/oai/requestopendoar:2021-11-27T06:05:49Repositório Institucional da UTFPR (da Universidade Tecnológica Federal do Paraná (RIUT)) - Universidade Tecnológica Federal do Paraná (UTFPR)false
dc.title.pt_BR.fl_str_mv Framework de mineração de dados agropecuários
dc.title.alternative.pt_BR.fl_str_mv Agricultural data mining framework
title Framework de mineração de dados agropecuários
spellingShingle Framework de mineração de dados agropecuários
Santos, Euristenede Vanuel Francisco das Neves
CNPQ::CIENCIAS EXATAS E DA TERRA
Mineração de dados (Computação)
Framework (Arquivo de computador)
Agricultura - Estatísticas
Data mining
Framework (Computer program)
Agriculture - Statistics
title_short Framework de mineração de dados agropecuários
title_full Framework de mineração de dados agropecuários
title_fullStr Framework de mineração de dados agropecuários
title_full_unstemmed Framework de mineração de dados agropecuários
title_sort Framework de mineração de dados agropecuários
author Santos, Euristenede Vanuel Francisco das Neves
author_facet Santos, Euristenede Vanuel Francisco das Neves
author_role author
dc.contributor.advisor1.fl_str_mv Brilhador, Anderson
dc.contributor.advisor-co1.fl_str_mv Matte, Alessandra
dc.contributor.referee1.fl_str_mv Brilhador, Anderson
dc.contributor.referee2.fl_str_mv Matte, Alessandra
dc.contributor.referee3.fl_str_mv Beuren, Arlete Teresinha
dc.contributor.referee4.fl_str_mv Yamamoto, Lilian Yukari
dc.contributor.author.fl_str_mv Santos, Euristenede Vanuel Francisco das Neves
contributor_str_mv Brilhador, Anderson
Matte, Alessandra
Brilhador, Anderson
Matte, Alessandra
Beuren, Arlete Teresinha
Yamamoto, Lilian Yukari
dc.subject.cnpq.fl_str_mv CNPQ::CIENCIAS EXATAS E DA TERRA
topic CNPQ::CIENCIAS EXATAS E DA TERRA
Mineração de dados (Computação)
Framework (Arquivo de computador)
Agricultura - Estatísticas
Data mining
Framework (Computer program)
Agriculture - Statistics
dc.subject.por.fl_str_mv Mineração de dados (Computação)
Framework (Arquivo de computador)
Agricultura - Estatísticas
Data mining
Framework (Computer program)
Agriculture - Statistics
description Este trabalho apresenta o desenvolvimento de um framework de mineração de dados agropecuários. Utilizando o processo de extração de conhecimento em base de dados ,denominado Knowledge Discovery in Data bases KDD e seguindo as suas cinco etapas: seleção dos dados, pré-processamento, transformação, mineração, validação e visualização de resultados. A codificação do framework foi por meio da linguagem de programação Python, fazendo o uso de bibliotecas de aprendizagem de máquina dos cikit learn e pandas, de bibliotecas para plotagem de gráficos do matplotlibe o desenho das interfaces por meio do IDE Qt Designer. Foi utilizado os algoritmos K-médias e DBScan para realizar agrupamentos de dados, e os algoritmos de árvores de decisão e Naive bayes para classificação. Tabelas do último censo agropecuário realizado em 2017, disponível no Sistema IBGE de Recuperação Automática– SIDRA, foram utilizadas para realizar um estudo de caso apresentado na seção 4 deste trabalho, com objetivo de testar a viabilidade do framework. Por meio do estudo de caso ou só do framework apresentou ser viável para utilização por profissionais ou pesquisadores da área. O algoritmo de agrupamento K-médias apresentou resultados igual a 0.78, 0.74 e 0.64 para um K igual a 2,3 e 4 respectivamente, já o DBScan não apresentou resultados satisfatórios. O desempenho do classificador baseado em árvore de decisão conseguiu alcançar a marca de 100% sobre as métricas de precisão, recall e f1-score, enquanto, o classificador Naives bayes alcançou a marca de 80, 96 e 85% para precisão, recall e f1-score, respectivamente.
publishDate 2021
dc.date.accessioned.fl_str_mv 2021-11-26T18:25:29Z
dc.date.available.fl_str_mv 2021-11-26T18:25:29Z
dc.date.issued.fl_str_mv 2021-08-23
dc.type.status.fl_str_mv info:eu-repo/semantics/publishedVersion
dc.type.driver.fl_str_mv info:eu-repo/semantics/bachelorThesis
format bachelorThesis
status_str publishedVersion
dc.identifier.citation.fl_str_mv SANTOS, Euristenede Vanuel Francisco das Neves. Framework de mineração de dados agropecuários. 2021. Trabalho de Conclusão de Curso (Bacharelado em Ciências da Computação) - Universidade Tecnológica Federal do Paraná, Santa Helena, 2021.
dc.identifier.uri.fl_str_mv http://repositorio.utfpr.edu.br/jspui/handle/1/26519
identifier_str_mv SANTOS, Euristenede Vanuel Francisco das Neves. Framework de mineração de dados agropecuários. 2021. Trabalho de Conclusão de Curso (Bacharelado em Ciências da Computação) - Universidade Tecnológica Federal do Paraná, Santa Helena, 2021.
url http://repositorio.utfpr.edu.br/jspui/handle/1/26519
dc.language.iso.fl_str_mv por
language por
dc.rights.driver.fl_str_mv info:eu-repo/semantics/openAccess
eu_rights_str_mv openAccess
dc.publisher.none.fl_str_mv Universidade Tecnológica Federal do Paraná
Santa Helena
dc.publisher.program.fl_str_mv Ciência da Computação
dc.publisher.initials.fl_str_mv UTFPR
dc.publisher.country.fl_str_mv Brasil
publisher.none.fl_str_mv Universidade Tecnológica Federal do Paraná
Santa Helena
dc.source.none.fl_str_mv reponame:Repositório Institucional da UTFPR (da Universidade Tecnológica Federal do Paraná (RIUT))
instname:Universidade Tecnológica Federal do Paraná (UTFPR)
instacron:UTFPR
instname_str Universidade Tecnológica Federal do Paraná (UTFPR)
instacron_str UTFPR
institution UTFPR
reponame_str Repositório Institucional da UTFPR (da Universidade Tecnológica Federal do Paraná (RIUT))
collection Repositório Institucional da UTFPR (da Universidade Tecnológica Federal do Paraná (RIUT))
bitstream.url.fl_str_mv http://repositorio.utfpr.edu.br:8080/jspui/bitstream/1/26519/1/SH_COCIC_2021_1_1.pdf
http://repositorio.utfpr.edu.br:8080/jspui/bitstream/1/26519/2/license.txt
http://repositorio.utfpr.edu.br:8080/jspui/bitstream/1/26519/3/SH_COCIC_2021_1_1.pdf.txt
http://repositorio.utfpr.edu.br:8080/jspui/bitstream/1/26519/4/SH_COCIC_2021_1_1.pdf.jpg
bitstream.checksum.fl_str_mv d93dc260e0d575b6a24bd0a4d4766675
b9d82215ab23456fa2d8b49c5df1b95b
479b06e3896d9c0230d247343e111a17
0472acbaf4f7725154faf286beab3879
bitstream.checksumAlgorithm.fl_str_mv MD5
MD5
MD5
MD5
repository.name.fl_str_mv Repositório Institucional da UTFPR (da Universidade Tecnológica Federal do Paraná (RIUT)) - Universidade Tecnológica Federal do Paraná (UTFPR)
repository.mail.fl_str_mv
_version_ 1805923159747067904