Framework de mineração de dados agropecuários
Autor(a) principal: | |
---|---|
Data de Publicação: | 2021 |
Tipo de documento: | Trabalho de conclusão de curso |
Idioma: | por |
Título da fonte: | Repositório Institucional da UTFPR (da Universidade Tecnológica Federal do Paraná (RIUT)) |
Texto Completo: | http://repositorio.utfpr.edu.br/jspui/handle/1/26519 |
Resumo: | Este trabalho apresenta o desenvolvimento de um framework de mineração de dados agropecuários. Utilizando o processo de extração de conhecimento em base de dados ,denominado Knowledge Discovery in Data bases KDD e seguindo as suas cinco etapas: seleção dos dados, pré-processamento, transformação, mineração, validação e visualização de resultados. A codificação do framework foi por meio da linguagem de programação Python, fazendo o uso de bibliotecas de aprendizagem de máquina dos cikit learn e pandas, de bibliotecas para plotagem de gráficos do matplotlibe o desenho das interfaces por meio do IDE Qt Designer. Foi utilizado os algoritmos K-médias e DBScan para realizar agrupamentos de dados, e os algoritmos de árvores de decisão e Naive bayes para classificação. Tabelas do último censo agropecuário realizado em 2017, disponível no Sistema IBGE de Recuperação Automática– SIDRA, foram utilizadas para realizar um estudo de caso apresentado na seção 4 deste trabalho, com objetivo de testar a viabilidade do framework. Por meio do estudo de caso ou só do framework apresentou ser viável para utilização por profissionais ou pesquisadores da área. O algoritmo de agrupamento K-médias apresentou resultados igual a 0.78, 0.74 e 0.64 para um K igual a 2,3 e 4 respectivamente, já o DBScan não apresentou resultados satisfatórios. O desempenho do classificador baseado em árvore de decisão conseguiu alcançar a marca de 100% sobre as métricas de precisão, recall e f1-score, enquanto, o classificador Naives bayes alcançou a marca de 80, 96 e 85% para precisão, recall e f1-score, respectivamente. |
id |
UTFPR-12_fcebadb62fc3b5cdb5242b8e3c39fa10 |
---|---|
oai_identifier_str |
oai:repositorio.utfpr.edu.br:1/26519 |
network_acronym_str |
UTFPR-12 |
network_name_str |
Repositório Institucional da UTFPR (da Universidade Tecnológica Federal do Paraná (RIUT)) |
repository_id_str |
|
spelling |
2021-11-26T18:25:29Z2021-11-26T18:25:29Z2021-08-23SANTOS, Euristenede Vanuel Francisco das Neves. Framework de mineração de dados agropecuários. 2021. Trabalho de Conclusão de Curso (Bacharelado em Ciências da Computação) - Universidade Tecnológica Federal do Paraná, Santa Helena, 2021.http://repositorio.utfpr.edu.br/jspui/handle/1/26519Este trabalho apresenta o desenvolvimento de um framework de mineração de dados agropecuários. Utilizando o processo de extração de conhecimento em base de dados ,denominado Knowledge Discovery in Data bases KDD e seguindo as suas cinco etapas: seleção dos dados, pré-processamento, transformação, mineração, validação e visualização de resultados. A codificação do framework foi por meio da linguagem de programação Python, fazendo o uso de bibliotecas de aprendizagem de máquina dos cikit learn e pandas, de bibliotecas para plotagem de gráficos do matplotlibe o desenho das interfaces por meio do IDE Qt Designer. Foi utilizado os algoritmos K-médias e DBScan para realizar agrupamentos de dados, e os algoritmos de árvores de decisão e Naive bayes para classificação. Tabelas do último censo agropecuário realizado em 2017, disponível no Sistema IBGE de Recuperação Automática– SIDRA, foram utilizadas para realizar um estudo de caso apresentado na seção 4 deste trabalho, com objetivo de testar a viabilidade do framework. Por meio do estudo de caso ou só do framework apresentou ser viável para utilização por profissionais ou pesquisadores da área. O algoritmo de agrupamento K-médias apresentou resultados igual a 0.78, 0.74 e 0.64 para um K igual a 2,3 e 4 respectivamente, já o DBScan não apresentou resultados satisfatórios. O desempenho do classificador baseado em árvore de decisão conseguiu alcançar a marca de 100% sobre as métricas de precisão, recall e f1-score, enquanto, o classificador Naives bayes alcançou a marca de 80, 96 e 85% para precisão, recall e f1-score, respectivamente.This work presents the development of a framework for data mining of agricultural data. Using the process of knowledge extraction in databases, called Knowledge Discovery in KDD Databases and following its five steps: data selection, pre processing, transformation, mining, validation, and visualization of results. The framework was developed using the Python programming language, using machine learning libraries from scikit-learn and pandas, graph plotting libraries from matplotlib and interface design through the Qt Designer IDE.The K-means and DBScan algorithms were used to perform data grouping, and the decision tree and Naive Bayes algorithms for classification. Tables from the last agricultural censos conducted in 2017, available in the IBGE System for Automatic Recovery-SIDRA, were used to perform a case study presented in section 4 of this work to test the feasibility of the framework. Through the case study, the use of the framework proved to be viable for use by professionals or researchers in the area. The K-means clustering algorithm is equal to 0.78, 0.74, and 0.64 for a K equal to 2, 3, and 4, respectively. The performance of the decision tree-based classifier achieved 100% on the metrics of precision, recall, and f1-score, while the Naive Bayes classifier achieved 80, 96, and 85% for precision, recall, and f1-score, respectively.Agência Nacional de Energia Elétrica (ANEEL)porUniversidade Tecnológica Federal do ParanáSanta HelenaCiência da ComputaçãoUTFPRBrasilCNPQ::CIENCIAS EXATAS E DA TERRAMineração de dados (Computação)Framework (Arquivo de computador)Agricultura - EstatísticasData miningFramework (Computer program)Agriculture - StatisticsFramework de mineração de dados agropecuáriosAgricultural data mining frameworkinfo:eu-repo/semantics/publishedVersioninfo:eu-repo/semantics/bachelorThesisSanta HelenaBrilhador, AndersonMatte, AlessandraBrilhador, AndersonMatte, AlessandraBeuren, Arlete TeresinhaYamamoto, Lilian YukariSantos, Euristenede Vanuel Francisco das Nevesinfo:eu-repo/semantics/openAccessreponame:Repositório Institucional da UTFPR (da Universidade Tecnológica Federal do Paraná (RIUT))instname:Universidade Tecnológica Federal do Paraná (UTFPR)instacron:UTFPRORIGINALSH_COCIC_2021_1_1.pdfSH_COCIC_2021_1_1.pdfapplication/pdf1441232http://repositorio.utfpr.edu.br:8080/jspui/bitstream/1/26519/1/SH_COCIC_2021_1_1.pdfd93dc260e0d575b6a24bd0a4d4766675MD51LICENSElicense.txtlicense.txttext/plain; charset=utf-81290http://repositorio.utfpr.edu.br:8080/jspui/bitstream/1/26519/2/license.txtb9d82215ab23456fa2d8b49c5df1b95bMD52TEXTSH_COCIC_2021_1_1.pdf.txtSH_COCIC_2021_1_1.pdf.txtExtracted texttext/plain137740http://repositorio.utfpr.edu.br:8080/jspui/bitstream/1/26519/3/SH_COCIC_2021_1_1.pdf.txt479b06e3896d9c0230d247343e111a17MD53THUMBNAILSH_COCIC_2021_1_1.pdf.jpgSH_COCIC_2021_1_1.pdf.jpgGenerated Thumbnailimage/jpeg1299http://repositorio.utfpr.edu.br:8080/jspui/bitstream/1/26519/4/SH_COCIC_2021_1_1.pdf.jpg0472acbaf4f7725154faf286beab3879MD541/265192021-11-27 04:05:49.053oai:repositorio.utfpr.edu.br:1/26519TmEgcXVhbGlkYWRlIGRlIHRpdHVsYXIgZG9zIGRpcmVpdG9zIGRlIGF1dG9yIGRhIHB1YmxpY2HDp8OjbywgYXV0b3Jpem8gYSBVVEZQUiBhIHZlaWN1bGFyLCAKYXRyYXbDqXMgZG8gUG9ydGFsIGRlIEluZm9ybWHDp8OjbyBlbSBBY2Vzc28gQWJlcnRvIChQSUFBKSBlIGRvcyBDYXTDoWxvZ29zIGRhcyBCaWJsaW90ZWNhcyAKZGVzdGEgSW5zdGl0dWnDp8Ojbywgc2VtIHJlc3NhcmNpbWVudG8gZG9zIGRpcmVpdG9zIGF1dG9yYWlzLCBkZSBhY29yZG8gY29tIGEgTGVpIG5vIDkuNjEwLzk4LCAKbyB0ZXh0byBkZXN0YSBvYnJhLCBvYnNlcnZhbmRvIGFzIGNvbmRpw6fDtWVzIGRlIGRpc3BvbmliaWxpemHDp8OjbyByZWdpc3RyYWRhcyBubyBpdGVtIDQgZG8gCuKAnFRlcm1vIGRlIEF1dG9yaXphw6fDo28gcGFyYSBQdWJsaWNhw6fDo28gZGUgVHJhYmFsaG9zIGRlIENvbmNsdXPDo28gZGUgQ3Vyc28gZGUgR3JhZHVhw6fDo28gZSAKRXNwZWNpYWxpemHDp8OjbywgRGlzc2VydGHDp8O1ZXMgZSBUZXNlcyBubyBQb3J0YWwgZGUgSW5mb3JtYcOnw6NvIGUgbm9zIENhdMOhbG9nb3MgRWxldHLDtG5pY29zIGRvIApTaXN0ZW1hIGRlIEJpYmxpb3RlY2FzIGRhIFVURlBS4oCdLCBwYXJhIGZpbnMgZGUgbGVpdHVyYSwgaW1wcmVzc8OjbyBlL291IGRvd25sb2FkLCB2aXNhbmRvIGEgCmRpdnVsZ2HDp8OjbyBkYSBwcm9kdcOnw6NvIGNpZW50w61maWNhIGJyYXNpbGVpcmEuCgogIEFzIHZpYXMgb3JpZ2luYWlzIGUgYXNzaW5hZGFzIHBlbG8ocykgYXV0b3IoZXMpIGRvIOKAnFRlcm1vIGRlIEF1dG9yaXphw6fDo28gcGFyYSBQdWJsaWNhw6fDo28gZGUgClRyYWJhbGhvcyBkZSBDb25jbHVzw6NvIGRlIEN1cnNvIGRlIEdyYWR1YcOnw6NvIGUgRXNwZWNpYWxpemHDp8OjbywgRGlzc2VydGHDp8O1ZXMgZSBUZXNlcyBubyBQb3J0YWwgCmRlIEluZm9ybWHDp8OjbyBlIG5vcyBDYXTDoWxvZ29zIEVsZXRyw7RuaWNvcyBkbyBTaXN0ZW1hIGRlIEJpYmxpb3RlY2FzIGRhIFVURlBS4oCdIGUgZGEg4oCcRGVjbGFyYcOnw6NvIApkZSBBdXRvcmlh4oCdIGVuY29udHJhbS1zZSBhcnF1aXZhZGFzIG5hIEJpYmxpb3RlY2EgZG8gQ8OibXB1cyBubyBxdWFsIG8gdHJhYmFsaG8gZm9pIGRlZmVuZGlkby4gCk5vIGNhc28gZGUgcHVibGljYcOnw7VlcyBkZSBhdXRvcmlhIGNvbGV0aXZhIGUgbXVsdGljw6JtcHVzLCBvcyBkb2N1bWVudG9zIGZpY2Fyw6NvIHNvYiBndWFyZGEgZGEgCkJpYmxpb3RlY2EgY29tIGEgcXVhbCBvIOKAnHByaW1laXJvIGF1dG9y4oCdIHBvc3N1YSB2w61uY3Vsby4KRepositório de PublicaçõesPUBhttp://repositorio.utfpr.edu.br:8080/oai/requestopendoar:2021-11-27T06:05:49Repositório Institucional da UTFPR (da Universidade Tecnológica Federal do Paraná (RIUT)) - Universidade Tecnológica Federal do Paraná (UTFPR)false |
dc.title.pt_BR.fl_str_mv |
Framework de mineração de dados agropecuários |
dc.title.alternative.pt_BR.fl_str_mv |
Agricultural data mining framework |
title |
Framework de mineração de dados agropecuários |
spellingShingle |
Framework de mineração de dados agropecuários Santos, Euristenede Vanuel Francisco das Neves CNPQ::CIENCIAS EXATAS E DA TERRA Mineração de dados (Computação) Framework (Arquivo de computador) Agricultura - Estatísticas Data mining Framework (Computer program) Agriculture - Statistics |
title_short |
Framework de mineração de dados agropecuários |
title_full |
Framework de mineração de dados agropecuários |
title_fullStr |
Framework de mineração de dados agropecuários |
title_full_unstemmed |
Framework de mineração de dados agropecuários |
title_sort |
Framework de mineração de dados agropecuários |
author |
Santos, Euristenede Vanuel Francisco das Neves |
author_facet |
Santos, Euristenede Vanuel Francisco das Neves |
author_role |
author |
dc.contributor.advisor1.fl_str_mv |
Brilhador, Anderson |
dc.contributor.advisor-co1.fl_str_mv |
Matte, Alessandra |
dc.contributor.referee1.fl_str_mv |
Brilhador, Anderson |
dc.contributor.referee2.fl_str_mv |
Matte, Alessandra |
dc.contributor.referee3.fl_str_mv |
Beuren, Arlete Teresinha |
dc.contributor.referee4.fl_str_mv |
Yamamoto, Lilian Yukari |
dc.contributor.author.fl_str_mv |
Santos, Euristenede Vanuel Francisco das Neves |
contributor_str_mv |
Brilhador, Anderson Matte, Alessandra Brilhador, Anderson Matte, Alessandra Beuren, Arlete Teresinha Yamamoto, Lilian Yukari |
dc.subject.cnpq.fl_str_mv |
CNPQ::CIENCIAS EXATAS E DA TERRA |
topic |
CNPQ::CIENCIAS EXATAS E DA TERRA Mineração de dados (Computação) Framework (Arquivo de computador) Agricultura - Estatísticas Data mining Framework (Computer program) Agriculture - Statistics |
dc.subject.por.fl_str_mv |
Mineração de dados (Computação) Framework (Arquivo de computador) Agricultura - Estatísticas Data mining Framework (Computer program) Agriculture - Statistics |
description |
Este trabalho apresenta o desenvolvimento de um framework de mineração de dados agropecuários. Utilizando o processo de extração de conhecimento em base de dados ,denominado Knowledge Discovery in Data bases KDD e seguindo as suas cinco etapas: seleção dos dados, pré-processamento, transformação, mineração, validação e visualização de resultados. A codificação do framework foi por meio da linguagem de programação Python, fazendo o uso de bibliotecas de aprendizagem de máquina dos cikit learn e pandas, de bibliotecas para plotagem de gráficos do matplotlibe o desenho das interfaces por meio do IDE Qt Designer. Foi utilizado os algoritmos K-médias e DBScan para realizar agrupamentos de dados, e os algoritmos de árvores de decisão e Naive bayes para classificação. Tabelas do último censo agropecuário realizado em 2017, disponível no Sistema IBGE de Recuperação Automática– SIDRA, foram utilizadas para realizar um estudo de caso apresentado na seção 4 deste trabalho, com objetivo de testar a viabilidade do framework. Por meio do estudo de caso ou só do framework apresentou ser viável para utilização por profissionais ou pesquisadores da área. O algoritmo de agrupamento K-médias apresentou resultados igual a 0.78, 0.74 e 0.64 para um K igual a 2,3 e 4 respectivamente, já o DBScan não apresentou resultados satisfatórios. O desempenho do classificador baseado em árvore de decisão conseguiu alcançar a marca de 100% sobre as métricas de precisão, recall e f1-score, enquanto, o classificador Naives bayes alcançou a marca de 80, 96 e 85% para precisão, recall e f1-score, respectivamente. |
publishDate |
2021 |
dc.date.accessioned.fl_str_mv |
2021-11-26T18:25:29Z |
dc.date.available.fl_str_mv |
2021-11-26T18:25:29Z |
dc.date.issued.fl_str_mv |
2021-08-23 |
dc.type.status.fl_str_mv |
info:eu-repo/semantics/publishedVersion |
dc.type.driver.fl_str_mv |
info:eu-repo/semantics/bachelorThesis |
format |
bachelorThesis |
status_str |
publishedVersion |
dc.identifier.citation.fl_str_mv |
SANTOS, Euristenede Vanuel Francisco das Neves. Framework de mineração de dados agropecuários. 2021. Trabalho de Conclusão de Curso (Bacharelado em Ciências da Computação) - Universidade Tecnológica Federal do Paraná, Santa Helena, 2021. |
dc.identifier.uri.fl_str_mv |
http://repositorio.utfpr.edu.br/jspui/handle/1/26519 |
identifier_str_mv |
SANTOS, Euristenede Vanuel Francisco das Neves. Framework de mineração de dados agropecuários. 2021. Trabalho de Conclusão de Curso (Bacharelado em Ciências da Computação) - Universidade Tecnológica Federal do Paraná, Santa Helena, 2021. |
url |
http://repositorio.utfpr.edu.br/jspui/handle/1/26519 |
dc.language.iso.fl_str_mv |
por |
language |
por |
dc.rights.driver.fl_str_mv |
info:eu-repo/semantics/openAccess |
eu_rights_str_mv |
openAccess |
dc.publisher.none.fl_str_mv |
Universidade Tecnológica Federal do Paraná Santa Helena |
dc.publisher.program.fl_str_mv |
Ciência da Computação |
dc.publisher.initials.fl_str_mv |
UTFPR |
dc.publisher.country.fl_str_mv |
Brasil |
publisher.none.fl_str_mv |
Universidade Tecnológica Federal do Paraná Santa Helena |
dc.source.none.fl_str_mv |
reponame:Repositório Institucional da UTFPR (da Universidade Tecnológica Federal do Paraná (RIUT)) instname:Universidade Tecnológica Federal do Paraná (UTFPR) instacron:UTFPR |
instname_str |
Universidade Tecnológica Federal do Paraná (UTFPR) |
instacron_str |
UTFPR |
institution |
UTFPR |
reponame_str |
Repositório Institucional da UTFPR (da Universidade Tecnológica Federal do Paraná (RIUT)) |
collection |
Repositório Institucional da UTFPR (da Universidade Tecnológica Federal do Paraná (RIUT)) |
bitstream.url.fl_str_mv |
http://repositorio.utfpr.edu.br:8080/jspui/bitstream/1/26519/1/SH_COCIC_2021_1_1.pdf http://repositorio.utfpr.edu.br:8080/jspui/bitstream/1/26519/2/license.txt http://repositorio.utfpr.edu.br:8080/jspui/bitstream/1/26519/3/SH_COCIC_2021_1_1.pdf.txt http://repositorio.utfpr.edu.br:8080/jspui/bitstream/1/26519/4/SH_COCIC_2021_1_1.pdf.jpg |
bitstream.checksum.fl_str_mv |
d93dc260e0d575b6a24bd0a4d4766675 b9d82215ab23456fa2d8b49c5df1b95b 479b06e3896d9c0230d247343e111a17 0472acbaf4f7725154faf286beab3879 |
bitstream.checksumAlgorithm.fl_str_mv |
MD5 MD5 MD5 MD5 |
repository.name.fl_str_mv |
Repositório Institucional da UTFPR (da Universidade Tecnológica Federal do Paraná (RIUT)) - Universidade Tecnológica Federal do Paraná (UTFPR) |
repository.mail.fl_str_mv |
|
_version_ |
1805923159747067904 |