Análise de soluções para Big Data Mining

Detalhes bibliográficos
Autor(a) principal: Junceira, João Miguel da Conceição
Data de Publicação: 2017
Tipo de documento: Dissertação
Idioma: por
Título da fonte: Repositório Científico de Acesso Aberto de Portugal (Repositórios Cientìficos)
Texto Completo: http://hdl.handle.net/10400.21/8300
Resumo: Dissertação para obtenção do grau de mestre em Engenharia Informática e de Computadores
id RCAP_3af49d40e400b51fcc37cd625514a555
oai_identifier_str oai:repositorio.ipl.pt:10400.21/8300
network_acronym_str RCAP
network_name_str Repositório Científico de Acesso Aberto de Portugal (Repositórios Cientìficos)
repository_id_str 7160
spelling Análise de soluções para Big Data MiningBig DataData miningClassificationRegressionApache sparkMineração de dadosClassificaçãoRegressãoRDissertação para obtenção do grau de mestre em Engenharia Informática e de ComputadoresMinerar dados não é uma tarefa trivial. Exige o conhecimento de diversos conceitos e técnicas que não estão acessíveis para a maioria dos utilizadores. Ocrescente volume de dados e a maior consciencialização do valor que estes podem ter para as organizações levou a um maior número de pessoas a ter de os analisar. Nos últimos anos, surgiram ferramentas de mineração em larga escala com uma curva de aprendizagem maior face às suas congéneres clássicas. Usam armazenamento e processamento distribuído para lidar com a dimensão dos dados, o que trouxe novos problemas na implementação de soluções de mineração de dados. Este trabalho aborda o estado da arte das plataformas existentes e a sua evolução histórica. Usando como base uma plataforma de mineração em larga escala (Apache Spark) e uma plataforma clássica (R), elaborou-se o desenho de uma solução de classificação e regressão, independentemente das plataformas utilizadas. Concretizou-se essa solução para cada plataforma para perceber o ponto a partir do qual o desempenho das duas mais se afasta, indicando um possível retorno no investimento na aprendizagem das novas plataformas. Para o conjunto de dados usado, concluiu-se que o Apache Spark é mais vantajoso quando o número de instâncias atinge as 50 mil.Mining data is a difficult task that requires knowledge of several concepts and techniques that are not available to the majority of users. Over the last years, Big Data Mining tools rose to prominence. However, they have a bigger learning curve, as compared with classic tools. Distributed storage and processing brought new problems in the implementation of Data mining solutions. The state of the art of existing platforms and their historical evolution was carried out. A solution and architecture independent of platforms and a description of the differences of implementation are detailed. Testing and benchmarking of performance making a comparison between large scale data mining platform Apache Spark and it’s classic counterpart R making clear to the user which scenario brings more advantages to the new platforms. Apache Spark has a clear advantage when tested with a dataset over 50 thousand instances.Instituto Superior de Engenharia de LisboaDatia, Nuno Miguel SoaresPato, Matilde Pós-de-MinaRCIPLJunceira, João Miguel da Conceição2018-03-27T19:33:31Z2017-12-212017-12-21T00:00:00Zinfo:eu-repo/semantics/publishedVersioninfo:eu-repo/semantics/masterThesisapplication/pdfhttp://hdl.handle.net/10400.21/8300TID:201893770porJUNCEIRA, João Miguel da Conceição - Análise de soluções para Big Data Mining. Lisboa: Instituto Superior de Engenharia de Lisboa, 2017. Dissertação de mestrado.info:eu-repo/semantics/openAccessreponame:Repositório Científico de Acesso Aberto de Portugal (Repositórios Cientìficos)instname:Agência para a Sociedade do Conhecimento (UMIC) - FCT - Sociedade da Informaçãoinstacron:RCAAP2023-08-03T09:55:29Zoai:repositorio.ipl.pt:10400.21/8300Portal AgregadorONGhttps://www.rcaap.pt/oai/openaireopendoar:71602024-03-19T20:17:05.037301Repositório Científico de Acesso Aberto de Portugal (Repositórios Cientìficos) - Agência para a Sociedade do Conhecimento (UMIC) - FCT - Sociedade da Informaçãofalse
dc.title.none.fl_str_mv Análise de soluções para Big Data Mining
title Análise de soluções para Big Data Mining
spellingShingle Análise de soluções para Big Data Mining
Junceira, João Miguel da Conceição
Big Data
Data mining
Classification
Regression
Apache spark
Mineração de dados
Classificação
Regressão
R
title_short Análise de soluções para Big Data Mining
title_full Análise de soluções para Big Data Mining
title_fullStr Análise de soluções para Big Data Mining
title_full_unstemmed Análise de soluções para Big Data Mining
title_sort Análise de soluções para Big Data Mining
author Junceira, João Miguel da Conceição
author_facet Junceira, João Miguel da Conceição
author_role author
dc.contributor.none.fl_str_mv Datia, Nuno Miguel Soares
Pato, Matilde Pós-de-Mina
RCIPL
dc.contributor.author.fl_str_mv Junceira, João Miguel da Conceição
dc.subject.por.fl_str_mv Big Data
Data mining
Classification
Regression
Apache spark
Mineração de dados
Classificação
Regressão
R
topic Big Data
Data mining
Classification
Regression
Apache spark
Mineração de dados
Classificação
Regressão
R
description Dissertação para obtenção do grau de mestre em Engenharia Informática e de Computadores
publishDate 2017
dc.date.none.fl_str_mv 2017-12-21
2017-12-21T00:00:00Z
2018-03-27T19:33:31Z
dc.type.status.fl_str_mv info:eu-repo/semantics/publishedVersion
dc.type.driver.fl_str_mv info:eu-repo/semantics/masterThesis
format masterThesis
status_str publishedVersion
dc.identifier.uri.fl_str_mv http://hdl.handle.net/10400.21/8300
TID:201893770
url http://hdl.handle.net/10400.21/8300
identifier_str_mv TID:201893770
dc.language.iso.fl_str_mv por
language por
dc.relation.none.fl_str_mv JUNCEIRA, João Miguel da Conceição - Análise de soluções para Big Data Mining. Lisboa: Instituto Superior de Engenharia de Lisboa, 2017. Dissertação de mestrado.
dc.rights.driver.fl_str_mv info:eu-repo/semantics/openAccess
eu_rights_str_mv openAccess
dc.format.none.fl_str_mv application/pdf
dc.publisher.none.fl_str_mv Instituto Superior de Engenharia de Lisboa
publisher.none.fl_str_mv Instituto Superior de Engenharia de Lisboa
dc.source.none.fl_str_mv reponame:Repositório Científico de Acesso Aberto de Portugal (Repositórios Cientìficos)
instname:Agência para a Sociedade do Conhecimento (UMIC) - FCT - Sociedade da Informação
instacron:RCAAP
instname_str Agência para a Sociedade do Conhecimento (UMIC) - FCT - Sociedade da Informação
instacron_str RCAAP
institution RCAAP
reponame_str Repositório Científico de Acesso Aberto de Portugal (Repositórios Cientìficos)
collection Repositório Científico de Acesso Aberto de Portugal (Repositórios Cientìficos)
repository.name.fl_str_mv Repositório Científico de Acesso Aberto de Portugal (Repositórios Cientìficos) - Agência para a Sociedade do Conhecimento (UMIC) - FCT - Sociedade da Informação
repository.mail.fl_str_mv
_version_ 1799133432399265792

Registros relacionados