Um estudo de ferramentas de Big Data para a análise da classificação de gêneros musicais
Autor(a) principal: | |
---|---|
Data de Publicação: | 2023 |
Outros Autores: | |
Tipo de documento: | Trabalho de conclusão de curso |
Idioma: | por |
Título da fonte: | Repositório Institucional da Universidade Federal Fluminense (RIUFF) |
Texto Completo: | http://app.uff.br/riuff/handle/1/30592 |
Resumo: | Cada vez mais se ouve falar no conceito de Big Data, isso esta acontecendo devido ao constante crescimento de dados gerados no meio digital. Por conta do aumento de interesse sobre Big Data surgiram varias ferramentas que auxiliam no processamento de dados em larga escala, utilizando paralelismo como forma de acelerar a entrega dos resultados, isso possibilita o processamento em tempo real, sendo assim, decisões críticas podem ser tomadas com maior antecedência. Neste trabalho de conclusão de curso, temos como objetivo estudar duas dessas ferramentas utilizadas para projetos de Big Data, o Hadoop MapReduce e o Apache Spark, onde serão apontadas as características de cada uma comparando as duas por meio do experimento de classificação de gêneros musicais, utilizando características extraídas do áudio a partir das prévias fornecidas pelo serviço de streaming Spotify. No nosso conjunto de dados, foram coletadas, aproximadamente, 400 mil musicas, distribuídas entre os 5 gêneros musicais mais populares: rock, pop, clássica, eletrônica e jazz. Através dos experimentos realizados constatou-se que a ferramenta Apache Spark obteve resultados superiores comparado com o Hadoop MapReduce em relação ao tempo de execução e a acurácia. A partir dos resultados também foi possível enxergar estudos futuros dessas ferramentas, utilizando novas formas de processamento e ambientes de execução |
id |
UFF-2_2fc680b76d72af4cd43ec3c127b2849a |
---|---|
oai_identifier_str |
oai:app.uff.br:1/30592 |
network_acronym_str |
UFF-2 |
network_name_str |
Repositório Institucional da Universidade Federal Fluminense (RIUFF) |
repository_id_str |
2120 |
spelling |
Um estudo de ferramentas de Big Data para a análise da classificação de gêneros musicaisBig DataClassificação de gêneros musicaisHadoop MapReduceSparkBig DataProcessamento de dados (Computação)Gênero musicalMusical genre classificationCada vez mais se ouve falar no conceito de Big Data, isso esta acontecendo devido ao constante crescimento de dados gerados no meio digital. Por conta do aumento de interesse sobre Big Data surgiram varias ferramentas que auxiliam no processamento de dados em larga escala, utilizando paralelismo como forma de acelerar a entrega dos resultados, isso possibilita o processamento em tempo real, sendo assim, decisões críticas podem ser tomadas com maior antecedência. Neste trabalho de conclusão de curso, temos como objetivo estudar duas dessas ferramentas utilizadas para projetos de Big Data, o Hadoop MapReduce e o Apache Spark, onde serão apontadas as características de cada uma comparando as duas por meio do experimento de classificação de gêneros musicais, utilizando características extraídas do áudio a partir das prévias fornecidas pelo serviço de streaming Spotify. No nosso conjunto de dados, foram coletadas, aproximadamente, 400 mil musicas, distribuídas entre os 5 gêneros musicais mais populares: rock, pop, clássica, eletrônica e jazz. Através dos experimentos realizados constatou-se que a ferramenta Apache Spark obteve resultados superiores comparado com o Hadoop MapReduce em relação ao tempo de execução e a acurácia. A partir dos resultados também foi possível enxergar estudos futuros dessas ferramentas, utilizando novas formas de processamento e ambientes de execuçãoMore and more we hear about the concept of Big Data, this is happening due to the constant growth of data generated in the digital environment. Due to increased interest on Big Data, several tools have emerged to help large scale data processing, using parallelism as a way of accelerating results delivery, and enabling real time processing, because of that critical decision can be taken in advance. In this dissertation, we aim to study two tools used for Big Data projects, the Hadoop MapReduce and the Apache Spark, we will point out the main characteristics of each tool, comparing both by a musical genre classification experiment, using characteristics extracted from the audio provided by the streaming service Spotify. On our dataset were collected approximately 400 thousand songs, distributed on the five most popular music genres: rock, pop, classic, electronic and jazz. Through the experiments that were made we verified that the tool Apache Spark have obtained better results than Hadoop MapReduce in relation to the execution time and acuracy of the classification. From the results it was also possible to see future studies of these tools, using new forms of processing and execution environments49 p.Passos, Fernanda G. O.Passos, DiegoNascimento, AlineSantos, Leonardo Brito dosJorge, Renan Henrique Azevedo2023-09-26T14:07:02Z2023-09-26T14:07:02Zinfo:eu-repo/semantics/publishedVersioninfo:eu-repo/semantics/bachelorThesisapplication/pdfSANTOS, Leonardo Brito dos; JORGE, Renan Henrique Azevedo. Um estudo de ferramentas de Big Data para a análise da classificação de gêneros musicais. 2018. 49 f. Trabalho de Conclusão de Curso (Graduação em Ciência da Computação) - Instituto de Computação, Universidade Federal Fluminense, Niterói, 2018.http://app.uff.br/riuff/handle/1/30592CC-BY-SAinfo:eu-repo/semantics/openAccessporreponame:Repositório Institucional da Universidade Federal Fluminense (RIUFF)instname:Universidade Federal Fluminense (UFF)instacron:UFF2023-09-26T14:07:06Zoai:app.uff.br:1/30592Repositório InstitucionalPUBhttps://app.uff.br/oai/requestriuff@id.uff.bropendoar:21202024-08-19T11:00:02.112129Repositório Institucional da Universidade Federal Fluminense (RIUFF) - Universidade Federal Fluminense (UFF)false |
dc.title.none.fl_str_mv |
Um estudo de ferramentas de Big Data para a análise da classificação de gêneros musicais |
title |
Um estudo de ferramentas de Big Data para a análise da classificação de gêneros musicais |
spellingShingle |
Um estudo de ferramentas de Big Data para a análise da classificação de gêneros musicais Santos, Leonardo Brito dos Big Data Classificação de gêneros musicais Hadoop MapReduce Spark Big Data Processamento de dados (Computação) Gênero musical Musical genre classification |
title_short |
Um estudo de ferramentas de Big Data para a análise da classificação de gêneros musicais |
title_full |
Um estudo de ferramentas de Big Data para a análise da classificação de gêneros musicais |
title_fullStr |
Um estudo de ferramentas de Big Data para a análise da classificação de gêneros musicais |
title_full_unstemmed |
Um estudo de ferramentas de Big Data para a análise da classificação de gêneros musicais |
title_sort |
Um estudo de ferramentas de Big Data para a análise da classificação de gêneros musicais |
author |
Santos, Leonardo Brito dos |
author_facet |
Santos, Leonardo Brito dos Jorge, Renan Henrique Azevedo |
author_role |
author |
author2 |
Jorge, Renan Henrique Azevedo |
author2_role |
author |
dc.contributor.none.fl_str_mv |
Passos, Fernanda G. O. Passos, Diego Nascimento, Aline |
dc.contributor.author.fl_str_mv |
Santos, Leonardo Brito dos Jorge, Renan Henrique Azevedo |
dc.subject.por.fl_str_mv |
Big Data Classificação de gêneros musicais Hadoop MapReduce Spark Big Data Processamento de dados (Computação) Gênero musical Musical genre classification |
topic |
Big Data Classificação de gêneros musicais Hadoop MapReduce Spark Big Data Processamento de dados (Computação) Gênero musical Musical genre classification |
description |
Cada vez mais se ouve falar no conceito de Big Data, isso esta acontecendo devido ao constante crescimento de dados gerados no meio digital. Por conta do aumento de interesse sobre Big Data surgiram varias ferramentas que auxiliam no processamento de dados em larga escala, utilizando paralelismo como forma de acelerar a entrega dos resultados, isso possibilita o processamento em tempo real, sendo assim, decisões críticas podem ser tomadas com maior antecedência. Neste trabalho de conclusão de curso, temos como objetivo estudar duas dessas ferramentas utilizadas para projetos de Big Data, o Hadoop MapReduce e o Apache Spark, onde serão apontadas as características de cada uma comparando as duas por meio do experimento de classificação de gêneros musicais, utilizando características extraídas do áudio a partir das prévias fornecidas pelo serviço de streaming Spotify. No nosso conjunto de dados, foram coletadas, aproximadamente, 400 mil musicas, distribuídas entre os 5 gêneros musicais mais populares: rock, pop, clássica, eletrônica e jazz. Através dos experimentos realizados constatou-se que a ferramenta Apache Spark obteve resultados superiores comparado com o Hadoop MapReduce em relação ao tempo de execução e a acurácia. A partir dos resultados também foi possível enxergar estudos futuros dessas ferramentas, utilizando novas formas de processamento e ambientes de execução |
publishDate |
2023 |
dc.date.none.fl_str_mv |
2023-09-26T14:07:02Z 2023-09-26T14:07:02Z |
dc.type.status.fl_str_mv |
info:eu-repo/semantics/publishedVersion |
dc.type.driver.fl_str_mv |
info:eu-repo/semantics/bachelorThesis |
format |
bachelorThesis |
status_str |
publishedVersion |
dc.identifier.uri.fl_str_mv |
SANTOS, Leonardo Brito dos; JORGE, Renan Henrique Azevedo. Um estudo de ferramentas de Big Data para a análise da classificação de gêneros musicais. 2018. 49 f. Trabalho de Conclusão de Curso (Graduação em Ciência da Computação) - Instituto de Computação, Universidade Federal Fluminense, Niterói, 2018. http://app.uff.br/riuff/handle/1/30592 |
identifier_str_mv |
SANTOS, Leonardo Brito dos; JORGE, Renan Henrique Azevedo. Um estudo de ferramentas de Big Data para a análise da classificação de gêneros musicais. 2018. 49 f. Trabalho de Conclusão de Curso (Graduação em Ciência da Computação) - Instituto de Computação, Universidade Federal Fluminense, Niterói, 2018. |
url |
http://app.uff.br/riuff/handle/1/30592 |
dc.language.iso.fl_str_mv |
por |
language |
por |
dc.rights.driver.fl_str_mv |
CC-BY-SA info:eu-repo/semantics/openAccess |
rights_invalid_str_mv |
CC-BY-SA |
eu_rights_str_mv |
openAccess |
dc.format.none.fl_str_mv |
application/pdf |
dc.source.none.fl_str_mv |
reponame:Repositório Institucional da Universidade Federal Fluminense (RIUFF) instname:Universidade Federal Fluminense (UFF) instacron:UFF |
instname_str |
Universidade Federal Fluminense (UFF) |
instacron_str |
UFF |
institution |
UFF |
reponame_str |
Repositório Institucional da Universidade Federal Fluminense (RIUFF) |
collection |
Repositório Institucional da Universidade Federal Fluminense (RIUFF) |
repository.name.fl_str_mv |
Repositório Institucional da Universidade Federal Fluminense (RIUFF) - Universidade Federal Fluminense (UFF) |
repository.mail.fl_str_mv |
riuff@id.uff.br |
_version_ |
1811823631894839296 |