Processamento distribuído de grande volume de dados ambientais

Detalhes bibliográficos
Autor(a) principal: Salles, Ricardo Frederico Figueiredo e
Data de Publicação: 2016
Tipo de documento: Dissertação
Idioma: por
Título da fonte: Repositório Institucional da UFMT
Texto Completo: http://ri.ufmt.br/handle/1/5210
Resumo: The environmental research involves a wide variety of data from different sources that when manipulated require the use of high computational complexity functi- ons. A function that fits on these characteristics is the wavelet transform, which is the transformation of a series of data in different temporal ranges of frequency and time. This calculation generates a high volume of data and requires high processing performance and storage. These characteristics are present in the con- text of Big Data. The objective of this work is to apply parallel and distributed processing technologies in the context of calculation of environmental data using the Apache Hadoop and Apache Spark frameworks. As a methodology, it was applied the wavelet transform into a large volume of rainfall data of about 15 years generated by TRMM mission - Tropical Rainfall Measuring Mission. Tests were done at different settings and environments, comparing the results with the sequential processing and other distributed approach.
id UFMT_5fbb017ea994a91017b61c3ef76c59e9
oai_identifier_str oai:localhost:1/5210
network_acronym_str UFMT
network_name_str Repositório Institucional da UFMT
repository_id_str
spelling Processamento distribuído de grande volume de dados ambientaisHadoopSparkParalelismoBig dataSatéliteWaveletsPrecipitaçãoCNPQ::CIENCIAS EXATAS E DA TERRA::FISICAHadoopSparkParallelismBig dataSatelliteWaveletsPrecipitationThe environmental research involves a wide variety of data from different sources that when manipulated require the use of high computational complexity functi- ons. A function that fits on these characteristics is the wavelet transform, which is the transformation of a series of data in different temporal ranges of frequency and time. This calculation generates a high volume of data and requires high processing performance and storage. These characteristics are present in the con- text of Big Data. The objective of this work is to apply parallel and distributed processing technologies in the context of calculation of environmental data using the Apache Hadoop and Apache Spark frameworks. As a methodology, it was applied the wavelet transform into a large volume of rainfall data of about 15 years generated by TRMM mission - Tropical Rainfall Measuring Mission. Tests were done at different settings and environments, comparing the results with the sequential processing and other distributed approach.CAPESA pesquisa ambiental envolve uma grande diversidade de dados de diferentes origens que quando manipulados demandam a utilização de funções de alta com- plexidade computacional. Uma função que se enquadra nessas características é a transformada de wavelets, que é a transformação de uma série de dados temporais em diferentes escalas de frequência e tempo. Esse cálculo gera um alto volume de dados e requer elevado poder de processamento e armazenamento, características estas presentes no contexto de Big Data. O objetivo deste trabalho é aplicar técnicas de processamento paralelo e distribuído no contexto do cálculo de da- dos ambientais utilizando os frameworks Apache Hadoop e Apache Spark. Como metodologia, foi aplicada a transformada de wavelets em um grande volume de dados de precipitação de aproximadamente 15 anos gerados pela missão TRMM - Tropical Rainfall Measuring Mission. Foram feitos testes em diferentes configu- rações e ambientes, comparando os resultados com o processamento sequencial e outra abordagem distribuída.Universidade Federal de Mato GrossoBrasilInstituto de Física (IF)UFMT CUC - CuiabáPrograma de Pós-Graduação em Física AmbientalFigueiredo, Josiel Maimone dehttp://lattes.cnpq.br/1242386923227672Figueiredo, Josiel Maimone de568.019.391-49http://lattes.cnpq.br/1242386923227672Gomes, Raphael de Souza Rosa011.912.491-23http://lattes.cnpq.br/7352154839166198568.019.391-49Preti, João Paulo Delgado861.958.401-49http://lattes.cnpq.br/6493065488877740Salles, Ricardo Frederico Figueiredo e2024-02-23T16:56:44Z2016-08-302024-02-23T16:56:44Z2016-02-24info:eu-repo/semantics/publishedVersioninfo:eu-repo/semantics/masterThesisSALLES, Ricardo Frederico Figueiredo e. Processamento distribuído de grande volume de dados ambientais. 2016. 49 f. Dissertação (Mestrado em Física Ambiental) - Universidade Federal de Mato Grosso, Instituto de Física, Cuiabá, 2016.http://ri.ufmt.br/handle/1/5210porinfo:eu-repo/semantics/openAccessreponame:Repositório Institucional da UFMTinstname:Universidade Federal de Mato Grosso (UFMT)instacron:UFMT2024-02-27T07:02:18Zoai:localhost:1/5210Repositório InstitucionalPUBhttp://ri.ufmt.br/oai/requestjordanbiblio@gmail.comopendoar:2024-02-27T07:02:18Repositório Institucional da UFMT - Universidade Federal de Mato Grosso (UFMT)false
dc.title.none.fl_str_mv Processamento distribuído de grande volume de dados ambientais
title Processamento distribuído de grande volume de dados ambientais
spellingShingle Processamento distribuído de grande volume de dados ambientais
Salles, Ricardo Frederico Figueiredo e
Hadoop
Spark
Paralelismo
Big data
Satélite
Wavelets
Precipitação
CNPQ::CIENCIAS EXATAS E DA TERRA::FISICA
Hadoop
Spark
Parallelism
Big data
Satellite
Wavelets
Precipitation
title_short Processamento distribuído de grande volume de dados ambientais
title_full Processamento distribuído de grande volume de dados ambientais
title_fullStr Processamento distribuído de grande volume de dados ambientais
title_full_unstemmed Processamento distribuído de grande volume de dados ambientais
title_sort Processamento distribuído de grande volume de dados ambientais
author Salles, Ricardo Frederico Figueiredo e
author_facet Salles, Ricardo Frederico Figueiredo e
author_role author
dc.contributor.none.fl_str_mv Figueiredo, Josiel Maimone de
http://lattes.cnpq.br/1242386923227672
Figueiredo, Josiel Maimone de
568.019.391-49
http://lattes.cnpq.br/1242386923227672
Gomes, Raphael de Souza Rosa
011.912.491-23
http://lattes.cnpq.br/7352154839166198
568.019.391-49
Preti, João Paulo Delgado
861.958.401-49
http://lattes.cnpq.br/6493065488877740
dc.contributor.author.fl_str_mv Salles, Ricardo Frederico Figueiredo e
dc.subject.por.fl_str_mv Hadoop
Spark
Paralelismo
Big data
Satélite
Wavelets
Precipitação
CNPQ::CIENCIAS EXATAS E DA TERRA::FISICA
Hadoop
Spark
Parallelism
Big data
Satellite
Wavelets
Precipitation
topic Hadoop
Spark
Paralelismo
Big data
Satélite
Wavelets
Precipitação
CNPQ::CIENCIAS EXATAS E DA TERRA::FISICA
Hadoop
Spark
Parallelism
Big data
Satellite
Wavelets
Precipitation
description The environmental research involves a wide variety of data from different sources that when manipulated require the use of high computational complexity functi- ons. A function that fits on these characteristics is the wavelet transform, which is the transformation of a series of data in different temporal ranges of frequency and time. This calculation generates a high volume of data and requires high processing performance and storage. These characteristics are present in the con- text of Big Data. The objective of this work is to apply parallel and distributed processing technologies in the context of calculation of environmental data using the Apache Hadoop and Apache Spark frameworks. As a methodology, it was applied the wavelet transform into a large volume of rainfall data of about 15 years generated by TRMM mission - Tropical Rainfall Measuring Mission. Tests were done at different settings and environments, comparing the results with the sequential processing and other distributed approach.
publishDate 2016
dc.date.none.fl_str_mv 2016-08-30
2016-02-24
2024-02-23T16:56:44Z
2024-02-23T16:56:44Z
dc.type.status.fl_str_mv info:eu-repo/semantics/publishedVersion
dc.type.driver.fl_str_mv info:eu-repo/semantics/masterThesis
format masterThesis
status_str publishedVersion
dc.identifier.uri.fl_str_mv SALLES, Ricardo Frederico Figueiredo e. Processamento distribuído de grande volume de dados ambientais. 2016. 49 f. Dissertação (Mestrado em Física Ambiental) - Universidade Federal de Mato Grosso, Instituto de Física, Cuiabá, 2016.
http://ri.ufmt.br/handle/1/5210
identifier_str_mv SALLES, Ricardo Frederico Figueiredo e. Processamento distribuído de grande volume de dados ambientais. 2016. 49 f. Dissertação (Mestrado em Física Ambiental) - Universidade Federal de Mato Grosso, Instituto de Física, Cuiabá, 2016.
url http://ri.ufmt.br/handle/1/5210
dc.language.iso.fl_str_mv por
language por
dc.rights.driver.fl_str_mv info:eu-repo/semantics/openAccess
eu_rights_str_mv openAccess
dc.publisher.none.fl_str_mv Universidade Federal de Mato Grosso
Brasil
Instituto de Física (IF)
UFMT CUC - Cuiabá
Programa de Pós-Graduação em Física Ambiental
publisher.none.fl_str_mv Universidade Federal de Mato Grosso
Brasil
Instituto de Física (IF)
UFMT CUC - Cuiabá
Programa de Pós-Graduação em Física Ambiental
dc.source.none.fl_str_mv reponame:Repositório Institucional da UFMT
instname:Universidade Federal de Mato Grosso (UFMT)
instacron:UFMT
instname_str Universidade Federal de Mato Grosso (UFMT)
instacron_str UFMT
institution UFMT
reponame_str Repositório Institucional da UFMT
collection Repositório Institucional da UFMT
repository.name.fl_str_mv Repositório Institucional da UFMT - Universidade Federal de Mato Grosso (UFMT)
repository.mail.fl_str_mv jordanbiblio@gmail.com
_version_ 1804648534255861760

Registros relacionados