Analisando Sistemas Analíticos Espaciais Baseados em Hadoop e Spark: Uma Perspectiva de Usuário
Autor(a) principal: | |
---|---|
Data de Publicação: | 2019 |
Tipo de documento: | Dissertação |
Idioma: | por |
Título da fonte: | Biblioteca Digital de Teses e Dissertações da USP |
Texto Completo: | https://www.teses.usp.br/teses/disponiveis/55/55134/tde-04022020-122924/ |
Resumo: | Sistemas Analíticos Espaciais (SAEs) representam uma nova tecnologia capaz de gerenciar um grande volume de dados espaciais por meio da utilização de frameworks de processamento paralelo e distribuído de dados, tais como o Hadoop e o Spark. Um número crescente de SAEs tem sido proposto na literatura, fato que evidencia a necessidade de se realizar análises comparativas entre esses sistemas. No entanto, as comparações disponíveis no estado da arte fornecem apenas uma visão centrada no desempenho dos SAEs. Ou seja, no melhor do conhecimento do autor do presente trabalho, não existem abordagens na literatura que realizem comparações entre SAEs com base em uma visão centrada no usuário, ou seja, comparações que visam ajudar os usuários a entender como as características dos SAEs são úteis para atender aos requisitos específicos de suas aplicações espaciais. No presente trabalho, essa lacuna na literatura é preenchida. Uma comparação dos seguintes SAEs baseados em Hadoop e Spark é fornecida, utilizando como base a perspectiva de seus usuários: Hadoop-GIS, SpatialHadoop, SpatialSpark, GeoSpark, GeoMesa Spark, SIMBA, LocationSpark, STARK, Magellan, SparkGIS e Elcano. Essa comparação é realizada de acordo com um amplo conjunto de critérios relacionados às características gerais desses sistemas, aos aspectos de manipulação de dados espaciais e aos aspectos inerentes ao ambiente distribuído. Com base nessa comparação, um conjunto de diretrizes é introduzido a fim de ajudar os usuários no processo de escolha de um SAE apropriado. Dois estudos de caso baseados em aplicações do mundo real também são descritos para ilustrar a aplicabilidade dessas diretrizes. Por fim, também são realizadas discussões sobre tendências cronológicas relacionadas aos SAEs e sobre as limitações que esses sistemas devem suprir a fim de aprimorar a experiência do usuário. |
id |
USP_f3bc3d1a78655d3470beb2ca74cfddaa |
---|---|
oai_identifier_str |
oai:teses.usp.br:tde-04022020-122924 |
network_acronym_str |
USP |
network_name_str |
Biblioteca Digital de Teses e Dissertações da USP |
repository_id_str |
2721 |
spelling |
Analisando Sistemas Analíticos Espaciais Baseados em Hadoop e Spark: Uma Perspectiva de UsuárioSpatial Analytics Systems Based on Hadoop and Spark: A User PerspectiveBig spatial dataBig spatial dataComparação centrada no usuárioHadoopHadoopSistemas analíticos espaciaisSparkSparkSpatial analytics systemsUser-centric comparisonSistemas Analíticos Espaciais (SAEs) representam uma nova tecnologia capaz de gerenciar um grande volume de dados espaciais por meio da utilização de frameworks de processamento paralelo e distribuído de dados, tais como o Hadoop e o Spark. Um número crescente de SAEs tem sido proposto na literatura, fato que evidencia a necessidade de se realizar análises comparativas entre esses sistemas. No entanto, as comparações disponíveis no estado da arte fornecem apenas uma visão centrada no desempenho dos SAEs. Ou seja, no melhor do conhecimento do autor do presente trabalho, não existem abordagens na literatura que realizem comparações entre SAEs com base em uma visão centrada no usuário, ou seja, comparações que visam ajudar os usuários a entender como as características dos SAEs são úteis para atender aos requisitos específicos de suas aplicações espaciais. No presente trabalho, essa lacuna na literatura é preenchida. Uma comparação dos seguintes SAEs baseados em Hadoop e Spark é fornecida, utilizando como base a perspectiva de seus usuários: Hadoop-GIS, SpatialHadoop, SpatialSpark, GeoSpark, GeoMesa Spark, SIMBA, LocationSpark, STARK, Magellan, SparkGIS e Elcano. Essa comparação é realizada de acordo com um amplo conjunto de critérios relacionados às características gerais desses sistemas, aos aspectos de manipulação de dados espaciais e aos aspectos inerentes ao ambiente distribuído. Com base nessa comparação, um conjunto de diretrizes é introduzido a fim de ajudar os usuários no processo de escolha de um SAE apropriado. Dois estudos de caso baseados em aplicações do mundo real também são descritos para ilustrar a aplicabilidade dessas diretrizes. Por fim, também são realizadas discussões sobre tendências cronológicas relacionadas aos SAEs e sobre as limitações que esses sistemas devem suprir a fim de aprimorar a experiência do usuário.Spatial Analytics Systems (SAEs) represent a new technology capable of managing a huge volume of spatial data by using distributed data processing frameworks such as Hadoop and Spark. An increasing number of SAEs have been proposed in the literature, requiring a comparison among them. However, comparisons available in the literature only provide a system-centric view of SAEs, which is essentially based on performance evaluations. Thus, there is a lack of comparisons based on the user-centric view, i.e., comparisons that help users to understand how the characteristics of SAEs are useful to meet the specific requirements of their spatial applications. In this work, we fill this gap in the literature. We provide a user-centric comparison of the following SAEs based on Hadoop and Spark: Hadoop-GIS, SpatialHadoop, SpatialSpark, GeoSpark, GeoMesa Spark, SIMBA, LocationSpark, STARK, Magellan, SparkGIS, and Elcano. This comparison is performed by using an extensive set of criteria related to the general characteristics of these systems, to the aspects of spatial data handling, and to the aspects inherent to the distributed environment. Based on this comparison, we introduce a set of guidelines in order to help users to choose an appropriate SAE. We also describe two case studies based on real-world applications in order to illustrate the use of these guidelines. Finally, we also discuss chronological tendencies related to SAEs and limitations that SAEs should address to improve user experience.Biblioteca Digitais de Teses e Dissertações da USPCiferri, Cristina Dutra de AguiarCastro, João Pedro de Carvalho2019-11-01info:eu-repo/semantics/publishedVersioninfo:eu-repo/semantics/masterThesisapplication/pdfhttps://www.teses.usp.br/teses/disponiveis/55/55134/tde-04022020-122924/reponame:Biblioteca Digital de Teses e Dissertações da USPinstname:Universidade de São Paulo (USP)instacron:USPLiberar o conteúdo para acesso público.info:eu-repo/semantics/openAccesspor2020-02-04T17:36:02Zoai:teses.usp.br:tde-04022020-122924Biblioteca Digital de Teses e Dissertaçõeshttp://www.teses.usp.br/PUBhttp://www.teses.usp.br/cgi-bin/mtd2br.plvirginia@if.usp.br|| atendimento@aguia.usp.br||virginia@if.usp.bropendoar:27212020-02-04T17:36:02Biblioteca Digital de Teses e Dissertações da USP - Universidade de São Paulo (USP)false |
dc.title.none.fl_str_mv |
Analisando Sistemas Analíticos Espaciais Baseados em Hadoop e Spark: Uma Perspectiva de Usuário Spatial Analytics Systems Based on Hadoop and Spark: A User Perspective |
title |
Analisando Sistemas Analíticos Espaciais Baseados em Hadoop e Spark: Uma Perspectiva de Usuário |
spellingShingle |
Analisando Sistemas Analíticos Espaciais Baseados em Hadoop e Spark: Uma Perspectiva de Usuário Castro, João Pedro de Carvalho Big spatial data Big spatial data Comparação centrada no usuário Hadoop Hadoop Sistemas analíticos espaciais Spark Spark Spatial analytics systems User-centric comparison |
title_short |
Analisando Sistemas Analíticos Espaciais Baseados em Hadoop e Spark: Uma Perspectiva de Usuário |
title_full |
Analisando Sistemas Analíticos Espaciais Baseados em Hadoop e Spark: Uma Perspectiva de Usuário |
title_fullStr |
Analisando Sistemas Analíticos Espaciais Baseados em Hadoop e Spark: Uma Perspectiva de Usuário |
title_full_unstemmed |
Analisando Sistemas Analíticos Espaciais Baseados em Hadoop e Spark: Uma Perspectiva de Usuário |
title_sort |
Analisando Sistemas Analíticos Espaciais Baseados em Hadoop e Spark: Uma Perspectiva de Usuário |
author |
Castro, João Pedro de Carvalho |
author_facet |
Castro, João Pedro de Carvalho |
author_role |
author |
dc.contributor.none.fl_str_mv |
Ciferri, Cristina Dutra de Aguiar |
dc.contributor.author.fl_str_mv |
Castro, João Pedro de Carvalho |
dc.subject.por.fl_str_mv |
Big spatial data Big spatial data Comparação centrada no usuário Hadoop Hadoop Sistemas analíticos espaciais Spark Spark Spatial analytics systems User-centric comparison |
topic |
Big spatial data Big spatial data Comparação centrada no usuário Hadoop Hadoop Sistemas analíticos espaciais Spark Spark Spatial analytics systems User-centric comparison |
description |
Sistemas Analíticos Espaciais (SAEs) representam uma nova tecnologia capaz de gerenciar um grande volume de dados espaciais por meio da utilização de frameworks de processamento paralelo e distribuído de dados, tais como o Hadoop e o Spark. Um número crescente de SAEs tem sido proposto na literatura, fato que evidencia a necessidade de se realizar análises comparativas entre esses sistemas. No entanto, as comparações disponíveis no estado da arte fornecem apenas uma visão centrada no desempenho dos SAEs. Ou seja, no melhor do conhecimento do autor do presente trabalho, não existem abordagens na literatura que realizem comparações entre SAEs com base em uma visão centrada no usuário, ou seja, comparações que visam ajudar os usuários a entender como as características dos SAEs são úteis para atender aos requisitos específicos de suas aplicações espaciais. No presente trabalho, essa lacuna na literatura é preenchida. Uma comparação dos seguintes SAEs baseados em Hadoop e Spark é fornecida, utilizando como base a perspectiva de seus usuários: Hadoop-GIS, SpatialHadoop, SpatialSpark, GeoSpark, GeoMesa Spark, SIMBA, LocationSpark, STARK, Magellan, SparkGIS e Elcano. Essa comparação é realizada de acordo com um amplo conjunto de critérios relacionados às características gerais desses sistemas, aos aspectos de manipulação de dados espaciais e aos aspectos inerentes ao ambiente distribuído. Com base nessa comparação, um conjunto de diretrizes é introduzido a fim de ajudar os usuários no processo de escolha de um SAE apropriado. Dois estudos de caso baseados em aplicações do mundo real também são descritos para ilustrar a aplicabilidade dessas diretrizes. Por fim, também são realizadas discussões sobre tendências cronológicas relacionadas aos SAEs e sobre as limitações que esses sistemas devem suprir a fim de aprimorar a experiência do usuário. |
publishDate |
2019 |
dc.date.none.fl_str_mv |
2019-11-01 |
dc.type.status.fl_str_mv |
info:eu-repo/semantics/publishedVersion |
dc.type.driver.fl_str_mv |
info:eu-repo/semantics/masterThesis |
format |
masterThesis |
status_str |
publishedVersion |
dc.identifier.uri.fl_str_mv |
https://www.teses.usp.br/teses/disponiveis/55/55134/tde-04022020-122924/ |
url |
https://www.teses.usp.br/teses/disponiveis/55/55134/tde-04022020-122924/ |
dc.language.iso.fl_str_mv |
por |
language |
por |
dc.relation.none.fl_str_mv |
|
dc.rights.driver.fl_str_mv |
Liberar o conteúdo para acesso público. info:eu-repo/semantics/openAccess |
rights_invalid_str_mv |
Liberar o conteúdo para acesso público. |
eu_rights_str_mv |
openAccess |
dc.format.none.fl_str_mv |
application/pdf |
dc.coverage.none.fl_str_mv |
|
dc.publisher.none.fl_str_mv |
Biblioteca Digitais de Teses e Dissertações da USP |
publisher.none.fl_str_mv |
Biblioteca Digitais de Teses e Dissertações da USP |
dc.source.none.fl_str_mv |
reponame:Biblioteca Digital de Teses e Dissertações da USP instname:Universidade de São Paulo (USP) instacron:USP |
instname_str |
Universidade de São Paulo (USP) |
instacron_str |
USP |
institution |
USP |
reponame_str |
Biblioteca Digital de Teses e Dissertações da USP |
collection |
Biblioteca Digital de Teses e Dissertações da USP |
repository.name.fl_str_mv |
Biblioteca Digital de Teses e Dissertações da USP - Universidade de São Paulo (USP) |
repository.mail.fl_str_mv |
virginia@if.usp.br|| atendimento@aguia.usp.br||virginia@if.usp.br |
_version_ |
1815256649429942272 |