Um estudo sobre a aplicabilidade de big data na rede social Twitter
Autor(a) principal: | |
---|---|
Data de Publicação: | 2015 |
Tipo de documento: | Trabalho de conclusão de curso |
Idioma: | por |
Título da fonte: | Repositório Institucional da UTFPR (da Universidade Tecnológica Federal do Paraná (RIUT)) |
Texto Completo: | http://repositorio.utfpr.edu.br/jspui/handle/1/13421 |
Resumo: | O presente trabalho é embasado teoricamente em estudos sobre a aplicação de Big Data nas redes social Twitter. O trabalho teve como objetivo a criação de um estudo sobre as ferramentas utilizadas para a mineração dos dados por meio da análise de sentimento. Teve como ferramentas principais o Apache Hadoop e o Hortonworks Data Plataform que foram imprescindíveis para a análise de Big Data. Este estudo possibilitou um programador por meio de Hadoop pudesse extrair dados de sentimento do Twitter para analisar o desempenho de um lançamento de um produto. Para isso, foi necessário fazer o download e extrair os arquivos de sentimento criados por meio da coleta do Apache Flume, agregando grandes quantidades de dados de fluxo para o Hadoop Distributed File System (HDFS). Em seguida, foi feito o carregamento dos arquivos de dados do Twitter criados para a Hortonworks Sandbox, o singlenode cluster Hadoop rodado na Máquina Virtual. Foi utilizado o HCatalog para construir uma visão relacional dos dados onde, em seguida foi feita a cópia e execução do script Hive para a Sandbox para o possível refinamento dos dados brutos e consulta destes dados. Por fim foi possível importar e acessar esses dados refinados com a utilização do Microsoft Excel, e a visualização dos dados de sentimento usando o Excel Power View. |
id |
UTFPR-12_0bd04456ab8929186bc0d32ccb878730 |
---|---|
oai_identifier_str |
oai:repositorio.utfpr.edu.br:1/13421 |
network_acronym_str |
UTFPR-12 |
network_name_str |
Repositório Institucional da UTFPR (da Universidade Tecnológica Federal do Paraná (RIUT)) |
repository_id_str |
|
spelling |
2020-11-16T14:44:02Z2020-11-16T14:44:02Z2015-06-10GONCALVES, Isabella Grzeczeczen. Um estudo sobre a aplicabilidade de big data na rede social Twitter. 2015. Trabalho de Conclusão de Curso (Tecnologia em análise e desenvolvimento de sistemas) - Universidade Tecnológica Federal do Paraná, Medianeira, 2015.http://repositorio.utfpr.edu.br/jspui/handle/1/13421O presente trabalho é embasado teoricamente em estudos sobre a aplicação de Big Data nas redes social Twitter. O trabalho teve como objetivo a criação de um estudo sobre as ferramentas utilizadas para a mineração dos dados por meio da análise de sentimento. Teve como ferramentas principais o Apache Hadoop e o Hortonworks Data Plataform que foram imprescindíveis para a análise de Big Data. Este estudo possibilitou um programador por meio de Hadoop pudesse extrair dados de sentimento do Twitter para analisar o desempenho de um lançamento de um produto. Para isso, foi necessário fazer o download e extrair os arquivos de sentimento criados por meio da coleta do Apache Flume, agregando grandes quantidades de dados de fluxo para o Hadoop Distributed File System (HDFS). Em seguida, foi feito o carregamento dos arquivos de dados do Twitter criados para a Hortonworks Sandbox, o singlenode cluster Hadoop rodado na Máquina Virtual. Foi utilizado o HCatalog para construir uma visão relacional dos dados onde, em seguida foi feita a cópia e execução do script Hive para a Sandbox para o possível refinamento dos dados brutos e consulta destes dados. Por fim foi possível importar e acessar esses dados refinados com a utilização do Microsoft Excel, e a visualização dos dados de sentimento usando o Excel Power View.This study is theoretically grounded in research on the application of Big Data on social network Twitter. The work aims to create a study of the tools used for Data Mining through sentiment analysis. And had as main tools the Apache Hadoop and the Hortonworks Data Platform that were essential for the analysis of Big Data. This study enabled a programmer through Hadoop could extract the Twitter sentiment data to analyze the performance of a release of a particular movie. For this, you need to download and extract the feeling of files created by collecting the Apache Flume, adding large amounts of flow data to the Hadoop Distributed File System (HDFS). Then loading the Twitter data files created for Hortonworks Sandbox was done, the Hadoop cluster singlenode shot in Virtual Machine. It was used the HCatalog to build a relational view of the data where then the copying is done and execution of the Hive script for the Sandbox for possible refinement of raw data and query this data. Finally we were able to download and access these refined data using Microsoft Excel, and the sense of data displayed using Excel Power View.porUniversidade Tecnológica Federal do ParanáMedianeiraAnálise e Desenvolvimento de SistemasUTFPRBrasilCNPQ::CIENCIAS EXATAS E DA TERRA::CIENCIA DA COMPUTACAOMineração de dados (Computação)Anúncios pela InternetProcesso decisórioData miningInternet advertisingDecision makingUm estudo sobre a aplicabilidade de big data na rede social Twitterinfo:eu-repo/semantics/publishedVersioninfo:eu-repo/semantics/bachelorThesisMedianeiraLamb, Juliano RodrigoLamb, Juliano RodrigoMatté, Márcio AngeloAraújo, Everton Coimbra deGonçalves, Isabella Grzeczeczeninfo:eu-repo/semantics/openAccessreponame:Repositório Institucional da UTFPR (da Universidade Tecnológica Federal do Paraná (RIUT))instname:Universidade Tecnológica Federal do Paraná (UTFPR)instacron:UTFPRORIGINALMD_COADS_2015_1_08.pdfapplication/pdf3265973http://repositorio.utfpr.edu.br:8080/jspui/bitstream/1/13421/1/MD_COADS_2015_1_08.pdfc816140204d621277c7c7426f0c22233MD51LICENSElicense.txttext/plain1290http://repositorio.utfpr.edu.br:8080/jspui/bitstream/1/13421/2/license.txtb9d82215ab23456fa2d8b49c5df1b95bMD52TEXTMD_COADS_2015_1_08.pdf.txtExtracted texttext/plain81020http://repositorio.utfpr.edu.br:8080/jspui/bitstream/1/13421/3/MD_COADS_2015_1_08.pdf.txt3d2530a9fc1fe52a3d38ac2f3960f9a2MD53THUMBNAILMD_COADS_2015_1_08.pdf.jpgGenerated Thumbnailimage/jpeg1230http://repositorio.utfpr.edu.br:8080/jspui/bitstream/1/13421/4/MD_COADS_2015_1_08.pdf.jpg7ca2c40740d43b382f55c618efaa0a9aMD541/134212020-11-16 12:44:02.216oai:repositorio.utfpr.edu.br:1/13421TmEgcXVhbGlkYWRlIGRlIHRpdHVsYXIgZG9zIGRpcmVpdG9zIGRlIGF1dG9yIGRhIHB1YmxpY2HDp8OjbywgYXV0b3Jpem8gYSBVVEZQUiBhIHZlaWN1bGFyLCAKYXRyYXbDqXMgZG8gUG9ydGFsIGRlIEluZm9ybWHDp8OjbyBlbSBBY2Vzc28gQWJlcnRvIChQSUFBKSBlIGRvcyBDYXTDoWxvZ29zIGRhcyBCaWJsaW90ZWNhcyAKZGVzdGEgSW5zdGl0dWnDp8Ojbywgc2VtIHJlc3NhcmNpbWVudG8gZG9zIGRpcmVpdG9zIGF1dG9yYWlzLCBkZSBhY29yZG8gY29tIGEgTGVpIG5vIDkuNjEwLzk4LCAKbyB0ZXh0byBkZXN0YSBvYnJhLCBvYnNlcnZhbmRvIGFzIGNvbmRpw6fDtWVzIGRlIGRpc3BvbmliaWxpemHDp8OjbyByZWdpc3RyYWRhcyBubyBpdGVtIDQgZG8gCuKAnFRlcm1vIGRlIEF1dG9yaXphw6fDo28gcGFyYSBQdWJsaWNhw6fDo28gZGUgVHJhYmFsaG9zIGRlIENvbmNsdXPDo28gZGUgQ3Vyc28gZGUgR3JhZHVhw6fDo28gZSAKRXNwZWNpYWxpemHDp8OjbywgRGlzc2VydGHDp8O1ZXMgZSBUZXNlcyBubyBQb3J0YWwgZGUgSW5mb3JtYcOnw6NvIGUgbm9zIENhdMOhbG9nb3MgRWxldHLDtG5pY29zIGRvIApTaXN0ZW1hIGRlIEJpYmxpb3RlY2FzIGRhIFVURlBS4oCdLCBwYXJhIGZpbnMgZGUgbGVpdHVyYSwgaW1wcmVzc8OjbyBlL291IGRvd25sb2FkLCB2aXNhbmRvIGEgCmRpdnVsZ2HDp8OjbyBkYSBwcm9kdcOnw6NvIGNpZW50w61maWNhIGJyYXNpbGVpcmEuCgogIEFzIHZpYXMgb3JpZ2luYWlzIGUgYXNzaW5hZGFzIHBlbG8ocykgYXV0b3IoZXMpIGRvIOKAnFRlcm1vIGRlIEF1dG9yaXphw6fDo28gcGFyYSBQdWJsaWNhw6fDo28gZGUgClRyYWJhbGhvcyBkZSBDb25jbHVzw6NvIGRlIEN1cnNvIGRlIEdyYWR1YcOnw6NvIGUgRXNwZWNpYWxpemHDp8OjbywgRGlzc2VydGHDp8O1ZXMgZSBUZXNlcyBubyBQb3J0YWwgCmRlIEluZm9ybWHDp8OjbyBlIG5vcyBDYXTDoWxvZ29zIEVsZXRyw7RuaWNvcyBkbyBTaXN0ZW1hIGRlIEJpYmxpb3RlY2FzIGRhIFVURlBS4oCdIGUgZGEg4oCcRGVjbGFyYcOnw6NvIApkZSBBdXRvcmlh4oCdIGVuY29udHJhbS1zZSBhcnF1aXZhZGFzIG5hIEJpYmxpb3RlY2EgZG8gQ8OibXB1cyBubyBxdWFsIG8gdHJhYmFsaG8gZm9pIGRlZmVuZGlkby4gCk5vIGNhc28gZGUgcHVibGljYcOnw7VlcyBkZSBhdXRvcmlhIGNvbGV0aXZhIGUgbXVsdGljw6JtcHVzLCBvcyBkb2N1bWVudG9zIGZpY2Fyw6NvIHNvYiBndWFyZGEgZGEgCkJpYmxpb3RlY2EgY29tIGEgcXVhbCBvIOKAnHByaW1laXJvIGF1dG9y4oCdIHBvc3N1YSB2w61uY3Vsby4KRepositório de PublicaçõesPUBhttp://repositorio.utfpr.edu.br:8080/oai/requestopendoar:2020-11-16T14:44:02Repositório Institucional da UTFPR (da Universidade Tecnológica Federal do Paraná (RIUT)) - Universidade Tecnológica Federal do Paraná (UTFPR)false |
dc.title.pt_BR.fl_str_mv |
Um estudo sobre a aplicabilidade de big data na rede social Twitter |
title |
Um estudo sobre a aplicabilidade de big data na rede social Twitter |
spellingShingle |
Um estudo sobre a aplicabilidade de big data na rede social Twitter Gonçalves, Isabella Grzeczeczen CNPQ::CIENCIAS EXATAS E DA TERRA::CIENCIA DA COMPUTACAO Mineração de dados (Computação) Anúncios pela Internet Processo decisório Data mining Internet advertising Decision making |
title_short |
Um estudo sobre a aplicabilidade de big data na rede social Twitter |
title_full |
Um estudo sobre a aplicabilidade de big data na rede social Twitter |
title_fullStr |
Um estudo sobre a aplicabilidade de big data na rede social Twitter |
title_full_unstemmed |
Um estudo sobre a aplicabilidade de big data na rede social Twitter |
title_sort |
Um estudo sobre a aplicabilidade de big data na rede social Twitter |
author |
Gonçalves, Isabella Grzeczeczen |
author_facet |
Gonçalves, Isabella Grzeczeczen |
author_role |
author |
dc.contributor.advisor1.fl_str_mv |
Lamb, Juliano Rodrigo |
dc.contributor.referee1.fl_str_mv |
Lamb, Juliano Rodrigo |
dc.contributor.referee2.fl_str_mv |
Matté, Márcio Angelo |
dc.contributor.referee3.fl_str_mv |
Araújo, Everton Coimbra de |
dc.contributor.author.fl_str_mv |
Gonçalves, Isabella Grzeczeczen |
contributor_str_mv |
Lamb, Juliano Rodrigo Lamb, Juliano Rodrigo Matté, Márcio Angelo Araújo, Everton Coimbra de |
dc.subject.cnpq.fl_str_mv |
CNPQ::CIENCIAS EXATAS E DA TERRA::CIENCIA DA COMPUTACAO |
topic |
CNPQ::CIENCIAS EXATAS E DA TERRA::CIENCIA DA COMPUTACAO Mineração de dados (Computação) Anúncios pela Internet Processo decisório Data mining Internet advertising Decision making |
dc.subject.por.fl_str_mv |
Mineração de dados (Computação) Anúncios pela Internet Processo decisório Data mining Internet advertising Decision making |
description |
O presente trabalho é embasado teoricamente em estudos sobre a aplicação de Big Data nas redes social Twitter. O trabalho teve como objetivo a criação de um estudo sobre as ferramentas utilizadas para a mineração dos dados por meio da análise de sentimento. Teve como ferramentas principais o Apache Hadoop e o Hortonworks Data Plataform que foram imprescindíveis para a análise de Big Data. Este estudo possibilitou um programador por meio de Hadoop pudesse extrair dados de sentimento do Twitter para analisar o desempenho de um lançamento de um produto. Para isso, foi necessário fazer o download e extrair os arquivos de sentimento criados por meio da coleta do Apache Flume, agregando grandes quantidades de dados de fluxo para o Hadoop Distributed File System (HDFS). Em seguida, foi feito o carregamento dos arquivos de dados do Twitter criados para a Hortonworks Sandbox, o singlenode cluster Hadoop rodado na Máquina Virtual. Foi utilizado o HCatalog para construir uma visão relacional dos dados onde, em seguida foi feita a cópia e execução do script Hive para a Sandbox para o possível refinamento dos dados brutos e consulta destes dados. Por fim foi possível importar e acessar esses dados refinados com a utilização do Microsoft Excel, e a visualização dos dados de sentimento usando o Excel Power View. |
publishDate |
2015 |
dc.date.issued.fl_str_mv |
2015-06-10 |
dc.date.accessioned.fl_str_mv |
2020-11-16T14:44:02Z |
dc.date.available.fl_str_mv |
2020-11-16T14:44:02Z |
dc.type.status.fl_str_mv |
info:eu-repo/semantics/publishedVersion |
dc.type.driver.fl_str_mv |
info:eu-repo/semantics/bachelorThesis |
format |
bachelorThesis |
status_str |
publishedVersion |
dc.identifier.citation.fl_str_mv |
GONCALVES, Isabella Grzeczeczen. Um estudo sobre a aplicabilidade de big data na rede social Twitter. 2015. Trabalho de Conclusão de Curso (Tecnologia em análise e desenvolvimento de sistemas) - Universidade Tecnológica Federal do Paraná, Medianeira, 2015. |
dc.identifier.uri.fl_str_mv |
http://repositorio.utfpr.edu.br/jspui/handle/1/13421 |
identifier_str_mv |
GONCALVES, Isabella Grzeczeczen. Um estudo sobre a aplicabilidade de big data na rede social Twitter. 2015. Trabalho de Conclusão de Curso (Tecnologia em análise e desenvolvimento de sistemas) - Universidade Tecnológica Federal do Paraná, Medianeira, 2015. |
url |
http://repositorio.utfpr.edu.br/jspui/handle/1/13421 |
dc.language.iso.fl_str_mv |
por |
language |
por |
dc.rights.driver.fl_str_mv |
info:eu-repo/semantics/openAccess |
eu_rights_str_mv |
openAccess |
dc.publisher.none.fl_str_mv |
Universidade Tecnológica Federal do Paraná Medianeira |
dc.publisher.program.fl_str_mv |
Análise e Desenvolvimento de Sistemas |
dc.publisher.initials.fl_str_mv |
UTFPR |
dc.publisher.country.fl_str_mv |
Brasil |
publisher.none.fl_str_mv |
Universidade Tecnológica Federal do Paraná Medianeira |
dc.source.none.fl_str_mv |
reponame:Repositório Institucional da UTFPR (da Universidade Tecnológica Federal do Paraná (RIUT)) instname:Universidade Tecnológica Federal do Paraná (UTFPR) instacron:UTFPR |
instname_str |
Universidade Tecnológica Federal do Paraná (UTFPR) |
instacron_str |
UTFPR |
institution |
UTFPR |
reponame_str |
Repositório Institucional da UTFPR (da Universidade Tecnológica Federal do Paraná (RIUT)) |
collection |
Repositório Institucional da UTFPR (da Universidade Tecnológica Federal do Paraná (RIUT)) |
bitstream.url.fl_str_mv |
http://repositorio.utfpr.edu.br:8080/jspui/bitstream/1/13421/1/MD_COADS_2015_1_08.pdf http://repositorio.utfpr.edu.br:8080/jspui/bitstream/1/13421/2/license.txt http://repositorio.utfpr.edu.br:8080/jspui/bitstream/1/13421/3/MD_COADS_2015_1_08.pdf.txt http://repositorio.utfpr.edu.br:8080/jspui/bitstream/1/13421/4/MD_COADS_2015_1_08.pdf.jpg |
bitstream.checksum.fl_str_mv |
c816140204d621277c7c7426f0c22233 b9d82215ab23456fa2d8b49c5df1b95b 3d2530a9fc1fe52a3d38ac2f3960f9a2 7ca2c40740d43b382f55c618efaa0a9a |
bitstream.checksumAlgorithm.fl_str_mv |
MD5 MD5 MD5 MD5 |
repository.name.fl_str_mv |
Repositório Institucional da UTFPR (da Universidade Tecnológica Federal do Paraná (RIUT)) - Universidade Tecnológica Federal do Paraná (UTFPR) |
repository.mail.fl_str_mv |
|
_version_ |
1805922955889213440 |