Um estudo sobre a aplicabilidade de big data na rede social Twitter

• Autor(a) principal: Gonçalves, Isabella Grzeczeczen
• Data de Publicação: 2015
• Tipo de documento: Trabalho de conclusão de curso
• Idioma: por
• Título da fonte: Repositório Institucional da UTFPR (da Universidade Tecnológica Federal do Paraná (RIUT))
• Texto Completo: http://repositorio.utfpr.edu.br/jspui/handle/1/13421
• topic: CNPQ::CIENCIAS EXATAS E DA TERRA::CIENCIA DA COMPUTACAO; Mineração de dados (Computação); Anúncios pela Internet; Processo decisório; Data mining; Internet advertising; Decision making

O presente trabalho é embasado teoricamente em estudos sobre a aplicação de Big Data nas redes social Twitter. O trabalho teve como objetivo a criação de um estudo sobre as ferramentas utilizadas para a mineração dos dados por meio da análise de sentimento. Teve como ferramentas principais o Apache Hadoop e o Hortonworks Data Plataform que foram imprescindíveis para a análise de Big Data. Este estudo possibilitou um programador por meio de Hadoop pudesse extrair dados de sentimento do Twitter para analisar o desempenho de um lançamento de um produto. Para isso, foi necessário fazer o download e extrair os arquivos de sentimento criados por meio da coleta do Apache Flume, agregando grandes quantidades de dados de fluxo para o Hadoop Distributed File System (HDFS). Em seguida, foi feito o carregamento dos arquivos de dados do Twitter criados para a Hortonworks Sandbox, o singlenode cluster Hadoop rodado na Máquina Virtual. Foi utilizado o HCatalog para construir uma visão relacional dos dados onde, em seguida foi feita a cópia e execução do script Hive para a Sandbox para o possível refinamento dos dados brutos e consulta destes dados. Por fim foi possível importar e acessar esses dados refinados com a utilização do Microsoft Excel, e a visualização dos dados de sentimento usando o Excel Power View.