Web Scraping na Nuvem AWS: Uma Abordagem com Máquinas Virtuais Burstable

• Autor(a) principal: Pereira, Matheus Marotti
• Data de Publicação: 2022
• Outros Autores: Silva, Thiago do Prado
• Tipo de documento: Trabalho de conclusão de curso
• Idioma: por
• Título da fonte: Repositório Institucional da Universidade Federal Fluminense (RIUFF)
• Texto Completo: http://app.uff.br/riuff/handle/1/26754
• topic: Web Scraping; Máquina burstable; Nuvem AWS; Computação em nuvem; Framework (Programa de computador); Burstable instances; AWS Cloud

A presente pesquisa tem por objetivo propor um sistema de Web Scraping, baseado na nuvem computacional da AWS, utilizando as, até então pouco exploradas, máquinas EC2 burstable. Além da criação de um sistema que se aproveita das qualidades expansíveis desse tipo de máquina, o trabalho busca trazer uma comparação com outras abordagens existentes, apontando cenários onde o sistema proposto pode trazer vantagens sobre as mesmas, levando em consideração o tempo de processamento de pedidos e custo financeiro. O Web Scraping é uma técnica amplamente utilizada para tomada de decisões, recolhendo e estruturando dados públicos na internet, mas não disponibilizados via API. Quando a carga de informação necessária para decisões fica cada vez mais intensa, é necessário refinar os sistemas de extração de dados buscando métodos mais eficientes. O framework define um cluster misto com instâncias burstable fixas e temporárias. Esse mesmo cluster pode variar o número de instâncias burstable temporárias, adicionando ou removendo VMs, para garantir o Service Level Agreement (SLA) das mensagens e minimização dos custos. O framework proposto foi avaliado na nuvem AWS, com uma e duas instâncias burstable fixas e comparado a uma abordagem apenas com instâncias on-demand não expansíveis e também a outra solução baseada em Function as a Service (FaaS). Os resultados mostraram que todos os testes atendem o SLA definido, alcançando uma redução de 96% de custo financeiro, em seu melhor caso quando comparado à abordagem FaaS, e redução de 95,59%, em seu melhor caso quando comparado à abordagem on-demand. Além disso, houve redução de custos de no mínimo 93,26% em todos os demais casos de teste, mostrando que máquinas burstable podem ser um ótimo recurso para esse problema.