A Criação de Valor através da Reutilização de Dados Abertos: Arquitetura e desenvolvimento de uma plataforma Serverless em Cloud AWS, direcionada ao retalho alimentar online

Detalhes bibliográficos
Autor(a) principal: Pimenta, Cláudia Maria Silva
Data de Publicação: 2023
Tipo de documento: Dissertação
Idioma: por
Título da fonte: Repositório Científico de Acesso Aberto de Portugal (Repositórios Cientìficos)
Texto Completo: http://hdl.handle.net/10362/149576
Resumo: Dissertation presented as the partial requirement for obtaining a Master's degree in Information Management, specialization in Knowledge Management and Business Intelligence
id RCAP_14032fca63b322520faf140993cc8b37
oai_identifier_str oai:run.unl.pt:10362/149576
network_acronym_str RCAP
network_name_str Repositório Científico de Acesso Aberto de Portugal (Repositórios Cientìficos)
repository_id_str 7160
spelling A Criação de Valor através da Reutilização de Dados Abertos: Arquitetura e desenvolvimento de uma plataforma Serverless em Cloud AWS, direcionada ao retalho alimentar onlineDados AbertosAnálise de DadosArquitetura ServerlessWeb ScrapingWeb CrawlingE-commerceETLOpen DataData AnalysisServerless ArchitectureWeb ScrapingWeb CrawlingSDG 8 - Decent work and economic growthSDG 8 - Trabalho decente e crescimento economicoDomínio/Área Científica::Ciências Naturais::Ciências da Computação e da InformaçãoDissertation presented as the partial requirement for obtaining a Master's degree in Information Management, specialization in Knowledge Management and Business IntelligenceO presente estudo teve como objetivo geral comprovar o valor que a reutilização de dados abertos pode representar no impacto económico de uma empresa com loja online. A recolha de informação (os dados relativos a produtos) em fontes abertas (em lojas online) constitui uma das potencialidades para a exploração do mercado online. Para isso foram abordadas questões inerentes ao desenvolvimento de criação de valor dos dados abertos com a arquitetura e a implementação de uma plataforma de reutilização de dados, utilizando exclusivamente informação pública das principais lojas online de retalho em Portugal. O resultado traduzir-se-á numa plataforma que combina dados de diferentes retalhistas para uma exploração de dados ampla, rica e precisa acerca do mercado retalhista online, em tempo real. No que diz respeito à implementação da plataforma serão interpelados todos os passos necessários da construção de uma ferramenta escalável e automatizada para um acesso e recolha mais fácil às informações, conteúdos e produtos das lojas online (Websites), resultando em ganhos de eficiência no que diz respeito a Data Analytics devido à utilização de dados em tempo real que permitem elaborar análises avançadas e assim contribuir para um conhecimento mais profundo do mercado. Com foco nos novos paradigmas da Data Science e na importância da inclusão de tecnologias que revelem uma mais-valia quando aplicadas a desenvolvimentos de projetos nesta temática, a aplicação será construída com base numa arquitetura Serverless na Cloud Amazon Web Services (AWS) utilizando as técnicas de Web Scraping e Web Crawling para a extração dos dados, encontrando soluções de resposta às diversas proteções dos Websites (lojas online). Com foco no objetivo principal, depois da informação recolhida, transformada e armazenada, será desenvolvida uma camada de análise aos dados, a fim de observar e medir a importância dos dados no mercado de retalho online em Portugal. Sintetizado, questões relacionadas com matéria de reutilização de dados abertos, técnicas de Web Scraping e Web Crawling, soluções contra defesas que os portais online implementam, vantagens e desafios na utilização de arquiteturas Serverless e construção de análises visando a criação de valor na compreensão do negócio, serão conceitos abordados e discutidos com detalhe durante a presente dissertação.This study had the general objective of proving the value that the reuse of open data can represent in the economic impact of a company with an online store. The collection of information (product data) in open sources (in online stores) is one of the potentialities for exploring the online market. To this end, issues inherent to the development of open data value creation were addressed with the architecture and implementation of a platform for data reuse, using exclusively public information from the main online retail stores in Portugal. The result will be a platform that combines data from different retailers for a broad, rich, and accurate data exploration of the online retail market, in real time. Regarding the implementation of the platform, all necessary steps will be addressed to build a scalable and automated tool for easier access and collection of information, content, and products from online stores (Websites), resulting in efficiency gains regarding Data Analytics due to the use of real-time data that allows advanced analysis and thus contributes to a deeper understanding of the market. Focusing on the new paradigms of Data Science and the importance of including technologies that show added value when applied to project developments in this area, the application will be built based on a Serverless architecture in the Amazon Web Services (AWS) cloud using Web Scraping and Web Crawler techniques for data extraction, finding solutions to respond to the various protections of Websites (online stores). Focusing on the main goal, after the information collected, transformed, and stored, a layer of data analysis will be developed to observe and measure the importance of data in the online retail market in Portugal. In summary, issues related to open data reuse, Web Scraping and Web Crawler techniques, solutions against defenses that online portals implement, advantages and challenges in the use of Serverless architectures and the construction of analytics aiming to create value in business understanding, will be concepts addressed and discussed in detail during this dissertation.Malta, Pedro Manuel Carqueijeiro Espiga da MaiaRUNPimenta, Cláudia Maria Silva2023-02-23T13:18:42Z2023-01-272023-01-27T00:00:00Zinfo:eu-repo/semantics/publishedVersioninfo:eu-repo/semantics/masterThesisapplication/pdfhttp://hdl.handle.net/10362/149576TID:203236220porinfo:eu-repo/semantics/openAccessreponame:Repositório Científico de Acesso Aberto de Portugal (Repositórios Cientìficos)instname:Agência para a Sociedade do Conhecimento (UMIC) - FCT - Sociedade da Informaçãoinstacron:RCAAP2024-03-11T05:31:28Zoai:run.unl.pt:10362/149576Portal AgregadorONGhttps://www.rcaap.pt/oai/openaireopendoar:71602024-03-20T03:53:47.385362Repositório Científico de Acesso Aberto de Portugal (Repositórios Cientìficos) - Agência para a Sociedade do Conhecimento (UMIC) - FCT - Sociedade da Informaçãofalse
dc.title.none.fl_str_mv A Criação de Valor através da Reutilização de Dados Abertos: Arquitetura e desenvolvimento de uma plataforma Serverless em Cloud AWS, direcionada ao retalho alimentar online
title A Criação de Valor através da Reutilização de Dados Abertos: Arquitetura e desenvolvimento de uma plataforma Serverless em Cloud AWS, direcionada ao retalho alimentar online
spellingShingle A Criação de Valor através da Reutilização de Dados Abertos: Arquitetura e desenvolvimento de uma plataforma Serverless em Cloud AWS, direcionada ao retalho alimentar online
Pimenta, Cláudia Maria Silva
Dados Abertos
Análise de Dados
Arquitetura Serverless
Web Scraping
Web Crawling
E-commerce
ETL
Open Data
Data Analysis
Serverless Architecture
Web Scraping
Web Crawling
SDG 8 - Decent work and economic growth
SDG 8 - Trabalho decente e crescimento economico
Domínio/Área Científica::Ciências Naturais::Ciências da Computação e da Informação
title_short A Criação de Valor através da Reutilização de Dados Abertos: Arquitetura e desenvolvimento de uma plataforma Serverless em Cloud AWS, direcionada ao retalho alimentar online
title_full A Criação de Valor através da Reutilização de Dados Abertos: Arquitetura e desenvolvimento de uma plataforma Serverless em Cloud AWS, direcionada ao retalho alimentar online
title_fullStr A Criação de Valor através da Reutilização de Dados Abertos: Arquitetura e desenvolvimento de uma plataforma Serverless em Cloud AWS, direcionada ao retalho alimentar online
title_full_unstemmed A Criação de Valor através da Reutilização de Dados Abertos: Arquitetura e desenvolvimento de uma plataforma Serverless em Cloud AWS, direcionada ao retalho alimentar online
title_sort A Criação de Valor através da Reutilização de Dados Abertos: Arquitetura e desenvolvimento de uma plataforma Serverless em Cloud AWS, direcionada ao retalho alimentar online
author Pimenta, Cláudia Maria Silva
author_facet Pimenta, Cláudia Maria Silva
author_role author
dc.contributor.none.fl_str_mv Malta, Pedro Manuel Carqueijeiro Espiga da Maia
RUN
dc.contributor.author.fl_str_mv Pimenta, Cláudia Maria Silva
dc.subject.por.fl_str_mv Dados Abertos
Análise de Dados
Arquitetura Serverless
Web Scraping
Web Crawling
E-commerce
ETL
Open Data
Data Analysis
Serverless Architecture
Web Scraping
Web Crawling
SDG 8 - Decent work and economic growth
SDG 8 - Trabalho decente e crescimento economico
Domínio/Área Científica::Ciências Naturais::Ciências da Computação e da Informação
topic Dados Abertos
Análise de Dados
Arquitetura Serverless
Web Scraping
Web Crawling
E-commerce
ETL
Open Data
Data Analysis
Serverless Architecture
Web Scraping
Web Crawling
SDG 8 - Decent work and economic growth
SDG 8 - Trabalho decente e crescimento economico
Domínio/Área Científica::Ciências Naturais::Ciências da Computação e da Informação
description Dissertation presented as the partial requirement for obtaining a Master's degree in Information Management, specialization in Knowledge Management and Business Intelligence
publishDate 2023
dc.date.none.fl_str_mv 2023-02-23T13:18:42Z
2023-01-27
2023-01-27T00:00:00Z
dc.type.status.fl_str_mv info:eu-repo/semantics/publishedVersion
dc.type.driver.fl_str_mv info:eu-repo/semantics/masterThesis
format masterThesis
status_str publishedVersion
dc.identifier.uri.fl_str_mv http://hdl.handle.net/10362/149576
TID:203236220
url http://hdl.handle.net/10362/149576
identifier_str_mv TID:203236220
dc.language.iso.fl_str_mv por
language por
dc.rights.driver.fl_str_mv info:eu-repo/semantics/openAccess
eu_rights_str_mv openAccess
dc.format.none.fl_str_mv application/pdf
dc.source.none.fl_str_mv reponame:Repositório Científico de Acesso Aberto de Portugal (Repositórios Cientìficos)
instname:Agência para a Sociedade do Conhecimento (UMIC) - FCT - Sociedade da Informação
instacron:RCAAP
instname_str Agência para a Sociedade do Conhecimento (UMIC) - FCT - Sociedade da Informação
instacron_str RCAAP
institution RCAAP
reponame_str Repositório Científico de Acesso Aberto de Portugal (Repositórios Cientìficos)
collection Repositório Científico de Acesso Aberto de Portugal (Repositórios Cientìficos)
repository.name.fl_str_mv Repositório Científico de Acesso Aberto de Portugal (Repositórios Cientìficos) - Agência para a Sociedade do Conhecimento (UMIC) - FCT - Sociedade da Informação
repository.mail.fl_str_mv
_version_ 1799138128047374336

Registros relacionados