Arquitetura Data Warehouse para relatórios de Business Intelligence: Estudo de Caso na Constructel

Detalhes bibliográficos
Autor(a) principal: Martins, Anthony Edgard Marques
Data de Publicação: 2020
Tipo de documento: Dissertação
Idioma: por
Título da fonte: Repositório Científico de Acesso Aberto de Portugal (Repositórios Cientìficos)
Texto Completo: http://hdl.handle.net/10400.19/6535
Resumo: Os Sistemas de Informação (SI) são considerados essenciais em todas as organizações, desempenhando vários papéis importantes e vitais, principalmente no suporte às operações, às tomadas de decisão e na vantagem competitiva e estratégica do negócio. Tendo em conta o aumento substancial do volume de dados recolhidos nas organizações, é essencial reunir o máximo de informação legível e verídica, agrupando diferentes conjuntos de dados em bases de dados (BD), para que possam ser usadas, a nível operacional, e para necessidades internas à organização. No contexto desta realidade, a Constructel (empresa do Grupo Visabeira), de forma a não entrar em conflito com as operações do dia-a-dia, e com visão focada na gestão otimizada de indicadores, necessita reformular e evoluir constantemente de estratégia, tendo optado pela criação de uma arquitetura Data Warehouse (DW) adequada a atualidade do negócio e do volume crescente de dados. Para poder responder a todas as necessidades e possibilitar uma gestão eficiente de indicadores, o objetivo principal deste Projeto focou-se no desenvolvimento de uma plataforma de Business Intelligence (BI), sustentada numa arquitetura Data Warehouse capaz de apresentar os resultados dos indicadores em formato de Dashboards e Relatórios para dotar e melhorar a gestão de negócio na organização com uma visão simplificada e real da atualidade aos gestores, de forma a facilitar a tomada de decisões. Com foco no problema e na sua resolução, este projeto teve o seu processo inicial na recolha de dados, utilizando métodos de importação adequados para grandes volumes de informação e para extração de dados a partir de ficheiros CSV e XLS, utilizando scripts criados em SQL (Script Query Language), incluindo também importação de dados por Interface de Programação de Aplicações (API) provenientes da plataforma cliente utilizada no dia-a-dia da operação. A posteriori, através de técnicas de Extração, Transformação e Armazenamento (ETL, do inglês Extract, Transform and Load), apenas a informação considerada essencial e útil é armazenada em DW e utilizada à posterior pela plataforma de BI. Através da revisão da literatura e da redação do Estado da Arte, denota-se a importância em conseguir detalhar eficazmente os dados recolhidos e em armazenar toda a informação relevante num ou vários repositórios DW (denominados de Data Marts – DM), dependendo da sua abrangência e significado. Com a recolha de informações relevantes no DW, e com a implementação de uma plataforma direcionada para a gestão e análise “inteligente” de toda a informação relativa aos Indicadores, torna-se mais fácil obter Dashboards e Relatórios essenciais para a divulgação de resultados e soluções plausíveis dentro do negócio e da organização. Permitir uma visão esclarecedora e intuitiva do negócio em tempo real é mais um fator relevante e característico da solução implementada. Outro aspeto importante e integrado na solução implementada é facilitar a gestão diária de Indicadores na organização, relembrando que é importantíssimo não interferir nos processamentos do lado operacional, utilizando para tal acontecer, os dados armazenados em DW. A ferramenta Microsoft Power BI foi utilizada na implementação da plataforma BI, permitindo apresentar uma visão realista do negócio e dos resultados dos indicadores através de Dashboards, e com base nas informações recolhidas no DW. Para aumentar o relevo da organização e a satisfação para com os clientes, a necessidade de evolução e de acompanhamento das tecnologias é muito importante. É através desta necessidade que surge a estruturação e implementação da plataforma BI, por forma a permitir automatizar a generalidade das funcionalidades relacionadas com os Indicadores da organização e elevar o negócio a um patamar exemplar. A meta para se obter um “bom produto final” está na constante evolução dos SI e conhecimentos gerais do respetivo negócio da organização. Fornecer informação real e útil aos gestores operacionais, facilita o processo de tomada de decisão e permite manter o foco na operação diária no terreno, permitindo assim, elevar o nome da organização num patamar importante a nível de conhecimento e competitividade. A leitura inteligente da informação torna mais fácil e simples a escolha da decisão.
id RCAP_564ab5fe3083da8ca5145cbaf1c2f15e
oai_identifier_str oai:repositorio.ipv.pt:10400.19/6535
network_acronym_str RCAP
network_name_str Repositório Científico de Acesso Aberto de Portugal (Repositórios Cientìficos)
repository_id_str 7160
spelling Arquitetura Data Warehouse para relatórios de Business Intelligence: Estudo de Caso na ConstructelBusiness IntelligenceData WarehouseBig DataSQLSistemas de InformaçãoConstructelGrupo VisabeiraGestão de IndicadoresDashboardsRelatóriosETLSuporte à DecisãoDomínio/Área Científica::Engenharia e Tecnologia::Engenharia Eletrotécnica, Eletrónica e InformáticaOs Sistemas de Informação (SI) são considerados essenciais em todas as organizações, desempenhando vários papéis importantes e vitais, principalmente no suporte às operações, às tomadas de decisão e na vantagem competitiva e estratégica do negócio. Tendo em conta o aumento substancial do volume de dados recolhidos nas organizações, é essencial reunir o máximo de informação legível e verídica, agrupando diferentes conjuntos de dados em bases de dados (BD), para que possam ser usadas, a nível operacional, e para necessidades internas à organização. No contexto desta realidade, a Constructel (empresa do Grupo Visabeira), de forma a não entrar em conflito com as operações do dia-a-dia, e com visão focada na gestão otimizada de indicadores, necessita reformular e evoluir constantemente de estratégia, tendo optado pela criação de uma arquitetura Data Warehouse (DW) adequada a atualidade do negócio e do volume crescente de dados. Para poder responder a todas as necessidades e possibilitar uma gestão eficiente de indicadores, o objetivo principal deste Projeto focou-se no desenvolvimento de uma plataforma de Business Intelligence (BI), sustentada numa arquitetura Data Warehouse capaz de apresentar os resultados dos indicadores em formato de Dashboards e Relatórios para dotar e melhorar a gestão de negócio na organização com uma visão simplificada e real da atualidade aos gestores, de forma a facilitar a tomada de decisões. Com foco no problema e na sua resolução, este projeto teve o seu processo inicial na recolha de dados, utilizando métodos de importação adequados para grandes volumes de informação e para extração de dados a partir de ficheiros CSV e XLS, utilizando scripts criados em SQL (Script Query Language), incluindo também importação de dados por Interface de Programação de Aplicações (API) provenientes da plataforma cliente utilizada no dia-a-dia da operação. A posteriori, através de técnicas de Extração, Transformação e Armazenamento (ETL, do inglês Extract, Transform and Load), apenas a informação considerada essencial e útil é armazenada em DW e utilizada à posterior pela plataforma de BI. Através da revisão da literatura e da redação do Estado da Arte, denota-se a importância em conseguir detalhar eficazmente os dados recolhidos e em armazenar toda a informação relevante num ou vários repositórios DW (denominados de Data Marts – DM), dependendo da sua abrangência e significado. Com a recolha de informações relevantes no DW, e com a implementação de uma plataforma direcionada para a gestão e análise “inteligente” de toda a informação relativa aos Indicadores, torna-se mais fácil obter Dashboards e Relatórios essenciais para a divulgação de resultados e soluções plausíveis dentro do negócio e da organização. Permitir uma visão esclarecedora e intuitiva do negócio em tempo real é mais um fator relevante e característico da solução implementada. Outro aspeto importante e integrado na solução implementada é facilitar a gestão diária de Indicadores na organização, relembrando que é importantíssimo não interferir nos processamentos do lado operacional, utilizando para tal acontecer, os dados armazenados em DW. A ferramenta Microsoft Power BI foi utilizada na implementação da plataforma BI, permitindo apresentar uma visão realista do negócio e dos resultados dos indicadores através de Dashboards, e com base nas informações recolhidas no DW. Para aumentar o relevo da organização e a satisfação para com os clientes, a necessidade de evolução e de acompanhamento das tecnologias é muito importante. É através desta necessidade que surge a estruturação e implementação da plataforma BI, por forma a permitir automatizar a generalidade das funcionalidades relacionadas com os Indicadores da organização e elevar o negócio a um patamar exemplar. A meta para se obter um “bom produto final” está na constante evolução dos SI e conhecimentos gerais do respetivo negócio da organização. Fornecer informação real e útil aos gestores operacionais, facilita o processo de tomada de decisão e permite manter o foco na operação diária no terreno, permitindo assim, elevar o nome da organização num patamar importante a nível de conhecimento e competitividade. A leitura inteligente da informação torna mais fácil e simples a escolha da decisão.ABSTRACT Information Systems (SI) are considered essential in all organizations, playing several important and vital roles, mainly in support of operations, decision-making and in the competitive and strategic advantage of the company. In the context of this reality, the key is to gather as much readable information as possible by grouping different sets of data into one or more databases (BD), which are used within organizations, at the operational level. In the context of this reality, Constructel (Visabeira Group Company), in order not to come into conflict with daily operations, and with a vision centered on optimized management of indicators, needs to reformulate and constantly evolve its strategy, having opted for the creation of a suitable Data Warehouse (DW) architecture adapted to the current activity and the growing volume of data. In order to meet all needs and allow efficient management of indicators, the main goal of this Project focused on the development of a Business Intelligence (BI) platform, supported by a Data Warehouse architecture with capacity to presenting the indicator results in Dashboards and Reports to provide and improve the management of business in the organization with a simplified and real view of the current situations to managers, all in order to facilitate the decision-making. By focusing on the problem and its resolution, this Project had its initial process of collecting data, using import methods suitable for large volumes of information (Big Data) and for extracting data from CSV and XLS files, using scripts created in SQL, also including importing data from API, released by client platform used in day to day operations. Subsequently, with the extraction, transformation, and load process (ETL), only the information deemed essential and useful is stored in DW and used by the BI platform. While reviewing the literature and writing the state of the art, it is important to be able to effectively detail the data collected and store all relevant information in one or more DW repositories, depending on perimeter and meaning of data. With the combination of relevant information in a DW, and with the establishment of a platform aimed at the management and “intelligent” analysis of all information related to the Indicators, it is easier to obtain dashboards and reports to the dissemination of results and plausible solutions within business and organization. Allowing, in real time, an enlightening and intuitive vision of the company, as well as facilitating the daily management of Indicators in the organization is another relevant and characteristic factor of the solution implemented, recalling the importance of not interfering in daily processing on the operational side. The Microsoft Power BI tool was used in the implementation of the BI platform, allowing to present a realistic view of the company and the results of indicators via Dashboards, and based on the information collected in the DW. To increase the relevance and satisfaction of the organization on client side, the need for technology development and monitoring tools is very important. It is through this need that the BI platform is structured and implemented, to automate most of the functionalities linked to the organization’s Indicators and to raise the company to an exemplary level. The objective to obtain a “good end product” is in the constant evolution of the information system and the general knowledge of the organization’s activities. Providing real and useful information to operational managers, facilitates the decision-making process and allows you to stay focused on the day-to-day operations in the field, thus bringing the name of the organization to a significant level of knowledge and competitiveness. Finally, the intelligent reading of information facilitates the choice of the decision.Sá, Filipe Alexandre Almeida Ningre deRepositório Científico do Instituto Politécnico de ViseuMartins, Anthony Edgard Marques2021-01-13T16:43:54Z2020-12-182020-10-022020-12-18T00:00:00Zinfo:eu-repo/semantics/publishedVersioninfo:eu-repo/semantics/masterThesisapplication/pdfhttp://hdl.handle.net/10400.19/6535TID:202576639porinfo:eu-repo/semantics/openAccessreponame:Repositório Científico de Acesso Aberto de Portugal (Repositórios Cientìficos)instname:Agência para a Sociedade do Conhecimento (UMIC) - FCT - Sociedade da Informaçãoinstacron:RCAAP2023-01-16T15:28:47Zoai:repositorio.ipv.pt:10400.19/6535Portal AgregadorONGhttps://www.rcaap.pt/oai/openaireopendoar:71602024-03-19T16:44:24.519522Repositório Científico de Acesso Aberto de Portugal (Repositórios Cientìficos) - Agência para a Sociedade do Conhecimento (UMIC) - FCT - Sociedade da Informaçãofalse
dc.title.none.fl_str_mv Arquitetura Data Warehouse para relatórios de Business Intelligence: Estudo de Caso na Constructel
title Arquitetura Data Warehouse para relatórios de Business Intelligence: Estudo de Caso na Constructel
spellingShingle Arquitetura Data Warehouse para relatórios de Business Intelligence: Estudo de Caso na Constructel
Martins, Anthony Edgard Marques
Business Intelligence
Data Warehouse
Big Data
SQL
Sistemas de Informação
Constructel
Grupo Visabeira
Gestão de Indicadores
Dashboards
Relatórios
ETL
Suporte à Decisão
Domínio/Área Científica::Engenharia e Tecnologia::Engenharia Eletrotécnica, Eletrónica e Informática
title_short Arquitetura Data Warehouse para relatórios de Business Intelligence: Estudo de Caso na Constructel
title_full Arquitetura Data Warehouse para relatórios de Business Intelligence: Estudo de Caso na Constructel
title_fullStr Arquitetura Data Warehouse para relatórios de Business Intelligence: Estudo de Caso na Constructel
title_full_unstemmed Arquitetura Data Warehouse para relatórios de Business Intelligence: Estudo de Caso na Constructel
title_sort Arquitetura Data Warehouse para relatórios de Business Intelligence: Estudo de Caso na Constructel
author Martins, Anthony Edgard Marques
author_facet Martins, Anthony Edgard Marques
author_role author
dc.contributor.none.fl_str_mv Sá, Filipe Alexandre Almeida Ningre de
Repositório Científico do Instituto Politécnico de Viseu
dc.contributor.author.fl_str_mv Martins, Anthony Edgard Marques
dc.subject.por.fl_str_mv Business Intelligence
Data Warehouse
Big Data
SQL
Sistemas de Informação
Constructel
Grupo Visabeira
Gestão de Indicadores
Dashboards
Relatórios
ETL
Suporte à Decisão
Domínio/Área Científica::Engenharia e Tecnologia::Engenharia Eletrotécnica, Eletrónica e Informática
topic Business Intelligence
Data Warehouse
Big Data
SQL
Sistemas de Informação
Constructel
Grupo Visabeira
Gestão de Indicadores
Dashboards
Relatórios
ETL
Suporte à Decisão
Domínio/Área Científica::Engenharia e Tecnologia::Engenharia Eletrotécnica, Eletrónica e Informática
description Os Sistemas de Informação (SI) são considerados essenciais em todas as organizações, desempenhando vários papéis importantes e vitais, principalmente no suporte às operações, às tomadas de decisão e na vantagem competitiva e estratégica do negócio. Tendo em conta o aumento substancial do volume de dados recolhidos nas organizações, é essencial reunir o máximo de informação legível e verídica, agrupando diferentes conjuntos de dados em bases de dados (BD), para que possam ser usadas, a nível operacional, e para necessidades internas à organização. No contexto desta realidade, a Constructel (empresa do Grupo Visabeira), de forma a não entrar em conflito com as operações do dia-a-dia, e com visão focada na gestão otimizada de indicadores, necessita reformular e evoluir constantemente de estratégia, tendo optado pela criação de uma arquitetura Data Warehouse (DW) adequada a atualidade do negócio e do volume crescente de dados. Para poder responder a todas as necessidades e possibilitar uma gestão eficiente de indicadores, o objetivo principal deste Projeto focou-se no desenvolvimento de uma plataforma de Business Intelligence (BI), sustentada numa arquitetura Data Warehouse capaz de apresentar os resultados dos indicadores em formato de Dashboards e Relatórios para dotar e melhorar a gestão de negócio na organização com uma visão simplificada e real da atualidade aos gestores, de forma a facilitar a tomada de decisões. Com foco no problema e na sua resolução, este projeto teve o seu processo inicial na recolha de dados, utilizando métodos de importação adequados para grandes volumes de informação e para extração de dados a partir de ficheiros CSV e XLS, utilizando scripts criados em SQL (Script Query Language), incluindo também importação de dados por Interface de Programação de Aplicações (API) provenientes da plataforma cliente utilizada no dia-a-dia da operação. A posteriori, através de técnicas de Extração, Transformação e Armazenamento (ETL, do inglês Extract, Transform and Load), apenas a informação considerada essencial e útil é armazenada em DW e utilizada à posterior pela plataforma de BI. Através da revisão da literatura e da redação do Estado da Arte, denota-se a importância em conseguir detalhar eficazmente os dados recolhidos e em armazenar toda a informação relevante num ou vários repositórios DW (denominados de Data Marts – DM), dependendo da sua abrangência e significado. Com a recolha de informações relevantes no DW, e com a implementação de uma plataforma direcionada para a gestão e análise “inteligente” de toda a informação relativa aos Indicadores, torna-se mais fácil obter Dashboards e Relatórios essenciais para a divulgação de resultados e soluções plausíveis dentro do negócio e da organização. Permitir uma visão esclarecedora e intuitiva do negócio em tempo real é mais um fator relevante e característico da solução implementada. Outro aspeto importante e integrado na solução implementada é facilitar a gestão diária de Indicadores na organização, relembrando que é importantíssimo não interferir nos processamentos do lado operacional, utilizando para tal acontecer, os dados armazenados em DW. A ferramenta Microsoft Power BI foi utilizada na implementação da plataforma BI, permitindo apresentar uma visão realista do negócio e dos resultados dos indicadores através de Dashboards, e com base nas informações recolhidas no DW. Para aumentar o relevo da organização e a satisfação para com os clientes, a necessidade de evolução e de acompanhamento das tecnologias é muito importante. É através desta necessidade que surge a estruturação e implementação da plataforma BI, por forma a permitir automatizar a generalidade das funcionalidades relacionadas com os Indicadores da organização e elevar o negócio a um patamar exemplar. A meta para se obter um “bom produto final” está na constante evolução dos SI e conhecimentos gerais do respetivo negócio da organização. Fornecer informação real e útil aos gestores operacionais, facilita o processo de tomada de decisão e permite manter o foco na operação diária no terreno, permitindo assim, elevar o nome da organização num patamar importante a nível de conhecimento e competitividade. A leitura inteligente da informação torna mais fácil e simples a escolha da decisão.
publishDate 2020
dc.date.none.fl_str_mv 2020-12-18
2020-10-02
2020-12-18T00:00:00Z
2021-01-13T16:43:54Z
dc.type.status.fl_str_mv info:eu-repo/semantics/publishedVersion
dc.type.driver.fl_str_mv info:eu-repo/semantics/masterThesis
format masterThesis
status_str publishedVersion
dc.identifier.uri.fl_str_mv http://hdl.handle.net/10400.19/6535
TID:202576639
url http://hdl.handle.net/10400.19/6535
identifier_str_mv TID:202576639
dc.language.iso.fl_str_mv por
language por
dc.rights.driver.fl_str_mv info:eu-repo/semantics/openAccess
eu_rights_str_mv openAccess
dc.format.none.fl_str_mv application/pdf
dc.source.none.fl_str_mv reponame:Repositório Científico de Acesso Aberto de Portugal (Repositórios Cientìficos)
instname:Agência para a Sociedade do Conhecimento (UMIC) - FCT - Sociedade da Informação
instacron:RCAAP
instname_str Agência para a Sociedade do Conhecimento (UMIC) - FCT - Sociedade da Informação
instacron_str RCAAP
institution RCAAP
reponame_str Repositório Científico de Acesso Aberto de Portugal (Repositórios Cientìficos)
collection Repositório Científico de Acesso Aberto de Portugal (Repositórios Cientìficos)
repository.name.fl_str_mv Repositório Científico de Acesso Aberto de Portugal (Repositórios Cientìficos) - Agência para a Sociedade do Conhecimento (UMIC) - FCT - Sociedade da Informação
repository.mail.fl_str_mv
_version_ 1799130914791358464