Data Science for Non-Programmers: Orchestration of Microservices and Graphical User Interface

Detalhes bibliográficos
Autor(a) principal: Lopes, Bruno Leonel André
Data de Publicação: 2018
Tipo de documento: Dissertação
Idioma: eng
Título da fonte: Repositório Científico de Acesso Aberto de Portugal (Repositórios Cientìficos)
Texto Completo: http://hdl.handle.net/10316/83562
Resumo: Dissertação de Mestrado em Engenharia Informática apresentada à Faculdade de Ciências e Tecnologia
id RCAP_eaa5ff8217abb7a899441ccf948f4445
oai_identifier_str oai:estudogeral.uc.pt:10316/83562
network_acronym_str RCAP
network_name_str Repositório Científico de Acesso Aberto de Portugal (Repositórios Cientìficos)
repository_id_str 7160
spelling Data Science for Non-Programmers: Orchestration of Microservices and Graphical User InterfaceData Science para não-programadores: Orquestração de Microserviços e Interface GráficaData ScienceData MiningMicroservicesOrchestrationWorkflowsData ScienceData MiningMicroservicesOrchestrationWorkflowsDissertação de Mestrado em Engenharia Informática apresentada à Faculdade de Ciências e TecnologiaCom o surgimento de Big Data, a escassez de data scientists para analisar todos os dados produzidos em diferentes domínios tornou-se evidente. Para treinar novos data scientists e para fazer experiências mais rápidamente, aplicações web que providenciem boas práticas de data science e que não requeiram experiência em programação, podem ser uma grande ajuda.Contudo, algumas aplicações web não aplicam bem as boas práticas de data mining, especialmente na avaliação e seleção de modelos. Assim sendo, nesta dissertação iremos descrever um sistema, atualmente em desenvolvimento, que permitirá a criação de worflows com especial ênfase nas boas práticas de data mining. Os desafios tecnológicos principais abordados nesta tese, foram a adoção do Netflix Conductor para a orquestração de microservices; desenvolvimento da biblioteca Condu, que facilita a comunicação com o Conductor escrita em Python; e a construção de uma interface gráfica para o utilizador. Testes de usabilidade foram feitos com dois grupos de utilizadores para avaliar o nosso conceito de criação de processos de data mining. Nestes testes foram alcançados altos níveis de satisfação por parte dos utilizadores .With the emergence of Big Data, the scarcity of data scientists to analyse all the data being produced in different domains became evident. To train new data scientists and make experiments with data faster, web applications providing good data science practices without requiring programming skills can be a great help. However, some available web applications lack in providing good data mining practices, specially for the assessment and selection of models. Thus, in this dissertation we describe a system, currently under development, that will allow the construction of data mining workflows enforcing good data mining practices. The main technical challenges addressed in this thesis were the adoption of Netflix Conductor to orchestrate the microservices; the development of Condu, a Python utility library to interface with Conductor; and the construction of the graphical user interface.Usability tests, were conducted with two groups of users to evaluate the envisioned concept for the creation of data mining processes. In these tests we observed a general high level of user satisfaction .Outro - This thesis was carried out by the candidate Bruno Lopes, under the project PTDC/EEI-ESS/1189/2014 — Data Science for Non-Programmers, supported by COMPETE 2020, Portugal 2020-POCI, UE-FEDER and FCT.2018-09-10info:eu-repo/semantics/publishedVersioninfo:eu-repo/semantics/masterThesishttp://hdl.handle.net/10316/83562http://hdl.handle.net/10316/83562TID:202129551engLopes, Bruno Leonel Andréinfo:eu-repo/semantics/openAccessreponame:Repositório Científico de Acesso Aberto de Portugal (Repositórios Cientìficos)instname:Agência para a Sociedade do Conhecimento (UMIC) - FCT - Sociedade da Informaçãoinstacron:RCAAP2020-02-10T16:14:22Zoai:estudogeral.uc.pt:10316/83562Portal AgregadorONGhttps://www.rcaap.pt/oai/openaireopendoar:71602024-03-19T21:05:16.784607Repositório Científico de Acesso Aberto de Portugal (Repositórios Cientìficos) - Agência para a Sociedade do Conhecimento (UMIC) - FCT - Sociedade da Informaçãofalse
dc.title.none.fl_str_mv Data Science for Non-Programmers: Orchestration of Microservices and Graphical User Interface
Data Science para não-programadores: Orquestração de Microserviços e Interface Gráfica
title Data Science for Non-Programmers: Orchestration of Microservices and Graphical User Interface
spellingShingle Data Science for Non-Programmers: Orchestration of Microservices and Graphical User Interface
Lopes, Bruno Leonel André
Data Science
Data Mining
Microservices
Orchestration
Workflows
Data Science
Data Mining
Microservices
Orchestration
Workflows
title_short Data Science for Non-Programmers: Orchestration of Microservices and Graphical User Interface
title_full Data Science for Non-Programmers: Orchestration of Microservices and Graphical User Interface
title_fullStr Data Science for Non-Programmers: Orchestration of Microservices and Graphical User Interface
title_full_unstemmed Data Science for Non-Programmers: Orchestration of Microservices and Graphical User Interface
title_sort Data Science for Non-Programmers: Orchestration of Microservices and Graphical User Interface
author Lopes, Bruno Leonel André
author_facet Lopes, Bruno Leonel André
author_role author
dc.contributor.author.fl_str_mv Lopes, Bruno Leonel André
dc.subject.por.fl_str_mv Data Science
Data Mining
Microservices
Orchestration
Workflows
Data Science
Data Mining
Microservices
Orchestration
Workflows
topic Data Science
Data Mining
Microservices
Orchestration
Workflows
Data Science
Data Mining
Microservices
Orchestration
Workflows
description Dissertação de Mestrado em Engenharia Informática apresentada à Faculdade de Ciências e Tecnologia
publishDate 2018
dc.date.none.fl_str_mv 2018-09-10
dc.type.status.fl_str_mv info:eu-repo/semantics/publishedVersion
dc.type.driver.fl_str_mv info:eu-repo/semantics/masterThesis
format masterThesis
status_str publishedVersion
dc.identifier.uri.fl_str_mv http://hdl.handle.net/10316/83562
http://hdl.handle.net/10316/83562
TID:202129551
url http://hdl.handle.net/10316/83562
identifier_str_mv TID:202129551
dc.language.iso.fl_str_mv eng
language eng
dc.rights.driver.fl_str_mv info:eu-repo/semantics/openAccess
eu_rights_str_mv openAccess
dc.source.none.fl_str_mv reponame:Repositório Científico de Acesso Aberto de Portugal (Repositórios Cientìficos)
instname:Agência para a Sociedade do Conhecimento (UMIC) - FCT - Sociedade da Informação
instacron:RCAAP
instname_str Agência para a Sociedade do Conhecimento (UMIC) - FCT - Sociedade da Informação
instacron_str RCAAP
institution RCAAP
reponame_str Repositório Científico de Acesso Aberto de Portugal (Repositórios Cientìficos)
collection Repositório Científico de Acesso Aberto de Portugal (Repositórios Cientìficos)
repository.name.fl_str_mv Repositório Científico de Acesso Aberto de Portugal (Repositórios Cientìficos) - Agência para a Sociedade do Conhecimento (UMIC) - FCT - Sociedade da Informação
repository.mail.fl_str_mv
_version_ 1799133944991449088

Registros relacionados