A bundle of services to develop better Machine Learning applications

Detalhes bibliográficos
Autor(a) principal: Guimarães, Miguel Ângelo Machado
Data de Publicação: 2022
Tipo de documento: Dissertação
Idioma: por
Título da fonte: Repositório Científico de Acesso Aberto de Portugal (Repositórios Cientìficos)
Texto Completo: http://hdl.handle.net/10400.22/22510
Resumo: Inteligência Artificial (IA) é um tema na moda atualmente. Machine Learning (ML) é a área mais comum de aplicação de IA, e como o nome indica, o objetivo é fazer com que a máquina aprenda. Essa aprendizagem pode ser a simulação de tarefas repetitivas do Homem, para, por exemplo, testar cenários hipotéticos ou até mesmo substituir a mão de obra humana. Pode inclusivamente, ser uma simulação a nível físico como a nível mental, ou seja, envolver o deslocamento de algum objeto, ou ainda o raciocínio ou o resultado deste de um indivíduo. Estes sistemas inteligentes podem até superar o intelecto do Homem. No entanto, é necessário haver restrições da sua aplicação em determinados domínios mais sensíveis onde exista um direito à explicação, como refere o Regulamento Geral sobre a Proteção de Dados 2016/679 (RGPD), em que qualquer decisão que tenha por base um sistema inteligente tem de ser justificada. Como refere o Regulamento Europeu para a Inteligência Artificial, principalmente no ponto 3.5, o uso de IA pode afetar significativamente um elevado número de fatores relacionado com os direitos fundamentais do ser humano. Existe, portanto, a necessidade de assegurar o direito à dignidade humana, respeito pela privacidade, não discriminação e igualdade de género. É necessário garantir também que todos os intervenientes afetados por um sistema de IA tenham as mesmas condições de trabalho e de segurança. De facto, grande parte das aplicações de ML têm como intuito auxiliar o ser humano, como, por exemplo, ajudar o gestor de alguma empresa a tomar uma decisão e/ou explicá-la. O problema é que os algoritmos conhecidos por oferecerem uma melhor performance, tais como redes neuronais que são uma abordagem inspirada no funcionamento do sistema nervoso dos mamíferos, são também aqueles cujo funcionamento ou o porquê de tomarem determinadas previsões é mais difícil de decifrar. Nesse sentido, motivado pelas novas normas do RGPD e por questões éticas, e com um caso real de aplicação no domínio de deteção de fraude fiscal, um dos objetivos deste trabalho é explicar o porquê das previsões elaboradas pelos algoritmos conhecidos por black-box. Não obstante, o trabalho pode ser aplicado a outros algoritmos em que falte a componente explicativa, e outros domínios que necessitem de uma decisão apoiada numa explicação. A solução proposta é o desenvolvimento de raiz de um sistema inteligente na área XAI (Explainable Artificial Intelligence), que seja incorporado e contribua para um sistema de ML já existente com justificações plausíveis e transparentes sobre as previsões dadas por outros modelos de ML. Outro desafio destes sistemas inteligentes é a necessidade de um constante retreino de modelos, dado que novos dados chegam ao sistema, para não ficarem obsoletos com o tempo por já não conseguirem eficazmente realizar uma previsão. Contudo, uma maior quantidade de dados não significa necessariamente novos padrões, correndo-se o risco de se desperdiçar recursos a re-treinar um modelo cuja performance não é superior à sua anterior versão. Para abordar este problema, propõe-se o uso de meta-learning para prever a performance de um modelo de ML com base nas características do dataset (caracterizadas por meta-features). Resumidamente, será construído um meta-modelo com base nas meta-features de vários datasets, que terá a capacidade de prever uma métrica de erro de um futuro modelo de ML, e.g. RMSE, MSE, R², MAE, incluindo o tempo que demora a treinar o modelo, permitindo assim decidir quanto ao re-treino ou não do modelo. Este conjunto de serviços para ML permitirá desenvolver melhores modelos, quer do ponto de vista ético, quer do ponto de vista da sua eficiência.
id RCAP_843fcc33af855d1d1a71463df25552d1
oai_identifier_str oai:recipp.ipp.pt:10400.22/22510
network_acronym_str RCAP
network_name_str Repositório Científico de Acesso Aberto de Portugal (Repositórios Cientìficos)
repository_id_str 7160
spelling A bundle of services to develop better Machine Learning applicationsInteractive Machine LearningMeta-LearningError PredictionExplainable Artificial IntelligenceInformáticaInteligência Artificial (IA) é um tema na moda atualmente. Machine Learning (ML) é a área mais comum de aplicação de IA, e como o nome indica, o objetivo é fazer com que a máquina aprenda. Essa aprendizagem pode ser a simulação de tarefas repetitivas do Homem, para, por exemplo, testar cenários hipotéticos ou até mesmo substituir a mão de obra humana. Pode inclusivamente, ser uma simulação a nível físico como a nível mental, ou seja, envolver o deslocamento de algum objeto, ou ainda o raciocínio ou o resultado deste de um indivíduo. Estes sistemas inteligentes podem até superar o intelecto do Homem. No entanto, é necessário haver restrições da sua aplicação em determinados domínios mais sensíveis onde exista um direito à explicação, como refere o Regulamento Geral sobre a Proteção de Dados 2016/679 (RGPD), em que qualquer decisão que tenha por base um sistema inteligente tem de ser justificada. Como refere o Regulamento Europeu para a Inteligência Artificial, principalmente no ponto 3.5, o uso de IA pode afetar significativamente um elevado número de fatores relacionado com os direitos fundamentais do ser humano. Existe, portanto, a necessidade de assegurar o direito à dignidade humana, respeito pela privacidade, não discriminação e igualdade de género. É necessário garantir também que todos os intervenientes afetados por um sistema de IA tenham as mesmas condições de trabalho e de segurança. De facto, grande parte das aplicações de ML têm como intuito auxiliar o ser humano, como, por exemplo, ajudar o gestor de alguma empresa a tomar uma decisão e/ou explicá-la. O problema é que os algoritmos conhecidos por oferecerem uma melhor performance, tais como redes neuronais que são uma abordagem inspirada no funcionamento do sistema nervoso dos mamíferos, são também aqueles cujo funcionamento ou o porquê de tomarem determinadas previsões é mais difícil de decifrar. Nesse sentido, motivado pelas novas normas do RGPD e por questões éticas, e com um caso real de aplicação no domínio de deteção de fraude fiscal, um dos objetivos deste trabalho é explicar o porquê das previsões elaboradas pelos algoritmos conhecidos por black-box. Não obstante, o trabalho pode ser aplicado a outros algoritmos em que falte a componente explicativa, e outros domínios que necessitem de uma decisão apoiada numa explicação. A solução proposta é o desenvolvimento de raiz de um sistema inteligente na área XAI (Explainable Artificial Intelligence), que seja incorporado e contribua para um sistema de ML já existente com justificações plausíveis e transparentes sobre as previsões dadas por outros modelos de ML. Outro desafio destes sistemas inteligentes é a necessidade de um constante retreino de modelos, dado que novos dados chegam ao sistema, para não ficarem obsoletos com o tempo por já não conseguirem eficazmente realizar uma previsão. Contudo, uma maior quantidade de dados não significa necessariamente novos padrões, correndo-se o risco de se desperdiçar recursos a re-treinar um modelo cuja performance não é superior à sua anterior versão. Para abordar este problema, propõe-se o uso de meta-learning para prever a performance de um modelo de ML com base nas características do dataset (caracterizadas por meta-features). Resumidamente, será construído um meta-modelo com base nas meta-features de vários datasets, que terá a capacidade de prever uma métrica de erro de um futuro modelo de ML, e.g. RMSE, MSE, R², MAE, incluindo o tempo que demora a treinar o modelo, permitindo assim decidir quanto ao re-treino ou não do modelo. Este conjunto de serviços para ML permitirá desenvolver melhores modelos, quer do ponto de vista ético, quer do ponto de vista da sua eficiência.Artificial Intelligence (AI) is a fashionable topic these days. Machine Learning is the most common application of AI, and it’s widely used in many domains in order to give predictions and help a decision agent to decide. The problem is that the algorithms that are known to offer better performance, such as neural networks, inspired by the human brain, are also more difficult to understand. Therefore, it’s necessary to have restrictions of its application in more sensitive areas in which there is a right to an explanation, as stated in the General Data Protection Regulation 2016/679 (GDPR). In this sense, motivated by the new rules of the GDPR and by ethical issues, one of the objectives of this work is to explain why of such algorithms known as black-box make certain predictions. The proposed approach can be applied to other algorithms that lack the explanatory component, and in domains that need a decision supported by an explanation. The proposed solution is the development of an intelligent system from scratch in the field of Explainable Artificial Intelligence (XAI), which is incorporated into and contributes to an existing ML system with plausible and transparent justifications about the predictions given by the other ML models. Another challenge of these intelligent systems is the need for constant re-training of models, given that new data are always arriving, so that they don’t become obsolete over time. However, a greater amount of data not necessarily means new patterns, running the risk of wasting resources on re-training a model whose performance is not better to its previous version. To address this problem, we propose the use of meta-learning to predict the performance of a ML model based on dataset characteristics (meta-features). In short, a Meta-model is constructed based on the meta-features of many datasets, which will have the ability to predict an error metric of a future ML model, e.g. RMSE, MSE, R², MAE, including the time it takes to train the model, thus making it possible to decide on re-training or not the model. This set of services for ML will allow developing better ML systems, from the point of ethical view and its efficiencyCarneiro, Davide RuaRepositório Científico do Instituto Politécnico do PortoGuimarães, Miguel Ângelo Machado2023-03-15T12:35:06Z202220222022-01-01T00:00:00Zinfo:eu-repo/semantics/publishedVersioninfo:eu-repo/semantics/masterThesisapplication/pdfhttp://hdl.handle.net/10400.22/22510TID:203153359porinfo:eu-repo/semantics/openAccessreponame:Repositório Científico de Acesso Aberto de Portugal (Repositórios Cientìficos)instname:Agência para a Sociedade do Conhecimento (UMIC) - FCT - Sociedade da Informaçãoinstacron:RCAAP2023-03-22T01:47:14Zoai:recipp.ipp.pt:10400.22/22510Portal AgregadorONGhttps://www.rcaap.pt/oai/openaireopendoar:71602024-03-19T17:45:01.978121Repositório Científico de Acesso Aberto de Portugal (Repositórios Cientìficos) - Agência para a Sociedade do Conhecimento (UMIC) - FCT - Sociedade da Informaçãofalse
dc.title.none.fl_str_mv A bundle of services to develop better Machine Learning applications
title A bundle of services to develop better Machine Learning applications
spellingShingle A bundle of services to develop better Machine Learning applications
Guimarães, Miguel Ângelo Machado
Interactive Machine Learning
Meta-Learning
Error Prediction
Explainable Artificial Intelligence
Informática
title_short A bundle of services to develop better Machine Learning applications
title_full A bundle of services to develop better Machine Learning applications
title_fullStr A bundle of services to develop better Machine Learning applications
title_full_unstemmed A bundle of services to develop better Machine Learning applications
title_sort A bundle of services to develop better Machine Learning applications
author Guimarães, Miguel Ângelo Machado
author_facet Guimarães, Miguel Ângelo Machado
author_role author
dc.contributor.none.fl_str_mv Carneiro, Davide Rua
Repositório Científico do Instituto Politécnico do Porto
dc.contributor.author.fl_str_mv Guimarães, Miguel Ângelo Machado
dc.subject.por.fl_str_mv Interactive Machine Learning
Meta-Learning
Error Prediction
Explainable Artificial Intelligence
Informática
topic Interactive Machine Learning
Meta-Learning
Error Prediction
Explainable Artificial Intelligence
Informática
description Inteligência Artificial (IA) é um tema na moda atualmente. Machine Learning (ML) é a área mais comum de aplicação de IA, e como o nome indica, o objetivo é fazer com que a máquina aprenda. Essa aprendizagem pode ser a simulação de tarefas repetitivas do Homem, para, por exemplo, testar cenários hipotéticos ou até mesmo substituir a mão de obra humana. Pode inclusivamente, ser uma simulação a nível físico como a nível mental, ou seja, envolver o deslocamento de algum objeto, ou ainda o raciocínio ou o resultado deste de um indivíduo. Estes sistemas inteligentes podem até superar o intelecto do Homem. No entanto, é necessário haver restrições da sua aplicação em determinados domínios mais sensíveis onde exista um direito à explicação, como refere o Regulamento Geral sobre a Proteção de Dados 2016/679 (RGPD), em que qualquer decisão que tenha por base um sistema inteligente tem de ser justificada. Como refere o Regulamento Europeu para a Inteligência Artificial, principalmente no ponto 3.5, o uso de IA pode afetar significativamente um elevado número de fatores relacionado com os direitos fundamentais do ser humano. Existe, portanto, a necessidade de assegurar o direito à dignidade humana, respeito pela privacidade, não discriminação e igualdade de género. É necessário garantir também que todos os intervenientes afetados por um sistema de IA tenham as mesmas condições de trabalho e de segurança. De facto, grande parte das aplicações de ML têm como intuito auxiliar o ser humano, como, por exemplo, ajudar o gestor de alguma empresa a tomar uma decisão e/ou explicá-la. O problema é que os algoritmos conhecidos por oferecerem uma melhor performance, tais como redes neuronais que são uma abordagem inspirada no funcionamento do sistema nervoso dos mamíferos, são também aqueles cujo funcionamento ou o porquê de tomarem determinadas previsões é mais difícil de decifrar. Nesse sentido, motivado pelas novas normas do RGPD e por questões éticas, e com um caso real de aplicação no domínio de deteção de fraude fiscal, um dos objetivos deste trabalho é explicar o porquê das previsões elaboradas pelos algoritmos conhecidos por black-box. Não obstante, o trabalho pode ser aplicado a outros algoritmos em que falte a componente explicativa, e outros domínios que necessitem de uma decisão apoiada numa explicação. A solução proposta é o desenvolvimento de raiz de um sistema inteligente na área XAI (Explainable Artificial Intelligence), que seja incorporado e contribua para um sistema de ML já existente com justificações plausíveis e transparentes sobre as previsões dadas por outros modelos de ML. Outro desafio destes sistemas inteligentes é a necessidade de um constante retreino de modelos, dado que novos dados chegam ao sistema, para não ficarem obsoletos com o tempo por já não conseguirem eficazmente realizar uma previsão. Contudo, uma maior quantidade de dados não significa necessariamente novos padrões, correndo-se o risco de se desperdiçar recursos a re-treinar um modelo cuja performance não é superior à sua anterior versão. Para abordar este problema, propõe-se o uso de meta-learning para prever a performance de um modelo de ML com base nas características do dataset (caracterizadas por meta-features). Resumidamente, será construído um meta-modelo com base nas meta-features de vários datasets, que terá a capacidade de prever uma métrica de erro de um futuro modelo de ML, e.g. RMSE, MSE, R², MAE, incluindo o tempo que demora a treinar o modelo, permitindo assim decidir quanto ao re-treino ou não do modelo. Este conjunto de serviços para ML permitirá desenvolver melhores modelos, quer do ponto de vista ético, quer do ponto de vista da sua eficiência.
publishDate 2022
dc.date.none.fl_str_mv 2022
2022
2022-01-01T00:00:00Z
2023-03-15T12:35:06Z
dc.type.status.fl_str_mv info:eu-repo/semantics/publishedVersion
dc.type.driver.fl_str_mv info:eu-repo/semantics/masterThesis
format masterThesis
status_str publishedVersion
dc.identifier.uri.fl_str_mv http://hdl.handle.net/10400.22/22510
TID:203153359
url http://hdl.handle.net/10400.22/22510
identifier_str_mv TID:203153359
dc.language.iso.fl_str_mv por
language por
dc.rights.driver.fl_str_mv info:eu-repo/semantics/openAccess
eu_rights_str_mv openAccess
dc.format.none.fl_str_mv application/pdf
dc.source.none.fl_str_mv reponame:Repositório Científico de Acesso Aberto de Portugal (Repositórios Cientìficos)
instname:Agência para a Sociedade do Conhecimento (UMIC) - FCT - Sociedade da Informação
instacron:RCAAP
instname_str Agência para a Sociedade do Conhecimento (UMIC) - FCT - Sociedade da Informação
instacron_str RCAAP
institution RCAAP
reponame_str Repositório Científico de Acesso Aberto de Portugal (Repositórios Cientìficos)
collection Repositório Científico de Acesso Aberto de Portugal (Repositórios Cientìficos)
repository.name.fl_str_mv Repositório Científico de Acesso Aberto de Portugal (Repositórios Cientìficos) - Agência para a Sociedade do Conhecimento (UMIC) - FCT - Sociedade da Informação
repository.mail.fl_str_mv
_version_ 1799131535011479552