Development of clinical risk models: aspects of interpretability and personalization

Detalhes bibliográficos
Autor(a) principal: Sousa, Sónia Cristina Santos
Data de Publicação: 2022
Tipo de documento: Dissertação
Idioma: eng
Título da fonte: Repositório Científico de Acesso Aberto de Portugal (Repositórios Cientìficos)
Texto Completo: http://hdl.handle.net/10316/102965
Resumo: Trabalho de Projeto do Mestrado em Engenharia Biomédica apresentado à Faculdade de Ciências e Tecnologia
id RCAP_ba82fe211240726bf1a1862d342537fd
oai_identifier_str oai:estudogeral.uc.pt:10316/102965
network_acronym_str RCAP
network_name_str Repositório Científico de Acesso Aberto de Portugal (Repositórios Cientìficos)
repository_id_str 7160
spelling Development of clinical risk models: aspects of interpretability and personalizationDesenvolvimento de modelos de risco clínicos: aspectos de interpretabilidade e de personalizaçãoInteligência ComputacionalInterpretabilidadePersonalizaçãoSíndrome Coronária AgudaModelo de Risco GRACEMachine LearningInterpretabilityPersonalizationAcute Coronary SyndromeGRACE Risk ScoreTrabalho de Projeto do Mestrado em Engenharia Biomédica apresentado à Faculdade de Ciências e TecnologiaNa Europa, as doenças cardiovasculares estão entre as maiores causas de morte, com 3.9 milhões de mortes anualmente. Em relação a pacientes com Síndrome Coronária Aguda, uma estratificação de risco no momento de admissão no hospital permite que o médico adapte a estratégica terapêutica. O modelo de risco GRACE é a ferramenta de avaliação de risco mais usada em Portugal. Em paralelo, os modelos de inteligência computacional têm demonstrado uma performance notável. No entanto, nos cuidados de saúde, o seu uso ainda é limitado devido aos modelos ”caixa-preta” não fornecerem explicações para as suas previsões. O nosso objetivo era desenvolver modelos de inteligência computacional para prever a mortalidade, num período de 6 meses, para pacientes com Síndrome Coronária Aguda e comparar os modelos com o GRACE, quanto à performance e interpretabilidade. De forma a obter explicações, usamos algoritmos que devido às suas propriedades criam modelos de inteligência computacional interpretáveis: regressao logística, naive Bayes e arvores de decisão. Além disso, propusemos uma abordagem interpretável baseada em regras. Este método, além da interpretabilidade, também aborda a personalização, sem prejudicar a performance do modelo. Primeiramente, é gerado um conjunto global de regras interpretáveis baseado em fatores de risco da Síndrome Coronária Aguda. De seguida, um modelo de inteligência computacional é treinado para prever a probabilidade de cada regra estar correta para um determinado paciente. Neste trabalho, avaliamos quantitativamente a interpretabilidade através de uma medida de estabilidade, com uma variação entre [-1,1], do intervalo de confianca de 95% para a média geométrica e da correlação de Spearman entre as variavéis ordenadas pela importância atribuída por cada um dos modelos e pela importância considerada pelo GRACE. O Centro Hospitalar e Universitário de Coimbra (CHUC) forneceu o conjunto de dados clínicos que foram usados na validação da nossa metodologia. A nossa abordagem alcançou a melhor performance, com 74.72% de média geométrica. Ademais, possui a maior correlação de Spearman (0.83), um intervalo de confiança com uma variabilidade restrita (11.2%) e a mesma estabilidade que o modelo de risco GRACE (0.506).In Europe, Cardiovascular Diseases (CVDs) are among the main causes of death, with 3.9 million deaths annually. For Acute Coronary Syndrome (ACS) patients, risk stratification at hospital admission enables the physician to tailor the therapeutic strategy. The Global Registry of Acute Coronary Events (GRACE) score is the most used risk assessment tool in Portugal. In parallel, Machine Learning (ML) models have shown notable performance. However, in healthcare, their deployment is still limited since ”black-box” models don’t provide explanations for their predictions. Our goal was to develop ML models to predict 6-month mortality for ACS patients and compare them with the GRACE score regarding performance and interpretability. To obtain explanations, we used algorithms that due to their properties create interpretable ML models: logistic regression, naive Bayes, and decision trees. Furthermore, we proposed an interpretable approach based on decision rules. This method, besides interpretability, also addresses personalization, without impairing the model’s performance. First, a global set of interpretable rules is generated based on risk factors of ACS. Then, an ML model is trained to predict the probability that each rule is correct for a given patient. In this work, we evaluate interpretability quantitatively through a stability measure, with a range of [-1,1], the 95% Confidence Interval (CI) interval on the geometric mean, and the Spearman correlation between the features’ rank by importance attributed by each of the ML models and features’ rank considered by the GRACE score. Centro Hospitalar e Universitário de Coimbra (CHUC) provided the clinical dataset used for our methodology validation. Our proposed approach achieved the best performance, with 74.72% geometric mean. Furthermore, it has the highest Spearman correlation (0.83), a narrow CI (11.2%) and the same stability as the GRACE score (0.506).2022-09-22info:eu-repo/semantics/publishedVersioninfo:eu-repo/semantics/masterThesishttp://hdl.handle.net/10316/102965http://hdl.handle.net/10316/102965TID:203079906engSousa, Sónia Cristina Santosinfo:eu-repo/semantics/openAccessreponame:Repositório Científico de Acesso Aberto de Portugal (Repositórios Cientìficos)instname:Agência para a Sociedade do Conhecimento (UMIC) - FCT - Sociedade da Informaçãoinstacron:RCAAP2022-10-19T20:32:31Zoai:estudogeral.uc.pt:10316/102965Portal AgregadorONGhttps://www.rcaap.pt/oai/openaireopendoar:71602024-03-19T21:19:51.200355Repositório Científico de Acesso Aberto de Portugal (Repositórios Cientìficos) - Agência para a Sociedade do Conhecimento (UMIC) - FCT - Sociedade da Informaçãofalse
dc.title.none.fl_str_mv Development of clinical risk models: aspects of interpretability and personalization
Desenvolvimento de modelos de risco clínicos: aspectos de interpretabilidade e de personalização
title Development of clinical risk models: aspects of interpretability and personalization
spellingShingle Development of clinical risk models: aspects of interpretability and personalization
Sousa, Sónia Cristina Santos
Inteligência Computacional
Interpretabilidade
Personalização
Síndrome Coronária Aguda
Modelo de Risco GRACE
Machine Learning
Interpretability
Personalization
Acute Coronary Syndrome
GRACE Risk Score
title_short Development of clinical risk models: aspects of interpretability and personalization
title_full Development of clinical risk models: aspects of interpretability and personalization
title_fullStr Development of clinical risk models: aspects of interpretability and personalization
title_full_unstemmed Development of clinical risk models: aspects of interpretability and personalization
title_sort Development of clinical risk models: aspects of interpretability and personalization
author Sousa, Sónia Cristina Santos
author_facet Sousa, Sónia Cristina Santos
author_role author
dc.contributor.author.fl_str_mv Sousa, Sónia Cristina Santos
dc.subject.por.fl_str_mv Inteligência Computacional
Interpretabilidade
Personalização
Síndrome Coronária Aguda
Modelo de Risco GRACE
Machine Learning
Interpretability
Personalization
Acute Coronary Syndrome
GRACE Risk Score
topic Inteligência Computacional
Interpretabilidade
Personalização
Síndrome Coronária Aguda
Modelo de Risco GRACE
Machine Learning
Interpretability
Personalization
Acute Coronary Syndrome
GRACE Risk Score
description Trabalho de Projeto do Mestrado em Engenharia Biomédica apresentado à Faculdade de Ciências e Tecnologia
publishDate 2022
dc.date.none.fl_str_mv 2022-09-22
dc.type.status.fl_str_mv info:eu-repo/semantics/publishedVersion
dc.type.driver.fl_str_mv info:eu-repo/semantics/masterThesis
format masterThesis
status_str publishedVersion
dc.identifier.uri.fl_str_mv http://hdl.handle.net/10316/102965
http://hdl.handle.net/10316/102965
TID:203079906
url http://hdl.handle.net/10316/102965
identifier_str_mv TID:203079906
dc.language.iso.fl_str_mv eng
language eng
dc.rights.driver.fl_str_mv info:eu-repo/semantics/openAccess
eu_rights_str_mv openAccess
dc.source.none.fl_str_mv reponame:Repositório Científico de Acesso Aberto de Portugal (Repositórios Cientìficos)
instname:Agência para a Sociedade do Conhecimento (UMIC) - FCT - Sociedade da Informação
instacron:RCAAP
instname_str Agência para a Sociedade do Conhecimento (UMIC) - FCT - Sociedade da Informação
instacron_str RCAAP
institution RCAAP
reponame_str Repositório Científico de Acesso Aberto de Portugal (Repositórios Cientìficos)
collection Repositório Científico de Acesso Aberto de Portugal (Repositórios Cientìficos)
repository.name.fl_str_mv Repositório Científico de Acesso Aberto de Portugal (Repositórios Cientìficos) - Agência para a Sociedade do Conhecimento (UMIC) - FCT - Sociedade da Informação
repository.mail.fl_str_mv
_version_ 1799134092219908096

Registros relacionados