Desenvolvimento e validação de um modelo de predição de probabilidade de morte no pós-operatório e o impacto de sua incorporação na deterioracão clínica no pós-operatório

Detalhes bibliográficos
Autor(a) principal: Gutierrez, Cláudia de Souza
Data de Publicação: 2019
Tipo de documento: Tese
Idioma: por
Título da fonte: Biblioteca Digital de Teses e Dissertações da UFRGS
Texto Completo: http://hdl.handle.net/10183/202762
Resumo: A estratificação do risco de morte e complicações no período perioperatório ainda é um desafio aos profissionais de diferentes áreas ligadas à assistência do paciente cirúrgico. Modelos prognósticos e escores de risco devem ser acurados na predição do desfecho, validados em diferentes populações, analisados quanto a sua calibração e periodicamente atualizados. Embora existam diferentes escores e modelos descritos na literatura, não há instrumento validado e de aplicabilidade clínica factível na população brasileira. A presente tese teve como objetivo suprir essa lacuna na área da pesquisa voltada ao paciente cirúrgico e resultou na construção de um modelo de risco nacional, na sua subsequente validação e comparação com outros modelos existentes e na desafiadora implementação na prática clínica. Para a construção do modelo inicial, utilizamos dados de mais de 13.000 pacientes cirúrgicos do Hospital de Clínicas de Porto Alegre (HCPA). Desenvolvemos o modelo baseados nas características de um instrumento de estratificação de risco ideal: composto por poucas variáveis preditoras, acurado em relação ao desfecho e de fácil aplicabilidade. O modelo resultante foi denominado modelo SAMPE, em alusão ao Serviço de Anestesia e Medicina Perioperatória do HCPA. As 4 variáveis selecionadas para compor o modelo (idade, classificação da American Society of Anesthesiologists – ASA, severidade e natureza da cirurgia) foram analisadas através de um modelo de regressão logística, cujo desfecho foi óbito na internação hospitalar em até 30 dias pós-operatórios. A acurácia do modelo SAMPE foi avaliada através da estatística C, apresentando uma excelente capacidade discriminativa conforme a área sob a curva ROC (AUROC). Utilizando o valor de corte de 0.02 de probabilidade predita de morte em até 30 dias, quatro classes de risco foram criadas para facilitar o uso do modelo: Classe I (< 2%), Classe II (= 2% e < 5%), Classe III (= 5% e < 10%) e Classe IV (= 10%). Posteriormente, comparamos a acurácia do modelo SAMPE com o Índice de Risco Cardíaco Revisado (IRCR) e do Índice de Comorbidades de Charlson (ICC), que são instrumentos validados e tradicionalmente utilizados O modelo SAMPE demonstrou superioridade discriminativa, com os seguintes resultados: AUROCSAMPE = 0.907, AUROCIRCR = 0.767 e AUROCICC=0.822. De posse de um modelo validado e considerado robusto, propôs-se a sua aplicabilidade na assistência. Para facilitar a utilização prática do modelo pelos anestesistas do HCPA, desenvolvemos uma ferramenta web-based compartilhada na plataforma Google. A incorporação do modelo foi inicialmente realizada no pós-operatório imediato, na Sala de Recuperação Pós-Anestésica (SRPA). Os pacientes foram categorizados quanto ao seu risco e sinalizados por cores, sendo que aqueles de alto risco (probabilidade de morte > 5%) receberam uma otimização dos processos de alta pela equipe médica e de transferência de cuidado pela enfermagem da SRPA (handover) para a unidade de internação. A avaliação do impacto da incorporação do modelo SAMPE na rotina assistencial foi feita através da análise das chamadas do Time de Resposta Rápida (TRR) no pós-operatório, em um estudo antes e depois (before-after study). Não houve uma diferença significativa na incidência total de chamadas do TRR, mas observamos uma redução do número de chamadas na Classe de risco IV (muito alto risco) e um aumento na Classe de risco II (risco intermediário), após a implementação do modelo na prática clínica. Não obstante, o modelo SAMPE foi amplamente aceito pelas equipes assistenciais, possibilitando o desenvolvimento de novos projetos institucionais que incorporam otimização de cuidados por 48 horas ao grupo de alto risco. Por fim, reanalisamos as variáveis do modelo, refinando a idade através de uma técnica estatística conhecida como splines, além de simplificarmos a classificação de risco das cirurgias. Esse ajuste de variáveis, utilizando dados de uma amostra contemporânea de 16.618 pacientes, gerou um novo modelo, que chamamos de SAMPE II. Novas medidas de performance geral, acurácia, calibração e índice de reclassificação foram realizadas, indicando excelente discriminação. O modelo SAMPE apresenta-se como uma alternativa promissora em termos de estratificação de risco cirúrgico no Brasil. O modelo é simples, acessível, acurado e validado em diferentes tipos de cirurgia, com acurácia superior a escores de risco tradicionais e validados internacionalmente. A aceitação e a utilização na prática assistencial permitiu a identificação objetiva dos pacientes de alto risco, colaborando para a idealização de linhas de cuidado compatíveis, facilitando a comunicação entre as equipes e os processos de transferência de cuidados. A maior contribuição da presente tese encontra-se na possibilidade de otimização do trajeto do paciente de alto risco no Brasil. A ampla validação dos modelos criados em outros centros do país, assim como a amplificação do cuidado do paciente de alto risco no pós-operatório, são projetos frutos da linha de pesquisa aqui descrita e iniciada.
id URGS_1dc7b0c49842acfc6051982acd5e550b
oai_identifier_str oai:www.lume.ufrgs.br:10183/202762
network_acronym_str URGS
network_name_str Biblioteca Digital de Teses e Dissertações da UFRGS
repository_id_str 1853
spelling Gutierrez, Cláudia de SouzaStefani, Luciana Paula Cadore2019-12-18T04:00:52Z2019http://hdl.handle.net/10183/202762001108059A estratificação do risco de morte e complicações no período perioperatório ainda é um desafio aos profissionais de diferentes áreas ligadas à assistência do paciente cirúrgico. Modelos prognósticos e escores de risco devem ser acurados na predição do desfecho, validados em diferentes populações, analisados quanto a sua calibração e periodicamente atualizados. Embora existam diferentes escores e modelos descritos na literatura, não há instrumento validado e de aplicabilidade clínica factível na população brasileira. A presente tese teve como objetivo suprir essa lacuna na área da pesquisa voltada ao paciente cirúrgico e resultou na construção de um modelo de risco nacional, na sua subsequente validação e comparação com outros modelos existentes e na desafiadora implementação na prática clínica. Para a construção do modelo inicial, utilizamos dados de mais de 13.000 pacientes cirúrgicos do Hospital de Clínicas de Porto Alegre (HCPA). Desenvolvemos o modelo baseados nas características de um instrumento de estratificação de risco ideal: composto por poucas variáveis preditoras, acurado em relação ao desfecho e de fácil aplicabilidade. O modelo resultante foi denominado modelo SAMPE, em alusão ao Serviço de Anestesia e Medicina Perioperatória do HCPA. As 4 variáveis selecionadas para compor o modelo (idade, classificação da American Society of Anesthesiologists – ASA, severidade e natureza da cirurgia) foram analisadas através de um modelo de regressão logística, cujo desfecho foi óbito na internação hospitalar em até 30 dias pós-operatórios. A acurácia do modelo SAMPE foi avaliada através da estatística C, apresentando uma excelente capacidade discriminativa conforme a área sob a curva ROC (AUROC). Utilizando o valor de corte de 0.02 de probabilidade predita de morte em até 30 dias, quatro classes de risco foram criadas para facilitar o uso do modelo: Classe I (< 2%), Classe II (= 2% e < 5%), Classe III (= 5% e < 10%) e Classe IV (= 10%). Posteriormente, comparamos a acurácia do modelo SAMPE com o Índice de Risco Cardíaco Revisado (IRCR) e do Índice de Comorbidades de Charlson (ICC), que são instrumentos validados e tradicionalmente utilizados O modelo SAMPE demonstrou superioridade discriminativa, com os seguintes resultados: AUROCSAMPE = 0.907, AUROCIRCR = 0.767 e AUROCICC=0.822. De posse de um modelo validado e considerado robusto, propôs-se a sua aplicabilidade na assistência. Para facilitar a utilização prática do modelo pelos anestesistas do HCPA, desenvolvemos uma ferramenta web-based compartilhada na plataforma Google. A incorporação do modelo foi inicialmente realizada no pós-operatório imediato, na Sala de Recuperação Pós-Anestésica (SRPA). Os pacientes foram categorizados quanto ao seu risco e sinalizados por cores, sendo que aqueles de alto risco (probabilidade de morte > 5%) receberam uma otimização dos processos de alta pela equipe médica e de transferência de cuidado pela enfermagem da SRPA (handover) para a unidade de internação. A avaliação do impacto da incorporação do modelo SAMPE na rotina assistencial foi feita através da análise das chamadas do Time de Resposta Rápida (TRR) no pós-operatório, em um estudo antes e depois (before-after study). Não houve uma diferença significativa na incidência total de chamadas do TRR, mas observamos uma redução do número de chamadas na Classe de risco IV (muito alto risco) e um aumento na Classe de risco II (risco intermediário), após a implementação do modelo na prática clínica. Não obstante, o modelo SAMPE foi amplamente aceito pelas equipes assistenciais, possibilitando o desenvolvimento de novos projetos institucionais que incorporam otimização de cuidados por 48 horas ao grupo de alto risco. Por fim, reanalisamos as variáveis do modelo, refinando a idade através de uma técnica estatística conhecida como splines, além de simplificarmos a classificação de risco das cirurgias. Esse ajuste de variáveis, utilizando dados de uma amostra contemporânea de 16.618 pacientes, gerou um novo modelo, que chamamos de SAMPE II. Novas medidas de performance geral, acurácia, calibração e índice de reclassificação foram realizadas, indicando excelente discriminação. O modelo SAMPE apresenta-se como uma alternativa promissora em termos de estratificação de risco cirúrgico no Brasil. O modelo é simples, acessível, acurado e validado em diferentes tipos de cirurgia, com acurácia superior a escores de risco tradicionais e validados internacionalmente. A aceitação e a utilização na prática assistencial permitiu a identificação objetiva dos pacientes de alto risco, colaborando para a idealização de linhas de cuidado compatíveis, facilitando a comunicação entre as equipes e os processos de transferência de cuidados. A maior contribuição da presente tese encontra-se na possibilidade de otimização do trajeto do paciente de alto risco no Brasil. A ampla validação dos modelos criados em outros centros do país, assim como a amplificação do cuidado do paciente de alto risco no pós-operatório, são projetos frutos da linha de pesquisa aqui descrita e iniciada.Death risk stratification and complications in the perioperative period are still a challenge for professionals in different areas related to surgical patient care. Prognostic models and risk scores should ideally be accurate in outcome prediction, validated in different populations, analyzed in terms of their calibration, and periodically updated. Although a number of scores and models have been described in the literature, there are no validated instruments with viable clinical applicability to the Brazilian population. The present thesis aimed to fill this gap in the research area focused on surgical patient and resulted in the construction of a national risk model, its subsequent validation and comparison with other existing models and its challenging implementation in clinical practice. For the construction of the initial model, we used data from more than 13,000 surgical patients at the Hospital de Clínicas de Porto Alegre (HCPA). We developed the model based on the characteristics of an ideal risk stratification instrument: composed of few predictor variables, accurate in relation to the outcome and easily applicable. The resulting model was named SAMPE model, alluding to the Anesthesia and Perioperative Medicine Service. The 4 variables selected to compose the model (age, American Society of Anesthesiologists (ASA) classification, severity and nature of the surgery) were analyzed using a logistic regression model, in which the outcome was in-hospital death within 30 postoperative days. The accuracy of the SAMPE model was evaluated using the C statistic, presenting an excellent discriminative capacity according to the area under the ROC curve (AUROC). Using the cut-off value of 0.02 predicted probability of death within 30 days, four risk classes were created to facilitate the use of the model: Class I (<2%), Class II (= 2% and <5%), Class III (= 5% and <10%) and Class IV (= 10%). Subsequently, we compared the accuracy of the SAMPE model with the Revised Cardiac Risk Index (IRCR) and the Charlson Comorbidity Index (ICC), which are validated and traditionally used instruments. The SAMPE model demonstrated discriminative superiority, with the following results: AUROCSAMPE = 0.907, AUROCIRCR = 0.767 and AUROCICC = 0.822. Having a validated and robust model, we proposed its use in clinical practice. To facilitate the practical use of the model by HCPA anesthetists, we developed a web-based tool shared on the Google platform. The incorporation of the model was initially performed in the immediate postoperative period, in the Post Anesthetic Recovery Room (PACU). Patients were categorized by risk and color-coded, and those at high risk (probability of death> 5%) had their discharge and handover processes from PACU to the inpatient unit optimized. The evaluation of the impact of the incorporation of the SAMPE model in the care routine was made through the analysis of the postoperative Rapid Response Team (RRT) calls in a before-after study. There was no significant difference in the total incidence of RRT calls, but we observed a reduction in the number of calls in Class IV (very high risk) and an increase in Class II (intermediate risk) after the implementation of the model. Nevertheless, the SAMPE model was widely accepted by the health care providers, enabling the development of new institutional projects that incorporate 48-hour care optimization into the high-risk group. Finally, we reanalyzed the model variables, refining the variable age through a statistical technique known as splines, and simplifying the risk classification of the surgeries. This adjustment of variables, using data from a contemporary sample of 16.618 patients, generated a new model, which we call SAMPE II. New measures of overall performance, accuracy, calibration and reclassification index were performed, indicating excellent discrimination. The SAMPE model presents itself as a promising alternative in terms of surgical risk stratification in Brazil. The model is simple, accessible, accurate and validated in different types of surgery, with accuracy higher than traditional and internationally validated risk scores. The acceptance and use in clinical practice allowed the objective identification of high-risk patients, contributing to the design of compatible care pathways, facilitating communication between health providers and handover process. The major contribution of the present thesis is the possibility of optimizing the perioperative pathway of high-risk surgical patients in Brazil. The wide validation of the models created in other centers of the country, as well as the amplification of postoperative high-risk patient care, are projects that are the result of the research described and initiated here.application/pdfporFatores de riscoMedição de riscoComplicações pós-operatóriasPeríodo pós-operatórioMortalidadeEstudo de validaçãoPrognósticoPerioperative riskRisk scoresPrognostic modelsPostoperative mortalityPostoperative complicationsDesenvolvimento e validação de um modelo de predição de probabilidade de morte no pós-operatório e o impacto de sua incorporação na deterioracão clínica no pós-operatórioinfo:eu-repo/semantics/publishedVersioninfo:eu-repo/semantics/doctoralThesisUniversidade Federal do Rio Grande do SulFaculdade de MedicinaPrograma de Pós-Graduação em Medicina: Ciências MédicasPorto Alegre, BR-RS2019doutoradoinfo:eu-repo/semantics/openAccessreponame:Biblioteca Digital de Teses e Dissertações da UFRGSinstname:Universidade Federal do Rio Grande do Sul (UFRGS)instacron:UFRGSTEXT001108059.pdf.txt001108059.pdf.txtExtracted Texttext/plain235011http://www.lume.ufrgs.br/bitstream/10183/202762/2/001108059.pdf.txtd230335543ad8aa87df262dbb3c17f88MD52ORIGINAL001108059.pdfTexto completoapplication/pdf7901080http://www.lume.ufrgs.br/bitstream/10183/202762/1/001108059.pdfdd645444b6658a06fabe910b64447e5aMD5110183/2027622023-10-28 03:34:37.015801oai:www.lume.ufrgs.br:10183/202762Biblioteca Digital de Teses e Dissertaçõeshttps://lume.ufrgs.br/handle/10183/2PUBhttps://lume.ufrgs.br/oai/requestlume@ufrgs.br||lume@ufrgs.bropendoar:18532023-10-28T06:34:37Biblioteca Digital de Teses e Dissertações da UFRGS - Universidade Federal do Rio Grande do Sul (UFRGS)false
dc.title.pt_BR.fl_str_mv Desenvolvimento e validação de um modelo de predição de probabilidade de morte no pós-operatório e o impacto de sua incorporação na deterioracão clínica no pós-operatório
title Desenvolvimento e validação de um modelo de predição de probabilidade de morte no pós-operatório e o impacto de sua incorporação na deterioracão clínica no pós-operatório
spellingShingle Desenvolvimento e validação de um modelo de predição de probabilidade de morte no pós-operatório e o impacto de sua incorporação na deterioracão clínica no pós-operatório
Gutierrez, Cláudia de Souza
Fatores de risco
Medição de risco
Complicações pós-operatórias
Período pós-operatório
Mortalidade
Estudo de validação
Prognóstico
Perioperative risk
Risk scores
Prognostic models
Postoperative mortality
Postoperative complications
title_short Desenvolvimento e validação de um modelo de predição de probabilidade de morte no pós-operatório e o impacto de sua incorporação na deterioracão clínica no pós-operatório
title_full Desenvolvimento e validação de um modelo de predição de probabilidade de morte no pós-operatório e o impacto de sua incorporação na deterioracão clínica no pós-operatório
title_fullStr Desenvolvimento e validação de um modelo de predição de probabilidade de morte no pós-operatório e o impacto de sua incorporação na deterioracão clínica no pós-operatório
title_full_unstemmed Desenvolvimento e validação de um modelo de predição de probabilidade de morte no pós-operatório e o impacto de sua incorporação na deterioracão clínica no pós-operatório
title_sort Desenvolvimento e validação de um modelo de predição de probabilidade de morte no pós-operatório e o impacto de sua incorporação na deterioracão clínica no pós-operatório
author Gutierrez, Cláudia de Souza
author_facet Gutierrez, Cláudia de Souza
author_role author
dc.contributor.author.fl_str_mv Gutierrez, Cláudia de Souza
dc.contributor.advisor1.fl_str_mv Stefani, Luciana Paula Cadore
contributor_str_mv Stefani, Luciana Paula Cadore
dc.subject.por.fl_str_mv Fatores de risco
Medição de risco
Complicações pós-operatórias
Período pós-operatório
Mortalidade
Estudo de validação
Prognóstico
topic Fatores de risco
Medição de risco
Complicações pós-operatórias
Período pós-operatório
Mortalidade
Estudo de validação
Prognóstico
Perioperative risk
Risk scores
Prognostic models
Postoperative mortality
Postoperative complications
dc.subject.eng.fl_str_mv Perioperative risk
Risk scores
Prognostic models
Postoperative mortality
Postoperative complications
description A estratificação do risco de morte e complicações no período perioperatório ainda é um desafio aos profissionais de diferentes áreas ligadas à assistência do paciente cirúrgico. Modelos prognósticos e escores de risco devem ser acurados na predição do desfecho, validados em diferentes populações, analisados quanto a sua calibração e periodicamente atualizados. Embora existam diferentes escores e modelos descritos na literatura, não há instrumento validado e de aplicabilidade clínica factível na população brasileira. A presente tese teve como objetivo suprir essa lacuna na área da pesquisa voltada ao paciente cirúrgico e resultou na construção de um modelo de risco nacional, na sua subsequente validação e comparação com outros modelos existentes e na desafiadora implementação na prática clínica. Para a construção do modelo inicial, utilizamos dados de mais de 13.000 pacientes cirúrgicos do Hospital de Clínicas de Porto Alegre (HCPA). Desenvolvemos o modelo baseados nas características de um instrumento de estratificação de risco ideal: composto por poucas variáveis preditoras, acurado em relação ao desfecho e de fácil aplicabilidade. O modelo resultante foi denominado modelo SAMPE, em alusão ao Serviço de Anestesia e Medicina Perioperatória do HCPA. As 4 variáveis selecionadas para compor o modelo (idade, classificação da American Society of Anesthesiologists – ASA, severidade e natureza da cirurgia) foram analisadas através de um modelo de regressão logística, cujo desfecho foi óbito na internação hospitalar em até 30 dias pós-operatórios. A acurácia do modelo SAMPE foi avaliada através da estatística C, apresentando uma excelente capacidade discriminativa conforme a área sob a curva ROC (AUROC). Utilizando o valor de corte de 0.02 de probabilidade predita de morte em até 30 dias, quatro classes de risco foram criadas para facilitar o uso do modelo: Classe I (< 2%), Classe II (= 2% e < 5%), Classe III (= 5% e < 10%) e Classe IV (= 10%). Posteriormente, comparamos a acurácia do modelo SAMPE com o Índice de Risco Cardíaco Revisado (IRCR) e do Índice de Comorbidades de Charlson (ICC), que são instrumentos validados e tradicionalmente utilizados O modelo SAMPE demonstrou superioridade discriminativa, com os seguintes resultados: AUROCSAMPE = 0.907, AUROCIRCR = 0.767 e AUROCICC=0.822. De posse de um modelo validado e considerado robusto, propôs-se a sua aplicabilidade na assistência. Para facilitar a utilização prática do modelo pelos anestesistas do HCPA, desenvolvemos uma ferramenta web-based compartilhada na plataforma Google. A incorporação do modelo foi inicialmente realizada no pós-operatório imediato, na Sala de Recuperação Pós-Anestésica (SRPA). Os pacientes foram categorizados quanto ao seu risco e sinalizados por cores, sendo que aqueles de alto risco (probabilidade de morte > 5%) receberam uma otimização dos processos de alta pela equipe médica e de transferência de cuidado pela enfermagem da SRPA (handover) para a unidade de internação. A avaliação do impacto da incorporação do modelo SAMPE na rotina assistencial foi feita através da análise das chamadas do Time de Resposta Rápida (TRR) no pós-operatório, em um estudo antes e depois (before-after study). Não houve uma diferença significativa na incidência total de chamadas do TRR, mas observamos uma redução do número de chamadas na Classe de risco IV (muito alto risco) e um aumento na Classe de risco II (risco intermediário), após a implementação do modelo na prática clínica. Não obstante, o modelo SAMPE foi amplamente aceito pelas equipes assistenciais, possibilitando o desenvolvimento de novos projetos institucionais que incorporam otimização de cuidados por 48 horas ao grupo de alto risco. Por fim, reanalisamos as variáveis do modelo, refinando a idade através de uma técnica estatística conhecida como splines, além de simplificarmos a classificação de risco das cirurgias. Esse ajuste de variáveis, utilizando dados de uma amostra contemporânea de 16.618 pacientes, gerou um novo modelo, que chamamos de SAMPE II. Novas medidas de performance geral, acurácia, calibração e índice de reclassificação foram realizadas, indicando excelente discriminação. O modelo SAMPE apresenta-se como uma alternativa promissora em termos de estratificação de risco cirúrgico no Brasil. O modelo é simples, acessível, acurado e validado em diferentes tipos de cirurgia, com acurácia superior a escores de risco tradicionais e validados internacionalmente. A aceitação e a utilização na prática assistencial permitiu a identificação objetiva dos pacientes de alto risco, colaborando para a idealização de linhas de cuidado compatíveis, facilitando a comunicação entre as equipes e os processos de transferência de cuidados. A maior contribuição da presente tese encontra-se na possibilidade de otimização do trajeto do paciente de alto risco no Brasil. A ampla validação dos modelos criados em outros centros do país, assim como a amplificação do cuidado do paciente de alto risco no pós-operatório, são projetos frutos da linha de pesquisa aqui descrita e iniciada.
publishDate 2019
dc.date.accessioned.fl_str_mv 2019-12-18T04:00:52Z
dc.date.issued.fl_str_mv 2019
dc.type.status.fl_str_mv info:eu-repo/semantics/publishedVersion
dc.type.driver.fl_str_mv info:eu-repo/semantics/doctoralThesis
format doctoralThesis
status_str publishedVersion
dc.identifier.uri.fl_str_mv http://hdl.handle.net/10183/202762
dc.identifier.nrb.pt_BR.fl_str_mv 001108059
url http://hdl.handle.net/10183/202762
identifier_str_mv 001108059
dc.language.iso.fl_str_mv por
language por
dc.rights.driver.fl_str_mv info:eu-repo/semantics/openAccess
eu_rights_str_mv openAccess
dc.format.none.fl_str_mv application/pdf
dc.source.none.fl_str_mv reponame:Biblioteca Digital de Teses e Dissertações da UFRGS
instname:Universidade Federal do Rio Grande do Sul (UFRGS)
instacron:UFRGS
instname_str Universidade Federal do Rio Grande do Sul (UFRGS)
instacron_str UFRGS
institution UFRGS
reponame_str Biblioteca Digital de Teses e Dissertações da UFRGS
collection Biblioteca Digital de Teses e Dissertações da UFRGS
bitstream.url.fl_str_mv http://www.lume.ufrgs.br/bitstream/10183/202762/2/001108059.pdf.txt
http://www.lume.ufrgs.br/bitstream/10183/202762/1/001108059.pdf
bitstream.checksum.fl_str_mv d230335543ad8aa87df262dbb3c17f88
dd645444b6658a06fabe910b64447e5a
bitstream.checksumAlgorithm.fl_str_mv MD5
MD5
repository.name.fl_str_mv Biblioteca Digital de Teses e Dissertações da UFRGS - Universidade Federal do Rio Grande do Sul (UFRGS)
repository.mail.fl_str_mv lume@ufrgs.br||lume@ufrgs.br
_version_ 1800309159194787840