A meta-analysis of machine learning classification tools using rs-fmri data for autism spectrum disorder diagnosis
Autor(a) principal: | |
---|---|
Data de Publicação: | 2021 |
Tipo de documento: | Dissertação |
Idioma: | eng |
Título da fonte: | Repositório Institucional da UNIFEI (RIUNIFEI) |
Texto Completo: | https://repositorio.unifei.edu.br/jspui/handle/123456789/2370 |
Resumo: | O Transtorno do Espectro Autista (TEA) é uma condição complexa e heterogênea que afeta o desenvolvimento cerebral e é caracterizada por disfunções cognitivas, comportamentais e sociais. Muito esforço vem sendo feito para identificar biomarcadores baseados em imagens cerebrais e desenvolver ferramentas que poderiam facilitar o diagnóstico do TEA - atualmente baseado em critérios comportamentais, através de um processo longo e demorado. Em particular, o uso de algoritmos de Aprendizado de Máquina para classificação de dados de Imagens de Ressonância Magnética funcional em estado de repouso (rs-fMRI) é promissor, mas há uma necessidade contínua de pesquisas adicionais a respeito da precisão desses classificadores. Assim, este trabalho realiza uma revisão sistemática e meta-análise de modo a resumir e agregar as evidências disponíveis na literatura da área até o momento. A busca sistemática por artigos resultou na seleção de 93 deles, que tiveram seus dados extraídos e analisados através da revisão sistemática. Um modelo meta-analítico bivariado de efeitos aleatórios foi implementado para investigar a sensibilidade e especificidade dos 55 estudos (132 amostras independentes) que ofereceram informação suficiente para serem utilizados na análise quantitativa. Os resultados obtidos indicaram estimativas gerais de sensibilidade e especificidade de 73.8% (95% IC: 71.8- 75.8%) e 74.8% (95% IC: 72.3-77.1%), respectivamente, e os classificadores baseados em SVM (do inglês, Support Vector Machine) se destacaram como os mais utilizados, apresentando estimativas acima de 76%. Estudos que utilizaram amostras maiores tenderam a obter piores resultados de precisão, com exceção do subgrupo composto por classificadores baseados em Redes Neurais Artificiais. O uso de outros tipos de imagens cerebrais ou dados fenotípicos para complementar as informações obtidas através da rs-fMRI se mostrou promissor, alcançando especialmente sensibilidades mais altas ( = 0.002) em relação aos estudos que utilizaram apenas dados de rs-fMRI (84.7% - 95% IC: 78.5-89.4% - versus 72.8% - 95% IC: 70.6-74.8%). Valores menores de sensibilidade/especificidade foram encontrados quando o número de Regiões de Interesse (ROIs, do inglês Regions of Interest) aumentou. Vale destacar também o desempenho das abordagens utilizando o atlas AAL (do inglês, Automated Anatomical Labelling) com 116 ROIs. Em relação às features usadas para treinar os classificadores, foram encontrados melhores resultados nos estudos que utilizaram a correlação de Pearson em conjunto com a transformação Z de Fisher ou outras features em comparação ao uso da correlação de Pearson sem modifica- ções. Finalmente, a análise revelou valores da área sob a curva ROC (do inglês, Receiver Operating Characteristic) entre aceitável e excelente. Entretanto, considerando as várias limitações que são indicadas no estudo, mais estudos bem desenhados são necessários para estender o uso potencial desses algoritmos de classificação a ambientes clínicos. |
id |
UFEI_29b53188b4fcf271d04f2d832849b474 |
---|---|
oai_identifier_str |
oai:repositorio.unifei.edu.br:123456789/2370 |
network_acronym_str |
UFEI |
network_name_str |
Repositório Institucional da UNIFEI (RIUNIFEI) |
repository_id_str |
7044 |
spelling |
2021-02-242021-03-262021-03-28T00:19:00Z2021-03-28T00:19:00Zhttps://repositorio.unifei.edu.br/jspui/handle/123456789/2370O Transtorno do Espectro Autista (TEA) é uma condição complexa e heterogênea que afeta o desenvolvimento cerebral e é caracterizada por disfunções cognitivas, comportamentais e sociais. Muito esforço vem sendo feito para identificar biomarcadores baseados em imagens cerebrais e desenvolver ferramentas que poderiam facilitar o diagnóstico do TEA - atualmente baseado em critérios comportamentais, através de um processo longo e demorado. Em particular, o uso de algoritmos de Aprendizado de Máquina para classificação de dados de Imagens de Ressonância Magnética funcional em estado de repouso (rs-fMRI) é promissor, mas há uma necessidade contínua de pesquisas adicionais a respeito da precisão desses classificadores. Assim, este trabalho realiza uma revisão sistemática e meta-análise de modo a resumir e agregar as evidências disponíveis na literatura da área até o momento. A busca sistemática por artigos resultou na seleção de 93 deles, que tiveram seus dados extraídos e analisados através da revisão sistemática. Um modelo meta-analítico bivariado de efeitos aleatórios foi implementado para investigar a sensibilidade e especificidade dos 55 estudos (132 amostras independentes) que ofereceram informação suficiente para serem utilizados na análise quantitativa. Os resultados obtidos indicaram estimativas gerais de sensibilidade e especificidade de 73.8% (95% IC: 71.8- 75.8%) e 74.8% (95% IC: 72.3-77.1%), respectivamente, e os classificadores baseados em SVM (do inglês, Support Vector Machine) se destacaram como os mais utilizados, apresentando estimativas acima de 76%. Estudos que utilizaram amostras maiores tenderam a obter piores resultados de precisão, com exceção do subgrupo composto por classificadores baseados em Redes Neurais Artificiais. O uso de outros tipos de imagens cerebrais ou dados fenotípicos para complementar as informações obtidas através da rs-fMRI se mostrou promissor, alcançando especialmente sensibilidades mais altas ( = 0.002) em relação aos estudos que utilizaram apenas dados de rs-fMRI (84.7% - 95% IC: 78.5-89.4% - versus 72.8% - 95% IC: 70.6-74.8%). Valores menores de sensibilidade/especificidade foram encontrados quando o número de Regiões de Interesse (ROIs, do inglês Regions of Interest) aumentou. Vale destacar também o desempenho das abordagens utilizando o atlas AAL (do inglês, Automated Anatomical Labelling) com 116 ROIs. Em relação às features usadas para treinar os classificadores, foram encontrados melhores resultados nos estudos que utilizaram a correlação de Pearson em conjunto com a transformação Z de Fisher ou outras features em comparação ao uso da correlação de Pearson sem modifica- ções. Finalmente, a análise revelou valores da área sob a curva ROC (do inglês, Receiver Operating Characteristic) entre aceitável e excelente. Entretanto, considerando as várias limitações que são indicadas no estudo, mais estudos bem desenhados são necessários para estender o uso potencial desses algoritmos de classificação a ambientes clínicos.The Autism Spectrum Disorder (ASD) is a complex and heterogeneous neurodevelopmental condition characterized by cognitive, behavioral, and social dysfunction. Much effort is being made to identify brain imaging biomarkers and develop tools that could facilitate its diagnosis - currently based on behavioral criteria through a lengthy and timeconsuming process. In particular, the use of Machine Learning (ML) classifiers based on resting-state functional Magnetic Resonance Imaging (rs-fMRI) data is promising, but there is an ongoing need for further research on their accuracy. Therefore, we conducted a systematic review and meta-analysis to summarize and aggregate the available evidence in the literature so far. The systematic search resulted in the selection of 93 articles, whose data were extracted and analyzed through the systematic review. A bivariate randomeffects meta-analytic model was implemented to investigate the sensitivity and specificity across the 55 studies (132 independent samples) that offered sufficient information for a quantitative analysis. Our results indicated overall summary sensitivity and specificity estimates of 73.8% (95% CI: 71.8-75.8%) and 74.8% (95% CI: 72.3-77.1%), respectively, and Support Vector Machine (SVM) stood out as the most used classifier, presenting summary estimates above 76%. Studies with bigger samples tended to obtain worse accuracies, except in the subgroup analysis for Artificial Neural Network (ANN) classifiers. The use of other brain imaging or phenotypic data to complement rs-fMRI information seem to be promising, achieving specially higher sensitivities (p = 0.002) when compared to rs-fMRI data alone (84.7% - 95% CI: 78.5-89.4% - versus 72.8% - 95% CI: 70.6-74.8%). Lower values of sensitivity/specificity were found when the number of Regions of Interest (ROIs) increased. We also highlight the performance of the approaches using the Automated Anatomical Labelling atlas with 116 ROIs (AAL116). Regarding the features used to train the classifiers, we found better results using the Pearson Correlation (PC) Fishertransformed or other features in comparison to the use of the PC without modifications. Finally, our analysis showed AUC values between acceptable and excellent, but given the many limitations indicated in our study, further well-designed studies are warranted to extend the potential use of those classification algorithms to clinical settings.Agência 1engUniversidade Federal de ItajubáPPG - Programas de Pós Graduação - ItajubáUNIFEIBrasilIESTI - Instituto de Engenharia de Sistemas e Tecnologia da InformaçãoCNPQ::CIÊNCIAS EXATAS E DA TERRA::CIÊNCIA DA COMPUTAÇÃOTranstorno do espectro autistaAprendizado de máquinars-fMRIMeta-análiseA meta-analysis of machine learning classification tools using rs-fmri data for autism spectrum disorder diagnosisinfo:eu-repo/semantics/publishedVersioninfo:eu-repo/semantics/masterThesisBASTOS, Guilherme Sousahttp://lattes.cnpq.br/1508015681115848SOUZA, Adler Diniz dehttp://lattes.cnpq.br/0659198149444462http://lattes.cnpq.br/6045750620219171SANTANA, Caio PinheiroSANTANA, Caio Pinheiro. A meta-analysis of machine learning classification tools using rs-fmri data for autism spectrum disorder diagnosis. 2021. 120 f. Dissertação (Mestrado em Ciência e Tecnologia da Computação.) – Universidade Federal de Itajubá, Itajubá, 2021.info:eu-repo/semantics/openAccessreponame:Repositório Institucional da UNIFEI (RIUNIFEI)instname:Universidade Federal de Itajubá (UNIFEI)instacron:UNIFEIORIGINALDissertação_2021086.pdfDissertação_2021086.pdfapplication/pdf2532929https://repositorio.unifei.edu.br/jspui/bitstream/123456789/2370/3/Disserta%c3%a7%c3%a3o_2021086.pdf5ffc2b9d8df647fe99d41b21fe80a129MD53LICENSElicense.txtlicense.txttext/plain; charset=utf-81748https://repositorio.unifei.edu.br/jspui/bitstream/123456789/2370/2/license.txt8a4605be74aa9ea9d79846c1fba20a33MD52123456789/23702022-11-29 07:45:07.149oai:repositorio.unifei.edu.br:123456789/2370Tk9URTogUExBQ0UgWU9VUiBPV04gTElDRU5TRSBIRVJFClRoaXMgc2FtcGxlIGxpY2Vuc2UgaXMgcHJvdmlkZWQgZm9yIGluZm9ybWF0aW9uYWwgcHVycG9zZXMgb25seS4KCk5PTi1FWENMVVNJVkUgRElTVFJJQlVUSU9OIExJQ0VOU0UKCkJ5IHNpZ25pbmcgYW5kIHN1Ym1pdHRpbmcgdGhpcyBsaWNlbnNlLCB5b3UgKHRoZSBhdXRob3Iocykgb3IgY29weXJpZ2h0Cm93bmVyKSBncmFudHMgdG8gRFNwYWNlIFVuaXZlcnNpdHkgKERTVSkgdGhlIG5vbi1leGNsdXNpdmUgcmlnaHQgdG8gcmVwcm9kdWNlLAp0cmFuc2xhdGUgKGFzIGRlZmluZWQgYmVsb3cpLCBhbmQvb3IgZGlzdHJpYnV0ZSB5b3VyIHN1Ym1pc3Npb24gKGluY2x1ZGluZwp0aGUgYWJzdHJhY3QpIHdvcmxkd2lkZSBpbiBwcmludCBhbmQgZWxlY3Ryb25pYyBmb3JtYXQgYW5kIGluIGFueSBtZWRpdW0sCmluY2x1ZGluZyBidXQgbm90IGxpbWl0ZWQgdG8gYXVkaW8gb3IgdmlkZW8uCgpZb3UgYWdyZWUgdGhhdCBEU1UgbWF5LCB3aXRob3V0IGNoYW5naW5nIHRoZSBjb250ZW50LCB0cmFuc2xhdGUgdGhlCnN1Ym1pc3Npb24gdG8gYW55IG1lZGl1bSBvciBmb3JtYXQgZm9yIHRoZSBwdXJwb3NlIG9mIHByZXNlcnZhdGlvbi4KCllvdSBhbHNvIGFncmVlIHRoYXQgRFNVIG1heSBrZWVwIG1vcmUgdGhhbiBvbmUgY29weSBvZiB0aGlzIHN1Ym1pc3Npb24gZm9yCnB1cnBvc2VzIG9mIHNlY3VyaXR5LCBiYWNrLXVwIGFuZCBwcmVzZXJ2YXRpb24uCgpZb3UgcmVwcmVzZW50IHRoYXQgdGhlIHN1Ym1pc3Npb24gaXMgeW91ciBvcmlnaW5hbCB3b3JrLCBhbmQgdGhhdCB5b3UgaGF2ZQp0aGUgcmlnaHQgdG8gZ3JhbnQgdGhlIHJpZ2h0cyBjb250YWluZWQgaW4gdGhpcyBsaWNlbnNlLiBZb3UgYWxzbyByZXByZXNlbnQKdGhhdCB5b3VyIHN1Ym1pc3Npb24gZG9lcyBub3QsIHRvIHRoZSBiZXN0IG9mIHlvdXIga25vd2xlZGdlLCBpbmZyaW5nZSB1cG9uCmFueW9uZSdzIGNvcHlyaWdodC4KCklmIHRoZSBzdWJtaXNzaW9uIGNvbnRhaW5zIG1hdGVyaWFsIGZvciB3aGljaCB5b3UgZG8gbm90IGhvbGQgY29weXJpZ2h0LAp5b3UgcmVwcmVzZW50IHRoYXQgeW91IGhhdmUgb2J0YWluZWQgdGhlIHVucmVzdHJpY3RlZCBwZXJtaXNzaW9uIG9mIHRoZQpjb3B5cmlnaHQgb3duZXIgdG8gZ3JhbnQgRFNVIHRoZSByaWdodHMgcmVxdWlyZWQgYnkgdGhpcyBsaWNlbnNlLCBhbmQgdGhhdApzdWNoIHRoaXJkLXBhcnR5IG93bmVkIG1hdGVyaWFsIGlzIGNsZWFybHkgaWRlbnRpZmllZCBhbmQgYWNrbm93bGVkZ2VkCndpdGhpbiB0aGUgdGV4dCBvciBjb250ZW50IG9mIHRoZSBzdWJtaXNzaW9uLgoKSUYgVEhFIFNVQk1JU1NJT04gSVMgQkFTRUQgVVBPTiBXT1JLIFRIQVQgSEFTIEJFRU4gU1BPTlNPUkVEIE9SIFNVUFBPUlRFRApCWSBBTiBBR0VOQ1kgT1IgT1JHQU5JWkFUSU9OIE9USEVSIFRIQU4gRFNVLCBZT1UgUkVQUkVTRU5UIFRIQVQgWU9VIEhBVkUKRlVMRklMTEVEIEFOWSBSSUdIVCBPRiBSRVZJRVcgT1IgT1RIRVIgT0JMSUdBVElPTlMgUkVRVUlSRUQgQlkgU1VDSApDT05UUkFDVCBPUiBBR1JFRU1FTlQuCgpEU1Ugd2lsbCBjbGVhcmx5IGlkZW50aWZ5IHlvdXIgbmFtZShzKSBhcyB0aGUgYXV0aG9yKHMpIG9yIG93bmVyKHMpIG9mIHRoZQpzdWJtaXNzaW9uLCBhbmQgd2lsbCBub3QgbWFrZSBhbnkgYWx0ZXJhdGlvbiwgb3RoZXIgdGhhbiBhcyBhbGxvd2VkIGJ5IHRoaXMKbGljZW5zZSwgdG8geW91ciBzdWJtaXNzaW9uLgo=Repositório InstitucionalPUBhttps://repositorio.unifei.edu.br/oai/requestrepositorio@unifei.edu.br || geraldocarlos@unifei.edu.bropendoar:70442022-11-29T10:45:07Repositório Institucional da UNIFEI (RIUNIFEI) - Universidade Federal de Itajubá (UNIFEI)false |
dc.title.pt_BR.fl_str_mv |
A meta-analysis of machine learning classification tools using rs-fmri data for autism spectrum disorder diagnosis |
title |
A meta-analysis of machine learning classification tools using rs-fmri data for autism spectrum disorder diagnosis |
spellingShingle |
A meta-analysis of machine learning classification tools using rs-fmri data for autism spectrum disorder diagnosis SANTANA, Caio Pinheiro CNPQ::CIÊNCIAS EXATAS E DA TERRA::CIÊNCIA DA COMPUTAÇÃO Transtorno do espectro autista Aprendizado de máquina rs-fMRI Meta-análise |
title_short |
A meta-analysis of machine learning classification tools using rs-fmri data for autism spectrum disorder diagnosis |
title_full |
A meta-analysis of machine learning classification tools using rs-fmri data for autism spectrum disorder diagnosis |
title_fullStr |
A meta-analysis of machine learning classification tools using rs-fmri data for autism spectrum disorder diagnosis |
title_full_unstemmed |
A meta-analysis of machine learning classification tools using rs-fmri data for autism spectrum disorder diagnosis |
title_sort |
A meta-analysis of machine learning classification tools using rs-fmri data for autism spectrum disorder diagnosis |
author |
SANTANA, Caio Pinheiro |
author_facet |
SANTANA, Caio Pinheiro |
author_role |
author |
dc.contributor.advisor1.fl_str_mv |
BASTOS, Guilherme Sousa |
dc.contributor.advisor1Lattes.fl_str_mv |
http://lattes.cnpq.br/1508015681115848 |
dc.contributor.advisor-co1.fl_str_mv |
SOUZA, Adler Diniz de |
dc.contributor.advisor-co1Lattes.fl_str_mv |
http://lattes.cnpq.br/0659198149444462 |
dc.contributor.authorLattes.fl_str_mv |
http://lattes.cnpq.br/6045750620219171 |
dc.contributor.author.fl_str_mv |
SANTANA, Caio Pinheiro |
contributor_str_mv |
BASTOS, Guilherme Sousa SOUZA, Adler Diniz de |
dc.subject.cnpq.fl_str_mv |
CNPQ::CIÊNCIAS EXATAS E DA TERRA::CIÊNCIA DA COMPUTAÇÃO |
topic |
CNPQ::CIÊNCIAS EXATAS E DA TERRA::CIÊNCIA DA COMPUTAÇÃO Transtorno do espectro autista Aprendizado de máquina rs-fMRI Meta-análise |
dc.subject.por.fl_str_mv |
Transtorno do espectro autista Aprendizado de máquina rs-fMRI Meta-análise |
description |
O Transtorno do Espectro Autista (TEA) é uma condição complexa e heterogênea que afeta o desenvolvimento cerebral e é caracterizada por disfunções cognitivas, comportamentais e sociais. Muito esforço vem sendo feito para identificar biomarcadores baseados em imagens cerebrais e desenvolver ferramentas que poderiam facilitar o diagnóstico do TEA - atualmente baseado em critérios comportamentais, através de um processo longo e demorado. Em particular, o uso de algoritmos de Aprendizado de Máquina para classificação de dados de Imagens de Ressonância Magnética funcional em estado de repouso (rs-fMRI) é promissor, mas há uma necessidade contínua de pesquisas adicionais a respeito da precisão desses classificadores. Assim, este trabalho realiza uma revisão sistemática e meta-análise de modo a resumir e agregar as evidências disponíveis na literatura da área até o momento. A busca sistemática por artigos resultou na seleção de 93 deles, que tiveram seus dados extraídos e analisados através da revisão sistemática. Um modelo meta-analítico bivariado de efeitos aleatórios foi implementado para investigar a sensibilidade e especificidade dos 55 estudos (132 amostras independentes) que ofereceram informação suficiente para serem utilizados na análise quantitativa. Os resultados obtidos indicaram estimativas gerais de sensibilidade e especificidade de 73.8% (95% IC: 71.8- 75.8%) e 74.8% (95% IC: 72.3-77.1%), respectivamente, e os classificadores baseados em SVM (do inglês, Support Vector Machine) se destacaram como os mais utilizados, apresentando estimativas acima de 76%. Estudos que utilizaram amostras maiores tenderam a obter piores resultados de precisão, com exceção do subgrupo composto por classificadores baseados em Redes Neurais Artificiais. O uso de outros tipos de imagens cerebrais ou dados fenotípicos para complementar as informações obtidas através da rs-fMRI se mostrou promissor, alcançando especialmente sensibilidades mais altas ( = 0.002) em relação aos estudos que utilizaram apenas dados de rs-fMRI (84.7% - 95% IC: 78.5-89.4% - versus 72.8% - 95% IC: 70.6-74.8%). Valores menores de sensibilidade/especificidade foram encontrados quando o número de Regiões de Interesse (ROIs, do inglês Regions of Interest) aumentou. Vale destacar também o desempenho das abordagens utilizando o atlas AAL (do inglês, Automated Anatomical Labelling) com 116 ROIs. Em relação às features usadas para treinar os classificadores, foram encontrados melhores resultados nos estudos que utilizaram a correlação de Pearson em conjunto com a transformação Z de Fisher ou outras features em comparação ao uso da correlação de Pearson sem modifica- ções. Finalmente, a análise revelou valores da área sob a curva ROC (do inglês, Receiver Operating Characteristic) entre aceitável e excelente. Entretanto, considerando as várias limitações que são indicadas no estudo, mais estudos bem desenhados são necessários para estender o uso potencial desses algoritmos de classificação a ambientes clínicos. |
publishDate |
2021 |
dc.date.issued.fl_str_mv |
2021-02-24 |
dc.date.available.fl_str_mv |
2021-03-26 2021-03-28T00:19:00Z |
dc.date.accessioned.fl_str_mv |
2021-03-28T00:19:00Z |
dc.type.status.fl_str_mv |
info:eu-repo/semantics/publishedVersion |
dc.type.driver.fl_str_mv |
info:eu-repo/semantics/masterThesis |
format |
masterThesis |
status_str |
publishedVersion |
dc.identifier.uri.fl_str_mv |
https://repositorio.unifei.edu.br/jspui/handle/123456789/2370 |
url |
https://repositorio.unifei.edu.br/jspui/handle/123456789/2370 |
dc.language.iso.fl_str_mv |
eng |
language |
eng |
dc.relation.references.pt_BR.fl_str_mv |
SANTANA, Caio Pinheiro. A meta-analysis of machine learning classification tools using rs-fmri data for autism spectrum disorder diagnosis. 2021. 120 f. Dissertação (Mestrado em Ciência e Tecnologia da Computação.) – Universidade Federal de Itajubá, Itajubá, 2021. |
dc.rights.driver.fl_str_mv |
info:eu-repo/semantics/openAccess |
eu_rights_str_mv |
openAccess |
dc.publisher.none.fl_str_mv |
Universidade Federal de Itajubá |
dc.publisher.program.fl_str_mv |
PPG - Programas de Pós Graduação - Itajubá |
dc.publisher.initials.fl_str_mv |
UNIFEI |
dc.publisher.country.fl_str_mv |
Brasil |
dc.publisher.department.fl_str_mv |
IESTI - Instituto de Engenharia de Sistemas e Tecnologia da Informação |
publisher.none.fl_str_mv |
Universidade Federal de Itajubá |
dc.source.none.fl_str_mv |
reponame:Repositório Institucional da UNIFEI (RIUNIFEI) instname:Universidade Federal de Itajubá (UNIFEI) instacron:UNIFEI |
instname_str |
Universidade Federal de Itajubá (UNIFEI) |
instacron_str |
UNIFEI |
institution |
UNIFEI |
reponame_str |
Repositório Institucional da UNIFEI (RIUNIFEI) |
collection |
Repositório Institucional da UNIFEI (RIUNIFEI) |
bitstream.url.fl_str_mv |
https://repositorio.unifei.edu.br/jspui/bitstream/123456789/2370/3/Disserta%c3%a7%c3%a3o_2021086.pdf https://repositorio.unifei.edu.br/jspui/bitstream/123456789/2370/2/license.txt |
bitstream.checksum.fl_str_mv |
5ffc2b9d8df647fe99d41b21fe80a129 8a4605be74aa9ea9d79846c1fba20a33 |
bitstream.checksumAlgorithm.fl_str_mv |
MD5 MD5 |
repository.name.fl_str_mv |
Repositório Institucional da UNIFEI (RIUNIFEI) - Universidade Federal de Itajubá (UNIFEI) |
repository.mail.fl_str_mv |
repositorio@unifei.edu.br || geraldocarlos@unifei.edu.br |
_version_ |
1801863189447573504 |