Parâmetros psicométricos de instrumentos de avaliação dos componentes de leitura em alunos do 4º ao 9º ano do Ensino Fundamental

Detalhes bibliográficos
Autor(a) principal: Brito, Gabriel Rodriguez
Data de Publicação: 2021
Tipo de documento: Tese
Idioma: por
Título da fonte: Biblioteca Digital de Teses e Dissertações do Mackenzie
Texto Completo: https://dspace.mackenzie.br/handle/10899/28651
Resumo: Dentre as diversas habilidades cognitivas que interagem para que ocorra a leitura competente, destacam-se as habilidades de reconhecimento de palavras, compreensão oral e fluência. O uso de instrumentos de avaliação validados e normatizados contribui com a prática clínica e pedagógica por meio do monitoramento da evolução dos estudantes e da identificação precoce de dificuldades, auxiliando os encaminhamentos e orientações. No Brasil, torna-se ainda mais evidente a necessidade de dispor de instrumentos com boas características psicométricas ao observar os baixíssimos índices de leitura em diferentes testes nacionais e internacionais que avaliam a qualidade da educação, os quais indicam que a maioria dos alunos brasileiros do 9º ano do Ensino Fundamental (EF) não consegue localizar informações explícitas em um texto. Deste modo, essa tese de doutorado buscou ampliar as evidências de validade e apresentar parâmetros normativos de três instrumentos que compõem a Bateria de Avaliação Cognitiva da Leitura – BACOL. Cada instrumento avalia um componente de leitura específico em alunos do 4º ao 9º ano do EF. A tese está organizada em três estudos. O Estudo 1, de revisão sistemática, investigou a contribuição das habilidades de fluência e de reconhecimento de palavras para a compreensão de texto. Os resultados sugerem que, diferentemente do reconhecimento de palavras, a habilidade de fluência de leitura tende a manter relação significativa com a compreensão de leitura no decorrer do segundo ciclo do EF. Já o Estudo 2 investigou o grau de complexidade linguística dos textos narrativo (TCCL_N) e expositivo (TCCL_E) do Teste de Compreensão de Leitura - TCCL, por meio da ferramenta computadorizada CohMetrix-Port. Os resultados da análise sugerem que o TCCL_E é mais complexo que o TCCL_N, além de indicar outras nuances textuais que auxiliam na compreensão dos mecanismos cognitivos subjacentes ao desempenho em TCCL. Por fim, o Estudo 3 buscou evidências de validade por meio da análise do efeito de série, além de disponibilizar dados normativos. Participaram do estudo 1.117 estudantes de 6 escolas particulares das 5 regiões do país. Os resultados da análise de variância indicaram que houve efeito de série sobre os desempenhos nos três instrumentos utilizados, tendo sido encontradas diferenças estatisticamente significativas em todas as comparações com dois anos de diferença. Portanto, a tese oferece novas evidências de validade e normas para os instrumentos, o que pode contribuir para a avaliação de leitura nesses anos escolares.
id UPM_69d91566267f8eebeb4bc1623cb7d6a6
oai_identifier_str oai:dspace.mackenzie.br:10899/28651
network_acronym_str UPM
network_name_str Biblioteca Digital de Teses e Dissertações do Mackenzie
repository_id_str 10277
spelling Brito, Gabriel RodriguezSeabra, Alessandra Gotuzo2022-01-13T19:17:05Z2022-01-13T19:17:05Z2021-10-07Dentre as diversas habilidades cognitivas que interagem para que ocorra a leitura competente, destacam-se as habilidades de reconhecimento de palavras, compreensão oral e fluência. O uso de instrumentos de avaliação validados e normatizados contribui com a prática clínica e pedagógica por meio do monitoramento da evolução dos estudantes e da identificação precoce de dificuldades, auxiliando os encaminhamentos e orientações. No Brasil, torna-se ainda mais evidente a necessidade de dispor de instrumentos com boas características psicométricas ao observar os baixíssimos índices de leitura em diferentes testes nacionais e internacionais que avaliam a qualidade da educação, os quais indicam que a maioria dos alunos brasileiros do 9º ano do Ensino Fundamental (EF) não consegue localizar informações explícitas em um texto. Deste modo, essa tese de doutorado buscou ampliar as evidências de validade e apresentar parâmetros normativos de três instrumentos que compõem a Bateria de Avaliação Cognitiva da Leitura – BACOL. Cada instrumento avalia um componente de leitura específico em alunos do 4º ao 9º ano do EF. A tese está organizada em três estudos. O Estudo 1, de revisão sistemática, investigou a contribuição das habilidades de fluência e de reconhecimento de palavras para a compreensão de texto. Os resultados sugerem que, diferentemente do reconhecimento de palavras, a habilidade de fluência de leitura tende a manter relação significativa com a compreensão de leitura no decorrer do segundo ciclo do EF. Já o Estudo 2 investigou o grau de complexidade linguística dos textos narrativo (TCCL_N) e expositivo (TCCL_E) do Teste de Compreensão de Leitura - TCCL, por meio da ferramenta computadorizada CohMetrix-Port. Os resultados da análise sugerem que o TCCL_E é mais complexo que o TCCL_N, além de indicar outras nuances textuais que auxiliam na compreensão dos mecanismos cognitivos subjacentes ao desempenho em TCCL. Por fim, o Estudo 3 buscou evidências de validade por meio da análise do efeito de série, além de disponibilizar dados normativos. Participaram do estudo 1.117 estudantes de 6 escolas particulares das 5 regiões do país. Os resultados da análise de variância indicaram que houve efeito de série sobre os desempenhos nos três instrumentos utilizados, tendo sido encontradas diferenças estatisticamente significativas em todas as comparações com dois anos de diferença. Portanto, a tese oferece novas evidências de validade e normas para os instrumentos, o que pode contribuir para a avaliação de leitura nesses anos escolares.CAPES - Coordenação de Aperfeiçoamento de Pessoal de Nívelhttps://dspace.mackenzie.br/handle/10899/28651Universidade Presbiteriana MackenzieAttribution-NonCommercial-NoDerivs 3.0 Brazilhttp://creativecommons.org/licenses/by-nc-nd/3.0/br/info:eu-repo/semantics/openAccessleiturareconhecimento de palavrascompreensão de leiturafluênciaavaliação neuropsicológicaParâmetros psicométricos de instrumentos de avaliação dos componentes de leitura em alunos do 4º ao 9º ano do Ensino Fundamentalinfo:eu-repo/semantics/publishedVersioninfo:eu-repo/semantics/doctoralThesisporreponame:Biblioteca Digital de Teses e Dissertações do Mackenzieinstname:Universidade Presbiteriana Mackenzie (MACKENZIE)instacron:MACKENZIEhttp://lattes.cnpq.br/7828325860191703http://lattes.cnpq.br/6644101125679963Amato, Cibelle Albuquerque de La Higuerahttp://lattes.cnpq.br/6553933195554203Salles, Jerusa Fumagalli dehttp://lattes.cnpq.br/0265690889456064Teixeira, Maria Cristina Triguero Velozhttp://lattes.cnpq.br/1500695593391363Alves, Rauni Jandé Roamahttp://lattes.cnpq.br/4766101006250288There are many cognitive skills that interact for the competent reading to occur, among them: word recognition, listening comprehension, and speaking fluency skills stand out. The use of validated and standardized assessment instruments contributes to clinical and pedagogical practice by monitoring the development of students and early identification of difficulties, thereby helping with referrals and guidance. In Brazil, the need for instruments with good psychometric characteristics becomes even more evident, as the mere observation reveals the very low reading rates of our students in different national and international tests that assess the quality of education. This indicates that most Brazilian students in the 9th Grade cannot find explicit information in a given text. Thus, this doctoral thesis sought to expand the evidences of validation and sought present standard parameters of three instruments that make up the Cognitive Reading Assessment Battery (the acronym BACOL, in Portuguese). Each instrument assesses a specific reading component in 4th to 9th grade students. This thesis is organized into three separate studies. Study 1 is about systematic review that investigated the contribution of word recognition and fluency skills for text comprehension. The results suggest that reading fluency skill, differently than word recognition, tends to maintain a significant relationship with reading comprehension during middle school. Study 2 investigated the degree of Linguistic Complexity of the Narrative Texts (LC_NT) and Linguistic Complexity of the Expository Texts (LC_ET) of the Reading Comprehension Test – RCT, using the CohMetrix-Port computerized tool, whose analysis results suggested that LC_ET is more complex than LC_NT. In addition, they indicated other textual nuances that help to understand the underlying cognitive mechanisms in the RCT performance. Lastly, Study 3, in addition to providing normative data, pursued evidence of validity through the analysis of the academic grade effect. The study was carried out with the participation of 1,117 students from 6 private schools, from all 5 geographic regions of the country. The results of the analysis of the variance indicated that there was a grade effect on the performances in the three instruments used, with statistically significant differences being found in all comparisons with a two-year difference. Therefore, this thesis offers new evidence of validity and norms for the instruments, which can contribute to the reading assessment in these school years.reading competenceword recognitionreading comprehensionspeaking fluencyneuropsychology assessmentBrasilCentro de Ciências Biológicas e da Saúde (CCBS)UPMDistúrbios do DesenvolvimentoCNPQ::CIENCIAS HUMANAS::EDUCACAO::FUNDAMENTOS DA EDUCACAO::PSICOLOGIA EDUCACIONALORIGINALGabriel Rodriguez Brito.pdfGabriel Rodriguez Brito.pdfGabriel Rodriguez Britoapplication/pdf2324699https://dspace.mackenzie.br/bitstreams/fd4323db-66f9-465a-b3b3-5af76233b300/download1ded876d07a89a6fffc91d98991900afMD51CC-LICENSElicense_rdflicense_rdfapplication/rdf+xml; charset=utf-8811https://dspace.mackenzie.br/bitstreams/c7fe1f86-bb71-4dcb-abf8-96f9a0f82aa6/downloade39d27027a6cc9cb039ad269a5db8e34MD52LICENSElicense.txtlicense.txttext/plain; charset=utf-81997https://dspace.mackenzie.br/bitstreams/2f6a4c33-3d0d-48e3-8c25-11e2c9466008/downloadfb735e1a8fa1feda568f1b61905f8d57MD53TEXTGabriel Rodriguez Brito.pdf.txtGabriel Rodriguez Brito.pdf.txtExtracted texttext/plain319839https://dspace.mackenzie.br/bitstreams/926a096b-bd3a-4f8c-8bb6-f5f2194f7eac/downloadfe5ea0313d335c850b0d3e25446af10cMD56THUMBNAILGabriel Rodriguez Brito.pdf.jpgGabriel Rodriguez Brito.pdf.jpgGenerated Thumbnailimage/jpeg1164https://dspace.mackenzie.br/bitstreams/ac16ccc9-8ccb-4d19-bfa1-d8ee41482e36/download7144b6f05c88affdf8a57b981d69f5f6MD5710899/286512022-03-14 21:31:16.136http://creativecommons.org/licenses/by-nc-nd/3.0/br/Attribution-NonCommercial-NoDerivs 3.0 Braziloai:dspace.mackenzie.br:10899/28651https://dspace.mackenzie.brBiblioteca Digital de Teses e Dissertaçõeshttp://tede.mackenzie.br/jspui/PRIhttps://adelpha-api.mackenzie.br/server/oai/repositorio@mackenzie.br||paola.damato@mackenzie.bropendoar:102772022-03-14T21:31:16Biblioteca Digital de Teses e Dissertações do Mackenzie - Universidade Presbiteriana Mackenzie (MACKENZIE)falseTElDRU7Dh0EgREUgRElTVFJJQlVJw4fDg08gTsODTy1FWENMVVNJVkEKCkNvbSBhIGFwcmVzZW50YcOnw6NvIGRlc3RhIGxpY2Vuw6dhLCB2b2PDqiAobyBhdXRvciAoZXMpIG91IG8gdGl0dWxhciBkb3MgZGlyZWl0b3MgZGUgYXV0b3IpIGNvbmNlZGUgw6AgVW5pdmVyc2lkYWRlIFByZXNiaXRlcmlhbmEgTWFja2VuemllIG8gZGlyZWl0byBuw6NvLWV4Y2x1c2l2byBkZSByZXByb2R1emlyLCAgdHJhZHV6aXIgKGNvbmZvcm1lIGRlZmluaWRvIGFiYWl4byksIGUvb3UgZGlzdHJpYnVpciBzZXUgdHJhYmFsaG8gKGluY2x1aW5kbyBvIHJlc3VtbykgcG9yIHRvZG8gbyBtdW5kbyBubyBmb3JtYXRvIGltcHJlc3NvIGUgZWxldHLDtG5pY28gZSBlbSBxdWFscXVlciBtZWlvLCBpbmNsdWluZG8gb3MgZm9ybWF0b3Mgw6F1ZGlvIG91IHbDrWRlby4KClZvY8OqIGNvbmNvcmRhIHF1ZSBhIFVuaXZlcnNpZGFkZSBQcmVzYml0ZXJpYW5hIE1hY2tlbnppZSBwb2RlLCBzZW0gYWx0ZXJhciBvIGNvbnRlw7pkbywgdHJhbnNwb3IgbyBzZXUgdHJhYmFsaG8gcGFyYSBxdWFscXVlciBtZWlvIG91IGZvcm1hdG8gcGFyYSBmaW5zIGRlIHByZXNlcnZhw6fDo28uCgpWb2PDqiB0YW1iw6ltIGNvbmNvcmRhIHF1ZSBhIFVuaXZlcnNpZGFkZSBQcmVzYml0ZXJpYW5hIE1hY2tlbnppZSBwb2RlIG1hbnRlciBtYWlzIGRlIHVtYSBjw7NwaWEgZG8gc2V1IHRyYWJhbGhvIHBhcmEgZmlucyBkZSBzZWd1cmFuw6dhLCBiYWNrLXVwIGUgcHJlc2VydmHDp8Ojby4KClZvY8OqIGRlY2xhcmEgcXVlIHNldSB0cmFiYWxobyDDqSBvcmlnaW5hbCBlIHF1ZSB2b2PDqiB0ZW0gbyBwb2RlciBkZSBjb25jZWRlciBvcyBkaXJlaXRvcyBjb250aWRvcyBuZXN0YSBsaWNlbsOnYS4gVm9jw6ogdGFtYsOpbSBkZWNsYXJhIHF1ZSBvIGRlcMOzc2l0byBkbyBzZXUgdHJhYmFsaG8gbsOjbywgcXVlIHNlamEgZGUgc2V1IGNvbmhlY2ltZW50bywgaW5mcmluZ2UgZGlyZWl0b3MgYXV0b3JhaXMgZGUgbmluZ3XDqW0uCgpDYXNvIGEgc2V1IHRyYWJhbGhvIGNvbnRlbmhhIG1hdGVyaWFsIHF1ZSB2b2PDqiBuw6NvIHBvc3N1aSBhIHRpdHVsYXJpZGFkZSBkb3MgZGlyZWl0b3MgYXV0b3JhaXMsIHZvY8OqIGRlY2xhcmFyIHF1ZSBvYnRldmUgYSBwZXJtaXNzw6NvIGlycmVzdHJpdGEgZG8gZGV0ZW50b3IgZG9zIGRpcmVpdG9zIGF1dG9yYWlzIHBhcmEgY29uY2VkZXIgw6AgVW5pdmVyc2lkYWRlIFByZXNiaXRlcmlhbmEgTWFja2VuemllIG9zIGRpcmVpdG9zIGFwcmVzZW50YWRvcyBuZXN0YSBsaWNlbsOnYSwgZSBxdWUgZXNzZSBtYXRlcmlhbCBkZSBwcm9wcmllZGFkZSBkZSB0ZXJjZWlyb3MgZXN0w6EgY2xhcmFtZW50ZSBpZGVudGlmaWNhZG8gZSByZWNvbmhlY2lkbyBubyB0ZXh0byBvdSBubyBjb250ZcO6ZG8gZG8gc2V1IHRyYWJhbGhvIG9yYSBkZXBvc2l0YWRvLgoKQ0FTTyBPIFRSQUJBTEhPIE9SQSBERVBPU0lUQURPIFRFTkhBIFNJRE8gUkVTVUxUQURPIERFIFVNIFBBVFJPQ8ONTklPIE9VIEFQT0lPIERFIFVNQSBBR8OKTkNJQSBERSBGT01FTlRPIE9VIE9VVFJPIE9SR0FOSVNNTyBRVUUgTsODTyBTRUpBIEEgVU5JVkVSU0lEQURFIFBSRVNCSVRFUklBTkEgTUFDS0VOWklFLCBWT0PDiiBERUNMQVJBIFFVRSBSRVNQRUlUT1UgVE9ET1MgRSBRVUFJU1FVRVIgRElSRUlUT1MgREUgUkVWSVPDg08gQ09NTyBUQU1Cw4lNIEFTIERFTUFJUyBPQlJJR0HDh8OVRVMgRVhJR0lEQVMgUE9SIENPTlRSQVRPIE9VIEFDT1JETy4KCkEgVW5pdmVyc2lkYWRlIFByZXNiaXRlcmlhbmEgTWFja2VuemllIHNlIGNvbXByb21ldGUgYSBpZGVudGlmaWNhciBjbGFyYW1lbnRlIG8gc2V1IG5vbWUgKHMpIG91IG8ocykgbm9tZShzKSBkbyhzKSBkZXRlbnRvcihlcykgZG9zIGRpcmVpdG9zIGF1dG9yYWlzIGRvIHNldSB0cmFiYWxobywgZSBuw6NvIGZhcsOhIHF1YWxxdWVyIGFsdGVyYcOnw6NvLCBhbMOpbSBkYXF1ZWxhcyBjb25jZWRpZGFzIHBvciBlc3RhIGxpY2Vuw6dhLgo=
dc.title.pt_BR.fl_str_mv Parâmetros psicométricos de instrumentos de avaliação dos componentes de leitura em alunos do 4º ao 9º ano do Ensino Fundamental
title Parâmetros psicométricos de instrumentos de avaliação dos componentes de leitura em alunos do 4º ao 9º ano do Ensino Fundamental
spellingShingle Parâmetros psicométricos de instrumentos de avaliação dos componentes de leitura em alunos do 4º ao 9º ano do Ensino Fundamental
Brito, Gabriel Rodriguez
leitura
reconhecimento de palavras
compreensão de leitura
fluência
avaliação neuropsicológica
title_short Parâmetros psicométricos de instrumentos de avaliação dos componentes de leitura em alunos do 4º ao 9º ano do Ensino Fundamental
title_full Parâmetros psicométricos de instrumentos de avaliação dos componentes de leitura em alunos do 4º ao 9º ano do Ensino Fundamental
title_fullStr Parâmetros psicométricos de instrumentos de avaliação dos componentes de leitura em alunos do 4º ao 9º ano do Ensino Fundamental
title_full_unstemmed Parâmetros psicométricos de instrumentos de avaliação dos componentes de leitura em alunos do 4º ao 9º ano do Ensino Fundamental
title_sort Parâmetros psicométricos de instrumentos de avaliação dos componentes de leitura em alunos do 4º ao 9º ano do Ensino Fundamental
author Brito, Gabriel Rodriguez
author_facet Brito, Gabriel Rodriguez
author_role author
dc.contributor.author.fl_str_mv Brito, Gabriel Rodriguez
dc.contributor.advisor1.fl_str_mv Seabra, Alessandra Gotuzo
contributor_str_mv Seabra, Alessandra Gotuzo
dc.subject.por.fl_str_mv leitura
reconhecimento de palavras
compreensão de leitura
fluência
avaliação neuropsicológica
topic leitura
reconhecimento de palavras
compreensão de leitura
fluência
avaliação neuropsicológica
description Dentre as diversas habilidades cognitivas que interagem para que ocorra a leitura competente, destacam-se as habilidades de reconhecimento de palavras, compreensão oral e fluência. O uso de instrumentos de avaliação validados e normatizados contribui com a prática clínica e pedagógica por meio do monitoramento da evolução dos estudantes e da identificação precoce de dificuldades, auxiliando os encaminhamentos e orientações. No Brasil, torna-se ainda mais evidente a necessidade de dispor de instrumentos com boas características psicométricas ao observar os baixíssimos índices de leitura em diferentes testes nacionais e internacionais que avaliam a qualidade da educação, os quais indicam que a maioria dos alunos brasileiros do 9º ano do Ensino Fundamental (EF) não consegue localizar informações explícitas em um texto. Deste modo, essa tese de doutorado buscou ampliar as evidências de validade e apresentar parâmetros normativos de três instrumentos que compõem a Bateria de Avaliação Cognitiva da Leitura – BACOL. Cada instrumento avalia um componente de leitura específico em alunos do 4º ao 9º ano do EF. A tese está organizada em três estudos. O Estudo 1, de revisão sistemática, investigou a contribuição das habilidades de fluência e de reconhecimento de palavras para a compreensão de texto. Os resultados sugerem que, diferentemente do reconhecimento de palavras, a habilidade de fluência de leitura tende a manter relação significativa com a compreensão de leitura no decorrer do segundo ciclo do EF. Já o Estudo 2 investigou o grau de complexidade linguística dos textos narrativo (TCCL_N) e expositivo (TCCL_E) do Teste de Compreensão de Leitura - TCCL, por meio da ferramenta computadorizada CohMetrix-Port. Os resultados da análise sugerem que o TCCL_E é mais complexo que o TCCL_N, além de indicar outras nuances textuais que auxiliam na compreensão dos mecanismos cognitivos subjacentes ao desempenho em TCCL. Por fim, o Estudo 3 buscou evidências de validade por meio da análise do efeito de série, além de disponibilizar dados normativos. Participaram do estudo 1.117 estudantes de 6 escolas particulares das 5 regiões do país. Os resultados da análise de variância indicaram que houve efeito de série sobre os desempenhos nos três instrumentos utilizados, tendo sido encontradas diferenças estatisticamente significativas em todas as comparações com dois anos de diferença. Portanto, a tese oferece novas evidências de validade e normas para os instrumentos, o que pode contribuir para a avaliação de leitura nesses anos escolares.
publishDate 2021
dc.date.issued.fl_str_mv 2021-10-07
dc.date.accessioned.fl_str_mv 2022-01-13T19:17:05Z
dc.date.available.fl_str_mv 2022-01-13T19:17:05Z
dc.type.status.fl_str_mv info:eu-repo/semantics/publishedVersion
dc.type.driver.fl_str_mv info:eu-repo/semantics/doctoralThesis
format doctoralThesis
status_str publishedVersion
dc.identifier.uri.fl_str_mv https://dspace.mackenzie.br/handle/10899/28651
url https://dspace.mackenzie.br/handle/10899/28651
dc.language.iso.fl_str_mv por
language por
dc.rights.driver.fl_str_mv Attribution-NonCommercial-NoDerivs 3.0 Brazil
http://creativecommons.org/licenses/by-nc-nd/3.0/br/
info:eu-repo/semantics/openAccess
rights_invalid_str_mv Attribution-NonCommercial-NoDerivs 3.0 Brazil
http://creativecommons.org/licenses/by-nc-nd/3.0/br/
eu_rights_str_mv openAccess
dc.publisher.none.fl_str_mv Universidade Presbiteriana Mackenzie
publisher.none.fl_str_mv Universidade Presbiteriana Mackenzie
dc.source.none.fl_str_mv reponame:Biblioteca Digital de Teses e Dissertações do Mackenzie
instname:Universidade Presbiteriana Mackenzie (MACKENZIE)
instacron:MACKENZIE
instname_str Universidade Presbiteriana Mackenzie (MACKENZIE)
instacron_str MACKENZIE
institution MACKENZIE
reponame_str Biblioteca Digital de Teses e Dissertações do Mackenzie
collection Biblioteca Digital de Teses e Dissertações do Mackenzie
bitstream.url.fl_str_mv https://dspace.mackenzie.br/bitstreams/fd4323db-66f9-465a-b3b3-5af76233b300/download
https://dspace.mackenzie.br/bitstreams/c7fe1f86-bb71-4dcb-abf8-96f9a0f82aa6/download
https://dspace.mackenzie.br/bitstreams/2f6a4c33-3d0d-48e3-8c25-11e2c9466008/download
https://dspace.mackenzie.br/bitstreams/926a096b-bd3a-4f8c-8bb6-f5f2194f7eac/download
https://dspace.mackenzie.br/bitstreams/ac16ccc9-8ccb-4d19-bfa1-d8ee41482e36/download
bitstream.checksum.fl_str_mv 1ded876d07a89a6fffc91d98991900af
e39d27027a6cc9cb039ad269a5db8e34
fb735e1a8fa1feda568f1b61905f8d57
fe5ea0313d335c850b0d3e25446af10c
7144b6f05c88affdf8a57b981d69f5f6
bitstream.checksumAlgorithm.fl_str_mv MD5
MD5
MD5
MD5
MD5
repository.name.fl_str_mv Biblioteca Digital de Teses e Dissertações do Mackenzie - Universidade Presbiteriana Mackenzie (MACKENZIE)
repository.mail.fl_str_mv repositorio@mackenzie.br||paola.damato@mackenzie.br
_version_ 1813820061146677248