Análise de textos com aplicação de técnicas de inteligência artificial: estudo comparativo para classificação de fuga ao tema em redações
Autor(a) principal: | |
---|---|
Data de Publicação: | 2021 |
Tipo de documento: | Dissertação |
Idioma: | por |
Título da fonte: | Biblioteca Digital de Teses e Dissertações da Uninove |
Texto Completo: | http://bibliotecatede.uninove.br/handle/tede/3092 |
Resumo: | The process of manual correction of essays brings some difficulties, among which is the time spent for the correction and for returning the answer to the student. For institutions such as universities and the Exame Nacional do Ensino Médio (ENEM), which use essays as an evaluation for admission to higher education, as well as elementary schools, this activity demands time and cost to evaluate the texts produced. Changing the subject is one of the items evaluated on ENEM, when a student commits such mistake, his or her text is annulled because the concepts were not developed as requested in the stipulated theme for the essay. In this context, the automatic analysis of essays with the application of Natural Language Processing (NLP), Text Mining (TM) and other Artificial Intelligence (AI) techniques has shown promise in the process of automated assessment of written language. Given the referred context, the aim of this research is to compare different AI techniques for classification of topic avoidance in texts and identify those that brought better results. This is an applied and experimental research executed by applying algorithms and measuring the results obtained. The experiments outlined in particular the classification of 1320 Portuguese language essays with 119 different themes. Besides PLN and MT, the research used the following intelligent classification techniques: Convolutional Neural Networks (CNN), Multilayer Perceptron (MPL), Decision Trees, Random Forests, Gradient Boosting, Ada Boost, Stochastic Gradient Descent, Support Vector Machines, and other techniques to identify patterns in the database through unsupervised algorithms such as clustering. The experiments brought the best results for the RNC classifier, which obtained accuracy up to 89%, with False Positive (FP) rate of 5.7% and True Positive (VP) rate of 49%. Other classifiers with satisfactory results were MLP and Gradient Boosting, with accuracy of 90% and 74%, PV of 33% and 51%, and average FP of 4% and 20%, respectively. It is hoped that the solution developed in this research will contribute to impact the work of teachers and educational institutions by reducing the time and costs associated with the essay evaluation process. |
id |
NOVE_776ee705020c9b57fb3d44525d484cdd |
---|---|
oai_identifier_str |
oai:localhost:tede/3092 |
network_acronym_str |
NOVE |
network_name_str |
Biblioteca Digital de Teses e Dissertações da Uninove |
repository_id_str |
|
spelling |
Gaspar, Marcos Antôniohttp://lattes.cnpq.br/3809285940688486Gaspar, Marcos Antôniohttp://lattes.cnpq.br/3809285940688486Silva, Leandro Augusto dahttp://lattes.cnpq.br/1396385111251741Dias, Cleber Gustavohttp://lattes.cnpq.br/2147386441758156Sassi, Renato Joséhttp://lattes.cnpq.br/8750334661789610http://lattes.cnpq.br/1963813241989136Pinho, Cintia Maria de Araújo2022-11-17T19:28:00Z2021-08-30Pinho, Cintia Maria de Araújo. Análise de textos com aplicação de técnicas de inteligência artificial: estudo comparativo para classificação de fuga ao tema em redações. 2021. 152 f. Dissertação( Programa de Pós-Graduação em Informática e Gestão do Conhecimento) - Universidade Nove de Julho, São Paulo.http://bibliotecatede.uninove.br/handle/tede/3092The process of manual correction of essays brings some difficulties, among which is the time spent for the correction and for returning the answer to the student. For institutions such as universities and the Exame Nacional do Ensino Médio (ENEM), which use essays as an evaluation for admission to higher education, as well as elementary schools, this activity demands time and cost to evaluate the texts produced. Changing the subject is one of the items evaluated on ENEM, when a student commits such mistake, his or her text is annulled because the concepts were not developed as requested in the stipulated theme for the essay. In this context, the automatic analysis of essays with the application of Natural Language Processing (NLP), Text Mining (TM) and other Artificial Intelligence (AI) techniques has shown promise in the process of automated assessment of written language. Given the referred context, the aim of this research is to compare different AI techniques for classification of topic avoidance in texts and identify those that brought better results. This is an applied and experimental research executed by applying algorithms and measuring the results obtained. The experiments outlined in particular the classification of 1320 Portuguese language essays with 119 different themes. Besides PLN and MT, the research used the following intelligent classification techniques: Convolutional Neural Networks (CNN), Multilayer Perceptron (MPL), Decision Trees, Random Forests, Gradient Boosting, Ada Boost, Stochastic Gradient Descent, Support Vector Machines, and other techniques to identify patterns in the database through unsupervised algorithms such as clustering. The experiments brought the best results for the RNC classifier, which obtained accuracy up to 89%, with False Positive (FP) rate of 5.7% and True Positive (VP) rate of 49%. Other classifiers with satisfactory results were MLP and Gradient Boosting, with accuracy of 90% and 74%, PV of 33% and 51%, and average FP of 4% and 20%, respectively. It is hoped that the solution developed in this research will contribute to impact the work of teachers and educational institutions by reducing the time and costs associated with the essay evaluation process.O processo de correção manual de redações acarreta algumas dificuldades, dentre as quais aponta-se o tempo dispendido para a correção e para a devolutiva de resposta ao aluno. Para instituições como as universidades e o Exame Nacional do Ensino Médio (ENEM), que se utilizam de redação como avaliação para o ingresso no ensino superior, além das escolas de ensino básico, tal atividade demanda tempo e custo para a avaliação dos textos produzidos. A fuga ao tema é um dos itens avaliados na redação do ENEM e, quando o estudante comete tal falha, sua redação é anulada por não ter desenvolvido os conceitos solicitados na proposta do tema estipulado para a redação. Neste contexto, a análise automática de redações com a aplicação de Processamento de Linguagem Natural (PLN), Mineração de Textos (MT) e outras técnicas de Inteligência Artificial (IA) tem se revelado promissora no processo de avaliação automatizada da linguagem escrita. Face ao contexto exposto, o objetivo desta pesquisa é comparar diferentes técnicas de IA para classificação de fuga ao tema em textos e identificar aquelas que trouxeram melhores resultados. Esta é uma pesquisa aplicada e experimental executada por meio da aplicação de algoritmos e mensuração dos resultados obtidos. Os experimentos delinearam em especial a classificação de 1320 redações de língua portuguesa com 119 temas diferentes. Além da PLN e MT, a pesquisa se utilizou das seguintes técnicas inteligentes de classificação: Redes Neurais Convolucionais (RNC), Multilayer Perceptron (MPL), Árvores de Decisão, Florestas Aleatórias, Gradiente Boosting, Ada Boost, Stochastic Gradiente Descent, Support Vector Machines e outras técnicas para identificar padrões na base de dados por meio de algoritmos não supervisionados como a clusterização. Os experimentos trouxeram os melhores resultados para o classificador RNC, que obteve acurácia de até 89%, com taxa de Falso Positivo (FP) de 5,7% e Verdadeiro Positivo (VP) de 49%. Outros classificadores com resultados satisfatórios foram MLP e Gradiente Boosting, com acurácia de 90% e 74%, VP de 33% e 51% e média de FP de 4% e 20%, respectivamente. Espera-se que a solução desenvolvida nesta pesquisa contribua para impactar positivamente o trabalho de professores e instituições de ensino, por meio da redução de tempo e custos associados ao processo de avaliação de redações.Submitted by Nadir Basilio (nadirsb@uninove.br) on 2022-11-17T19:28:00Z No. of bitstreams: 1 Cintia Maria de Araújo Pinho.pdf: 3524259 bytes, checksum: ec91833a804f2508e49a9735b7b01179 (MD5)Made available in DSpace on 2022-11-17T19:28:00Z (GMT). No. of bitstreams: 1 Cintia Maria de Araújo Pinho.pdf: 3524259 bytes, checksum: ec91833a804f2508e49a9735b7b01179 (MD5) Previous issue date: 2021-08-30application/pdfporUniversidade Nove de JulhoPrograma de Pós-Graduação em Informática e Gestão do ConhecimentoUNINOVEBrasilInformáticaredaçõesavaliação automáticafuga ao temainteligência artificialessaysautomatic evaluationescape from the topicartificial intelligenceCIENCIA DA COMPUTACAO::SISTEMAS DE COMPUTACAOAnálise de textos com aplicação de técnicas de inteligência artificial: estudo comparativo para classificação de fuga ao tema em redaçõesText analysis with the application of artificial intelligence techniques: comparative study for classify theme away in writingsinfo:eu-repo/semantics/publishedVersioninfo:eu-repo/semantics/masterThesis8930092515683771531600info:eu-repo/semantics/openAccessreponame:Biblioteca Digital de Teses e Dissertações da Uninoveinstname:Universidade Nove de Julho (UNINOVE)instacron:UNINOVEORIGINALCintia Maria de Araújo Pinho.pdfCintia Maria de Araújo Pinho.pdfapplication/pdf3524259http://localhost:8080/tede/bitstream/tede/3092/2/Cintia+Maria+de+Ara%C3%BAjo+Pinho.pdfec91833a804f2508e49a9735b7b01179MD52LICENSElicense.txtlicense.txttext/plain; charset=utf-82165http://localhost:8080/tede/bitstream/tede/3092/1/license.txtbd3efa91386c1718a7f26a329fdcb468MD51tede/30922022-11-17 16:28:00.284oai:localhost:tede/3092Tk9UQTogQ09MT1FVRSBBUVVJIEEgU1VBIFBSw5NQUklBIExJQ0VOw4dBCkVzdGEgbGljZW7Dp2EgZGUgZXhlbXBsbyDDqSBmb3JuZWNpZGEgYXBlbmFzIHBhcmEgZmlucyBpbmZvcm1hdGl2b3MuCgpMSUNFTsOHQSBERSBESVNUUklCVUnDh8ODTyBOw4NPLUVYQ0xVU0lWQQoKQ29tIGEgYXByZXNlbnRhw6fDo28gZGVzdGEgbGljZW7Dp2EsIHZvY8OqIChvIGF1dG9yIChlcykgb3UgbyB0aXR1bGFyIGRvcyBkaXJlaXRvcyBkZSBhdXRvcikgY29uY2VkZSDDoCBVbml2ZXJzaWRhZGUgClhYWCAoU2lnbGEgZGEgVW5pdmVyc2lkYWRlKSBvIGRpcmVpdG8gbsOjby1leGNsdXNpdm8gZGUgcmVwcm9kdXppciwgIHRyYWR1emlyIChjb25mb3JtZSBkZWZpbmlkbyBhYmFpeG8pLCBlL291IApkaXN0cmlidWlyIGEgc3VhIHRlc2Ugb3UgZGlzc2VydGHDp8OjbyAoaW5jbHVpbmRvIG8gcmVzdW1vKSBwb3IgdG9kbyBvIG11bmRvIG5vIGZvcm1hdG8gaW1wcmVzc28gZSBlbGV0csO0bmljbyBlIAplbSBxdWFscXVlciBtZWlvLCBpbmNsdWluZG8gb3MgZm9ybWF0b3Mgw6F1ZGlvIG91IHbDrWRlby4KClZvY8OqIGNvbmNvcmRhIHF1ZSBhIFNpZ2xhIGRlIFVuaXZlcnNpZGFkZSBwb2RlLCBzZW0gYWx0ZXJhciBvIGNvbnRlw7pkbywgdHJhbnNwb3IgYSBzdWEgdGVzZSBvdSBkaXNzZXJ0YcOnw6NvIApwYXJhIHF1YWxxdWVyIG1laW8gb3UgZm9ybWF0byBwYXJhIGZpbnMgZGUgcHJlc2VydmHDp8Ojby4KClZvY8OqIHRhbWLDqW0gY29uY29yZGEgcXVlIGEgU2lnbGEgZGUgVW5pdmVyc2lkYWRlIHBvZGUgbWFudGVyIG1haXMgZGUgdW1hIGPDs3BpYSBhIHN1YSB0ZXNlIG91IApkaXNzZXJ0YcOnw6NvIHBhcmEgZmlucyBkZSBzZWd1cmFuw6dhLCBiYWNrLXVwIGUgcHJlc2VydmHDp8Ojby4KClZvY8OqIGRlY2xhcmEgcXVlIGEgc3VhIHRlc2Ugb3UgZGlzc2VydGHDp8OjbyDDqSBvcmlnaW5hbCBlIHF1ZSB2b2PDqiB0ZW0gbyBwb2RlciBkZSBjb25jZWRlciBvcyBkaXJlaXRvcyBjb250aWRvcyAKbmVzdGEgbGljZW7Dp2EuIFZvY8OqIHRhbWLDqW0gZGVjbGFyYSBxdWUgbyBkZXDDs3NpdG8gZGEgc3VhIHRlc2Ugb3UgZGlzc2VydGHDp8OjbyBuw6NvLCBxdWUgc2VqYSBkZSBzZXUgCmNvbmhlY2ltZW50bywgaW5mcmluZ2UgZGlyZWl0b3MgYXV0b3JhaXMgZGUgbmluZ3XDqW0uCgpDYXNvIGEgc3VhIHRlc2Ugb3UgZGlzc2VydGHDp8OjbyBjb250ZW5oYSBtYXRlcmlhbCBxdWUgdm9jw6ogbsOjbyBwb3NzdWkgYSB0aXR1bGFyaWRhZGUgZG9zIGRpcmVpdG9zIGF1dG9yYWlzLCB2b2PDqiAKZGVjbGFyYSBxdWUgb2J0ZXZlIGEgcGVybWlzc8OjbyBpcnJlc3RyaXRhIGRvIGRldGVudG9yIGRvcyBkaXJlaXRvcyBhdXRvcmFpcyBwYXJhIGNvbmNlZGVyIMOgIFNpZ2xhIGRlIFVuaXZlcnNpZGFkZSAKb3MgZGlyZWl0b3MgYXByZXNlbnRhZG9zIG5lc3RhIGxpY2Vuw6dhLCBlIHF1ZSBlc3NlIG1hdGVyaWFsIGRlIHByb3ByaWVkYWRlIGRlIHRlcmNlaXJvcyBlc3TDoSBjbGFyYW1lbnRlIAppZGVudGlmaWNhZG8gZSByZWNvbmhlY2lkbyBubyB0ZXh0byBvdSBubyBjb250ZcO6ZG8gZGEgdGVzZSBvdSBkaXNzZXJ0YcOnw6NvIG9yYSBkZXBvc2l0YWRhLgoKQ0FTTyBBIFRFU0UgT1UgRElTU0VSVEHDh8ODTyBPUkEgREVQT1NJVEFEQSBURU5IQSBTSURPIFJFU1VMVEFETyBERSBVTSBQQVRST0PDjU5JTyBPVSAKQVBPSU8gREUgVU1BIEFHw4pOQ0lBIERFIEZPTUVOVE8gT1UgT1VUUk8gT1JHQU5JU01PIFFVRSBOw4NPIFNFSkEgQSBTSUdMQSBERSAKVU5JVkVSU0lEQURFLCBWT0PDiiBERUNMQVJBIFFVRSBSRVNQRUlUT1UgVE9ET1MgRSBRVUFJU1FVRVIgRElSRUlUT1MgREUgUkVWSVPDg08gQ09NTyAKVEFNQsOJTSBBUyBERU1BSVMgT0JSSUdBw4fDlUVTIEVYSUdJREFTIFBPUiBDT05UUkFUTyBPVSBBQ09SRE8uCgpBIFNpZ2xhIGRlIFVuaXZlcnNpZGFkZSBzZSBjb21wcm9tZXRlIGEgaWRlbnRpZmljYXIgY2xhcmFtZW50ZSBvIHNldSBub21lIChzKSBvdSBvKHMpIG5vbWUocykgZG8ocykgCmRldGVudG9yKGVzKSBkb3MgZGlyZWl0b3MgYXV0b3JhaXMgZGEgdGVzZSBvdSBkaXNzZXJ0YcOnw6NvLCBlIG7Do28gZmFyw6EgcXVhbHF1ZXIgYWx0ZXJhw6fDo28sIGFsw6ltIGRhcXVlbGFzIApjb25jZWRpZGFzIHBvciBlc3RhIGxpY2Vuw6dhLgo=Biblioteca Digital de Teses e Dissertaçõeshttp://bibliotecatede.uninove.br/PRIhttp://bibliotecatede.uninove.br/oai/requestbibliotecatede@uninove.br||bibliotecatede@uninove.bropendoar:2022-11-17T19:28Biblioteca Digital de Teses e Dissertações da Uninove - Universidade Nove de Julho (UNINOVE)false |
dc.title.por.fl_str_mv |
Análise de textos com aplicação de técnicas de inteligência artificial: estudo comparativo para classificação de fuga ao tema em redações |
dc.title.alternative.eng.fl_str_mv |
Text analysis with the application of artificial intelligence techniques: comparative study for classify theme away in writings |
title |
Análise de textos com aplicação de técnicas de inteligência artificial: estudo comparativo para classificação de fuga ao tema em redações |
spellingShingle |
Análise de textos com aplicação de técnicas de inteligência artificial: estudo comparativo para classificação de fuga ao tema em redações Pinho, Cintia Maria de Araújo redações avaliação automática fuga ao tema inteligência artificial essays automatic evaluation escape from the topic artificial intelligence CIENCIA DA COMPUTACAO::SISTEMAS DE COMPUTACAO |
title_short |
Análise de textos com aplicação de técnicas de inteligência artificial: estudo comparativo para classificação de fuga ao tema em redações |
title_full |
Análise de textos com aplicação de técnicas de inteligência artificial: estudo comparativo para classificação de fuga ao tema em redações |
title_fullStr |
Análise de textos com aplicação de técnicas de inteligência artificial: estudo comparativo para classificação de fuga ao tema em redações |
title_full_unstemmed |
Análise de textos com aplicação de técnicas de inteligência artificial: estudo comparativo para classificação de fuga ao tema em redações |
title_sort |
Análise de textos com aplicação de técnicas de inteligência artificial: estudo comparativo para classificação de fuga ao tema em redações |
author |
Pinho, Cintia Maria de Araújo |
author_facet |
Pinho, Cintia Maria de Araújo |
author_role |
author |
dc.contributor.advisor1.fl_str_mv |
Gaspar, Marcos Antônio |
dc.contributor.advisor1Lattes.fl_str_mv |
http://lattes.cnpq.br/3809285940688486 |
dc.contributor.referee1.fl_str_mv |
Gaspar, Marcos Antônio |
dc.contributor.referee1Lattes.fl_str_mv |
http://lattes.cnpq.br/3809285940688486 |
dc.contributor.referee2.fl_str_mv |
Silva, Leandro Augusto da |
dc.contributor.referee2Lattes.fl_str_mv |
http://lattes.cnpq.br/1396385111251741 |
dc.contributor.referee3.fl_str_mv |
Dias, Cleber Gustavo |
dc.contributor.referee3Lattes.fl_str_mv |
http://lattes.cnpq.br/2147386441758156 |
dc.contributor.referee4.fl_str_mv |
Sassi, Renato José |
dc.contributor.referee4Lattes.fl_str_mv |
http://lattes.cnpq.br/8750334661789610 |
dc.contributor.authorLattes.fl_str_mv |
http://lattes.cnpq.br/1963813241989136 |
dc.contributor.author.fl_str_mv |
Pinho, Cintia Maria de Araújo |
contributor_str_mv |
Gaspar, Marcos Antônio Gaspar, Marcos Antônio Silva, Leandro Augusto da Dias, Cleber Gustavo Sassi, Renato José |
dc.subject.por.fl_str_mv |
redações avaliação automática fuga ao tema inteligência artificial |
topic |
redações avaliação automática fuga ao tema inteligência artificial essays automatic evaluation escape from the topic artificial intelligence CIENCIA DA COMPUTACAO::SISTEMAS DE COMPUTACAO |
dc.subject.eng.fl_str_mv |
essays automatic evaluation escape from the topic artificial intelligence |
dc.subject.cnpq.fl_str_mv |
CIENCIA DA COMPUTACAO::SISTEMAS DE COMPUTACAO |
description |
The process of manual correction of essays brings some difficulties, among which is the time spent for the correction and for returning the answer to the student. For institutions such as universities and the Exame Nacional do Ensino Médio (ENEM), which use essays as an evaluation for admission to higher education, as well as elementary schools, this activity demands time and cost to evaluate the texts produced. Changing the subject is one of the items evaluated on ENEM, when a student commits such mistake, his or her text is annulled because the concepts were not developed as requested in the stipulated theme for the essay. In this context, the automatic analysis of essays with the application of Natural Language Processing (NLP), Text Mining (TM) and other Artificial Intelligence (AI) techniques has shown promise in the process of automated assessment of written language. Given the referred context, the aim of this research is to compare different AI techniques for classification of topic avoidance in texts and identify those that brought better results. This is an applied and experimental research executed by applying algorithms and measuring the results obtained. The experiments outlined in particular the classification of 1320 Portuguese language essays with 119 different themes. Besides PLN and MT, the research used the following intelligent classification techniques: Convolutional Neural Networks (CNN), Multilayer Perceptron (MPL), Decision Trees, Random Forests, Gradient Boosting, Ada Boost, Stochastic Gradient Descent, Support Vector Machines, and other techniques to identify patterns in the database through unsupervised algorithms such as clustering. The experiments brought the best results for the RNC classifier, which obtained accuracy up to 89%, with False Positive (FP) rate of 5.7% and True Positive (VP) rate of 49%. Other classifiers with satisfactory results were MLP and Gradient Boosting, with accuracy of 90% and 74%, PV of 33% and 51%, and average FP of 4% and 20%, respectively. It is hoped that the solution developed in this research will contribute to impact the work of teachers and educational institutions by reducing the time and costs associated with the essay evaluation process. |
publishDate |
2021 |
dc.date.issued.fl_str_mv |
2021-08-30 |
dc.date.accessioned.fl_str_mv |
2022-11-17T19:28:00Z |
dc.type.status.fl_str_mv |
info:eu-repo/semantics/publishedVersion |
dc.type.driver.fl_str_mv |
info:eu-repo/semantics/masterThesis |
format |
masterThesis |
status_str |
publishedVersion |
dc.identifier.citation.fl_str_mv |
Pinho, Cintia Maria de Araújo. Análise de textos com aplicação de técnicas de inteligência artificial: estudo comparativo para classificação de fuga ao tema em redações. 2021. 152 f. Dissertação( Programa de Pós-Graduação em Informática e Gestão do Conhecimento) - Universidade Nove de Julho, São Paulo. |
dc.identifier.uri.fl_str_mv |
http://bibliotecatede.uninove.br/handle/tede/3092 |
identifier_str_mv |
Pinho, Cintia Maria de Araújo. Análise de textos com aplicação de técnicas de inteligência artificial: estudo comparativo para classificação de fuga ao tema em redações. 2021. 152 f. Dissertação( Programa de Pós-Graduação em Informática e Gestão do Conhecimento) - Universidade Nove de Julho, São Paulo. |
url |
http://bibliotecatede.uninove.br/handle/tede/3092 |
dc.language.iso.fl_str_mv |
por |
language |
por |
dc.relation.cnpq.fl_str_mv |
8930092515683771531 |
dc.relation.confidence.fl_str_mv |
600 |
dc.rights.driver.fl_str_mv |
info:eu-repo/semantics/openAccess |
eu_rights_str_mv |
openAccess |
dc.format.none.fl_str_mv |
application/pdf |
dc.publisher.none.fl_str_mv |
Universidade Nove de Julho |
dc.publisher.program.fl_str_mv |
Programa de Pós-Graduação em Informática e Gestão do Conhecimento |
dc.publisher.initials.fl_str_mv |
UNINOVE |
dc.publisher.country.fl_str_mv |
Brasil |
dc.publisher.department.fl_str_mv |
Informática |
publisher.none.fl_str_mv |
Universidade Nove de Julho |
dc.source.none.fl_str_mv |
reponame:Biblioteca Digital de Teses e Dissertações da Uninove instname:Universidade Nove de Julho (UNINOVE) instacron:UNINOVE |
instname_str |
Universidade Nove de Julho (UNINOVE) |
instacron_str |
UNINOVE |
institution |
UNINOVE |
reponame_str |
Biblioteca Digital de Teses e Dissertações da Uninove |
collection |
Biblioteca Digital de Teses e Dissertações da Uninove |
bitstream.url.fl_str_mv |
http://localhost:8080/tede/bitstream/tede/3092/2/Cintia+Maria+de+Ara%C3%BAjo+Pinho.pdf http://localhost:8080/tede/bitstream/tede/3092/1/license.txt |
bitstream.checksum.fl_str_mv |
ec91833a804f2508e49a9735b7b01179 bd3efa91386c1718a7f26a329fdcb468 |
bitstream.checksumAlgorithm.fl_str_mv |
MD5 MD5 |
repository.name.fl_str_mv |
Biblioteca Digital de Teses e Dissertações da Uninove - Universidade Nove de Julho (UNINOVE) |
repository.mail.fl_str_mv |
bibliotecatede@uninove.br||bibliotecatede@uninove.br |
_version_ |
1811016889063702528 |