DRL TC classifier : classificação de casos de teste para automação de testes de dispositivos móveis

Detalhes bibliográficos
Autor(a) principal: MATOS, Eduardo José de Vasconcelos
Data de Publicação: 2020
Tipo de documento: Dissertação
Idioma: por
Título da fonte: Repositório Institucional da UFPE
dARK ID: ark:/64986/0013000009w7f
Texto Completo: https://repositorio.ufpe.br/handle/123456789/39085
Resumo: Buscando garantir a qualidade de produtos de software, são realizadas diversas atividades de teste. Contudo, esta é uma tarefa cara e complexa, responsável por aproximadamente 50% do custo de desenvolvimento de um software. A automação de testes surge como uma solução para diminuir o custo e aumentar a eficiência dos processos de teste. Um dos primeiros estágios do processo de automatização de Casos de Testes (CTs) é a identificação da viabilidade dessa automação. Atualmente, essa é uma problemática real da nossa empresa parceira, no ramo de dispositivos móveis, que mantém uma equipe responsável por criar os scripts executáveis para os CTs automatizáveis. A classificação é realizada manualmente por especialistas com conhecimento sobre as funcionalidades dos dispositivos (i.e., que funcionalidades podem ou não ser testadas automaticamente), e sobre o ambiente de desenvolvimento de CTs automáticos. No entanto, especialistas são profissionais “caros”, cujo tempo livre é escasso e o conhecimento adquirido é muito valioso. Nesse contexto, este trabalho teve por objetivo auxiliar no processo de automação de teste, criando um sistema para classificação automática de CTs entre automatizáveis ou não. Além de otimizar essa tarefa, este trabalho também contribuiu para registrar o conhecimento do especialista, que pode ser perdido se o colaborador sair da empresa. O protótipo implementado utiliza conceitos da Classificação de Texto e da Engenharia do Conhecimento baseada em regras e inferência (através da ferramenta Drools). A avaliação do protótipo apresentou resultados muito satisfatórios de valores de acurácia, precisão, sensibilidade e F1 Score, de 84.1%, 80.2%, 90.6% e 85.08%, respectivamente. Além disso, observamos que a classificação realizada de um conjunto de teste com 662 CTs levou apenas alguns minutos, enquanto que a mesma tarefa levaria dias ou semanas para ser realizada manualmente.
id UFPE_d853656c4f9a59470ba041631030800b
oai_identifier_str oai:repositorio.ufpe.br:123456789/39085
network_acronym_str UFPE
network_name_str Repositório Institucional da UFPE
repository_id_str 2221
spelling MATOS, Eduardo José de Vasconceloshttp://lattes.cnpq.br/2964105397715063http://lattes.cnpq.br/5390541720896559BARROS, Flávia de Almeida2021-01-21T21:16:39Z2021-01-21T21:16:39Z2020-10-05MATOS, Eduardo José de Vasconcelos. DRL TC classifier: classificação de casos de teste para automação de testes de dispositivos móveis. 2020. Dissertação (Mestrado em Ciência da Computação) – Universidade Federal de Pernambuco, Recife, 2020.https://repositorio.ufpe.br/handle/123456789/39085ark:/64986/0013000009w7fBuscando garantir a qualidade de produtos de software, são realizadas diversas atividades de teste. Contudo, esta é uma tarefa cara e complexa, responsável por aproximadamente 50% do custo de desenvolvimento de um software. A automação de testes surge como uma solução para diminuir o custo e aumentar a eficiência dos processos de teste. Um dos primeiros estágios do processo de automatização de Casos de Testes (CTs) é a identificação da viabilidade dessa automação. Atualmente, essa é uma problemática real da nossa empresa parceira, no ramo de dispositivos móveis, que mantém uma equipe responsável por criar os scripts executáveis para os CTs automatizáveis. A classificação é realizada manualmente por especialistas com conhecimento sobre as funcionalidades dos dispositivos (i.e., que funcionalidades podem ou não ser testadas automaticamente), e sobre o ambiente de desenvolvimento de CTs automáticos. No entanto, especialistas são profissionais “caros”, cujo tempo livre é escasso e o conhecimento adquirido é muito valioso. Nesse contexto, este trabalho teve por objetivo auxiliar no processo de automação de teste, criando um sistema para classificação automática de CTs entre automatizáveis ou não. Além de otimizar essa tarefa, este trabalho também contribuiu para registrar o conhecimento do especialista, que pode ser perdido se o colaborador sair da empresa. O protótipo implementado utiliza conceitos da Classificação de Texto e da Engenharia do Conhecimento baseada em regras e inferência (através da ferramenta Drools). A avaliação do protótipo apresentou resultados muito satisfatórios de valores de acurácia, precisão, sensibilidade e F1 Score, de 84.1%, 80.2%, 90.6% e 85.08%, respectivamente. Além disso, observamos que a classificação realizada de um conjunto de teste com 662 CTs levou apenas alguns minutos, enquanto que a mesma tarefa levaria dias ou semanas para ser realizada manualmente.In order to guarantee the quality of software products, several testing activities are performed. However, this is an expensive and complex task, responsible for approximately 50% of the cost of softwares development. Test automation emerges as a solution to lower the cost and increase the efficiency of the test processes. One of the first stages of the Test Case (TCs) automation process is the identification of the feasibility of this automation. Currently, this is a real problem for our partner company in the field of mobile devices, which maintains a team responsible for creating the executable scripts for the automated TCs. The classification is performed manually by specialists with knowledge about the features of the devices (i.e., which features may or may not be tested automatically), and about the automatic TC development environment. However, specialists are “expensive” professionals, whose spare time is scarce and the knowledge acquired is very valuable. In this context, this work aimed to assist in the test automation process, creating a system for automatic classification of TCs, whether automatable or not. In addition to optimizing this task, this work also contributed to recording the specialist’s knowledge, which can be lost if the employee leaves the company. The implemented prototype uses concepts of Text Classification and Knowledge Engineering based on rules and inference (through the Drools tool). The evaluation of the prototype showed very satisfactory results for values of accuracy, precision, sensitivity and F1-score, with 84.1%, 80.2%, 90.6% e 85.08%, respectively. In addition, we observed that the classification of a set with 662 TCs was performed in just a few minutes, whereas the same task would take days or weeks to be performed manually.porUniversidade Federal de PernambucoPrograma de Pos Graduacao em Ciencia da ComputacaoUFPEBrasilAttribution-NonCommercial-NoDerivs 3.0 Brazilhttp://creativecommons.org/licenses/by-nc-nd/3.0/br/info:eu-repo/semantics/openAccessInteligência computacionalEngenharia do conhecimentoDRL TC classifier : classificação de casos de teste para automação de testes de dispositivos móveisinfo:eu-repo/semantics/publishedVersioninfo:eu-repo/semantics/masterThesismestradoreponame:Repositório Institucional da UFPEinstname:Universidade Federal de Pernambuco (UFPE)instacron:UFPETEXTDISSERTAÇÃO Eduardo José de Vasconcelos Matos.pdf.txtDISSERTAÇÃO Eduardo José de Vasconcelos Matos.pdf.txtExtracted texttext/plain245241https://repositorio.ufpe.br/bitstream/123456789/39085/4/DISSERTA%c3%87%c3%83O%20Eduardo%20Jos%c3%a9%20de%20Vasconcelos%20Matos.pdf.txt4fb4c2e2f3ab9be95150b2a293b21210MD54THUMBNAILDISSERTAÇÃO Eduardo José de Vasconcelos Matos.pdf.jpgDISSERTAÇÃO Eduardo José de Vasconcelos Matos.pdf.jpgGenerated Thumbnailimage/jpeg1229https://repositorio.ufpe.br/bitstream/123456789/39085/5/DISSERTA%c3%87%c3%83O%20Eduardo%20Jos%c3%a9%20de%20Vasconcelos%20Matos.pdf.jpg61cc8b08da8b11703c055481c6601029MD55ORIGINALDISSERTAÇÃO Eduardo José de Vasconcelos Matos.pdfDISSERTAÇÃO Eduardo José de Vasconcelos Matos.pdfapplication/pdf2870547https://repositorio.ufpe.br/bitstream/123456789/39085/1/DISSERTA%c3%87%c3%83O%20Eduardo%20Jos%c3%a9%20de%20Vasconcelos%20Matos.pdf35738f8e146e7aa5dfcabed5e191feacMD51LICENSElicense.txtlicense.txttext/plain; charset=utf-82310https://repositorio.ufpe.br/bitstream/123456789/39085/3/license.txtbd573a5ca8288eb7272482765f819534MD53CC-LICENSElicense_rdflicense_rdfapplication/rdf+xml; charset=utf-8811https://repositorio.ufpe.br/bitstream/123456789/39085/2/license_rdfe39d27027a6cc9cb039ad269a5db8e34MD52123456789/390852021-01-22 02:10:19.237oai:repositorio.ufpe.br:123456789/39085TGljZW7Dp2EgZGUgRGlzdHJpYnVpw6fDo28gTsOjbyBFeGNsdXNpdmEKClRvZG8gZGVwb3NpdGFudGUgZGUgbWF0ZXJpYWwgbm8gUmVwb3NpdMOzcmlvIEluc3RpdHVjaW9uYWwgKFJJKSBkZXZlIGNvbmNlZGVyLCDDoCBVbml2ZXJzaWRhZGUgRmVkZXJhbCBkZSBQZXJuYW1idWNvIChVRlBFKSwgdW1hIExpY2Vuw6dhIGRlIERpc3RyaWJ1acOnw6NvIE7Do28gRXhjbHVzaXZhIHBhcmEgbWFudGVyIGUgdG9ybmFyIGFjZXNzw612ZWlzIG9zIHNldXMgZG9jdW1lbnRvcywgZW0gZm9ybWF0byBkaWdpdGFsLCBuZXN0ZSByZXBvc2l0w7NyaW8uCgpDb20gYSBjb25jZXNzw6NvIGRlc3RhIGxpY2Vuw6dhIG7Do28gZXhjbHVzaXZhLCBvIGRlcG9zaXRhbnRlIG1hbnTDqW0gdG9kb3Mgb3MgZGlyZWl0b3MgZGUgYXV0b3IuCl9fX19fX19fX19fX19fX19fX19fX19fX19fX19fX19fX19fX19fX19fX19fX19fX19fX19fX19fX19fX19fX19fX19fXwoKTGljZW7Dp2EgZGUgRGlzdHJpYnVpw6fDo28gTsOjbyBFeGNsdXNpdmEKCkFvIGNvbmNvcmRhciBjb20gZXN0YSBsaWNlbsOnYSBlIGFjZWl0w6EtbGEsIHZvY8OqIChhdXRvciBvdSBkZXRlbnRvciBkb3MgZGlyZWl0b3MgYXV0b3JhaXMpOgoKYSkgRGVjbGFyYSBxdWUgY29uaGVjZSBhIHBvbMOtdGljYSBkZSBjb3B5cmlnaHQgZGEgZWRpdG9yYSBkbyBzZXUgZG9jdW1lbnRvOwpiKSBEZWNsYXJhIHF1ZSBjb25oZWNlIGUgYWNlaXRhIGFzIERpcmV0cml6ZXMgcGFyYSBvIFJlcG9zaXTDs3JpbyBJbnN0aXR1Y2lvbmFsIGRhIFVGUEU7CmMpIENvbmNlZGUgw6AgVUZQRSBvIGRpcmVpdG8gbsOjbyBleGNsdXNpdm8gZGUgYXJxdWl2YXIsIHJlcHJvZHV6aXIsIGNvbnZlcnRlciAoY29tbyBkZWZpbmlkbyBhIHNlZ3VpciksIGNvbXVuaWNhciBlL291IGRpc3RyaWJ1aXIsIG5vIFJJLCBvIGRvY3VtZW50byBlbnRyZWd1ZSAoaW5jbHVpbmRvIG8gcmVzdW1vL2Fic3RyYWN0KSBlbSBmb3JtYXRvIGRpZ2l0YWwgb3UgcG9yIG91dHJvIG1laW87CmQpIERlY2xhcmEgcXVlIGF1dG9yaXphIGEgVUZQRSBhIGFycXVpdmFyIG1haXMgZGUgdW1hIGPDs3BpYSBkZXN0ZSBkb2N1bWVudG8gZSBjb252ZXJ0w6otbG8sIHNlbSBhbHRlcmFyIG8gc2V1IGNvbnRlw7pkbywgcGFyYSBxdWFscXVlciBmb3JtYXRvIGRlIGZpY2hlaXJvLCBtZWlvIG91IHN1cG9ydGUsIHBhcmEgZWZlaXRvcyBkZSBzZWd1cmFuw6dhLCBwcmVzZXJ2YcOnw6NvIChiYWNrdXApIGUgYWNlc3NvOwplKSBEZWNsYXJhIHF1ZSBvIGRvY3VtZW50byBzdWJtZXRpZG8gw6kgbyBzZXUgdHJhYmFsaG8gb3JpZ2luYWwgZSBxdWUgZGV0w6ltIG8gZGlyZWl0byBkZSBjb25jZWRlciBhIHRlcmNlaXJvcyBvcyBkaXJlaXRvcyBjb250aWRvcyBuZXN0YSBsaWNlbsOnYS4gRGVjbGFyYSB0YW1iw6ltIHF1ZSBhIGVudHJlZ2EgZG8gZG9jdW1lbnRvIG7Do28gaW5mcmluZ2Ugb3MgZGlyZWl0b3MgZGUgb3V0cmEgcGVzc29hIG91IGVudGlkYWRlOwpmKSBEZWNsYXJhIHF1ZSwgbm8gY2FzbyBkbyBkb2N1bWVudG8gc3VibWV0aWRvIGNvbnRlciBtYXRlcmlhbCBkbyBxdWFsIG7Do28gZGV0w6ltIG9zIGRpcmVpdG9zIGRlCmF1dG9yLCBvYnRldmUgYSBhdXRvcml6YcOnw6NvIGlycmVzdHJpdGEgZG8gcmVzcGVjdGl2byBkZXRlbnRvciBkZXNzZXMgZGlyZWl0b3MgcGFyYSBjZWRlciDDoApVRlBFIG9zIGRpcmVpdG9zIHJlcXVlcmlkb3MgcG9yIGVzdGEgTGljZW7Dp2EgZSBhdXRvcml6YXIgYSB1bml2ZXJzaWRhZGUgYSB1dGlsaXrDoS1sb3MgbGVnYWxtZW50ZS4gRGVjbGFyYSB0YW1iw6ltIHF1ZSBlc3NlIG1hdGVyaWFsIGN1am9zIGRpcmVpdG9zIHPDo28gZGUgdGVyY2Vpcm9zIGVzdMOhIGNsYXJhbWVudGUgaWRlbnRpZmljYWRvIGUgcmVjb25oZWNpZG8gbm8gdGV4dG8gb3UgY29udGXDumRvIGRvIGRvY3VtZW50byBlbnRyZWd1ZTsKZykgU2UgbyBkb2N1bWVudG8gZW50cmVndWUgw6kgYmFzZWFkbyBlbSB0cmFiYWxobyBmaW5hbmNpYWRvIG91IGFwb2lhZG8gcG9yIG91dHJhIGluc3RpdHVpw6fDo28gcXVlIG7Do28gYSBVRlBFLCBkZWNsYXJhIHF1ZSBjdW1wcml1IHF1YWlzcXVlciBvYnJpZ2HDp8O1ZXMgZXhpZ2lkYXMgcGVsbyByZXNwZWN0aXZvIGNvbnRyYXRvIG91IGFjb3Jkby4KCkEgVUZQRSBpZGVudGlmaWNhcsOhIGNsYXJhbWVudGUgbyhzKSBub21lKHMpIGRvKHMpIGF1dG9yIChlcykgZG9zIGRpcmVpdG9zIGRvIGRvY3VtZW50byBlbnRyZWd1ZSBlIG7Do28gZmFyw6EgcXVhbHF1ZXIgYWx0ZXJhw6fDo28sIHBhcmEgYWzDqW0gZG8gcHJldmlzdG8gbmEgYWzDrW5lYSBjKS4KRepositório InstitucionalPUBhttps://repositorio.ufpe.br/oai/requestattena@ufpe.bropendoar:22212021-01-22T05:10:19Repositório Institucional da UFPE - Universidade Federal de Pernambuco (UFPE)false
dc.title.pt_BR.fl_str_mv DRL TC classifier : classificação de casos de teste para automação de testes de dispositivos móveis
title DRL TC classifier : classificação de casos de teste para automação de testes de dispositivos móveis
spellingShingle DRL TC classifier : classificação de casos de teste para automação de testes de dispositivos móveis
MATOS, Eduardo José de Vasconcelos
Inteligência computacional
Engenharia do conhecimento
title_short DRL TC classifier : classificação de casos de teste para automação de testes de dispositivos móveis
title_full DRL TC classifier : classificação de casos de teste para automação de testes de dispositivos móveis
title_fullStr DRL TC classifier : classificação de casos de teste para automação de testes de dispositivos móveis
title_full_unstemmed DRL TC classifier : classificação de casos de teste para automação de testes de dispositivos móveis
title_sort DRL TC classifier : classificação de casos de teste para automação de testes de dispositivos móveis
author MATOS, Eduardo José de Vasconcelos
author_facet MATOS, Eduardo José de Vasconcelos
author_role author
dc.contributor.authorLattes.pt_BR.fl_str_mv http://lattes.cnpq.br/2964105397715063
dc.contributor.advisorLattes.pt_BR.fl_str_mv http://lattes.cnpq.br/5390541720896559
dc.contributor.author.fl_str_mv MATOS, Eduardo José de Vasconcelos
dc.contributor.advisor1.fl_str_mv BARROS, Flávia de Almeida
contributor_str_mv BARROS, Flávia de Almeida
dc.subject.por.fl_str_mv Inteligência computacional
Engenharia do conhecimento
topic Inteligência computacional
Engenharia do conhecimento
description Buscando garantir a qualidade de produtos de software, são realizadas diversas atividades de teste. Contudo, esta é uma tarefa cara e complexa, responsável por aproximadamente 50% do custo de desenvolvimento de um software. A automação de testes surge como uma solução para diminuir o custo e aumentar a eficiência dos processos de teste. Um dos primeiros estágios do processo de automatização de Casos de Testes (CTs) é a identificação da viabilidade dessa automação. Atualmente, essa é uma problemática real da nossa empresa parceira, no ramo de dispositivos móveis, que mantém uma equipe responsável por criar os scripts executáveis para os CTs automatizáveis. A classificação é realizada manualmente por especialistas com conhecimento sobre as funcionalidades dos dispositivos (i.e., que funcionalidades podem ou não ser testadas automaticamente), e sobre o ambiente de desenvolvimento de CTs automáticos. No entanto, especialistas são profissionais “caros”, cujo tempo livre é escasso e o conhecimento adquirido é muito valioso. Nesse contexto, este trabalho teve por objetivo auxiliar no processo de automação de teste, criando um sistema para classificação automática de CTs entre automatizáveis ou não. Além de otimizar essa tarefa, este trabalho também contribuiu para registrar o conhecimento do especialista, que pode ser perdido se o colaborador sair da empresa. O protótipo implementado utiliza conceitos da Classificação de Texto e da Engenharia do Conhecimento baseada em regras e inferência (através da ferramenta Drools). A avaliação do protótipo apresentou resultados muito satisfatórios de valores de acurácia, precisão, sensibilidade e F1 Score, de 84.1%, 80.2%, 90.6% e 85.08%, respectivamente. Além disso, observamos que a classificação realizada de um conjunto de teste com 662 CTs levou apenas alguns minutos, enquanto que a mesma tarefa levaria dias ou semanas para ser realizada manualmente.
publishDate 2020
dc.date.issued.fl_str_mv 2020-10-05
dc.date.accessioned.fl_str_mv 2021-01-21T21:16:39Z
dc.date.available.fl_str_mv 2021-01-21T21:16:39Z
dc.type.status.fl_str_mv info:eu-repo/semantics/publishedVersion
dc.type.driver.fl_str_mv info:eu-repo/semantics/masterThesis
format masterThesis
status_str publishedVersion
dc.identifier.citation.fl_str_mv MATOS, Eduardo José de Vasconcelos. DRL TC classifier: classificação de casos de teste para automação de testes de dispositivos móveis. 2020. Dissertação (Mestrado em Ciência da Computação) – Universidade Federal de Pernambuco, Recife, 2020.
dc.identifier.uri.fl_str_mv https://repositorio.ufpe.br/handle/123456789/39085
dc.identifier.dark.fl_str_mv ark:/64986/0013000009w7f
identifier_str_mv MATOS, Eduardo José de Vasconcelos. DRL TC classifier: classificação de casos de teste para automação de testes de dispositivos móveis. 2020. Dissertação (Mestrado em Ciência da Computação) – Universidade Federal de Pernambuco, Recife, 2020.
ark:/64986/0013000009w7f
url https://repositorio.ufpe.br/handle/123456789/39085
dc.language.iso.fl_str_mv por
language por
dc.rights.driver.fl_str_mv Attribution-NonCommercial-NoDerivs 3.0 Brazil
http://creativecommons.org/licenses/by-nc-nd/3.0/br/
info:eu-repo/semantics/openAccess
rights_invalid_str_mv Attribution-NonCommercial-NoDerivs 3.0 Brazil
http://creativecommons.org/licenses/by-nc-nd/3.0/br/
eu_rights_str_mv openAccess
dc.publisher.none.fl_str_mv Universidade Federal de Pernambuco
dc.publisher.program.fl_str_mv Programa de Pos Graduacao em Ciencia da Computacao
dc.publisher.initials.fl_str_mv UFPE
dc.publisher.country.fl_str_mv Brasil
publisher.none.fl_str_mv Universidade Federal de Pernambuco
dc.source.none.fl_str_mv reponame:Repositório Institucional da UFPE
instname:Universidade Federal de Pernambuco (UFPE)
instacron:UFPE
instname_str Universidade Federal de Pernambuco (UFPE)
instacron_str UFPE
institution UFPE
reponame_str Repositório Institucional da UFPE
collection Repositório Institucional da UFPE
bitstream.url.fl_str_mv https://repositorio.ufpe.br/bitstream/123456789/39085/4/DISSERTA%c3%87%c3%83O%20Eduardo%20Jos%c3%a9%20de%20Vasconcelos%20Matos.pdf.txt
https://repositorio.ufpe.br/bitstream/123456789/39085/5/DISSERTA%c3%87%c3%83O%20Eduardo%20Jos%c3%a9%20de%20Vasconcelos%20Matos.pdf.jpg
https://repositorio.ufpe.br/bitstream/123456789/39085/1/DISSERTA%c3%87%c3%83O%20Eduardo%20Jos%c3%a9%20de%20Vasconcelos%20Matos.pdf
https://repositorio.ufpe.br/bitstream/123456789/39085/3/license.txt
https://repositorio.ufpe.br/bitstream/123456789/39085/2/license_rdf
bitstream.checksum.fl_str_mv 4fb4c2e2f3ab9be95150b2a293b21210
61cc8b08da8b11703c055481c6601029
35738f8e146e7aa5dfcabed5e191feac
bd573a5ca8288eb7272482765f819534
e39d27027a6cc9cb039ad269a5db8e34
bitstream.checksumAlgorithm.fl_str_mv MD5
MD5
MD5
MD5
MD5
repository.name.fl_str_mv Repositório Institucional da UFPE - Universidade Federal de Pernambuco (UFPE)
repository.mail.fl_str_mv attena@ufpe.br
_version_ 1815172773258985472