DRL TC classifier : classificação de casos de teste para automação de testes de dispositivos móveis
Autor(a) principal: | |
---|---|
Data de Publicação: | 2020 |
Tipo de documento: | Dissertação |
Idioma: | por |
Título da fonte: | Repositório Institucional da UFPE |
dARK ID: | ark:/64986/0013000009w7f |
Texto Completo: | https://repositorio.ufpe.br/handle/123456789/39085 |
Resumo: | Buscando garantir a qualidade de produtos de software, são realizadas diversas atividades de teste. Contudo, esta é uma tarefa cara e complexa, responsável por aproximadamente 50% do custo de desenvolvimento de um software. A automação de testes surge como uma solução para diminuir o custo e aumentar a eficiência dos processos de teste. Um dos primeiros estágios do processo de automatização de Casos de Testes (CTs) é a identificação da viabilidade dessa automação. Atualmente, essa é uma problemática real da nossa empresa parceira, no ramo de dispositivos móveis, que mantém uma equipe responsável por criar os scripts executáveis para os CTs automatizáveis. A classificação é realizada manualmente por especialistas com conhecimento sobre as funcionalidades dos dispositivos (i.e., que funcionalidades podem ou não ser testadas automaticamente), e sobre o ambiente de desenvolvimento de CTs automáticos. No entanto, especialistas são profissionais “caros”, cujo tempo livre é escasso e o conhecimento adquirido é muito valioso. Nesse contexto, este trabalho teve por objetivo auxiliar no processo de automação de teste, criando um sistema para classificação automática de CTs entre automatizáveis ou não. Além de otimizar essa tarefa, este trabalho também contribuiu para registrar o conhecimento do especialista, que pode ser perdido se o colaborador sair da empresa. O protótipo implementado utiliza conceitos da Classificação de Texto e da Engenharia do Conhecimento baseada em regras e inferência (através da ferramenta Drools). A avaliação do protótipo apresentou resultados muito satisfatórios de valores de acurácia, precisão, sensibilidade e F1 Score, de 84.1%, 80.2%, 90.6% e 85.08%, respectivamente. Além disso, observamos que a classificação realizada de um conjunto de teste com 662 CTs levou apenas alguns minutos, enquanto que a mesma tarefa levaria dias ou semanas para ser realizada manualmente. |
id |
UFPE_d853656c4f9a59470ba041631030800b |
---|---|
oai_identifier_str |
oai:repositorio.ufpe.br:123456789/39085 |
network_acronym_str |
UFPE |
network_name_str |
Repositório Institucional da UFPE |
repository_id_str |
2221 |
spelling |
MATOS, Eduardo José de Vasconceloshttp://lattes.cnpq.br/2964105397715063http://lattes.cnpq.br/5390541720896559BARROS, Flávia de Almeida2021-01-21T21:16:39Z2021-01-21T21:16:39Z2020-10-05MATOS, Eduardo José de Vasconcelos. DRL TC classifier: classificação de casos de teste para automação de testes de dispositivos móveis. 2020. Dissertação (Mestrado em Ciência da Computação) – Universidade Federal de Pernambuco, Recife, 2020.https://repositorio.ufpe.br/handle/123456789/39085ark:/64986/0013000009w7fBuscando garantir a qualidade de produtos de software, são realizadas diversas atividades de teste. Contudo, esta é uma tarefa cara e complexa, responsável por aproximadamente 50% do custo de desenvolvimento de um software. A automação de testes surge como uma solução para diminuir o custo e aumentar a eficiência dos processos de teste. Um dos primeiros estágios do processo de automatização de Casos de Testes (CTs) é a identificação da viabilidade dessa automação. Atualmente, essa é uma problemática real da nossa empresa parceira, no ramo de dispositivos móveis, que mantém uma equipe responsável por criar os scripts executáveis para os CTs automatizáveis. A classificação é realizada manualmente por especialistas com conhecimento sobre as funcionalidades dos dispositivos (i.e., que funcionalidades podem ou não ser testadas automaticamente), e sobre o ambiente de desenvolvimento de CTs automáticos. No entanto, especialistas são profissionais “caros”, cujo tempo livre é escasso e o conhecimento adquirido é muito valioso. Nesse contexto, este trabalho teve por objetivo auxiliar no processo de automação de teste, criando um sistema para classificação automática de CTs entre automatizáveis ou não. Além de otimizar essa tarefa, este trabalho também contribuiu para registrar o conhecimento do especialista, que pode ser perdido se o colaborador sair da empresa. O protótipo implementado utiliza conceitos da Classificação de Texto e da Engenharia do Conhecimento baseada em regras e inferência (através da ferramenta Drools). A avaliação do protótipo apresentou resultados muito satisfatórios de valores de acurácia, precisão, sensibilidade e F1 Score, de 84.1%, 80.2%, 90.6% e 85.08%, respectivamente. Além disso, observamos que a classificação realizada de um conjunto de teste com 662 CTs levou apenas alguns minutos, enquanto que a mesma tarefa levaria dias ou semanas para ser realizada manualmente.In order to guarantee the quality of software products, several testing activities are performed. However, this is an expensive and complex task, responsible for approximately 50% of the cost of softwares development. Test automation emerges as a solution to lower the cost and increase the efficiency of the test processes. One of the first stages of the Test Case (TCs) automation process is the identification of the feasibility of this automation. Currently, this is a real problem for our partner company in the field of mobile devices, which maintains a team responsible for creating the executable scripts for the automated TCs. The classification is performed manually by specialists with knowledge about the features of the devices (i.e., which features may or may not be tested automatically), and about the automatic TC development environment. However, specialists are “expensive” professionals, whose spare time is scarce and the knowledge acquired is very valuable. In this context, this work aimed to assist in the test automation process, creating a system for automatic classification of TCs, whether automatable or not. In addition to optimizing this task, this work also contributed to recording the specialist’s knowledge, which can be lost if the employee leaves the company. The implemented prototype uses concepts of Text Classification and Knowledge Engineering based on rules and inference (through the Drools tool). The evaluation of the prototype showed very satisfactory results for values of accuracy, precision, sensitivity and F1-score, with 84.1%, 80.2%, 90.6% e 85.08%, respectively. In addition, we observed that the classification of a set with 662 TCs was performed in just a few minutes, whereas the same task would take days or weeks to be performed manually.porUniversidade Federal de PernambucoPrograma de Pos Graduacao em Ciencia da ComputacaoUFPEBrasilAttribution-NonCommercial-NoDerivs 3.0 Brazilhttp://creativecommons.org/licenses/by-nc-nd/3.0/br/info:eu-repo/semantics/openAccessInteligência computacionalEngenharia do conhecimentoDRL TC classifier : classificação de casos de teste para automação de testes de dispositivos móveisinfo:eu-repo/semantics/publishedVersioninfo:eu-repo/semantics/masterThesismestradoreponame:Repositório Institucional da UFPEinstname:Universidade Federal de Pernambuco (UFPE)instacron:UFPETEXTDISSERTAÇÃO Eduardo José de Vasconcelos Matos.pdf.txtDISSERTAÇÃO Eduardo José de Vasconcelos Matos.pdf.txtExtracted texttext/plain245241https://repositorio.ufpe.br/bitstream/123456789/39085/4/DISSERTA%c3%87%c3%83O%20Eduardo%20Jos%c3%a9%20de%20Vasconcelos%20Matos.pdf.txt4fb4c2e2f3ab9be95150b2a293b21210MD54THUMBNAILDISSERTAÇÃO Eduardo José de Vasconcelos Matos.pdf.jpgDISSERTAÇÃO Eduardo José de Vasconcelos Matos.pdf.jpgGenerated Thumbnailimage/jpeg1229https://repositorio.ufpe.br/bitstream/123456789/39085/5/DISSERTA%c3%87%c3%83O%20Eduardo%20Jos%c3%a9%20de%20Vasconcelos%20Matos.pdf.jpg61cc8b08da8b11703c055481c6601029MD55ORIGINALDISSERTAÇÃO Eduardo José de Vasconcelos Matos.pdfDISSERTAÇÃO Eduardo José de Vasconcelos Matos.pdfapplication/pdf2870547https://repositorio.ufpe.br/bitstream/123456789/39085/1/DISSERTA%c3%87%c3%83O%20Eduardo%20Jos%c3%a9%20de%20Vasconcelos%20Matos.pdf35738f8e146e7aa5dfcabed5e191feacMD51LICENSElicense.txtlicense.txttext/plain; charset=utf-82310https://repositorio.ufpe.br/bitstream/123456789/39085/3/license.txtbd573a5ca8288eb7272482765f819534MD53CC-LICENSElicense_rdflicense_rdfapplication/rdf+xml; charset=utf-8811https://repositorio.ufpe.br/bitstream/123456789/39085/2/license_rdfe39d27027a6cc9cb039ad269a5db8e34MD52123456789/390852021-01-22 02:10:19.237oai:repositorio.ufpe.br:123456789/39085TGljZW7Dp2EgZGUgRGlzdHJpYnVpw6fDo28gTsOjbyBFeGNsdXNpdmEKClRvZG8gZGVwb3NpdGFudGUgZGUgbWF0ZXJpYWwgbm8gUmVwb3NpdMOzcmlvIEluc3RpdHVjaW9uYWwgKFJJKSBkZXZlIGNvbmNlZGVyLCDDoCBVbml2ZXJzaWRhZGUgRmVkZXJhbCBkZSBQZXJuYW1idWNvIChVRlBFKSwgdW1hIExpY2Vuw6dhIGRlIERpc3RyaWJ1acOnw6NvIE7Do28gRXhjbHVzaXZhIHBhcmEgbWFudGVyIGUgdG9ybmFyIGFjZXNzw612ZWlzIG9zIHNldXMgZG9jdW1lbnRvcywgZW0gZm9ybWF0byBkaWdpdGFsLCBuZXN0ZSByZXBvc2l0w7NyaW8uCgpDb20gYSBjb25jZXNzw6NvIGRlc3RhIGxpY2Vuw6dhIG7Do28gZXhjbHVzaXZhLCBvIGRlcG9zaXRhbnRlIG1hbnTDqW0gdG9kb3Mgb3MgZGlyZWl0b3MgZGUgYXV0b3IuCl9fX19fX19fX19fX19fX19fX19fX19fX19fX19fX19fX19fX19fX19fX19fX19fX19fX19fX19fX19fX19fX19fX19fXwoKTGljZW7Dp2EgZGUgRGlzdHJpYnVpw6fDo28gTsOjbyBFeGNsdXNpdmEKCkFvIGNvbmNvcmRhciBjb20gZXN0YSBsaWNlbsOnYSBlIGFjZWl0w6EtbGEsIHZvY8OqIChhdXRvciBvdSBkZXRlbnRvciBkb3MgZGlyZWl0b3MgYXV0b3JhaXMpOgoKYSkgRGVjbGFyYSBxdWUgY29uaGVjZSBhIHBvbMOtdGljYSBkZSBjb3B5cmlnaHQgZGEgZWRpdG9yYSBkbyBzZXUgZG9jdW1lbnRvOwpiKSBEZWNsYXJhIHF1ZSBjb25oZWNlIGUgYWNlaXRhIGFzIERpcmV0cml6ZXMgcGFyYSBvIFJlcG9zaXTDs3JpbyBJbnN0aXR1Y2lvbmFsIGRhIFVGUEU7CmMpIENvbmNlZGUgw6AgVUZQRSBvIGRpcmVpdG8gbsOjbyBleGNsdXNpdm8gZGUgYXJxdWl2YXIsIHJlcHJvZHV6aXIsIGNvbnZlcnRlciAoY29tbyBkZWZpbmlkbyBhIHNlZ3VpciksIGNvbXVuaWNhciBlL291IGRpc3RyaWJ1aXIsIG5vIFJJLCBvIGRvY3VtZW50byBlbnRyZWd1ZSAoaW5jbHVpbmRvIG8gcmVzdW1vL2Fic3RyYWN0KSBlbSBmb3JtYXRvIGRpZ2l0YWwgb3UgcG9yIG91dHJvIG1laW87CmQpIERlY2xhcmEgcXVlIGF1dG9yaXphIGEgVUZQRSBhIGFycXVpdmFyIG1haXMgZGUgdW1hIGPDs3BpYSBkZXN0ZSBkb2N1bWVudG8gZSBjb252ZXJ0w6otbG8sIHNlbSBhbHRlcmFyIG8gc2V1IGNvbnRlw7pkbywgcGFyYSBxdWFscXVlciBmb3JtYXRvIGRlIGZpY2hlaXJvLCBtZWlvIG91IHN1cG9ydGUsIHBhcmEgZWZlaXRvcyBkZSBzZWd1cmFuw6dhLCBwcmVzZXJ2YcOnw6NvIChiYWNrdXApIGUgYWNlc3NvOwplKSBEZWNsYXJhIHF1ZSBvIGRvY3VtZW50byBzdWJtZXRpZG8gw6kgbyBzZXUgdHJhYmFsaG8gb3JpZ2luYWwgZSBxdWUgZGV0w6ltIG8gZGlyZWl0byBkZSBjb25jZWRlciBhIHRlcmNlaXJvcyBvcyBkaXJlaXRvcyBjb250aWRvcyBuZXN0YSBsaWNlbsOnYS4gRGVjbGFyYSB0YW1iw6ltIHF1ZSBhIGVudHJlZ2EgZG8gZG9jdW1lbnRvIG7Do28gaW5mcmluZ2Ugb3MgZGlyZWl0b3MgZGUgb3V0cmEgcGVzc29hIG91IGVudGlkYWRlOwpmKSBEZWNsYXJhIHF1ZSwgbm8gY2FzbyBkbyBkb2N1bWVudG8gc3VibWV0aWRvIGNvbnRlciBtYXRlcmlhbCBkbyBxdWFsIG7Do28gZGV0w6ltIG9zIGRpcmVpdG9zIGRlCmF1dG9yLCBvYnRldmUgYSBhdXRvcml6YcOnw6NvIGlycmVzdHJpdGEgZG8gcmVzcGVjdGl2byBkZXRlbnRvciBkZXNzZXMgZGlyZWl0b3MgcGFyYSBjZWRlciDDoApVRlBFIG9zIGRpcmVpdG9zIHJlcXVlcmlkb3MgcG9yIGVzdGEgTGljZW7Dp2EgZSBhdXRvcml6YXIgYSB1bml2ZXJzaWRhZGUgYSB1dGlsaXrDoS1sb3MgbGVnYWxtZW50ZS4gRGVjbGFyYSB0YW1iw6ltIHF1ZSBlc3NlIG1hdGVyaWFsIGN1am9zIGRpcmVpdG9zIHPDo28gZGUgdGVyY2Vpcm9zIGVzdMOhIGNsYXJhbWVudGUgaWRlbnRpZmljYWRvIGUgcmVjb25oZWNpZG8gbm8gdGV4dG8gb3UgY29udGXDumRvIGRvIGRvY3VtZW50byBlbnRyZWd1ZTsKZykgU2UgbyBkb2N1bWVudG8gZW50cmVndWUgw6kgYmFzZWFkbyBlbSB0cmFiYWxobyBmaW5hbmNpYWRvIG91IGFwb2lhZG8gcG9yIG91dHJhIGluc3RpdHVpw6fDo28gcXVlIG7Do28gYSBVRlBFLCBkZWNsYXJhIHF1ZSBjdW1wcml1IHF1YWlzcXVlciBvYnJpZ2HDp8O1ZXMgZXhpZ2lkYXMgcGVsbyByZXNwZWN0aXZvIGNvbnRyYXRvIG91IGFjb3Jkby4KCkEgVUZQRSBpZGVudGlmaWNhcsOhIGNsYXJhbWVudGUgbyhzKSBub21lKHMpIGRvKHMpIGF1dG9yIChlcykgZG9zIGRpcmVpdG9zIGRvIGRvY3VtZW50byBlbnRyZWd1ZSBlIG7Do28gZmFyw6EgcXVhbHF1ZXIgYWx0ZXJhw6fDo28sIHBhcmEgYWzDqW0gZG8gcHJldmlzdG8gbmEgYWzDrW5lYSBjKS4KRepositório InstitucionalPUBhttps://repositorio.ufpe.br/oai/requestattena@ufpe.bropendoar:22212021-01-22T05:10:19Repositório Institucional da UFPE - Universidade Federal de Pernambuco (UFPE)false |
dc.title.pt_BR.fl_str_mv |
DRL TC classifier : classificação de casos de teste para automação de testes de dispositivos móveis |
title |
DRL TC classifier : classificação de casos de teste para automação de testes de dispositivos móveis |
spellingShingle |
DRL TC classifier : classificação de casos de teste para automação de testes de dispositivos móveis MATOS, Eduardo José de Vasconcelos Inteligência computacional Engenharia do conhecimento |
title_short |
DRL TC classifier : classificação de casos de teste para automação de testes de dispositivos móveis |
title_full |
DRL TC classifier : classificação de casos de teste para automação de testes de dispositivos móveis |
title_fullStr |
DRL TC classifier : classificação de casos de teste para automação de testes de dispositivos móveis |
title_full_unstemmed |
DRL TC classifier : classificação de casos de teste para automação de testes de dispositivos móveis |
title_sort |
DRL TC classifier : classificação de casos de teste para automação de testes de dispositivos móveis |
author |
MATOS, Eduardo José de Vasconcelos |
author_facet |
MATOS, Eduardo José de Vasconcelos |
author_role |
author |
dc.contributor.authorLattes.pt_BR.fl_str_mv |
http://lattes.cnpq.br/2964105397715063 |
dc.contributor.advisorLattes.pt_BR.fl_str_mv |
http://lattes.cnpq.br/5390541720896559 |
dc.contributor.author.fl_str_mv |
MATOS, Eduardo José de Vasconcelos |
dc.contributor.advisor1.fl_str_mv |
BARROS, Flávia de Almeida |
contributor_str_mv |
BARROS, Flávia de Almeida |
dc.subject.por.fl_str_mv |
Inteligência computacional Engenharia do conhecimento |
topic |
Inteligência computacional Engenharia do conhecimento |
description |
Buscando garantir a qualidade de produtos de software, são realizadas diversas atividades de teste. Contudo, esta é uma tarefa cara e complexa, responsável por aproximadamente 50% do custo de desenvolvimento de um software. A automação de testes surge como uma solução para diminuir o custo e aumentar a eficiência dos processos de teste. Um dos primeiros estágios do processo de automatização de Casos de Testes (CTs) é a identificação da viabilidade dessa automação. Atualmente, essa é uma problemática real da nossa empresa parceira, no ramo de dispositivos móveis, que mantém uma equipe responsável por criar os scripts executáveis para os CTs automatizáveis. A classificação é realizada manualmente por especialistas com conhecimento sobre as funcionalidades dos dispositivos (i.e., que funcionalidades podem ou não ser testadas automaticamente), e sobre o ambiente de desenvolvimento de CTs automáticos. No entanto, especialistas são profissionais “caros”, cujo tempo livre é escasso e o conhecimento adquirido é muito valioso. Nesse contexto, este trabalho teve por objetivo auxiliar no processo de automação de teste, criando um sistema para classificação automática de CTs entre automatizáveis ou não. Além de otimizar essa tarefa, este trabalho também contribuiu para registrar o conhecimento do especialista, que pode ser perdido se o colaborador sair da empresa. O protótipo implementado utiliza conceitos da Classificação de Texto e da Engenharia do Conhecimento baseada em regras e inferência (através da ferramenta Drools). A avaliação do protótipo apresentou resultados muito satisfatórios de valores de acurácia, precisão, sensibilidade e F1 Score, de 84.1%, 80.2%, 90.6% e 85.08%, respectivamente. Além disso, observamos que a classificação realizada de um conjunto de teste com 662 CTs levou apenas alguns minutos, enquanto que a mesma tarefa levaria dias ou semanas para ser realizada manualmente. |
publishDate |
2020 |
dc.date.issued.fl_str_mv |
2020-10-05 |
dc.date.accessioned.fl_str_mv |
2021-01-21T21:16:39Z |
dc.date.available.fl_str_mv |
2021-01-21T21:16:39Z |
dc.type.status.fl_str_mv |
info:eu-repo/semantics/publishedVersion |
dc.type.driver.fl_str_mv |
info:eu-repo/semantics/masterThesis |
format |
masterThesis |
status_str |
publishedVersion |
dc.identifier.citation.fl_str_mv |
MATOS, Eduardo José de Vasconcelos. DRL TC classifier: classificação de casos de teste para automação de testes de dispositivos móveis. 2020. Dissertação (Mestrado em Ciência da Computação) – Universidade Federal de Pernambuco, Recife, 2020. |
dc.identifier.uri.fl_str_mv |
https://repositorio.ufpe.br/handle/123456789/39085 |
dc.identifier.dark.fl_str_mv |
ark:/64986/0013000009w7f |
identifier_str_mv |
MATOS, Eduardo José de Vasconcelos. DRL TC classifier: classificação de casos de teste para automação de testes de dispositivos móveis. 2020. Dissertação (Mestrado em Ciência da Computação) – Universidade Federal de Pernambuco, Recife, 2020. ark:/64986/0013000009w7f |
url |
https://repositorio.ufpe.br/handle/123456789/39085 |
dc.language.iso.fl_str_mv |
por |
language |
por |
dc.rights.driver.fl_str_mv |
Attribution-NonCommercial-NoDerivs 3.0 Brazil http://creativecommons.org/licenses/by-nc-nd/3.0/br/ info:eu-repo/semantics/openAccess |
rights_invalid_str_mv |
Attribution-NonCommercial-NoDerivs 3.0 Brazil http://creativecommons.org/licenses/by-nc-nd/3.0/br/ |
eu_rights_str_mv |
openAccess |
dc.publisher.none.fl_str_mv |
Universidade Federal de Pernambuco |
dc.publisher.program.fl_str_mv |
Programa de Pos Graduacao em Ciencia da Computacao |
dc.publisher.initials.fl_str_mv |
UFPE |
dc.publisher.country.fl_str_mv |
Brasil |
publisher.none.fl_str_mv |
Universidade Federal de Pernambuco |
dc.source.none.fl_str_mv |
reponame:Repositório Institucional da UFPE instname:Universidade Federal de Pernambuco (UFPE) instacron:UFPE |
instname_str |
Universidade Federal de Pernambuco (UFPE) |
instacron_str |
UFPE |
institution |
UFPE |
reponame_str |
Repositório Institucional da UFPE |
collection |
Repositório Institucional da UFPE |
bitstream.url.fl_str_mv |
https://repositorio.ufpe.br/bitstream/123456789/39085/4/DISSERTA%c3%87%c3%83O%20Eduardo%20Jos%c3%a9%20de%20Vasconcelos%20Matos.pdf.txt https://repositorio.ufpe.br/bitstream/123456789/39085/5/DISSERTA%c3%87%c3%83O%20Eduardo%20Jos%c3%a9%20de%20Vasconcelos%20Matos.pdf.jpg https://repositorio.ufpe.br/bitstream/123456789/39085/1/DISSERTA%c3%87%c3%83O%20Eduardo%20Jos%c3%a9%20de%20Vasconcelos%20Matos.pdf https://repositorio.ufpe.br/bitstream/123456789/39085/3/license.txt https://repositorio.ufpe.br/bitstream/123456789/39085/2/license_rdf |
bitstream.checksum.fl_str_mv |
4fb4c2e2f3ab9be95150b2a293b21210 61cc8b08da8b11703c055481c6601029 35738f8e146e7aa5dfcabed5e191feac bd573a5ca8288eb7272482765f819534 e39d27027a6cc9cb039ad269a5db8e34 |
bitstream.checksumAlgorithm.fl_str_mv |
MD5 MD5 MD5 MD5 MD5 |
repository.name.fl_str_mv |
Repositório Institucional da UFPE - Universidade Federal de Pernambuco (UFPE) |
repository.mail.fl_str_mv |
attena@ufpe.br |
_version_ |
1815172773258985472 |