Canopus : a domain-specific language for modeling performance testing
Autor(a) principal: | |
---|---|
Data de Publicação: | 2016 |
Tipo de documento: | Tese |
Idioma: | eng |
Título da fonte: | Biblioteca Digital de Teses e Dissertações da PUC_RS |
Texto Completo: | http://tede2.pucrs.br/tede2/handle/tede/6861 |
Resumo: | Performance is a fundamental quality of software systems. Performance testing is a technique able to reveal system bottlenecks and/or lack of scalability of the up-and-running environment. However, usually the software development cycle does not apply this effort on the early development phases, thereby resulting in a weak elicitation process of performance requirements and difficulties for the performance team to integrate them into the project scope. Model-Based Testing (MBT) is an approach to automate the generation of test artifacts from the system models. By doing that, communication is improved among teams, given that the test information is aggregated in the system models since the early stages aiming to automate the testing process. The main contribution of this thesis is to propose a Domain-Specific Language (DSL) for modeling performance testing in Web applications. The language is called Canopus, in which a graphical model and a natural language are proposed to support performance modeling and automatic generation of test scenarios and scripts. Furthermore, this work provides an example of use and an industrial case study to demonstrate the use of Canopus. Based on the results obtained from these studies, we can infer that Canopus can be considered a valid DSL for modeling performance testing. Our motivation to perform this study was to investigate whether a DSL for modeling performance testing can improve quality, cost, and efficiency of performance testing. Therefore, we also carried out a controlled empirical experiment to evaluate the effort (time spent), when comparing Canopus with another industrial approach - UML. Our results indicate that, for performance modeling, effort using Canopus was lower than using UML. Our statistical analysis showed that the results were valid, i.e., that to design performance testing models using Canopus is better than using UML. |
id |
P_RS_f6f7dd79dc09824c6668450d4bbd8439 |
---|---|
oai_identifier_str |
oai:tede2.pucrs.br:tede/6861 |
network_acronym_str |
P_RS |
network_name_str |
Biblioteca Digital de Teses e Dissertações da PUC_RS |
repository_id_str |
|
spelling |
Zorzo, Avelino Francisco563.452.089-49http://buscatextual.cnpq.br/buscatextual/visualizacv.do?id=K4782949D9813.479.870-53http://buscatextual.cnpq.br/buscatextual/visualizacv.do?id=K4216960T3Silveira, Maicon Bernardino da2016-07-27T18:05:50Z2016-03-07http://tede2.pucrs.br/tede2/handle/tede/6861Performance is a fundamental quality of software systems. Performance testing is a technique able to reveal system bottlenecks and/or lack of scalability of the up-and-running environment. However, usually the software development cycle does not apply this effort on the early development phases, thereby resulting in a weak elicitation process of performance requirements and difficulties for the performance team to integrate them into the project scope. Model-Based Testing (MBT) is an approach to automate the generation of test artifacts from the system models. By doing that, communication is improved among teams, given that the test information is aggregated in the system models since the early stages aiming to automate the testing process. The main contribution of this thesis is to propose a Domain-Specific Language (DSL) for modeling performance testing in Web applications. The language is called Canopus, in which a graphical model and a natural language are proposed to support performance modeling and automatic generation of test scenarios and scripts. Furthermore, this work provides an example of use and an industrial case study to demonstrate the use of Canopus. Based on the results obtained from these studies, we can infer that Canopus can be considered a valid DSL for modeling performance testing. Our motivation to perform this study was to investigate whether a DSL for modeling performance testing can improve quality, cost, and efficiency of performance testing. Therefore, we also carried out a controlled empirical experiment to evaluate the effort (time spent), when comparing Canopus with another industrial approach - UML. Our results indicate that, for performance modeling, effort using Canopus was lower than using UML. Our statistical analysis showed that the results were valid, i.e., that to design performance testing models using Canopus is better than using UML.Desempenho é uma qualidade fundamental de sistemas de software. Teste de desempenho é uma técnica capaz de revelar gargalos do sistema na escalabilidade do ambiente de produção. No entanto, na maior parte do ciclo de desenvolvimento de software, não se aplica este tipo de teste nos seus ciclos iniciais. Deste modo, isto resulta em um fraco processo de elicitação dos requisitos e dificuldades da equipe em integrar suas atividades ao escopo do projeto. Assim, o teste baseado em modelos é uma abordagem de teste para automatizar a geração de artefatos de teste com base em modelos. Ao fazer isto, permite melhorar a comunicação da equipe, uma vez que a informação de teste é agregada aos modelos desde as fases iniciais do processo de teste, facilitando assim sua automatização. A principal contribuição desta tese é propor uma linguagem específica de domínio (Domain-Specific Language - DSL) para modelagem de teste de desempenho em aplicações Web. A DSL proposta é chamada Canopus, na qual um modelo gráfico e uma linguagem semi-natural são propostos para apoiar a modelagem de desempenho e geração automática de cenários e scripts de teste. Além disto, apresenta-se um exemplo de uso bem como um estudo de caso realizado na indústria para demonstrar o uso da Canopus. Com base nos resultados obtidos, infere-se que a Canopus pode ser considerada uma DSL válida para modelagem do teste de desempenho. A motivação para realização deste estudo foi investigar se uma DSL para modelagem do teste de desempenho pode melhorar a qualidade, custo e eficiência do teste de desempenho. Assim, também foi realizado um experimento controlado com o objetivo de avaliar o esforço (tempo), quando comparado Canopus com outra abordagem industrial - UML. Os resultados obtidos indicam que, estatisticamente, para a modelagem de desempenho usando Canopus o esforço foi menor e melhor do que usando UML.Submitted by Setor de Tratamento da Informação - BC/PUCRS (tede2@pucrs.br) on 2016-07-27T18:05:50Z No. of bitstreams: 1 TES_MAICON_BERNARDINO_DA_SILVEIRA_COMPLETO.pdf: 10974858 bytes, checksum: f8d942c9c91dfd41b28bf30123b91644 (MD5)Made available in DSpace on 2016-07-27T18:05:50Z (GMT). No. of bitstreams: 1 TES_MAICON_BERNARDINO_DA_SILVEIRA_COMPLETO.pdf: 10974858 bytes, checksum: f8d942c9c91dfd41b28bf30123b91644 (MD5) Previous issue date: 2016-03-07application/pdfhttp://tede2.pucrs.br:80/tede2/retrieve/165840/TES_MAICON_BERNARDINO_DA_SILVEIRA_COMPLETO.pdf.jpgengPontifícia Universidade Católica do Rio Grande do SulPrograma de Pós-Graduação em Ciência da ComputaçãoPUCRSBrasilFaculdade de InformáticaLINGUAGEM DE PROGRAMAÇÃO DE DOMÍNIO ESPECÍFICO (COMPUTADORES)AVALIAÇÃO DE DESEMPENHO (INFORMÁTICA)SOFTWARE - AVALIAÇÃOENGENHARIA DE SOFTWAREINFORMÁTICACIENCIAS EXATAS E DA TERRA::CIENCIA DA COMPUTACAOCanopus : a domain-specific language for modeling performance testingCanopus : uma linguagem específica de domínio para modelagem de teste de desempenhoinfo:eu-repo/semantics/publishedVersioninfo:eu-repo/semantics/doctoralThesis1974996533081274470600600600-30085425104011491443671711205811204509info:eu-repo/semantics/openAccessreponame:Biblioteca Digital de Teses e Dissertações da PUC_RSinstname:Pontifícia Universidade Católica do Rio Grande do Sul (PUCRS)instacron:PUC_RSTHUMBNAILTES_MAICON_BERNARDINO_DA_SILVEIRA_COMPLETO.pdf.jpgTES_MAICON_BERNARDINO_DA_SILVEIRA_COMPLETO.pdf.jpgimage/jpeg3658http://tede2.pucrs.br/tede2/bitstream/tede/6861/5/TES_MAICON_BERNARDINO_DA_SILVEIRA_COMPLETO.pdf.jpg4bd1e1d454f2d3e3713823fc35452023MD55TEXTTES_MAICON_BERNARDINO_DA_SILVEIRA_COMPLETO.pdf.txtTES_MAICON_BERNARDINO_DA_SILVEIRA_COMPLETO.pdf.txttext/plain336622http://tede2.pucrs.br/tede2/bitstream/tede/6861/4/TES_MAICON_BERNARDINO_DA_SILVEIRA_COMPLETO.pdf.txtdac59eb25f0c71ae11423454b48e4621MD54LICENSElicense.txtlicense.txttext/plain; charset=utf-8610http://tede2.pucrs.br/tede2/bitstream/tede/6861/3/license.txt5a9d6006225b368ef605ba16b4f6d1beMD53ORIGINALTES_MAICON_BERNARDINO_DA_SILVEIRA_COMPLETO.pdfTES_MAICON_BERNARDINO_DA_SILVEIRA_COMPLETO.pdfapplication/pdf10974858http://tede2.pucrs.br/tede2/bitstream/tede/6861/2/TES_MAICON_BERNARDINO_DA_SILVEIRA_COMPLETO.pdff8d942c9c91dfd41b28bf30123b91644MD52tede/68612016-07-27 20:00:44.239oai:tede2.pucrs.br:tede/6861QXV0b3JpemHDp8OjbyBwYXJhIFB1YmxpY2HDp8OjbyBFbGV0csO0bmljYTogQ29tIGJhc2Ugbm8gZGlzcG9zdG8gbmEgTGVpIEZlZGVyYWwgbsK6OS42MTAsIGRlIDE5IGRlIGZldmVyZWlybyBkZSAxOTk4LCBvIGF1dG9yIEFVVE9SSVpBIGEgcHVibGljYcOnw6NvIGVsZXRyw7RuaWNhIGRhIHByZXNlbnRlIG9icmEgbm8gYWNlcnZvIGRhIEJpYmxpb3RlY2EgRGlnaXRhbCBkYSBQb250aWbDrWNpYSBVbml2ZXJzaWRhZGUgQ2F0w7NsaWNhIGRvIFJpbyBHcmFuZGUgZG8gU3VsLCBzZWRpYWRhIGEgQXYuIElwaXJhbmdhIDY2ODEsIFBvcnRvIEFsZWdyZSwgUmlvIEdyYW5kZSBkbyBTdWwsIGNvbSByZWdpc3RybyBkZSBDTlBKIDg4NjMwNDEzMDAwMi04MSBiZW0gY29tbyBlbSBvdXRyYXMgYmlibGlvdGVjYXMgZGlnaXRhaXMsIG5hY2lvbmFpcyBlIGludGVybmFjaW9uYWlzLCBjb25zw7NyY2lvcyBlIHJlZGVzIMOgcyBxdWFpcyBhIGJpYmxpb3RlY2EgZGEgUFVDUlMgcG9zc2EgYSB2aXIgcGFydGljaXBhciwgc2VtIMO0bnVzIGFsdXNpdm8gYW9zIGRpcmVpdG9zIGF1dG9yYWlzLCBhIHTDrXR1bG8gZGUgZGl2dWxnYcOnw6NvIGRhIHByb2R1w6fDo28gY2llbnTDrWZpY2EuCg==Biblioteca Digital de Teses e Dissertaçõeshttp://tede2.pucrs.br/tede2/PRIhttps://tede2.pucrs.br/oai/requestbiblioteca.central@pucrs.br||opendoar:2016-07-27T23:00:44Biblioteca Digital de Teses e Dissertações da PUC_RS - Pontifícia Universidade Católica do Rio Grande do Sul (PUCRS)false |
dc.title.por.fl_str_mv |
Canopus : a domain-specific language for modeling performance testing |
dc.title.alternative.por.fl_str_mv |
Canopus : uma linguagem específica de domínio para modelagem de teste de desempenho |
title |
Canopus : a domain-specific language for modeling performance testing |
spellingShingle |
Canopus : a domain-specific language for modeling performance testing Silveira, Maicon Bernardino da LINGUAGEM DE PROGRAMAÇÃO DE DOMÍNIO ESPECÍFICO (COMPUTADORES) AVALIAÇÃO DE DESEMPENHO (INFORMÁTICA) SOFTWARE - AVALIAÇÃO ENGENHARIA DE SOFTWARE INFORMÁTICA CIENCIAS EXATAS E DA TERRA::CIENCIA DA COMPUTACAO |
title_short |
Canopus : a domain-specific language for modeling performance testing |
title_full |
Canopus : a domain-specific language for modeling performance testing |
title_fullStr |
Canopus : a domain-specific language for modeling performance testing |
title_full_unstemmed |
Canopus : a domain-specific language for modeling performance testing |
title_sort |
Canopus : a domain-specific language for modeling performance testing |
author |
Silveira, Maicon Bernardino da |
author_facet |
Silveira, Maicon Bernardino da |
author_role |
author |
dc.contributor.advisor1.fl_str_mv |
Zorzo, Avelino Francisco |
dc.contributor.advisor1ID.fl_str_mv |
563.452.089-49 |
dc.contributor.advisor1Lattes.fl_str_mv |
http://buscatextual.cnpq.br/buscatextual/visualizacv.do?id=K4782949D9 |
dc.contributor.authorID.fl_str_mv |
813.479.870-53 |
dc.contributor.authorLattes.fl_str_mv |
http://buscatextual.cnpq.br/buscatextual/visualizacv.do?id=K4216960T3 |
dc.contributor.author.fl_str_mv |
Silveira, Maicon Bernardino da |
contributor_str_mv |
Zorzo, Avelino Francisco |
dc.subject.por.fl_str_mv |
LINGUAGEM DE PROGRAMAÇÃO DE DOMÍNIO ESPECÍFICO (COMPUTADORES) AVALIAÇÃO DE DESEMPENHO (INFORMÁTICA) SOFTWARE - AVALIAÇÃO ENGENHARIA DE SOFTWARE INFORMÁTICA |
topic |
LINGUAGEM DE PROGRAMAÇÃO DE DOMÍNIO ESPECÍFICO (COMPUTADORES) AVALIAÇÃO DE DESEMPENHO (INFORMÁTICA) SOFTWARE - AVALIAÇÃO ENGENHARIA DE SOFTWARE INFORMÁTICA CIENCIAS EXATAS E DA TERRA::CIENCIA DA COMPUTACAO |
dc.subject.cnpq.fl_str_mv |
CIENCIAS EXATAS E DA TERRA::CIENCIA DA COMPUTACAO |
description |
Performance is a fundamental quality of software systems. Performance testing is a technique able to reveal system bottlenecks and/or lack of scalability of the up-and-running environment. However, usually the software development cycle does not apply this effort on the early development phases, thereby resulting in a weak elicitation process of performance requirements and difficulties for the performance team to integrate them into the project scope. Model-Based Testing (MBT) is an approach to automate the generation of test artifacts from the system models. By doing that, communication is improved among teams, given that the test information is aggregated in the system models since the early stages aiming to automate the testing process. The main contribution of this thesis is to propose a Domain-Specific Language (DSL) for modeling performance testing in Web applications. The language is called Canopus, in which a graphical model and a natural language are proposed to support performance modeling and automatic generation of test scenarios and scripts. Furthermore, this work provides an example of use and an industrial case study to demonstrate the use of Canopus. Based on the results obtained from these studies, we can infer that Canopus can be considered a valid DSL for modeling performance testing. Our motivation to perform this study was to investigate whether a DSL for modeling performance testing can improve quality, cost, and efficiency of performance testing. Therefore, we also carried out a controlled empirical experiment to evaluate the effort (time spent), when comparing Canopus with another industrial approach - UML. Our results indicate that, for performance modeling, effort using Canopus was lower than using UML. Our statistical analysis showed that the results were valid, i.e., that to design performance testing models using Canopus is better than using UML. |
publishDate |
2016 |
dc.date.accessioned.fl_str_mv |
2016-07-27T18:05:50Z |
dc.date.issued.fl_str_mv |
2016-03-07 |
dc.type.status.fl_str_mv |
info:eu-repo/semantics/publishedVersion |
dc.type.driver.fl_str_mv |
info:eu-repo/semantics/doctoralThesis |
format |
doctoralThesis |
status_str |
publishedVersion |
dc.identifier.uri.fl_str_mv |
http://tede2.pucrs.br/tede2/handle/tede/6861 |
url |
http://tede2.pucrs.br/tede2/handle/tede/6861 |
dc.language.iso.fl_str_mv |
eng |
language |
eng |
dc.relation.program.fl_str_mv |
1974996533081274470 |
dc.relation.confidence.fl_str_mv |
600 600 600 |
dc.relation.department.fl_str_mv |
-3008542510401149144 |
dc.relation.cnpq.fl_str_mv |
3671711205811204509 |
dc.rights.driver.fl_str_mv |
info:eu-repo/semantics/openAccess |
eu_rights_str_mv |
openAccess |
dc.format.none.fl_str_mv |
application/pdf |
dc.publisher.none.fl_str_mv |
Pontifícia Universidade Católica do Rio Grande do Sul |
dc.publisher.program.fl_str_mv |
Programa de Pós-Graduação em Ciência da Computação |
dc.publisher.initials.fl_str_mv |
PUCRS |
dc.publisher.country.fl_str_mv |
Brasil |
dc.publisher.department.fl_str_mv |
Faculdade de Informática |
publisher.none.fl_str_mv |
Pontifícia Universidade Católica do Rio Grande do Sul |
dc.source.none.fl_str_mv |
reponame:Biblioteca Digital de Teses e Dissertações da PUC_RS instname:Pontifícia Universidade Católica do Rio Grande do Sul (PUCRS) instacron:PUC_RS |
instname_str |
Pontifícia Universidade Católica do Rio Grande do Sul (PUCRS) |
instacron_str |
PUC_RS |
institution |
PUC_RS |
reponame_str |
Biblioteca Digital de Teses e Dissertações da PUC_RS |
collection |
Biblioteca Digital de Teses e Dissertações da PUC_RS |
bitstream.url.fl_str_mv |
http://tede2.pucrs.br/tede2/bitstream/tede/6861/5/TES_MAICON_BERNARDINO_DA_SILVEIRA_COMPLETO.pdf.jpg http://tede2.pucrs.br/tede2/bitstream/tede/6861/4/TES_MAICON_BERNARDINO_DA_SILVEIRA_COMPLETO.pdf.txt http://tede2.pucrs.br/tede2/bitstream/tede/6861/3/license.txt http://tede2.pucrs.br/tede2/bitstream/tede/6861/2/TES_MAICON_BERNARDINO_DA_SILVEIRA_COMPLETO.pdf |
bitstream.checksum.fl_str_mv |
4bd1e1d454f2d3e3713823fc35452023 dac59eb25f0c71ae11423454b48e4621 5a9d6006225b368ef605ba16b4f6d1be f8d942c9c91dfd41b28bf30123b91644 |
bitstream.checksumAlgorithm.fl_str_mv |
MD5 MD5 MD5 MD5 |
repository.name.fl_str_mv |
Biblioteca Digital de Teses e Dissertações da PUC_RS - Pontifícia Universidade Católica do Rio Grande do Sul (PUCRS) |
repository.mail.fl_str_mv |
biblioteca.central@pucrs.br|| |
_version_ |
1799765321006972928 |