Metrics for oversight of software supplier of safety-critical aerospace systems
Autor(a) principal: | |
---|---|
Data de Publicação: | 2017 |
Tipo de documento: | Tese |
Idioma: | eng |
Título da fonte: | Biblioteca Digital de Teses e Dissertações do INPE |
Texto Completo: | http://urlib.net/sid.inpe.br/mtc-m21b/2017/11.01.14.43 |
Resumo: | The current scenario shows a tendency to outsourcing space systems, and for managing presumed risk the oversight (supervision) of supplier increases in importance by identifying problems and nonconformities at earlier stages. Moreover, particularly for software the civil aviation performs some oversight-like activities (informally called audits) for certification purpose, but the criteria used for classifying the issues are not adequate for evaluating the audit result, and may mislead the management decision. The above scenario added by the proximity between space and aviation, gives opportunity to creating a mechanism able to capture the audit result, which can be used with confidence for management decision. This work presents metrics for oversight of software supplier of safety-critical aerospace system, called Aerospace Metrics. The purpose of the Aerospace Metrics is to evaluate the oversight results for supporting management decision. The metrics are generated analytically by using the Goal- Question Metric (GQM) technique combined with the Reasons human error model. A survey is performed with software safety specialists from the civil aviation to providing additional information for metrics adjustment and evaluation. For evaluation in aeronautics, the generated metrics are applied to selected cases of aviation software audits, and evaluated against the related software certification history. For evaluation in astronautics, software safety systematic comparison between space and aviation is performed to identifying adjustments in the metrics and the oversight activities, due to space specific necessities. As case study, the adjusted oversight activities are applied to a space project called QSEE (Quality of Software Embedded in Space Applications), and the results are submitted to the metrics for evaluation. The work produced acceptable results, showing that the Aerospace Metrics are feasible, and can be applied to either aeronautics or astronautics with few adjustments due to specific necessities. |
id |
INPE_6dac41cf326211adf6a5a7b7215df2bf |
---|---|
oai_identifier_str |
oai:urlib.net:sid.inpe.br/mtc-m21b/2017/11.01.14.43.11-0 |
network_acronym_str |
INPE |
network_name_str |
Biblioteca Digital de Teses e Dissertações do INPE |
spelling |
info:eu-repo/semantics/publishedVersioninfo:eu-repo/semantics/doctoralThesisMetrics for oversight of software supplier of safety-critical aerospace systemsMétricas para supervisão de fornecedores de software de sistemas aeroespaciais de segurança crítica2017-11-30Ana Maria AmbrosioCarlos Henrique Netto LahozRonaldo AriasEmilia VillaniEdgar Toshiro YanoBenedito Massayuki SakugawaInstituto Nacional de Pesquisas Espaciais (INPE)Programa de Pós-Graduação do INPE em Engenharia e Gerenciamento de Sistemas EspaciaisINPEBRsoftware safetyaerospace systemsoftware metriccivil aviation certificationsoftware supplier oversightsegurança de softwaresistema aeroespacialmétrica de softwarecertificação da aviação civilsupervisão de fornecedor de softwareThe current scenario shows a tendency to outsourcing space systems, and for managing presumed risk the oversight (supervision) of supplier increases in importance by identifying problems and nonconformities at earlier stages. Moreover, particularly for software the civil aviation performs some oversight-like activities (informally called audits) for certification purpose, but the criteria used for classifying the issues are not adequate for evaluating the audit result, and may mislead the management decision. The above scenario added by the proximity between space and aviation, gives opportunity to creating a mechanism able to capture the audit result, which can be used with confidence for management decision. This work presents metrics for oversight of software supplier of safety-critical aerospace system, called Aerospace Metrics. The purpose of the Aerospace Metrics is to evaluate the oversight results for supporting management decision. The metrics are generated analytically by using the Goal- Question Metric (GQM) technique combined with the Reasons human error model. A survey is performed with software safety specialists from the civil aviation to providing additional information for metrics adjustment and evaluation. For evaluation in aeronautics, the generated metrics are applied to selected cases of aviation software audits, and evaluated against the related software certification history. For evaluation in astronautics, software safety systematic comparison between space and aviation is performed to identifying adjustments in the metrics and the oversight activities, due to space specific necessities. As case study, the adjusted oversight activities are applied to a space project called QSEE (Quality of Software Embedded in Space Applications), and the results are submitted to the metrics for evaluation. The work produced acceptable results, showing that the Aerospace Metrics are feasible, and can be applied to either aeronautics or astronautics with few adjustments due to specific necessities.O cenário atual mostra uma tendência à terceirização de sistemas espaciais, e para gerenciar o risco presumido, cresce a importância da supervisão do fornecedor ao identificar problemas e não conformidades em estágios iniciais. Além disso, particularmente para o software, a aviação civil realiza algumas atividades de supervisão (informalmente chamadas de auditoria) para fins de certificação, mas os critérios usados para classificar os problemas encontrados não são adequados para avaliar o resultado da auditoria e podem prejudicar a decisão gerencial. O cenário acima, acrescido com a proximidade entre espaço e aviação, cria oportunidade para um mecanismo capaz de capturar o resultado da auditoria que possa ser usado com confiança na decisão gerencial. Este trabalho apresenta métricas para supervisão de fornecedor de software de sistema aeroespacial crítico em segurança (safety), denominados "Métricas Aeroespaciais". O objetivo das Métricas Aeroespaciais é avaliar os resultados da supervisão para prover suporte à decisão gerencial. As métricas são geradas analiticamente usando a técnica GQM (Goal- Question Metric) em combinação com o modelo de erro humano de Reason. Uma pesquisa de opinião é realizada com especialistas em segurança (safety) de software da aviação civil para obter informações adicionais que auxiliem no ajuste e avaliação das métricas. Para avaliação em aeronáutica, as métricas geradas são aplicadas a casos selecionados de auditorias de software da aviação e avaliadas contra o histórico de certificação do software em questão. Para avaliação em astronáutica, é feita uma comparação sistemática de segurança (safety) de software entre espaço e aviação, para identificar ajustes nas métricas e nas atividades de supervisão devido a necessidades específicas do espaço. Como estudo de caso, as atividades ajustadas de supervisão são aplicadas a um projeto espacial chamado QSEE (Qualidade do Software Embarcado em Aplicações Espaciais), e os resultados são submetidos às métricas para avaliação. O trabalho produziu resultados aceitáveis, mostrando que as Métricas Aeroespaciais são viáveis e podem ser aplicadas tanto na aeronáutica como na astronáutica, com poucos ajustes devido a necessidades específicas.http://urlib.net/sid.inpe.br/mtc-m21b/2017/11.01.14.43info:eu-repo/semantics/openAccessengreponame:Biblioteca Digital de Teses e Dissertações do INPEinstname:Instituto Nacional de Pesquisas Espaciais (INPE)instacron:INPE2021-07-31T06:55:31Zoai:urlib.net:sid.inpe.br/mtc-m21b/2017/11.01.14.43.11-0Biblioteca Digital de Teses e Dissertaçõeshttp://bibdigital.sid.inpe.br/PUBhttp://bibdigital.sid.inpe.br/col/iconet.com.br/banon/2003/11.21.21.08/doc/oai.cgiopendoar:32772021-07-31 06:55:33.027Biblioteca Digital de Teses e Dissertações do INPE - Instituto Nacional de Pesquisas Espaciais (INPE)false |
dc.title.en.fl_str_mv |
Metrics for oversight of software supplier of safety-critical aerospace systems |
dc.title.alternative.pt.fl_str_mv |
Métricas para supervisão de fornecedores de software de sistemas aeroespaciais de segurança crítica |
title |
Metrics for oversight of software supplier of safety-critical aerospace systems |
spellingShingle |
Metrics for oversight of software supplier of safety-critical aerospace systems Benedito Massayuki Sakugawa |
title_short |
Metrics for oversight of software supplier of safety-critical aerospace systems |
title_full |
Metrics for oversight of software supplier of safety-critical aerospace systems |
title_fullStr |
Metrics for oversight of software supplier of safety-critical aerospace systems |
title_full_unstemmed |
Metrics for oversight of software supplier of safety-critical aerospace systems |
title_sort |
Metrics for oversight of software supplier of safety-critical aerospace systems |
author |
Benedito Massayuki Sakugawa |
author_facet |
Benedito Massayuki Sakugawa |
author_role |
author |
dc.contributor.advisor1.fl_str_mv |
Ana Maria Ambrosio |
dc.contributor.advisor2.fl_str_mv |
Carlos Henrique Netto Lahoz |
dc.contributor.referee1.fl_str_mv |
Ronaldo Arias |
dc.contributor.referee2.fl_str_mv |
Emilia Villani |
dc.contributor.referee3.fl_str_mv |
Edgar Toshiro Yano |
dc.contributor.author.fl_str_mv |
Benedito Massayuki Sakugawa |
contributor_str_mv |
Ana Maria Ambrosio Carlos Henrique Netto Lahoz Ronaldo Arias Emilia Villani Edgar Toshiro Yano |
dc.description.abstract.por.fl_txt_mv |
The current scenario shows a tendency to outsourcing space systems, and for managing presumed risk the oversight (supervision) of supplier increases in importance by identifying problems and nonconformities at earlier stages. Moreover, particularly for software the civil aviation performs some oversight-like activities (informally called audits) for certification purpose, but the criteria used for classifying the issues are not adequate for evaluating the audit result, and may mislead the management decision. The above scenario added by the proximity between space and aviation, gives opportunity to creating a mechanism able to capture the audit result, which can be used with confidence for management decision. This work presents metrics for oversight of software supplier of safety-critical aerospace system, called Aerospace Metrics. The purpose of the Aerospace Metrics is to evaluate the oversight results for supporting management decision. The metrics are generated analytically by using the Goal- Question Metric (GQM) technique combined with the Reasons human error model. A survey is performed with software safety specialists from the civil aviation to providing additional information for metrics adjustment and evaluation. For evaluation in aeronautics, the generated metrics are applied to selected cases of aviation software audits, and evaluated against the related software certification history. For evaluation in astronautics, software safety systematic comparison between space and aviation is performed to identifying adjustments in the metrics and the oversight activities, due to space specific necessities. As case study, the adjusted oversight activities are applied to a space project called QSEE (Quality of Software Embedded in Space Applications), and the results are submitted to the metrics for evaluation. The work produced acceptable results, showing that the Aerospace Metrics are feasible, and can be applied to either aeronautics or astronautics with few adjustments due to specific necessities. O cenário atual mostra uma tendência à terceirização de sistemas espaciais, e para gerenciar o risco presumido, cresce a importância da supervisão do fornecedor ao identificar problemas e não conformidades em estágios iniciais. Além disso, particularmente para o software, a aviação civil realiza algumas atividades de supervisão (informalmente chamadas de auditoria) para fins de certificação, mas os critérios usados para classificar os problemas encontrados não são adequados para avaliar o resultado da auditoria e podem prejudicar a decisão gerencial. O cenário acima, acrescido com a proximidade entre espaço e aviação, cria oportunidade para um mecanismo capaz de capturar o resultado da auditoria que possa ser usado com confiança na decisão gerencial. Este trabalho apresenta métricas para supervisão de fornecedor de software de sistema aeroespacial crítico em segurança (safety), denominados "Métricas Aeroespaciais". O objetivo das Métricas Aeroespaciais é avaliar os resultados da supervisão para prover suporte à decisão gerencial. As métricas são geradas analiticamente usando a técnica GQM (Goal- Question Metric) em combinação com o modelo de erro humano de Reason. Uma pesquisa de opinião é realizada com especialistas em segurança (safety) de software da aviação civil para obter informações adicionais que auxiliem no ajuste e avaliação das métricas. Para avaliação em aeronáutica, as métricas geradas são aplicadas a casos selecionados de auditorias de software da aviação e avaliadas contra o histórico de certificação do software em questão. Para avaliação em astronáutica, é feita uma comparação sistemática de segurança (safety) de software entre espaço e aviação, para identificar ajustes nas métricas e nas atividades de supervisão devido a necessidades específicas do espaço. Como estudo de caso, as atividades ajustadas de supervisão são aplicadas a um projeto espacial chamado QSEE (Qualidade do Software Embarcado em Aplicações Espaciais), e os resultados são submetidos às métricas para avaliação. O trabalho produziu resultados aceitáveis, mostrando que as Métricas Aeroespaciais são viáveis e podem ser aplicadas tanto na aeronáutica como na astronáutica, com poucos ajustes devido a necessidades específicas. |
description |
The current scenario shows a tendency to outsourcing space systems, and for managing presumed risk the oversight (supervision) of supplier increases in importance by identifying problems and nonconformities at earlier stages. Moreover, particularly for software the civil aviation performs some oversight-like activities (informally called audits) for certification purpose, but the criteria used for classifying the issues are not adequate for evaluating the audit result, and may mislead the management decision. The above scenario added by the proximity between space and aviation, gives opportunity to creating a mechanism able to capture the audit result, which can be used with confidence for management decision. This work presents metrics for oversight of software supplier of safety-critical aerospace system, called Aerospace Metrics. The purpose of the Aerospace Metrics is to evaluate the oversight results for supporting management decision. The metrics are generated analytically by using the Goal- Question Metric (GQM) technique combined with the Reasons human error model. A survey is performed with software safety specialists from the civil aviation to providing additional information for metrics adjustment and evaluation. For evaluation in aeronautics, the generated metrics are applied to selected cases of aviation software audits, and evaluated against the related software certification history. For evaluation in astronautics, software safety systematic comparison between space and aviation is performed to identifying adjustments in the metrics and the oversight activities, due to space specific necessities. As case study, the adjusted oversight activities are applied to a space project called QSEE (Quality of Software Embedded in Space Applications), and the results are submitted to the metrics for evaluation. The work produced acceptable results, showing that the Aerospace Metrics are feasible, and can be applied to either aeronautics or astronautics with few adjustments due to specific necessities. |
publishDate |
2017 |
dc.date.issued.fl_str_mv |
2017-11-30 |
dc.type.status.fl_str_mv |
info:eu-repo/semantics/publishedVersion |
dc.type.driver.fl_str_mv |
info:eu-repo/semantics/doctoralThesis |
status_str |
publishedVersion |
format |
doctoralThesis |
dc.identifier.uri.fl_str_mv |
http://urlib.net/sid.inpe.br/mtc-m21b/2017/11.01.14.43 |
url |
http://urlib.net/sid.inpe.br/mtc-m21b/2017/11.01.14.43 |
dc.language.iso.fl_str_mv |
eng |
language |
eng |
dc.rights.driver.fl_str_mv |
info:eu-repo/semantics/openAccess |
eu_rights_str_mv |
openAccess |
dc.publisher.none.fl_str_mv |
Instituto Nacional de Pesquisas Espaciais (INPE) |
dc.publisher.program.fl_str_mv |
Programa de Pós-Graduação do INPE em Engenharia e Gerenciamento de Sistemas Espaciais |
dc.publisher.initials.fl_str_mv |
INPE |
dc.publisher.country.fl_str_mv |
BR |
publisher.none.fl_str_mv |
Instituto Nacional de Pesquisas Espaciais (INPE) |
dc.source.none.fl_str_mv |
reponame:Biblioteca Digital de Teses e Dissertações do INPE instname:Instituto Nacional de Pesquisas Espaciais (INPE) instacron:INPE |
reponame_str |
Biblioteca Digital de Teses e Dissertações do INPE |
collection |
Biblioteca Digital de Teses e Dissertações do INPE |
instname_str |
Instituto Nacional de Pesquisas Espaciais (INPE) |
instacron_str |
INPE |
institution |
INPE |
repository.name.fl_str_mv |
Biblioteca Digital de Teses e Dissertações do INPE - Instituto Nacional de Pesquisas Espaciais (INPE) |
repository.mail.fl_str_mv |
|
publisher_program_txtF_mv |
Programa de Pós-Graduação do INPE em Engenharia e Gerenciamento de Sistemas Espaciais |
contributor_advisor1_txtF_mv |
Ana Maria Ambrosio |
_version_ |
1706809360285433856 |