Metrics for oversight of software supplier of safety-critical aerospace systems

Detalhes bibliográficos
Autor(a) principal: Benedito Massayuki Sakugawa
Data de Publicação: 2017
Tipo de documento: Tese
Idioma: eng
Título da fonte: Biblioteca Digital de Teses e Dissertações do INPE
Texto Completo: http://urlib.net/sid.inpe.br/mtc-m21b/2017/11.01.14.43
Resumo: The current scenario shows a tendency to outsourcing space systems, and for managing presumed risk the oversight (supervision) of supplier increases in importance by identifying problems and nonconformities at earlier stages. Moreover, particularly for software the civil aviation performs some oversight-like activities (informally called audits) for certification purpose, but the criteria used for classifying the issues are not adequate for evaluating the audit result, and may mislead the management decision. The above scenario added by the proximity between space and aviation, gives opportunity to creating a mechanism able to capture the audit result, which can be used with confidence for management decision. This work presents metrics for oversight of software supplier of safety-critical aerospace system, called Aerospace Metrics. The purpose of the Aerospace Metrics is to evaluate the oversight results for supporting management decision. The metrics are generated analytically by using the Goal- Question Metric (GQM) technique combined with the Reasons human error model. A survey is performed with software safety specialists from the civil aviation to providing additional information for metrics adjustment and evaluation. For evaluation in aeronautics, the generated metrics are applied to selected cases of aviation software audits, and evaluated against the related software certification history. For evaluation in astronautics, software safety systematic comparison between space and aviation is performed to identifying adjustments in the metrics and the oversight activities, due to space specific necessities. As case study, the adjusted oversight activities are applied to a space project called QSEE (Quality of Software Embedded in Space Applications), and the results are submitted to the metrics for evaluation. The work produced acceptable results, showing that the Aerospace Metrics are feasible, and can be applied to either aeronautics or astronautics with few adjustments due to specific necessities.
id INPE_6dac41cf326211adf6a5a7b7215df2bf
oai_identifier_str oai:urlib.net:sid.inpe.br/mtc-m21b/2017/11.01.14.43.11-0
network_acronym_str INPE
network_name_str Biblioteca Digital de Teses e Dissertações do INPE
spelling info:eu-repo/semantics/publishedVersioninfo:eu-repo/semantics/doctoralThesisMetrics for oversight of software supplier of safety-critical aerospace systemsMétricas para supervisão de fornecedores de software de sistemas aeroespaciais de segurança crítica2017-11-30Ana Maria AmbrosioCarlos Henrique Netto LahozRonaldo AriasEmilia VillaniEdgar Toshiro YanoBenedito Massayuki SakugawaInstituto Nacional de Pesquisas Espaciais (INPE)Programa de Pós-Graduação do INPE em Engenharia e Gerenciamento de Sistemas EspaciaisINPEBRsoftware safetyaerospace systemsoftware metriccivil aviation certificationsoftware supplier oversightsegurança de softwaresistema aeroespacialmétrica de softwarecertificação da aviação civilsupervisão de fornecedor de softwareThe current scenario shows a tendency to outsourcing space systems, and for managing presumed risk the oversight (supervision) of supplier increases in importance by identifying problems and nonconformities at earlier stages. Moreover, particularly for software the civil aviation performs some oversight-like activities (informally called audits) for certification purpose, but the criteria used for classifying the issues are not adequate for evaluating the audit result, and may mislead the management decision. The above scenario added by the proximity between space and aviation, gives opportunity to creating a mechanism able to capture the audit result, which can be used with confidence for management decision. This work presents metrics for oversight of software supplier of safety-critical aerospace system, called Aerospace Metrics. The purpose of the Aerospace Metrics is to evaluate the oversight results for supporting management decision. The metrics are generated analytically by using the Goal- Question Metric (GQM) technique combined with the Reasons human error model. A survey is performed with software safety specialists from the civil aviation to providing additional information for metrics adjustment and evaluation. For evaluation in aeronautics, the generated metrics are applied to selected cases of aviation software audits, and evaluated against the related software certification history. For evaluation in astronautics, software safety systematic comparison between space and aviation is performed to identifying adjustments in the metrics and the oversight activities, due to space specific necessities. As case study, the adjusted oversight activities are applied to a space project called QSEE (Quality of Software Embedded in Space Applications), and the results are submitted to the metrics for evaluation. The work produced acceptable results, showing that the Aerospace Metrics are feasible, and can be applied to either aeronautics or astronautics with few adjustments due to specific necessities.O cenário atual mostra uma tendência à terceirização de sistemas espaciais, e para gerenciar o risco presumido, cresce a importância da supervisão do fornecedor ao identificar problemas e não conformidades em estágios iniciais. Além disso, particularmente para o software, a aviação civil realiza algumas atividades de supervisão (informalmente chamadas de auditoria) para fins de certificação, mas os critérios usados para classificar os problemas encontrados não são adequados para avaliar o resultado da auditoria e podem prejudicar a decisão gerencial. O cenário acima, acrescido com a proximidade entre espaço e aviação, cria oportunidade para um mecanismo capaz de capturar o resultado da auditoria que possa ser usado com confiança na decisão gerencial. Este trabalho apresenta métricas para supervisão de fornecedor de software de sistema aeroespacial crítico em segurança (safety), denominados "Métricas Aeroespaciais". O objetivo das Métricas Aeroespaciais é avaliar os resultados da supervisão para prover suporte à decisão gerencial. As métricas são geradas analiticamente usando a técnica GQM (Goal- Question Metric) em combinação com o modelo de erro humano de Reason. Uma pesquisa de opinião é realizada com especialistas em segurança (safety) de software da aviação civil para obter informações adicionais que auxiliem no ajuste e avaliação das métricas. Para avaliação em aeronáutica, as métricas geradas são aplicadas a casos selecionados de auditorias de software da aviação e avaliadas contra o histórico de certificação do software em questão. Para avaliação em astronáutica, é feita uma comparação sistemática de segurança (safety) de software entre espaço e aviação, para identificar ajustes nas métricas e nas atividades de supervisão devido a necessidades específicas do espaço. Como estudo de caso, as atividades ajustadas de supervisão são aplicadas a um projeto espacial chamado QSEE (Qualidade do Software Embarcado em Aplicações Espaciais), e os resultados são submetidos às métricas para avaliação. O trabalho produziu resultados aceitáveis, mostrando que as Métricas Aeroespaciais são viáveis e podem ser aplicadas tanto na aeronáutica como na astronáutica, com poucos ajustes devido a necessidades específicas.http://urlib.net/sid.inpe.br/mtc-m21b/2017/11.01.14.43info:eu-repo/semantics/openAccessengreponame:Biblioteca Digital de Teses e Dissertações do INPEinstname:Instituto Nacional de Pesquisas Espaciais (INPE)instacron:INPE2021-07-31T06:55:31Zoai:urlib.net:sid.inpe.br/mtc-m21b/2017/11.01.14.43.11-0Biblioteca Digital de Teses e Dissertaçõeshttp://bibdigital.sid.inpe.br/PUBhttp://bibdigital.sid.inpe.br/col/iconet.com.br/banon/2003/11.21.21.08/doc/oai.cgiopendoar:32772021-07-31 06:55:33.027Biblioteca Digital de Teses e Dissertações do INPE - Instituto Nacional de Pesquisas Espaciais (INPE)false
dc.title.en.fl_str_mv Metrics for oversight of software supplier of safety-critical aerospace systems
dc.title.alternative.pt.fl_str_mv Métricas para supervisão de fornecedores de software de sistemas aeroespaciais de segurança crítica
title Metrics for oversight of software supplier of safety-critical aerospace systems
spellingShingle Metrics for oversight of software supplier of safety-critical aerospace systems
Benedito Massayuki Sakugawa
title_short Metrics for oversight of software supplier of safety-critical aerospace systems
title_full Metrics for oversight of software supplier of safety-critical aerospace systems
title_fullStr Metrics for oversight of software supplier of safety-critical aerospace systems
title_full_unstemmed Metrics for oversight of software supplier of safety-critical aerospace systems
title_sort Metrics for oversight of software supplier of safety-critical aerospace systems
author Benedito Massayuki Sakugawa
author_facet Benedito Massayuki Sakugawa
author_role author
dc.contributor.advisor1.fl_str_mv Ana Maria Ambrosio
dc.contributor.advisor2.fl_str_mv Carlos Henrique Netto Lahoz
dc.contributor.referee1.fl_str_mv Ronaldo Arias
dc.contributor.referee2.fl_str_mv Emilia Villani
dc.contributor.referee3.fl_str_mv Edgar Toshiro Yano
dc.contributor.author.fl_str_mv Benedito Massayuki Sakugawa
contributor_str_mv Ana Maria Ambrosio
Carlos Henrique Netto Lahoz
Ronaldo Arias
Emilia Villani
Edgar Toshiro Yano
dc.description.abstract.por.fl_txt_mv The current scenario shows a tendency to outsourcing space systems, and for managing presumed risk the oversight (supervision) of supplier increases in importance by identifying problems and nonconformities at earlier stages. Moreover, particularly for software the civil aviation performs some oversight-like activities (informally called audits) for certification purpose, but the criteria used for classifying the issues are not adequate for evaluating the audit result, and may mislead the management decision. The above scenario added by the proximity between space and aviation, gives opportunity to creating a mechanism able to capture the audit result, which can be used with confidence for management decision. This work presents metrics for oversight of software supplier of safety-critical aerospace system, called Aerospace Metrics. The purpose of the Aerospace Metrics is to evaluate the oversight results for supporting management decision. The metrics are generated analytically by using the Goal- Question Metric (GQM) technique combined with the Reasons human error model. A survey is performed with software safety specialists from the civil aviation to providing additional information for metrics adjustment and evaluation. For evaluation in aeronautics, the generated metrics are applied to selected cases of aviation software audits, and evaluated against the related software certification history. For evaluation in astronautics, software safety systematic comparison between space and aviation is performed to identifying adjustments in the metrics and the oversight activities, due to space specific necessities. As case study, the adjusted oversight activities are applied to a space project called QSEE (Quality of Software Embedded in Space Applications), and the results are submitted to the metrics for evaluation. The work produced acceptable results, showing that the Aerospace Metrics are feasible, and can be applied to either aeronautics or astronautics with few adjustments due to specific necessities.
O cenário atual mostra uma tendência à terceirização de sistemas espaciais, e para gerenciar o risco presumido, cresce a importância da supervisão do fornecedor ao identificar problemas e não conformidades em estágios iniciais. Além disso, particularmente para o software, a aviação civil realiza algumas atividades de supervisão (informalmente chamadas de auditoria) para fins de certificação, mas os critérios usados para classificar os problemas encontrados não são adequados para avaliar o resultado da auditoria e podem prejudicar a decisão gerencial. O cenário acima, acrescido com a proximidade entre espaço e aviação, cria oportunidade para um mecanismo capaz de capturar o resultado da auditoria que possa ser usado com confiança na decisão gerencial. Este trabalho apresenta métricas para supervisão de fornecedor de software de sistema aeroespacial crítico em segurança (safety), denominados "Métricas Aeroespaciais". O objetivo das Métricas Aeroespaciais é avaliar os resultados da supervisão para prover suporte à decisão gerencial. As métricas são geradas analiticamente usando a técnica GQM (Goal- Question Metric) em combinação com o modelo de erro humano de Reason. Uma pesquisa de opinião é realizada com especialistas em segurança (safety) de software da aviação civil para obter informações adicionais que auxiliem no ajuste e avaliação das métricas. Para avaliação em aeronáutica, as métricas geradas são aplicadas a casos selecionados de auditorias de software da aviação e avaliadas contra o histórico de certificação do software em questão. Para avaliação em astronáutica, é feita uma comparação sistemática de segurança (safety) de software entre espaço e aviação, para identificar ajustes nas métricas e nas atividades de supervisão devido a necessidades específicas do espaço. Como estudo de caso, as atividades ajustadas de supervisão são aplicadas a um projeto espacial chamado QSEE (Qualidade do Software Embarcado em Aplicações Espaciais), e os resultados são submetidos às métricas para avaliação. O trabalho produziu resultados aceitáveis, mostrando que as Métricas Aeroespaciais são viáveis e podem ser aplicadas tanto na aeronáutica como na astronáutica, com poucos ajustes devido a necessidades específicas.
description The current scenario shows a tendency to outsourcing space systems, and for managing presumed risk the oversight (supervision) of supplier increases in importance by identifying problems and nonconformities at earlier stages. Moreover, particularly for software the civil aviation performs some oversight-like activities (informally called audits) for certification purpose, but the criteria used for classifying the issues are not adequate for evaluating the audit result, and may mislead the management decision. The above scenario added by the proximity between space and aviation, gives opportunity to creating a mechanism able to capture the audit result, which can be used with confidence for management decision. This work presents metrics for oversight of software supplier of safety-critical aerospace system, called Aerospace Metrics. The purpose of the Aerospace Metrics is to evaluate the oversight results for supporting management decision. The metrics are generated analytically by using the Goal- Question Metric (GQM) technique combined with the Reasons human error model. A survey is performed with software safety specialists from the civil aviation to providing additional information for metrics adjustment and evaluation. For evaluation in aeronautics, the generated metrics are applied to selected cases of aviation software audits, and evaluated against the related software certification history. For evaluation in astronautics, software safety systematic comparison between space and aviation is performed to identifying adjustments in the metrics and the oversight activities, due to space specific necessities. As case study, the adjusted oversight activities are applied to a space project called QSEE (Quality of Software Embedded in Space Applications), and the results are submitted to the metrics for evaluation. The work produced acceptable results, showing that the Aerospace Metrics are feasible, and can be applied to either aeronautics or astronautics with few adjustments due to specific necessities.
publishDate 2017
dc.date.issued.fl_str_mv 2017-11-30
dc.type.status.fl_str_mv info:eu-repo/semantics/publishedVersion
dc.type.driver.fl_str_mv info:eu-repo/semantics/doctoralThesis
status_str publishedVersion
format doctoralThesis
dc.identifier.uri.fl_str_mv http://urlib.net/sid.inpe.br/mtc-m21b/2017/11.01.14.43
url http://urlib.net/sid.inpe.br/mtc-m21b/2017/11.01.14.43
dc.language.iso.fl_str_mv eng
language eng
dc.rights.driver.fl_str_mv info:eu-repo/semantics/openAccess
eu_rights_str_mv openAccess
dc.publisher.none.fl_str_mv Instituto Nacional de Pesquisas Espaciais (INPE)
dc.publisher.program.fl_str_mv Programa de Pós-Graduação do INPE em Engenharia e Gerenciamento de Sistemas Espaciais
dc.publisher.initials.fl_str_mv INPE
dc.publisher.country.fl_str_mv BR
publisher.none.fl_str_mv Instituto Nacional de Pesquisas Espaciais (INPE)
dc.source.none.fl_str_mv reponame:Biblioteca Digital de Teses e Dissertações do INPE
instname:Instituto Nacional de Pesquisas Espaciais (INPE)
instacron:INPE
reponame_str Biblioteca Digital de Teses e Dissertações do INPE
collection Biblioteca Digital de Teses e Dissertações do INPE
instname_str Instituto Nacional de Pesquisas Espaciais (INPE)
instacron_str INPE
institution INPE
repository.name.fl_str_mv Biblioteca Digital de Teses e Dissertações do INPE - Instituto Nacional de Pesquisas Espaciais (INPE)
repository.mail.fl_str_mv
publisher_program_txtF_mv Programa de Pós-Graduação do INPE em Engenharia e Gerenciamento de Sistemas Espaciais
contributor_advisor1_txtF_mv Ana Maria Ambrosio
_version_ 1706809360285433856