Indicadores de gestão na revisão por pares: confiabilidade da revisão recíproca anônima de propostas de mestrado │ Peer review indicators: reliability of a reciprocal anonymous review of masters proposals
Autor(a) principal: | |
---|---|
Data de Publicação: | 2013 |
Outros Autores: | |
Tipo de documento: | Artigo |
Idioma: | por |
Título da fonte: | Liinc em Revista |
Texto Completo: | http://revista.ibict.br/liinc/article/view/3407 |
Resumo: | Resumo A revisão por pares é pobre em indicadores, apesar de sua importância. Este artigo apresenta indicadores de confiabilidade da revisão recíproca anônima de propostas de mestrado. Doze alunos de mestrado em Ciência da Informação deram pareceres anônimos sobre propostas de colegas em 7 itens avaliativos, usando escala Likert-6, sendo a confiabilidade calculada através de índices utilizados na literatura. A confiabilidade não é uma medida absoluta de qualidade, mas o cálculo desses indicadores permite estudar sistematicamente a qualidade da revisão por pares.Palavras-chave Revisão por pares, Confiabilidade, Concordância entre revisores, Coeficiente de correlação intraclasse, Revisão por pares na aprendizagem. Abstract Peer review lacks indicators, which is incongruent with its importance. This article reports the reliability of mutual, anonymous review of masters research proposals. Twelve masters students in Information Science refereed anonymously their peers' research proposals according to 7 evaluation items, using a Likert-6 scale. Reliability was expressed as intraclass correlation indices between 0.500 and 0.202, with 9 positive and 3 negative values - lower than usual in professional processes. Reliability is not an absolute measure of quality, but calculating reliability allows for a systematic study of the quality of peer review.Keywords Peer review; Reliability; Agreement among referees; Intraclass correlation coefficient; Peer review in learning. |
id |
IBICT-2_7978606bcaf1e9c773619894fad24246 |
---|---|
oai_identifier_str |
oai:ojs.revista.ibict.br:article/3407 |
network_acronym_str |
IBICT-2 |
network_name_str |
Liinc em Revista |
spelling |
Indicadores de gestão na revisão por pares: confiabilidade da revisão recíproca anônima de propostas de mestrado │ Peer review indicators: reliability of a reciprocal anonymous review of masters proposalsRevisão por paresConfiabilidadeConcordância entre revisoresCoeficiente de correlação intraclasseRevisão por pares na aprendizagemResumo A revisão por pares é pobre em indicadores, apesar de sua importância. Este artigo apresenta indicadores de confiabilidade da revisão recíproca anônima de propostas de mestrado. Doze alunos de mestrado em Ciência da Informação deram pareceres anônimos sobre propostas de colegas em 7 itens avaliativos, usando escala Likert-6, sendo a confiabilidade calculada através de índices utilizados na literatura. A confiabilidade não é uma medida absoluta de qualidade, mas o cálculo desses indicadores permite estudar sistematicamente a qualidade da revisão por pares.Palavras-chave Revisão por pares, Confiabilidade, Concordância entre revisores, Coeficiente de correlação intraclasse, Revisão por pares na aprendizagem. Abstract Peer review lacks indicators, which is incongruent with its importance. This article reports the reliability of mutual, anonymous review of masters research proposals. Twelve masters students in Information Science refereed anonymously their peers' research proposals according to 7 evaluation items, using a Likert-6 scale. Reliability was expressed as intraclass correlation indices between 0.500 and 0.202, with 9 positive and 3 negative values - lower than usual in professional processes. Reliability is not an absolute measure of quality, but calculating reliability allows for a systematic study of the quality of peer review.Keywords Peer review; Reliability; Agreement among referees; Intraclass correlation coefficient; Peer review in learning.Instituto Brasileiro de Informação em Ciência e Tecnologia (Ibict)2013-05-27info:eu-repo/semantics/articleinfo:eu-repo/semantics/publishedVersionapplication/pdfimage/jpegimage/jpegimage/jpeghttp://revista.ibict.br/liinc/article/view/340710.18617/liinc.v9i1.531Liinc em Revista; Vol. 9 No. 1 (2013): Infometric Studies in Science and TechnologyLiinc em Revista; Vol. 9 Núm. 1 (2013): Estudos Métricos da Informação em Ciência e TecnologiaLiinc em Revista; v. 9 n. 1 (2013): Estudos Métricos da Informação em Ciência e Tecnologia1808-3536reponame:Liinc em Revistainstname:Instituto Brasileiro de Informação Ciência e Tecnologia (IBICT)instacron:IBICTporhttp://revista.ibict.br/liinc/article/view/3407/2991http://revista.ibict.br/liinc/article/view/3407/4849http://revista.ibict.br/liinc/article/view/3407/4850http://revista.ibict.br/liinc/article/view/3407/4851Denisczwicz, MartaKern, Vinícius Medinainfo:eu-repo/semantics/openAccess2021-05-27T11:33:11Zoai:ojs.revista.ibict.br:article/3407Revistahttp://revista.ibict.br/liincPUBhttp://revista.ibict.br/liinc/oai1808-35361808-3536opendoar:null2021-05-27 11:33:11.484Liinc em Revista - Instituto Brasileiro de Informação Ciência e Tecnologia (IBICT)false |
dc.title.none.fl_str_mv |
Indicadores de gestão na revisão por pares: confiabilidade da revisão recíproca anônima de propostas de mestrado │ Peer review indicators: reliability of a reciprocal anonymous review of masters proposals |
title |
Indicadores de gestão na revisão por pares: confiabilidade da revisão recíproca anônima de propostas de mestrado │ Peer review indicators: reliability of a reciprocal anonymous review of masters proposals |
spellingShingle |
Indicadores de gestão na revisão por pares: confiabilidade da revisão recíproca anônima de propostas de mestrado │ Peer review indicators: reliability of a reciprocal anonymous review of masters proposals Denisczwicz, Marta Revisão por pares Confiabilidade Concordância entre revisores Coeficiente de correlação intraclasse Revisão por pares na aprendizagem |
title_short |
Indicadores de gestão na revisão por pares: confiabilidade da revisão recíproca anônima de propostas de mestrado │ Peer review indicators: reliability of a reciprocal anonymous review of masters proposals |
title_full |
Indicadores de gestão na revisão por pares: confiabilidade da revisão recíproca anônima de propostas de mestrado │ Peer review indicators: reliability of a reciprocal anonymous review of masters proposals |
title_fullStr |
Indicadores de gestão na revisão por pares: confiabilidade da revisão recíproca anônima de propostas de mestrado │ Peer review indicators: reliability of a reciprocal anonymous review of masters proposals |
title_full_unstemmed |
Indicadores de gestão na revisão por pares: confiabilidade da revisão recíproca anônima de propostas de mestrado │ Peer review indicators: reliability of a reciprocal anonymous review of masters proposals |
title_sort |
Indicadores de gestão na revisão por pares: confiabilidade da revisão recíproca anônima de propostas de mestrado │ Peer review indicators: reliability of a reciprocal anonymous review of masters proposals |
author |
Denisczwicz, Marta |
author_facet |
Denisczwicz, Marta Kern, Vinícius Medina |
author_role |
author |
author2 |
Kern, Vinícius Medina |
author2_role |
author |
dc.contributor.author.fl_str_mv |
Denisczwicz, Marta Kern, Vinícius Medina |
dc.subject.por.fl_str_mv |
Revisão por pares Confiabilidade Concordância entre revisores Coeficiente de correlação intraclasse Revisão por pares na aprendizagem |
topic |
Revisão por pares Confiabilidade Concordância entre revisores Coeficiente de correlação intraclasse Revisão por pares na aprendizagem |
dc.description.none.fl_txt_mv |
Resumo A revisão por pares é pobre em indicadores, apesar de sua importância. Este artigo apresenta indicadores de confiabilidade da revisão recíproca anônima de propostas de mestrado. Doze alunos de mestrado em Ciência da Informação deram pareceres anônimos sobre propostas de colegas em 7 itens avaliativos, usando escala Likert-6, sendo a confiabilidade calculada através de índices utilizados na literatura. A confiabilidade não é uma medida absoluta de qualidade, mas o cálculo desses indicadores permite estudar sistematicamente a qualidade da revisão por pares.Palavras-chave Revisão por pares, Confiabilidade, Concordância entre revisores, Coeficiente de correlação intraclasse, Revisão por pares na aprendizagem. Abstract Peer review lacks indicators, which is incongruent with its importance. This article reports the reliability of mutual, anonymous review of masters research proposals. Twelve masters students in Information Science refereed anonymously their peers' research proposals according to 7 evaluation items, using a Likert-6 scale. Reliability was expressed as intraclass correlation indices between 0.500 and 0.202, with 9 positive and 3 negative values - lower than usual in professional processes. Reliability is not an absolute measure of quality, but calculating reliability allows for a systematic study of the quality of peer review.Keywords Peer review; Reliability; Agreement among referees; Intraclass correlation coefficient; Peer review in learning. |
description |
Resumo A revisão por pares é pobre em indicadores, apesar de sua importância. Este artigo apresenta indicadores de confiabilidade da revisão recíproca anônima de propostas de mestrado. Doze alunos de mestrado em Ciência da Informação deram pareceres anônimos sobre propostas de colegas em 7 itens avaliativos, usando escala Likert-6, sendo a confiabilidade calculada através de índices utilizados na literatura. A confiabilidade não é uma medida absoluta de qualidade, mas o cálculo desses indicadores permite estudar sistematicamente a qualidade da revisão por pares.Palavras-chave Revisão por pares, Confiabilidade, Concordância entre revisores, Coeficiente de correlação intraclasse, Revisão por pares na aprendizagem. Abstract Peer review lacks indicators, which is incongruent with its importance. This article reports the reliability of mutual, anonymous review of masters research proposals. Twelve masters students in Information Science refereed anonymously their peers' research proposals according to 7 evaluation items, using a Likert-6 scale. Reliability was expressed as intraclass correlation indices between 0.500 and 0.202, with 9 positive and 3 negative values - lower than usual in professional processes. Reliability is not an absolute measure of quality, but calculating reliability allows for a systematic study of the quality of peer review.Keywords Peer review; Reliability; Agreement among referees; Intraclass correlation coefficient; Peer review in learning. |
publishDate |
2013 |
dc.date.none.fl_str_mv |
2013-05-27 |
dc.type.driver.fl_str_mv |
info:eu-repo/semantics/article info:eu-repo/semantics/publishedVersion |
format |
article |
status_str |
publishedVersion |
dc.identifier.uri.fl_str_mv |
http://revista.ibict.br/liinc/article/view/3407 10.18617/liinc.v9i1.531 |
url |
http://revista.ibict.br/liinc/article/view/3407 |
identifier_str_mv |
10.18617/liinc.v9i1.531 |
dc.language.iso.fl_str_mv |
por |
language |
por |
dc.relation.none.fl_str_mv |
http://revista.ibict.br/liinc/article/view/3407/2991 http://revista.ibict.br/liinc/article/view/3407/4849 http://revista.ibict.br/liinc/article/view/3407/4850 http://revista.ibict.br/liinc/article/view/3407/4851 |
dc.rights.driver.fl_str_mv |
info:eu-repo/semantics/openAccess |
eu_rights_str_mv |
openAccess |
dc.format.none.fl_str_mv |
application/pdf image/jpeg image/jpeg image/jpeg |
dc.publisher.none.fl_str_mv |
Instituto Brasileiro de Informação em Ciência e Tecnologia (Ibict) |
publisher.none.fl_str_mv |
Instituto Brasileiro de Informação em Ciência e Tecnologia (Ibict) |
dc.source.none.fl_str_mv |
Liinc em Revista; Vol. 9 No. 1 (2013): Infometric Studies in Science and Technology Liinc em Revista; Vol. 9 Núm. 1 (2013): Estudos Métricos da Informação em Ciência e Tecnologia Liinc em Revista; v. 9 n. 1 (2013): Estudos Métricos da Informação em Ciência e Tecnologia 1808-3536 reponame:Liinc em Revista instname:Instituto Brasileiro de Informação Ciência e Tecnologia (IBICT) instacron:IBICT |
reponame_str |
Liinc em Revista |
collection |
Liinc em Revista |
instname_str |
Instituto Brasileiro de Informação Ciência e Tecnologia (IBICT) |
instacron_str |
IBICT |
institution |
IBICT |
repository.name.fl_str_mv |
Liinc em Revista - Instituto Brasileiro de Informação Ciência e Tecnologia (IBICT) |
repository.mail.fl_str_mv |
|
subject_por_txtF_mv |
Revisão por pares Confiabilidade Concordância entre revisores Coeficiente de correlação intraclasse Revisão por pares na aprendizagem |
_version_ |
1700924325239980032 |