Relação entre importância e vulnerabilidade de indicadores de produção científica
Autor(a) principal: | |
---|---|
Data de Publicação: | 2015 |
Tipo de documento: | Tese |
Idioma: | por |
Título da fonte: | Biblioteca Digital de Teses e Dissertações do UFSM |
Texto Completo: | http://repositorio.ufsm.br/handle/1/3550 |
Resumo: | The assessment of the scientific output of the proponent is part of the evaluation of research projects in public research funding agencies, such as the National Council of Scientific and Technological Development (CNPq). The standardized Lattes curriculum vitae is the source of information used by the Advisory Committees to analyze individual scientific production. Standardized indicators of productivity are used to evaluate the quantity and quality of the scientific output of a researcher. The increasing demand for research productivity fellowship (RPF) support without a corresponding increase in research budget revealed an issue that is the subject of this work. An increasing number of proponents fulfill, or even exceed, the minimum requirements of productivity indicators for RPF granting. However, the number of granted researchers does not increase due to budget restrictions, making the process more competitive. In this study we questioned both granted and non-granted RPF proponents how they perceived the relative importance and susceptibility of various indicators of scientific productivity of CV Lattes. In addition we asked for suggestions of new research productivity indicators and what should be changed in the current scenario of productivity indicators extracted from CV Lattes. The proponents demand ethics and integrity in the evaluation of research projects and that the merit of the research should be taken into account, in addition to quantitative curriculum information. The proponents considered the most important indicators the less susceptible to manipulation, such as publications and grants, but also other indicators, such as national and international awards. This study revealed a significant difference in the relative importance and susceptibility attributed to output indicators between RPF status and gender. Despite the observed differences, a list of consensual most important and least susceptible indicators was established. The most important and least susceptible indicators of scientific productivity were: number of M.Sc. and Ph.D. students advised, number of research projects funded by international research funding agency as principal investigator, number of research projects funded by national research funding agency as principal investigator, number of post-docs advised, number of research projects funded by state research funding agency as principal investigator, number of articles as corresponding author, number of articles in indexed journals, international award received, editorial board membership of indexed international journal, reviewer member of indexed international journal and speaker of international conference. Women attributed higher scores of importance to 36 out of 39 variables, and lower scores of susceptibility to 35 out of 39 variables than men. Though this study involves researchers from the biosciences, its results and conclusions may change the methodology used to classify scientific productivity fellowship granting in all areas of knowledge, since it involves the analysis of scientific productivity between applicants. |
id |
UFSM_76a793ddbb85ddd9fc5fcae74968ea07 |
---|---|
oai_identifier_str |
oai:repositorio.ufsm.br:1/3550 |
network_acronym_str |
UFSM |
network_name_str |
Biblioteca Digital de Teses e Dissertações do UFSM |
repository_id_str |
|
spelling |
2016-04-282016-04-282015-10-08OLIVEIRA, Alexandre Rodrigues de. IMPORTANCE AND SUSCEPTIBILITY OF SCIENTIFIC PRODUCTION INDICATORS. 2015. 124 f. Tese (Doutorado em Ciências Biológicas) - Universidade Federal de Santa Maria, Santa Maria, 2015.http://repositorio.ufsm.br/handle/1/3550The assessment of the scientific output of the proponent is part of the evaluation of research projects in public research funding agencies, such as the National Council of Scientific and Technological Development (CNPq). The standardized Lattes curriculum vitae is the source of information used by the Advisory Committees to analyze individual scientific production. Standardized indicators of productivity are used to evaluate the quantity and quality of the scientific output of a researcher. The increasing demand for research productivity fellowship (RPF) support without a corresponding increase in research budget revealed an issue that is the subject of this work. An increasing number of proponents fulfill, or even exceed, the minimum requirements of productivity indicators for RPF granting. However, the number of granted researchers does not increase due to budget restrictions, making the process more competitive. In this study we questioned both granted and non-granted RPF proponents how they perceived the relative importance and susceptibility of various indicators of scientific productivity of CV Lattes. In addition we asked for suggestions of new research productivity indicators and what should be changed in the current scenario of productivity indicators extracted from CV Lattes. The proponents demand ethics and integrity in the evaluation of research projects and that the merit of the research should be taken into account, in addition to quantitative curriculum information. The proponents considered the most important indicators the less susceptible to manipulation, such as publications and grants, but also other indicators, such as national and international awards. This study revealed a significant difference in the relative importance and susceptibility attributed to output indicators between RPF status and gender. Despite the observed differences, a list of consensual most important and least susceptible indicators was established. The most important and least susceptible indicators of scientific productivity were: number of M.Sc. and Ph.D. students advised, number of research projects funded by international research funding agency as principal investigator, number of research projects funded by national research funding agency as principal investigator, number of post-docs advised, number of research projects funded by state research funding agency as principal investigator, number of articles as corresponding author, number of articles in indexed journals, international award received, editorial board membership of indexed international journal, reviewer member of indexed international journal and speaker of international conference. Women attributed higher scores of importance to 36 out of 39 variables, and lower scores of susceptibility to 35 out of 39 variables than men. Though this study involves researchers from the biosciences, its results and conclusions may change the methodology used to classify scientific productivity fellowship granting in all areas of knowledge, since it involves the analysis of scientific productivity between applicants.A avaliação da produção científica de um pesquisador constitui valor decisivo no financiamento de projetos de pesquisa com recursos públicos oriundos de agências de fomento, definindo-se o Conselho Nacional de Desenvolvimento Científico e Tecnológico CNPq como foco deste estudo. Fundamentado nesse princípio, o CV Lattes do pesquisador é a fonte de informações pela qual o CNPq, por meio de seus Comitês de Assessoramento, analisa a produção científica individual dos proponentes com base em indicadores de produtividade padronizados. A crescente demanda por apoio a projetos de pesquisa e, principalmente, por bolsas de produtividade em pesquisa bolsas PQ , sem o correspondente aumento de recursos públicos necessários para contemplá-las integralmente, revelaram uma problemática que constitui o objeto de estudo desse trabalho. Observa-se número cada vez maior de pesquisadores que atendem, e até mesmo superam, os requisitos mínimos para a concessão de bolsas PQ. Assim, questionou-se aos pesquisadores das áreas de biociências, tanto bolsistas PQ como não bolsistas, como eles percebem a importância dos vários indicadores de produtividade científica do CV Lattes. Da mesma forma, buscou-se a opinião deles sobre a susceptibilidade destes indicadores à manipulação tendenciosa, apresentada a eles como sendo o superdimensionamento da produção do pesquisador com vistas a um benefício em uma análise competitiva entre os pares. Adicionalmente, foram solicitadas sugestões de novos indicadores e/ou reformulações dos atuais objetivando assim realizar análise qualitativa dessas sugestões sobre o que deveria ser modificado no atual cenário de indicadores de produtividade do CV Lattes. Nesse estudo, hipotetizou-se que a opinião sobre importância e susceptibilidade dos indicadores de produção científica muda em função do nível de bolsa PQ do requerente e que os indicadores mais importantes seriam aqueles considerados menos suscetíveis. Verificou-se que os pesquisadores demandam ética e integridade na avaliação de projetos de pesquisa e que seja valorizado o mérito da pesquisa e não apenas a quantificação das informações curriculares. Os resultados confirmam que os indicadores considerados mais importantes foram aqueles entendidos como menos suscetíveis à manipulação tendenciosa, que foram: orientação de mestrado e doutorado, coordenação de projetos de pesquisa financiados por agência de fomento internacional, coordenação de projetos de pesquisa financiados por agência de fomento nacional, supervisão de pós-doutorado, coordenação de projetos de pesquisa financiados por agência de fomento estadual, artigos publicados como autor correspondente, artigos publicados em periódicos indexados, prêmio internacional, membro de conselho editorial de periódico indexado internacional, revisor de periódico internacional e conferencista internacional. Figuraram entre eles os indicadores tradicionais, como publicações e orientações, e também indicadores pouco valorizados na avaliação da produção científica, como prêmios nacionais e internacionais. Mostrou-se que a magnitude de importância e suscetibilidade atribuída aos indicadores difere entre os bolsistas em seus diferentes níveis e os não bolsistas. O mesmo foi observado em relação ao gênero dos pesquisadores. Proponentes do sexo feminino atribuíram escores mais altos de importância e menores de susceptibilidade à maioria dos indicadores analisados. Mesmo que o foco deste estudo esteja nas opiniões dos pesquisadores das áreas de biociências, os resultados têm potencial de alterar a metodologia utilizada nas avaliações das concorrências para bolsas de produtividade científica, uma vez que o princípio para concessão de recursos à pesquisa está fundamentado na análise do mérito científico, geralmente atrelado ao nível de produtividade dos pesquisadores concorrentes.application/pdfporUniversidade Federal de Santa MariaPrograma de Pós-Graduação em Educação em Ciências: Química da Vida e SaúdeUFSMBRCiências BiológicasProdutividade em pesquisaProdução científicaIndicadores de produção científicaResearch productivityScientific productionScientific production indicatorsCNPQ::CIENCIAS BIOLOGICASRelação entre importância e vulnerabilidade de indicadores de produção científicaImportance and susceptibility of scientific production indicatorsinfo:eu-repo/semantics/publishedVersioninfo:eu-repo/semantics/doctoralThesisMello, Carlos Fernando dehttp://lattes.cnpq.br/3913887223894236Loreto, Elgion Lucio da Silvahttp://buscatextual.cnpq.br/buscatextual/visualizacv.do?id=K4785575A7Rocha, João Batista Teixeira dahttp://buscatextual.cnpq.br/buscatextual/visualizacv.do?id=K4782281H2Teixeira, Maria do Rocio Fontourahttp://lattes.cnpq.br/6975295280564336Roos, Daniel Henriquehttp://buscatextual.cnpq.br/buscatextual/visualizacv.do?id=K4710781H2http://lattes.cnpq.br/3772544840924344Oliveira, Alexandre Rodrigues de20000000000640030030050030030030082e537b0-4a43-400e-9f82-0cd91952adea03639730-0267-471e-96d0-3c0cdf473f1f51e64840-2115-48e5-a1ae-149b2103bd04287bb0df-2738-40f7-8e03-0d36bf19a9825fc5c335-36e5-4f44-8704-7f8f416c068ebe191769-4f1d-4a86-b00a-b572365d457ainfo:eu-repo/semantics/openAccessreponame:Biblioteca Digital de Teses e Dissertações do UFSMinstname:Universidade Federal de Santa Maria (UFSM)instacron:UFSMORIGINALOLIVEIRA, ALEXANDRE RODRIGUES DE.pdfapplication/pdf16191059http://repositorio.ufsm.br/bitstream/1/3550/1/OLIVEIRA%2c%20ALEXANDRE%20RODRIGUES%20DE.pdf09f8773adbf264e9baccd2e41ab8f05eMD51TEXTOLIVEIRA, ALEXANDRE RODRIGUES DE.pdf.txtOLIVEIRA, ALEXANDRE RODRIGUES DE.pdf.txtExtracted texttext/plain173824http://repositorio.ufsm.br/bitstream/1/3550/2/OLIVEIRA%2c%20ALEXANDRE%20RODRIGUES%20DE.pdf.txt0ceb20dca4834beb0c0426f439afef05MD52THUMBNAILOLIVEIRA, ALEXANDRE RODRIGUES DE.pdf.jpgOLIVEIRA, ALEXANDRE RODRIGUES DE.pdf.jpgIM Thumbnailimage/jpeg5080http://repositorio.ufsm.br/bitstream/1/3550/3/OLIVEIRA%2c%20ALEXANDRE%20RODRIGUES%20DE.pdf.jpg7abe95baf81eafe529735cd3a8f0a1b7MD531/35502021-09-23 11:04:26.299oai:repositorio.ufsm.br:1/3550Biblioteca Digital de Teses e Dissertaçõeshttps://repositorio.ufsm.br/ONGhttps://repositorio.ufsm.br/oai/requestatendimento.sib@ufsm.br||tedebc@gmail.comopendoar:2021-09-23T14:04:26Biblioteca Digital de Teses e Dissertações do UFSM - Universidade Federal de Santa Maria (UFSM)false |
dc.title.por.fl_str_mv |
Relação entre importância e vulnerabilidade de indicadores de produção científica |
dc.title.alternative.eng.fl_str_mv |
Importance and susceptibility of scientific production indicators |
title |
Relação entre importância e vulnerabilidade de indicadores de produção científica |
spellingShingle |
Relação entre importância e vulnerabilidade de indicadores de produção científica Oliveira, Alexandre Rodrigues de Produtividade em pesquisa Produção científica Indicadores de produção científica Research productivity Scientific production Scientific production indicators CNPQ::CIENCIAS BIOLOGICAS |
title_short |
Relação entre importância e vulnerabilidade de indicadores de produção científica |
title_full |
Relação entre importância e vulnerabilidade de indicadores de produção científica |
title_fullStr |
Relação entre importância e vulnerabilidade de indicadores de produção científica |
title_full_unstemmed |
Relação entre importância e vulnerabilidade de indicadores de produção científica |
title_sort |
Relação entre importância e vulnerabilidade de indicadores de produção científica |
author |
Oliveira, Alexandre Rodrigues de |
author_facet |
Oliveira, Alexandre Rodrigues de |
author_role |
author |
dc.contributor.advisor1.fl_str_mv |
Mello, Carlos Fernando de |
dc.contributor.advisor1Lattes.fl_str_mv |
http://lattes.cnpq.br/3913887223894236 |
dc.contributor.referee1.fl_str_mv |
Loreto, Elgion Lucio da Silva |
dc.contributor.referee1Lattes.fl_str_mv |
http://buscatextual.cnpq.br/buscatextual/visualizacv.do?id=K4785575A7 |
dc.contributor.referee2.fl_str_mv |
Rocha, João Batista Teixeira da |
dc.contributor.referee2Lattes.fl_str_mv |
http://buscatextual.cnpq.br/buscatextual/visualizacv.do?id=K4782281H2 |
dc.contributor.referee3.fl_str_mv |
Teixeira, Maria do Rocio Fontoura |
dc.contributor.referee3Lattes.fl_str_mv |
http://lattes.cnpq.br/6975295280564336 |
dc.contributor.referee4.fl_str_mv |
Roos, Daniel Henrique |
dc.contributor.referee4Lattes.fl_str_mv |
http://buscatextual.cnpq.br/buscatextual/visualizacv.do?id=K4710781H2 |
dc.contributor.authorLattes.fl_str_mv |
http://lattes.cnpq.br/3772544840924344 |
dc.contributor.author.fl_str_mv |
Oliveira, Alexandre Rodrigues de |
contributor_str_mv |
Mello, Carlos Fernando de Loreto, Elgion Lucio da Silva Rocha, João Batista Teixeira da Teixeira, Maria do Rocio Fontoura Roos, Daniel Henrique |
dc.subject.por.fl_str_mv |
Produtividade em pesquisa Produção científica Indicadores de produção científica |
topic |
Produtividade em pesquisa Produção científica Indicadores de produção científica Research productivity Scientific production Scientific production indicators CNPQ::CIENCIAS BIOLOGICAS |
dc.subject.eng.fl_str_mv |
Research productivity Scientific production Scientific production indicators |
dc.subject.cnpq.fl_str_mv |
CNPQ::CIENCIAS BIOLOGICAS |
description |
The assessment of the scientific output of the proponent is part of the evaluation of research projects in public research funding agencies, such as the National Council of Scientific and Technological Development (CNPq). The standardized Lattes curriculum vitae is the source of information used by the Advisory Committees to analyze individual scientific production. Standardized indicators of productivity are used to evaluate the quantity and quality of the scientific output of a researcher. The increasing demand for research productivity fellowship (RPF) support without a corresponding increase in research budget revealed an issue that is the subject of this work. An increasing number of proponents fulfill, or even exceed, the minimum requirements of productivity indicators for RPF granting. However, the number of granted researchers does not increase due to budget restrictions, making the process more competitive. In this study we questioned both granted and non-granted RPF proponents how they perceived the relative importance and susceptibility of various indicators of scientific productivity of CV Lattes. In addition we asked for suggestions of new research productivity indicators and what should be changed in the current scenario of productivity indicators extracted from CV Lattes. The proponents demand ethics and integrity in the evaluation of research projects and that the merit of the research should be taken into account, in addition to quantitative curriculum information. The proponents considered the most important indicators the less susceptible to manipulation, such as publications and grants, but also other indicators, such as national and international awards. This study revealed a significant difference in the relative importance and susceptibility attributed to output indicators between RPF status and gender. Despite the observed differences, a list of consensual most important and least susceptible indicators was established. The most important and least susceptible indicators of scientific productivity were: number of M.Sc. and Ph.D. students advised, number of research projects funded by international research funding agency as principal investigator, number of research projects funded by national research funding agency as principal investigator, number of post-docs advised, number of research projects funded by state research funding agency as principal investigator, number of articles as corresponding author, number of articles in indexed journals, international award received, editorial board membership of indexed international journal, reviewer member of indexed international journal and speaker of international conference. Women attributed higher scores of importance to 36 out of 39 variables, and lower scores of susceptibility to 35 out of 39 variables than men. Though this study involves researchers from the biosciences, its results and conclusions may change the methodology used to classify scientific productivity fellowship granting in all areas of knowledge, since it involves the analysis of scientific productivity between applicants. |
publishDate |
2015 |
dc.date.issued.fl_str_mv |
2015-10-08 |
dc.date.accessioned.fl_str_mv |
2016-04-28 |
dc.date.available.fl_str_mv |
2016-04-28 |
dc.type.status.fl_str_mv |
info:eu-repo/semantics/publishedVersion |
dc.type.driver.fl_str_mv |
info:eu-repo/semantics/doctoralThesis |
format |
doctoralThesis |
status_str |
publishedVersion |
dc.identifier.citation.fl_str_mv |
OLIVEIRA, Alexandre Rodrigues de. IMPORTANCE AND SUSCEPTIBILITY OF SCIENTIFIC PRODUCTION INDICATORS. 2015. 124 f. Tese (Doutorado em Ciências Biológicas) - Universidade Federal de Santa Maria, Santa Maria, 2015. |
dc.identifier.uri.fl_str_mv |
http://repositorio.ufsm.br/handle/1/3550 |
identifier_str_mv |
OLIVEIRA, Alexandre Rodrigues de. IMPORTANCE AND SUSCEPTIBILITY OF SCIENTIFIC PRODUCTION INDICATORS. 2015. 124 f. Tese (Doutorado em Ciências Biológicas) - Universidade Federal de Santa Maria, Santa Maria, 2015. |
url |
http://repositorio.ufsm.br/handle/1/3550 |
dc.language.iso.fl_str_mv |
por |
language |
por |
dc.relation.cnpq.fl_str_mv |
200000000006 |
dc.relation.confidence.fl_str_mv |
400 300 300 500 300 300 300 |
dc.relation.authority.fl_str_mv |
82e537b0-4a43-400e-9f82-0cd91952adea 03639730-0267-471e-96d0-3c0cdf473f1f 51e64840-2115-48e5-a1ae-149b2103bd04 287bb0df-2738-40f7-8e03-0d36bf19a982 5fc5c335-36e5-4f44-8704-7f8f416c068e be191769-4f1d-4a86-b00a-b572365d457a |
dc.rights.driver.fl_str_mv |
info:eu-repo/semantics/openAccess |
eu_rights_str_mv |
openAccess |
dc.format.none.fl_str_mv |
application/pdf |
dc.publisher.none.fl_str_mv |
Universidade Federal de Santa Maria |
dc.publisher.program.fl_str_mv |
Programa de Pós-Graduação em Educação em Ciências: Química da Vida e Saúde |
dc.publisher.initials.fl_str_mv |
UFSM |
dc.publisher.country.fl_str_mv |
BR |
dc.publisher.department.fl_str_mv |
Ciências Biológicas |
publisher.none.fl_str_mv |
Universidade Federal de Santa Maria |
dc.source.none.fl_str_mv |
reponame:Biblioteca Digital de Teses e Dissertações do UFSM instname:Universidade Federal de Santa Maria (UFSM) instacron:UFSM |
instname_str |
Universidade Federal de Santa Maria (UFSM) |
instacron_str |
UFSM |
institution |
UFSM |
reponame_str |
Biblioteca Digital de Teses e Dissertações do UFSM |
collection |
Biblioteca Digital de Teses e Dissertações do UFSM |
bitstream.url.fl_str_mv |
http://repositorio.ufsm.br/bitstream/1/3550/1/OLIVEIRA%2c%20ALEXANDRE%20RODRIGUES%20DE.pdf http://repositorio.ufsm.br/bitstream/1/3550/2/OLIVEIRA%2c%20ALEXANDRE%20RODRIGUES%20DE.pdf.txt http://repositorio.ufsm.br/bitstream/1/3550/3/OLIVEIRA%2c%20ALEXANDRE%20RODRIGUES%20DE.pdf.jpg |
bitstream.checksum.fl_str_mv |
09f8773adbf264e9baccd2e41ab8f05e 0ceb20dca4834beb0c0426f439afef05 7abe95baf81eafe529735cd3a8f0a1b7 |
bitstream.checksumAlgorithm.fl_str_mv |
MD5 MD5 MD5 |
repository.name.fl_str_mv |
Biblioteca Digital de Teses e Dissertações do UFSM - Universidade Federal de Santa Maria (UFSM) |
repository.mail.fl_str_mv |
atendimento.sib@ufsm.br||tedebc@gmail.com |
_version_ |
1791086181704794112 |