Using Item Response Theory to evaluate the psychometric characteristics of questions in a brazilian programme and the performance of dental teams in primary care
Autor(a) principal: | |
---|---|
Data de Publicação: | 2019 |
Outros Autores: | , , , , , |
Tipo de documento: | Artigo |
Idioma: | eng |
Título da fonte: | Repositório Institucional da UFMG |
Texto Completo: | https://doi.org/10.1371/journal.pone.0217249 http://hdl.handle.net/1843/58420 https://orcid.org/0000-0002-7490-1341 https://orcid.org/0000-0003-1617-9351 https://orcid.org/0000-0001-5068-8008 https://orcid.org/0000-0001-8794-5725 |
Resumo: | Objetivos: Primeiro, avaliar as propriedades psicométricas de questões-chave incluídas em uma avaliação do setor público sobre atenção odontológica primária no Brasil; e segundo, avaliar o desempenho das equipes odontológicas em relação a esses itens.Métodos: Análise secundária de um conjunto nacional de dados de atenção primária monitorando a qualidade e o acesso à assistência odontológica. Os dados foram recolhidos através de entrevistas presenciais com representantes das equipas dentárias participantes no ‘Programa Nacional de Melhoria do Acesso e da Qualidade dos Cuidados Básicos’. Vinte e três questões obrigatórias sobre a realização de procedimentos odontológicos relatadas pelos dentistas foram incluídas na análise. A modelagem da Teoria de Resposta ao Item (TRI) foi aplicada para medir as propriedades psicométricas do instrumento – nível de dificuldade e parâmetro de discriminação de cada item – e depois estimar os escores de desempenho da equipe odontológica com base nesses parâmetros. Com base na TRI, as pontuações possíveis variaram de -4 a +4. Resultados: Três dos 23 itens obrigatórios foram removidos devido à baixa consistência interna, resultando em uma escala de 20 itens para avaliação do desempenho da equipe odontológica. Os resultados mostraram variação nos procedimentos realizados pelas equipes odontológicas; enquanto mais da metade dos procedimentos foram realizados por pelo menos 80% das equipes odontológicas, os relativos a próteses totais (parciais/totais) e frenectomias (linguais/labiais) foram realizados por menos de 30%. Entre os 20 itens incluídos no modelo, aqueles relacionados às próteses parciais/totais e ao acompanhamento do câncer bucal apresentaram maiores níveis de dificuldade e foram fornecidos com menor frequência. Os itens relativos ao tratamento de dentes decíduos e acesso à polpa dentária de dentes permanentes tiveram os maiores parâmetros de discriminação e, consequentemente, maior peso na estimativa da pontuação de desempenho; portanto, as equipes odontológicas que não realizaram esses itens tiveram as menores pontuações de desempenho. No presente estudo, as pontuações de desempenho da equipe odontológica variaram de -3,66 a +1,87 com média/mediana de -0,06/+0,01. Conclusão: Os resultados sugerem que, embora os itens do instrumento demonstrassem algum potencial para discriminar entre equipas fracas e muito fracas, foram ineficazes na discriminação entre equipas fracas e boas. Embora as equipes odontológicas brasileiras realizem muitos procedimentos obrigatórios, a variação na natureza da prestação de cuidados requer mais investigação para melhorar a prestação de serviços à população. |
id |
UFMG_0da21075fd6d5bea87416aa4c00341ad |
---|---|
oai_identifier_str |
oai:repositorio.ufmg.br:1843/58420 |
network_acronym_str |
UFMG |
network_name_str |
Repositório Institucional da UFMG |
repository_id_str |
|
spelling |
Using Item Response Theory to evaluate the psychometric characteristics of questions in a brazilian programme and the performance of dental teams in primary careUtilização da Teoria de Resposta ao Item para avaliar as características psicométricas de questões de um programa brasileiro e o desempenho de equipes odontológicas na atenção básicaItem Response TheoryDental teamsPrimary careTeoria de resposta ao itemEquipe de saúde bucalAtenção primária à saúdeObjetivos: Primeiro, avaliar as propriedades psicométricas de questões-chave incluídas em uma avaliação do setor público sobre atenção odontológica primária no Brasil; e segundo, avaliar o desempenho das equipes odontológicas em relação a esses itens.Métodos: Análise secundária de um conjunto nacional de dados de atenção primária monitorando a qualidade e o acesso à assistência odontológica. Os dados foram recolhidos através de entrevistas presenciais com representantes das equipas dentárias participantes no ‘Programa Nacional de Melhoria do Acesso e da Qualidade dos Cuidados Básicos’. Vinte e três questões obrigatórias sobre a realização de procedimentos odontológicos relatadas pelos dentistas foram incluídas na análise. A modelagem da Teoria de Resposta ao Item (TRI) foi aplicada para medir as propriedades psicométricas do instrumento – nível de dificuldade e parâmetro de discriminação de cada item – e depois estimar os escores de desempenho da equipe odontológica com base nesses parâmetros. Com base na TRI, as pontuações possíveis variaram de -4 a +4. Resultados: Três dos 23 itens obrigatórios foram removidos devido à baixa consistência interna, resultando em uma escala de 20 itens para avaliação do desempenho da equipe odontológica. Os resultados mostraram variação nos procedimentos realizados pelas equipes odontológicas; enquanto mais da metade dos procedimentos foram realizados por pelo menos 80% das equipes odontológicas, os relativos a próteses totais (parciais/totais) e frenectomias (linguais/labiais) foram realizados por menos de 30%. Entre os 20 itens incluídos no modelo, aqueles relacionados às próteses parciais/totais e ao acompanhamento do câncer bucal apresentaram maiores níveis de dificuldade e foram fornecidos com menor frequência. Os itens relativos ao tratamento de dentes decíduos e acesso à polpa dentária de dentes permanentes tiveram os maiores parâmetros de discriminação e, consequentemente, maior peso na estimativa da pontuação de desempenho; portanto, as equipes odontológicas que não realizaram esses itens tiveram as menores pontuações de desempenho. No presente estudo, as pontuações de desempenho da equipe odontológica variaram de -3,66 a +1,87 com média/mediana de -0,06/+0,01. Conclusão: Os resultados sugerem que, embora os itens do instrumento demonstrassem algum potencial para discriminar entre equipas fracas e muito fracas, foram ineficazes na discriminação entre equipas fracas e boas. Embora as equipes odontológicas brasileiras realizem muitos procedimentos obrigatórios, a variação na natureza da prestação de cuidados requer mais investigação para melhorar a prestação de serviços à população.Objectives: First, to assess the psychometric properties of key questions included in a public sector evaluation of primary dental care in Brazil; and second, to evaluate the performance of dental teams in relation to these items.Methods: Secondary analysis of a national primary care dataset monitoring quality and access to dental care. Data were collected through face-to-face interviews with representatives of dental teams participating in the ‘National Programme for Improving Access and Quality of Primary Care’. Twenty-three mandatory questions about the dentists’ reported delivery of dental procedures were included in the analysis. Item Response Theory (IRT) modelling was applied to measure the psychometric properties of the instrument—level of difficulty and discrimination parameter of each item—and then to estimate dental team performance scores based on these parameters. Based on IRT, possible scores ranged from -4 to +4. Results: Three of the 23 mandatory items were removed due to poor internal consistency, resulting in a scale of 20 items for assessing dental team performance. The results showed variation in procedures delivered by the dental teams; whilst more than a half of the procedures were executed by at least 80% of the dental teams, those relating to dentures (partial/total) and frenectomy (lingual/labial) were performed by less than 30%. Amongst the 20 items included in the model, those related to partial/total dentures and oral cancer follow-up presented higher levels of difficulty and were less frequently provided. The items relating to the treatment of deciduous teeth and access to the dental pulp of permanent teeth had the highest discrimination parameters and, consequently, greater weight in the performance’s score estimation; therefore, dental teams that did not perform these items had the lowest performance scores. In the present study, dental team performance scores ranged from -3.66 to +1.87 with a mean/median of -0.06/+0.01. Conclusion: The findings suggest that whilst the items within the instrument demonstrated some potential to discriminate between poor and very poor teams, they were ineffective in discriminating between poor and good teams. Whilst Brazilian dental teams perform many mandatory procedures, variation in the nature of their delivery of care requires further investigation to enhance service provision to the population.CNPq - Conselho Nacional de Desenvolvimento Científico e TecnológicoFAPEMIG - Fundação de Amparo à Pesquisa do Estado de Minas GeraisCAPES - Coordenação de Aperfeiçoamento de Pessoal de Nível SuperiorUniversidade Federal de Minas GeraisBrasilFAO - DEPARTAMENTO DE ODONTOLOGIA SOCIAL E PREVENTIVAMED - DEPARTAMENTO DE MEDICINA PREVENTIVA SOCIALUFMG2023-09-04T20:17:16Z2023-09-04T20:17:16Z2019info:eu-repo/semantics/publishedVersioninfo:eu-repo/semantics/articlepdfapplication/pdfhttps://doi.org/10.1371/journal.pone.02172491932-6203http://hdl.handle.net/1843/58420https://orcid.org/0000-0002-7490-1341https://orcid.org/0000-0003-1617-9351https://orcid.org/0000-0001-5068-8008https://orcid.org/0000-0001-8794-5725engPLoS ONESuellen da Rocha MendesRenata de Castro MartinsJuliana Vaz de Melo MambriniAntonio Thomaz Gonzaga da Matta MachadoGrazielle Christine Maciel MattosJennifer Elizabeth GallagherMauro Henrique Nogueira Guimarães de Abreuinfo:eu-repo/semantics/openAccessreponame:Repositório Institucional da UFMGinstname:Universidade Federal de Minas Gerais (UFMG)instacron:UFMG2023-09-04T20:17:17Zoai:repositorio.ufmg.br:1843/58420Repositório InstitucionalPUBhttps://repositorio.ufmg.br/oairepositorio@ufmg.bropendoar:2023-09-04T20:17:17Repositório Institucional da UFMG - Universidade Federal de Minas Gerais (UFMG)false |
dc.title.none.fl_str_mv |
Using Item Response Theory to evaluate the psychometric characteristics of questions in a brazilian programme and the performance of dental teams in primary care Utilização da Teoria de Resposta ao Item para avaliar as características psicométricas de questões de um programa brasileiro e o desempenho de equipes odontológicas na atenção básica |
title |
Using Item Response Theory to evaluate the psychometric characteristics of questions in a brazilian programme and the performance of dental teams in primary care |
spellingShingle |
Using Item Response Theory to evaluate the psychometric characteristics of questions in a brazilian programme and the performance of dental teams in primary care Suellen da Rocha Mendes Item Response Theory Dental teams Primary care Teoria de resposta ao item Equipe de saúde bucal Atenção primária à saúde |
title_short |
Using Item Response Theory to evaluate the psychometric characteristics of questions in a brazilian programme and the performance of dental teams in primary care |
title_full |
Using Item Response Theory to evaluate the psychometric characteristics of questions in a brazilian programme and the performance of dental teams in primary care |
title_fullStr |
Using Item Response Theory to evaluate the psychometric characteristics of questions in a brazilian programme and the performance of dental teams in primary care |
title_full_unstemmed |
Using Item Response Theory to evaluate the psychometric characteristics of questions in a brazilian programme and the performance of dental teams in primary care |
title_sort |
Using Item Response Theory to evaluate the psychometric characteristics of questions in a brazilian programme and the performance of dental teams in primary care |
author |
Suellen da Rocha Mendes |
author_facet |
Suellen da Rocha Mendes Renata de Castro Martins Juliana Vaz de Melo Mambrini Antonio Thomaz Gonzaga da Matta Machado Grazielle Christine Maciel Mattos Jennifer Elizabeth Gallagher Mauro Henrique Nogueira Guimarães de Abreu |
author_role |
author |
author2 |
Renata de Castro Martins Juliana Vaz de Melo Mambrini Antonio Thomaz Gonzaga da Matta Machado Grazielle Christine Maciel Mattos Jennifer Elizabeth Gallagher Mauro Henrique Nogueira Guimarães de Abreu |
author2_role |
author author author author author author |
dc.contributor.author.fl_str_mv |
Suellen da Rocha Mendes Renata de Castro Martins Juliana Vaz de Melo Mambrini Antonio Thomaz Gonzaga da Matta Machado Grazielle Christine Maciel Mattos Jennifer Elizabeth Gallagher Mauro Henrique Nogueira Guimarães de Abreu |
dc.subject.por.fl_str_mv |
Item Response Theory Dental teams Primary care Teoria de resposta ao item Equipe de saúde bucal Atenção primária à saúde |
topic |
Item Response Theory Dental teams Primary care Teoria de resposta ao item Equipe de saúde bucal Atenção primária à saúde |
description |
Objetivos: Primeiro, avaliar as propriedades psicométricas de questões-chave incluídas em uma avaliação do setor público sobre atenção odontológica primária no Brasil; e segundo, avaliar o desempenho das equipes odontológicas em relação a esses itens.Métodos: Análise secundária de um conjunto nacional de dados de atenção primária monitorando a qualidade e o acesso à assistência odontológica. Os dados foram recolhidos através de entrevistas presenciais com representantes das equipas dentárias participantes no ‘Programa Nacional de Melhoria do Acesso e da Qualidade dos Cuidados Básicos’. Vinte e três questões obrigatórias sobre a realização de procedimentos odontológicos relatadas pelos dentistas foram incluídas na análise. A modelagem da Teoria de Resposta ao Item (TRI) foi aplicada para medir as propriedades psicométricas do instrumento – nível de dificuldade e parâmetro de discriminação de cada item – e depois estimar os escores de desempenho da equipe odontológica com base nesses parâmetros. Com base na TRI, as pontuações possíveis variaram de -4 a +4. Resultados: Três dos 23 itens obrigatórios foram removidos devido à baixa consistência interna, resultando em uma escala de 20 itens para avaliação do desempenho da equipe odontológica. Os resultados mostraram variação nos procedimentos realizados pelas equipes odontológicas; enquanto mais da metade dos procedimentos foram realizados por pelo menos 80% das equipes odontológicas, os relativos a próteses totais (parciais/totais) e frenectomias (linguais/labiais) foram realizados por menos de 30%. Entre os 20 itens incluídos no modelo, aqueles relacionados às próteses parciais/totais e ao acompanhamento do câncer bucal apresentaram maiores níveis de dificuldade e foram fornecidos com menor frequência. Os itens relativos ao tratamento de dentes decíduos e acesso à polpa dentária de dentes permanentes tiveram os maiores parâmetros de discriminação e, consequentemente, maior peso na estimativa da pontuação de desempenho; portanto, as equipes odontológicas que não realizaram esses itens tiveram as menores pontuações de desempenho. No presente estudo, as pontuações de desempenho da equipe odontológica variaram de -3,66 a +1,87 com média/mediana de -0,06/+0,01. Conclusão: Os resultados sugerem que, embora os itens do instrumento demonstrassem algum potencial para discriminar entre equipas fracas e muito fracas, foram ineficazes na discriminação entre equipas fracas e boas. Embora as equipes odontológicas brasileiras realizem muitos procedimentos obrigatórios, a variação na natureza da prestação de cuidados requer mais investigação para melhorar a prestação de serviços à população. |
publishDate |
2019 |
dc.date.none.fl_str_mv |
2019 2023-09-04T20:17:16Z 2023-09-04T20:17:16Z |
dc.type.status.fl_str_mv |
info:eu-repo/semantics/publishedVersion |
dc.type.driver.fl_str_mv |
info:eu-repo/semantics/article |
format |
article |
status_str |
publishedVersion |
dc.identifier.uri.fl_str_mv |
https://doi.org/10.1371/journal.pone.0217249 1932-6203 http://hdl.handle.net/1843/58420 https://orcid.org/0000-0002-7490-1341 https://orcid.org/0000-0003-1617-9351 https://orcid.org/0000-0001-5068-8008 https://orcid.org/0000-0001-8794-5725 |
url |
https://doi.org/10.1371/journal.pone.0217249 http://hdl.handle.net/1843/58420 https://orcid.org/0000-0002-7490-1341 https://orcid.org/0000-0003-1617-9351 https://orcid.org/0000-0001-5068-8008 https://orcid.org/0000-0001-8794-5725 |
identifier_str_mv |
1932-6203 |
dc.language.iso.fl_str_mv |
eng |
language |
eng |
dc.relation.none.fl_str_mv |
PLoS ONE |
dc.rights.driver.fl_str_mv |
info:eu-repo/semantics/openAccess |
eu_rights_str_mv |
openAccess |
dc.format.none.fl_str_mv |
pdf application/pdf |
dc.publisher.none.fl_str_mv |
Universidade Federal de Minas Gerais Brasil FAO - DEPARTAMENTO DE ODONTOLOGIA SOCIAL E PREVENTIVA MED - DEPARTAMENTO DE MEDICINA PREVENTIVA SOCIAL UFMG |
publisher.none.fl_str_mv |
Universidade Federal de Minas Gerais Brasil FAO - DEPARTAMENTO DE ODONTOLOGIA SOCIAL E PREVENTIVA MED - DEPARTAMENTO DE MEDICINA PREVENTIVA SOCIAL UFMG |
dc.source.none.fl_str_mv |
reponame:Repositório Institucional da UFMG instname:Universidade Federal de Minas Gerais (UFMG) instacron:UFMG |
instname_str |
Universidade Federal de Minas Gerais (UFMG) |
instacron_str |
UFMG |
institution |
UFMG |
reponame_str |
Repositório Institucional da UFMG |
collection |
Repositório Institucional da UFMG |
repository.name.fl_str_mv |
Repositório Institucional da UFMG - Universidade Federal de Minas Gerais (UFMG) |
repository.mail.fl_str_mv |
repositorio@ufmg.br |
_version_ |
1823247946665164800 |