Estudo de fidedignidade e evidências de validade para o Rorschach - Performance Assessment System (R-PAS) em uma amostra de adolescentes pacientes e não pacientes

Detalhes bibliográficos
Autor(a) principal: Schneider, Andréia Mello de Almeida
Data de Publicação: 2019
Tipo de documento: Tese
Idioma: por
Título da fonte: Biblioteca Digital de Teses e Dissertações da UFRGS
Texto Completo: http://hdl.handle.net/10183/219195
Resumo: O objetivo desta pesquisa foi verificar a precisão por avaliadores e estabilidade temporal de 60 variáveis em nível de protocolo do Rorschach - Performance Assessment System (R-PAS; traduzido como Sistema de Avaliação por Desempenho), assim como buscar evidências de validade com base em variáveis externas para algumas variáveis do R-PAS para a avaliação de adolescentes. O R-PAS é um instrumento baseado na performance típica do avaliado em que o foco interpretativo é a personalidade em ação, ou seja, por meio de uma amostra de comportamentos é possível observar características como engajamento e processamento cognitivo, problemas de percepção e pensamento, vivências de desconforto afetivo, bem como representação de si e de outros. A fim de atender aos objetivos propostos, foram conduzidos três estudos. O primeiro analisou a precisão entre avaliadores em uma amostra de 89 adolescentes gaúchos (55,1% meninas) com idade média de 13,2 anos (DP = 1,01). Foi encontrada uma concordância média excelente (ICC = 0,89; DP = 0,09) para as 60 variáveis no nível de protocolo, que são foco de interpretação. Foi observada maior precisão para variáveis comumente codificadas (M = 0,87) em oposição a variáveis raras ou pouco frequentes (M = 0,78). Comparando os resultados de cada uma das variáveis com outros três estudos recentes, a maioria das variáveis apresentou baixa variabilidade, sugerindo que para essas existem diretrizes bem definidas de codificação. Variáveis com maior variabilidade entre os estudos indicaram menor concordância e para essas seria desejável parâmetros mais detalhados de codificação. O segundo estudo, que analisou a estabilidade temporal das 60 variáveis no nível do protocolo, utilizou uma amostra de 65 adolescentes do Rio Grande do Sul (55,4% meninos) com média de idade de 13,37 (DP = 1,07). Eles foram avaliados duas vezes com intervalo médio de 20 dias (DP = 8,6). Para análise foram empregados o Índice de Correlação Intraclasse (ICC - Consistency), t de Student e d de Cohen. O nível geral médio de estabilidade ficou abaixo do desejado (ICC = 0,48; DP = 0,22). As médias da primeira avaliação (T1) e do reteste (T2) apresentaram diferenças estatisticamente significantes para sete variáveis (11,7%). Maior variabilidade entre T1 e T2 foi encontrada para as variáveis número de respostas (d = 0,55) e Complexidade (d = 0,54). O terceiro e último estudo, que buscou evidências de validade para algumas variáveis do R-PAS utilizando como critério os três principais escores da Escala Wechsler Abreviada de Inteligência (WASI): o QI total (QIT-4), o QI verbal e o QI de execução, em uma amostra de 158 adolescentes (MAge = 13,20, DP = 1,07; 54.4% meninos) do sul do Brasil. As variáveis do R-PAS foram selecionadas a partir de uma série de estudos prévios que analisaram possíveis associações com habilidades cognitivas em adolescentes, assim como estudos que avaliaram outros aspectos que pudessem estar relacionados com a adolescência como, por exemplo, idade e anos de estudo. A variável Complexidade e seus três subcomponentes (Complexidade da Localização, Espaço e Objeto; Complexidade do Conteúdo e Complexidade dos Determinantes) apresentaram correlação positiva com os três escores da WASI, variando de r = .18 para Complexidade de Conteúdo e QI de execução até .30 para Complexidade e QI total. A maioria das variáveis pertencentes aos subcomponentes da Complexidade apresentaram correlações consistentes, sendo que aquelas que pertencem à Complexidade dos Determinantes apresentaram maior número de correlações significativas. Contudo, algumas variáveis do R-PAS que foram selecionadas para análise não apresentaram correlações com as variáveis critério conforme esperado. As variáveis do R-PAS selecionadas para validade discriminante não foram correlacionadas com os escores da WASI. As diferenças entre um teste de performance máxima e típica são discutidas. No geral, os resultados indicam excelente confiabilidade entre avaliadores para a maioria dos códigos e apresentam bases sólidas para futuras pesquisas sobre confiabilidade entre avaliadores com o R-PAS. Já a estabilidade foi adequada para algumas variáveis, mas para outras foi limitada ou até inexistente. Os efeitos do examinador, o envolvimento dos adolescentes durante o reteste e o tamanho da amostra são discutidos como influência nos resultados. O estudo de evidências de validade indica que a magnitude das correlações, apesar de terem ficado abaixo do esperando em comparação a estudos anteriores, os resultados sugerem que o R-PAS é útil para avaliar as habilidades cognitivas em um contexto mais amplo do que apenas investigar a inteligência e contribui para a compreensão dos recursos cognitivos associados à produção de respostas. Os estudos de precisão e validade mostraram que, de modo geral, o R-PAS apresenta boas características psicométricas e são adequados para utilização clínica com adolescentes.
id URGS_9e05cbb0b2d7ee648424351408693441
oai_identifier_str oai:www.lume.ufrgs.br:10183/219195
network_acronym_str URGS
network_name_str Biblioteca Digital de Teses e Dissertações da UFRGS
repository_id_str 1853
spelling Schneider, Andréia Mello de AlmeidaBandeira, Denise RuschelMeyer, Gregory J.2021-03-23T04:22:41Z2019http://hdl.handle.net/10183/219195001123703O objetivo desta pesquisa foi verificar a precisão por avaliadores e estabilidade temporal de 60 variáveis em nível de protocolo do Rorschach - Performance Assessment System (R-PAS; traduzido como Sistema de Avaliação por Desempenho), assim como buscar evidências de validade com base em variáveis externas para algumas variáveis do R-PAS para a avaliação de adolescentes. O R-PAS é um instrumento baseado na performance típica do avaliado em que o foco interpretativo é a personalidade em ação, ou seja, por meio de uma amostra de comportamentos é possível observar características como engajamento e processamento cognitivo, problemas de percepção e pensamento, vivências de desconforto afetivo, bem como representação de si e de outros. A fim de atender aos objetivos propostos, foram conduzidos três estudos. O primeiro analisou a precisão entre avaliadores em uma amostra de 89 adolescentes gaúchos (55,1% meninas) com idade média de 13,2 anos (DP = 1,01). Foi encontrada uma concordância média excelente (ICC = 0,89; DP = 0,09) para as 60 variáveis no nível de protocolo, que são foco de interpretação. Foi observada maior precisão para variáveis comumente codificadas (M = 0,87) em oposição a variáveis raras ou pouco frequentes (M = 0,78). Comparando os resultados de cada uma das variáveis com outros três estudos recentes, a maioria das variáveis apresentou baixa variabilidade, sugerindo que para essas existem diretrizes bem definidas de codificação. Variáveis com maior variabilidade entre os estudos indicaram menor concordância e para essas seria desejável parâmetros mais detalhados de codificação. O segundo estudo, que analisou a estabilidade temporal das 60 variáveis no nível do protocolo, utilizou uma amostra de 65 adolescentes do Rio Grande do Sul (55,4% meninos) com média de idade de 13,37 (DP = 1,07). Eles foram avaliados duas vezes com intervalo médio de 20 dias (DP = 8,6). Para análise foram empregados o Índice de Correlação Intraclasse (ICC - Consistency), t de Student e d de Cohen. O nível geral médio de estabilidade ficou abaixo do desejado (ICC = 0,48; DP = 0,22). As médias da primeira avaliação (T1) e do reteste (T2) apresentaram diferenças estatisticamente significantes para sete variáveis (11,7%). Maior variabilidade entre T1 e T2 foi encontrada para as variáveis número de respostas (d = 0,55) e Complexidade (d = 0,54). O terceiro e último estudo, que buscou evidências de validade para algumas variáveis do R-PAS utilizando como critério os três principais escores da Escala Wechsler Abreviada de Inteligência (WASI): o QI total (QIT-4), o QI verbal e o QI de execução, em uma amostra de 158 adolescentes (MAge = 13,20, DP = 1,07; 54.4% meninos) do sul do Brasil. As variáveis do R-PAS foram selecionadas a partir de uma série de estudos prévios que analisaram possíveis associações com habilidades cognitivas em adolescentes, assim como estudos que avaliaram outros aspectos que pudessem estar relacionados com a adolescência como, por exemplo, idade e anos de estudo. A variável Complexidade e seus três subcomponentes (Complexidade da Localização, Espaço e Objeto; Complexidade do Conteúdo e Complexidade dos Determinantes) apresentaram correlação positiva com os três escores da WASI, variando de r = .18 para Complexidade de Conteúdo e QI de execução até .30 para Complexidade e QI total. A maioria das variáveis pertencentes aos subcomponentes da Complexidade apresentaram correlações consistentes, sendo que aquelas que pertencem à Complexidade dos Determinantes apresentaram maior número de correlações significativas. Contudo, algumas variáveis do R-PAS que foram selecionadas para análise não apresentaram correlações com as variáveis critério conforme esperado. As variáveis do R-PAS selecionadas para validade discriminante não foram correlacionadas com os escores da WASI. As diferenças entre um teste de performance máxima e típica são discutidas. No geral, os resultados indicam excelente confiabilidade entre avaliadores para a maioria dos códigos e apresentam bases sólidas para futuras pesquisas sobre confiabilidade entre avaliadores com o R-PAS. Já a estabilidade foi adequada para algumas variáveis, mas para outras foi limitada ou até inexistente. Os efeitos do examinador, o envolvimento dos adolescentes durante o reteste e o tamanho da amostra são discutidos como influência nos resultados. O estudo de evidências de validade indica que a magnitude das correlações, apesar de terem ficado abaixo do esperando em comparação a estudos anteriores, os resultados sugerem que o R-PAS é útil para avaliar as habilidades cognitivas em um contexto mais amplo do que apenas investigar a inteligência e contribui para a compreensão dos recursos cognitivos associados à produção de respostas. Os estudos de precisão e validade mostraram que, de modo geral, o R-PAS apresenta boas características psicométricas e são adequados para utilização clínica com adolescentes.The objective of this research was to verify interrater reliability and temporal stability of 60 protocol level variables of the Rorschach - Performance Assessment System (R-PAS), as well as to examine validity evidence based on external variables of some R-PAS variables for the assessment of adolescents. R-PAS is an instrument based on the typical performance of the examinee in which the interpretive focus is the personality in action. In other words, through a sample of behaviors it is possible to observe characteristics such as engagement and cognitive processing, problems of perception and thinking, experiences of affective discomfort, and the representation of oneself and others. In order to meet the proposed objectives, three studies were conducted. The first, which analyzed interrater reliability, used a sample of 89 adolescents from south Brazil (55.1% girls) with an average age of 13.2 years (SD = 1.01). Excellent mean agreement (ICC = 0.89; SD = 0.09) was found for the 60 protocol level variables, which are the focus of interpretation. Greater reliability was observed for commonly coded variables (M = 0.87) as opposed to rare or infrequent variables (M = 0.78). Comparing results of each variable to three other recent studies, most of this study’s variables showed low variability, suggesting that for these, there are clear coding guidelines. Those with greater variability between the studies indicate that more detailed coding parameters are desirable. The second study, which analyzed the temporal stability of the 60 protocol level variables, used a sample of 65 adolescents from Rio Grande do Sul (55.4% boys) with a mean age of 13.37 (SD = 1.07). They were evaluated twice with an average interval of 20 days (SD = 8.6). The Intraclass Correlation Index (ICC-Consistency), Student's t, and Cohen’s d were used. The general average level of stability was below the desired level (ICC = 0.48; SD = 0.22). The means of baseline (T1) and retest (T2) showed statistically significant differences for seven variables (11.7%). Greater variability between T1 and T2 was found for the number of responses (d = 0.55) and Complexity (d = 0.54) variables. The third and last study sought validity evidence of some R PAS variables using the three main scores of the Wechsler Abbreviated Intelligence Scale (WASI) – Full Scale IQ (FSIQ-4), Verbal Comprehension Index (VCI), and Perceptual Reasoning Index (PRI) – as criteria in a sample of 158 adolescents (MAge = 13.20, SD = 1.07; 54.4% boys) from southern Brazil. The R-PAS variables were selected from a series of previous studies that analyzed possible associations with cognitive abilities in adolescents, as well as ones that evaluated other characteristics relatable to adolescence, such as age and years of education. The Complexity variable and its three subcomponents (Location, Space, and Object Complexity; Content Complexity; and Determinants Complexity) correlated positively with the three WASI scores, ranging from r = .18 for Content Complexity and PRI to .30 for Complexity and FSIQ-4. Most of the Complexity subcomponent variables had consistent correlations, and the Determinant Complexity ones exhibited the greatest number of significant correlations. However, some R-PAS variables selected for analysis did not show correlations with the criterion variables as expected. The R-PAS variables selected for discriminant validity did not correlate with the WASI scores. The differences between a typical and maximum performance test are discussed. In general, the results indicate excellent interrater reliability for the majority of codes and present solid bases for future research on R-PAS interrater reliability. As for temporal stability, results were adequate for some variables, but for others it was limited or even non-existent. How examiner effects, adolescent involvement during the retest, and sample size might influence the results are all discussed. The validity evidence analysis indicates that, while the magnitude of the correlations is lower than expected compared to previous studies, R-PAS is useful for assessing cognitive skills in a broader context than merely investigating intelligence, and it contributes to the understanding of the cognitive resources associated with the production of responses. Reliability and validity studies have shown that, in general, R-PAS possesses good psychometric characteristics and is suitable for clinical use with adolescents.application/pdfporTeste de RorschachValidade do testePrecisão do testePsicometriaAdolescenteAvaliação psicológicaRorschachR-PASReliabilityValidityEstudo de fidedignidade e evidências de validade para o Rorschach - Performance Assessment System (R-PAS) em uma amostra de adolescentes pacientes e não pacientesReliability and validity evidence study for the Rorschach - Performance Assessment System (R-PAS) in a sample of patients and non-patients adolescents info:eu-repo/semantics/publishedVersioninfo:eu-repo/semantics/doctoralThesisUniversidade Federal do Rio Grande do SulInstituto de PsicologiaPrograma de Pós-Graduação em PsicologiaPorto Alegre, BR-RS2019doutoradoinfo:eu-repo/semantics/openAccessreponame:Biblioteca Digital de Teses e Dissertações da UFRGSinstname:Universidade Federal do Rio Grande do Sul (UFRGS)instacron:UFRGSTEXT001123703.pdf.txt001123703.pdf.txtExtracted Texttext/plain94134http://www.lume.ufrgs.br/bitstream/10183/219195/2/001123703.pdf.txtb216b82190ea1d769c3ccf9871715629MD52ORIGINAL001123703.pdfTexto parcialapplication/pdf1107177http://www.lume.ufrgs.br/bitstream/10183/219195/1/001123703.pdf638c92ed10f31020bd870b0399c4a652MD5110183/2191952023-09-21 03:39:21.417912oai:www.lume.ufrgs.br:10183/219195Biblioteca Digital de Teses e Dissertaçõeshttps://lume.ufrgs.br/handle/10183/2PUBhttps://lume.ufrgs.br/oai/requestlume@ufrgs.br||lume@ufrgs.bropendoar:18532023-09-21T06:39:21Biblioteca Digital de Teses e Dissertações da UFRGS - Universidade Federal do Rio Grande do Sul (UFRGS)false
dc.title.pt_BR.fl_str_mv Estudo de fidedignidade e evidências de validade para o Rorschach - Performance Assessment System (R-PAS) em uma amostra de adolescentes pacientes e não pacientes
dc.title.alternative.en.fl_str_mv Reliability and validity evidence study for the Rorschach - Performance Assessment System (R-PAS) in a sample of patients and non-patients adolescents
title Estudo de fidedignidade e evidências de validade para o Rorschach - Performance Assessment System (R-PAS) em uma amostra de adolescentes pacientes e não pacientes
spellingShingle Estudo de fidedignidade e evidências de validade para o Rorschach - Performance Assessment System (R-PAS) em uma amostra de adolescentes pacientes e não pacientes
Schneider, Andréia Mello de Almeida
Teste de Rorschach
Validade do teste
Precisão do teste
Psicometria
Adolescente
Avaliação psicológica
Rorschach
R-PAS
Reliability
Validity
title_short Estudo de fidedignidade e evidências de validade para o Rorschach - Performance Assessment System (R-PAS) em uma amostra de adolescentes pacientes e não pacientes
title_full Estudo de fidedignidade e evidências de validade para o Rorschach - Performance Assessment System (R-PAS) em uma amostra de adolescentes pacientes e não pacientes
title_fullStr Estudo de fidedignidade e evidências de validade para o Rorschach - Performance Assessment System (R-PAS) em uma amostra de adolescentes pacientes e não pacientes
title_full_unstemmed Estudo de fidedignidade e evidências de validade para o Rorschach - Performance Assessment System (R-PAS) em uma amostra de adolescentes pacientes e não pacientes
title_sort Estudo de fidedignidade e evidências de validade para o Rorschach - Performance Assessment System (R-PAS) em uma amostra de adolescentes pacientes e não pacientes
author Schneider, Andréia Mello de Almeida
author_facet Schneider, Andréia Mello de Almeida
author_role author
dc.contributor.author.fl_str_mv Schneider, Andréia Mello de Almeida
dc.contributor.advisor1.fl_str_mv Bandeira, Denise Ruschel
dc.contributor.advisor-co1.fl_str_mv Meyer, Gregory J.
contributor_str_mv Bandeira, Denise Ruschel
Meyer, Gregory J.
dc.subject.por.fl_str_mv Teste de Rorschach
Validade do teste
Precisão do teste
Psicometria
Adolescente
Avaliação psicológica
topic Teste de Rorschach
Validade do teste
Precisão do teste
Psicometria
Adolescente
Avaliação psicológica
Rorschach
R-PAS
Reliability
Validity
dc.subject.eng.fl_str_mv Rorschach
R-PAS
Reliability
Validity
description O objetivo desta pesquisa foi verificar a precisão por avaliadores e estabilidade temporal de 60 variáveis em nível de protocolo do Rorschach - Performance Assessment System (R-PAS; traduzido como Sistema de Avaliação por Desempenho), assim como buscar evidências de validade com base em variáveis externas para algumas variáveis do R-PAS para a avaliação de adolescentes. O R-PAS é um instrumento baseado na performance típica do avaliado em que o foco interpretativo é a personalidade em ação, ou seja, por meio de uma amostra de comportamentos é possível observar características como engajamento e processamento cognitivo, problemas de percepção e pensamento, vivências de desconforto afetivo, bem como representação de si e de outros. A fim de atender aos objetivos propostos, foram conduzidos três estudos. O primeiro analisou a precisão entre avaliadores em uma amostra de 89 adolescentes gaúchos (55,1% meninas) com idade média de 13,2 anos (DP = 1,01). Foi encontrada uma concordância média excelente (ICC = 0,89; DP = 0,09) para as 60 variáveis no nível de protocolo, que são foco de interpretação. Foi observada maior precisão para variáveis comumente codificadas (M = 0,87) em oposição a variáveis raras ou pouco frequentes (M = 0,78). Comparando os resultados de cada uma das variáveis com outros três estudos recentes, a maioria das variáveis apresentou baixa variabilidade, sugerindo que para essas existem diretrizes bem definidas de codificação. Variáveis com maior variabilidade entre os estudos indicaram menor concordância e para essas seria desejável parâmetros mais detalhados de codificação. O segundo estudo, que analisou a estabilidade temporal das 60 variáveis no nível do protocolo, utilizou uma amostra de 65 adolescentes do Rio Grande do Sul (55,4% meninos) com média de idade de 13,37 (DP = 1,07). Eles foram avaliados duas vezes com intervalo médio de 20 dias (DP = 8,6). Para análise foram empregados o Índice de Correlação Intraclasse (ICC - Consistency), t de Student e d de Cohen. O nível geral médio de estabilidade ficou abaixo do desejado (ICC = 0,48; DP = 0,22). As médias da primeira avaliação (T1) e do reteste (T2) apresentaram diferenças estatisticamente significantes para sete variáveis (11,7%). Maior variabilidade entre T1 e T2 foi encontrada para as variáveis número de respostas (d = 0,55) e Complexidade (d = 0,54). O terceiro e último estudo, que buscou evidências de validade para algumas variáveis do R-PAS utilizando como critério os três principais escores da Escala Wechsler Abreviada de Inteligência (WASI): o QI total (QIT-4), o QI verbal e o QI de execução, em uma amostra de 158 adolescentes (MAge = 13,20, DP = 1,07; 54.4% meninos) do sul do Brasil. As variáveis do R-PAS foram selecionadas a partir de uma série de estudos prévios que analisaram possíveis associações com habilidades cognitivas em adolescentes, assim como estudos que avaliaram outros aspectos que pudessem estar relacionados com a adolescência como, por exemplo, idade e anos de estudo. A variável Complexidade e seus três subcomponentes (Complexidade da Localização, Espaço e Objeto; Complexidade do Conteúdo e Complexidade dos Determinantes) apresentaram correlação positiva com os três escores da WASI, variando de r = .18 para Complexidade de Conteúdo e QI de execução até .30 para Complexidade e QI total. A maioria das variáveis pertencentes aos subcomponentes da Complexidade apresentaram correlações consistentes, sendo que aquelas que pertencem à Complexidade dos Determinantes apresentaram maior número de correlações significativas. Contudo, algumas variáveis do R-PAS que foram selecionadas para análise não apresentaram correlações com as variáveis critério conforme esperado. As variáveis do R-PAS selecionadas para validade discriminante não foram correlacionadas com os escores da WASI. As diferenças entre um teste de performance máxima e típica são discutidas. No geral, os resultados indicam excelente confiabilidade entre avaliadores para a maioria dos códigos e apresentam bases sólidas para futuras pesquisas sobre confiabilidade entre avaliadores com o R-PAS. Já a estabilidade foi adequada para algumas variáveis, mas para outras foi limitada ou até inexistente. Os efeitos do examinador, o envolvimento dos adolescentes durante o reteste e o tamanho da amostra são discutidos como influência nos resultados. O estudo de evidências de validade indica que a magnitude das correlações, apesar de terem ficado abaixo do esperando em comparação a estudos anteriores, os resultados sugerem que o R-PAS é útil para avaliar as habilidades cognitivas em um contexto mais amplo do que apenas investigar a inteligência e contribui para a compreensão dos recursos cognitivos associados à produção de respostas. Os estudos de precisão e validade mostraram que, de modo geral, o R-PAS apresenta boas características psicométricas e são adequados para utilização clínica com adolescentes.
publishDate 2019
dc.date.issued.fl_str_mv 2019
dc.date.accessioned.fl_str_mv 2021-03-23T04:22:41Z
dc.type.status.fl_str_mv info:eu-repo/semantics/publishedVersion
dc.type.driver.fl_str_mv info:eu-repo/semantics/doctoralThesis
format doctoralThesis
status_str publishedVersion
dc.identifier.uri.fl_str_mv http://hdl.handle.net/10183/219195
dc.identifier.nrb.pt_BR.fl_str_mv 001123703
url http://hdl.handle.net/10183/219195
identifier_str_mv 001123703
dc.language.iso.fl_str_mv por
language por
dc.rights.driver.fl_str_mv info:eu-repo/semantics/openAccess
eu_rights_str_mv openAccess
dc.format.none.fl_str_mv application/pdf
dc.source.none.fl_str_mv reponame:Biblioteca Digital de Teses e Dissertações da UFRGS
instname:Universidade Federal do Rio Grande do Sul (UFRGS)
instacron:UFRGS
instname_str Universidade Federal do Rio Grande do Sul (UFRGS)
instacron_str UFRGS
institution UFRGS
reponame_str Biblioteca Digital de Teses e Dissertações da UFRGS
collection Biblioteca Digital de Teses e Dissertações da UFRGS
bitstream.url.fl_str_mv http://www.lume.ufrgs.br/bitstream/10183/219195/2/001123703.pdf.txt
http://www.lume.ufrgs.br/bitstream/10183/219195/1/001123703.pdf
bitstream.checksum.fl_str_mv b216b82190ea1d769c3ccf9871715629
638c92ed10f31020bd870b0399c4a652
bitstream.checksumAlgorithm.fl_str_mv MD5
MD5
repository.name.fl_str_mv Biblioteca Digital de Teses e Dissertações da UFRGS - Universidade Federal do Rio Grande do Sul (UFRGS)
repository.mail.fl_str_mv lume@ufrgs.br||lume@ufrgs.br
_version_ 1800309177013239808