|
JOURNAL OF
PERSONALITY ASSESSMENT -
VOL. 78, N. 2 / 2002
|
An Examination of Interrater Reliability for Scoring the Rorschach Comprehensive System in Eight Data Sets
Gregory J. Meyer, Mark J. Hilsenroth, Dirk Baxter, John E. Exner, Jr., J. Christopher Fowler, Craig C. Piers, Justin Resnick |
Una delle critiche che tradizionalmente sono state rivolte al test di Rorschach riguarda il soggettivismo della siglatura, ossia il fatto che, poiché l'interpretazione dipende direttamente dalla siglatura, quest'ultima viene assegnata su basi molto soggettive. Quanto più un sistema di siglatura è codificato in regole precise, tanto più la siglatura nel complesso è stabile, ossia possiede elevata affidabilità inter-osservatore. Il Comprehensive System di Exner è uno dei maggiori sistemi Rorschach affermatisi negli ultimi 30 anni con un sostanziale corpus di linee guida codificate per la siglatura.
In generale, la interrater reliability viene valutata con tecniche piuttosto semplici, come la percentuale di accordo fra due o più valutatori o il coefficiente di correlazione ottenuto dal confronto delle siglatura di due o più valutatori. Questi sistemi non sono considerati del tutto appropriati poiché non correggono per il caso. Ciò significa che questi semplici confronti non consentono di capire se tali associazioni siano reali o semplicemente effetto del caso. Due tecniche consentono di correggere per il caso: il
coefficiente k e la intra-class correlation (ICC).
Per quanto riguarda il Rorschach, la reliability può essere ottenuta a 3 livelli differenti: (1) a livello del paziente, in cui l'affidabilità viene analizzata valutando i punteggi di tutti i pazienti assegnati al gruppo, non considerando le sigle assegnate a ciascuna risposta; (2) a livello di ogni specifica risposta; (3) a livello di ogni specifico segmento di aggregazione della siglatura (ad es. tutte le localizzazioni, tutti i punteggi DQ, ecc.). Un ulteriore problema nel Rorschach è che il confronto fra due valutatori non riesce a mostrare la possibilità delle differenze individuali, ossia il fatto che ad es. entrambi i valutatori hanno assegnato 3 FC in un protocollo ma a differenti risposte.
In questo studio, sono stati esaminati molti campioni di valutatori, tentando di controllare ogni possibile fattore di confusione. Il primo gruppo è costituito da studenti di un corso Rorschach; il secondo da valutatori esperti; il terzo da psicologi clinici su protocolli desunti dalla propria pratica clinica (che si suppone possano essere meno accurati dei valutatori esperti impegnati in un progetto di ricerca); il quarto da protocolli siglati da psicologi clinici e risiglati da valutatori esperti per un progetto di ricerca; il quinto da soggetti testati appartenenti a vari gruppi psicopatologici (per controllare l'effetto della psicopatologia sulla affidabilità della siglatura); i gruppi 6-7-8 da una procedura sperimentale particolare: avvalendosi di un software dedicato, sono state generate siglature errate in modo random pari al 10%, 20% e 30% dei protocolli, allo scopo di controllare l'errore sistematico dovuto ad una mancanza di comprensione delle linee guida di siglatura e non semplicemente a distrazioni momentanee del valutatore. Tutti i 3 livelli sopra delineati di interrater reliability sono stati valutati con il test k e l'ICC.
I coefficienti di correlazione di k e ICC hanno spaziato in un range che va da 0.82 (confronto con i protocolli errati generati dal computer) e 0.85 (studenti) a 0.95-0.97 (esaminatori esperti e psicologi clinici). Ben il 95% delle variabili ha ottenuto un coefficiente "eccellente" (cioè >0.74), con solo 7 variabili con un coefficiente "buono" (0.60-0.74) ed una sola variabile (TF) con uno scarso coefficiente (0.40-0.59).
La conclusione generale di questo studio di qualità eccellente (insieme ad altri due lavori di meta-analisi pubblicati da Meyer nel 1997) è che il Comprehensive System è un sistema Rorschach con siglatura del tutto affidabile: nonostante la complessità del Rorschach, il Comprehensive System dispone di criteri di siglatura del tutto sicuri riguardo la loro affidabilità inter-osservatore. Ciò non significa che il Comprehensive System è automaticamente sicuro: ovviamente chi sigla è una persona, e non il sistema stesso, per cui tutto dipende dalla preparazione dello psicologo. Ne deriva pertanto che uno psicologo adeguatamente formato al Comprehensive System dispone di uno strumento che, se correttamente impiegato, è dotato di elevata affidabilità.
Gregory J. Meyer
Department of Psychology
University of Alaska Anchorage
3211 Providence Drive
Anchorage, AK 99508
USA
Email: gmeyer@uaa.alaska.edu
|
|