blog
L'indice Kappa di Cohen valuta il grado di concordanza tra due valutatori o classificatori. Questo indice serve a determinare quanto siano coerenti le valutazioni indipendenti.
Sono Adriano Gilardone, docente di statistica e appassionato di numeri. Se l’esame di statistica ti spaventa, ho qualcosa per te. Ho creato una guida con formulari, semplice da capire e utile per superare il tuo esame. È gratis e la trovi qui.
In questo articolo ti spiego in dettaglio cosa è l'indice Kappa di Cohen, come calcolarlo e come interpretare i risultati.
L'indice Kappa di Cohen, spesso indicato semplicemente come Kappa, è una misura statistica utilizzata per valutare la concordanza tra due valutatori o classificatori su un insieme di dati categoriali.
A differenza delle semplici percentuali di concordanza, l'indice Kappa tiene conto della concordanza che potrebbe verificarsi per puro caso.
In altre parole, Kappa misura quanto l'accordo osservato tra i valutatori supera l'accordo che ci si aspetterebbe casualmente.
Questo lo rende una misura più robusta rispetto alla semplice percentuale di accuratezza di un test, che non tiene conto delle possibilità di coincidenza casuale.
Il valore di Kappa varia da -1 a 1:
Per capire quando è possibile utilizzare l'indice Kappa di Cohen, è importante considerare alcune condizioni specifiche.
Kappa è adatto per variabili qualitative nominali (con il Kappa pesato anche ordinali), cioè dati che possono essere suddivisi in categorie discrete e non ordinate, come "sì" o "no", "positivo" o "negativo". Kappa non è adatto per dati numerici continui o ordinati.
Kappa di Cohen è progettato per situazioni in cui ci sono esattamente due valutatori indipendenti che classificano o valutano lo stesso insieme di elementi. Se ci sono più di due valutatori, si utilizza una variante chiamata Kappa di Fleiss.
Ti stai chiedendo cosa significa valutatori indipendenti?
Semplice: la valutazione di un valutatore non deve influenzare quella dell'altro.
Kappa misura l'accordo categorico, non l'accordo quantitativo. Questo significa che è adatto per valutare se due valutatori assegnano gli stessi elementi alle stesse categorie, non per valutare quanto vicine sono le loro valutazioni su una scala continua.
Ti ricordo, inoltre, che entrambi i valutatori devono valutare lo stesso set di elementi. Non è possibile utilizzare Kappa se i valutatori valutano insiemi diversi di elementi.
Ho già usato la parola “concordanza” nei paragrafi precedenti. Adesso ti spiego bene a cosa fa riferimento in ambito statistico.
La concordanza in statistica si riferisce al grado di accordo tra due o più valutatori o misurazioni.
Valutare la concordanza è essenziale in molteplici contesti, come la ricerca medica, psicologica e sociale, dove è fondamentale assicurarsi che diversi osservatori giungano a conclusioni simili quando analizzano gli stessi dati.
Esistono diversi metodi per misurare la concordanza. Oltre all'indice Kappa di Cohen, ci sono altre misure come il coefficiente di correlazione intraclasse (ICC) e il coefficiente di concordanza di Kendall.
Ogni misura ha i suoi vantaggi e limitazioni e la scelta dello strumento più appropriato dipende dal tipo di dati e dal contesto dell'analisi.
La concordanza può essere valutata su dati categoriali, ordinali o continui. Per i dati categoriali si usa l'indice Kappa di Cohen, perché tiene conto della concordanza dovuta al caso.
Per i dati ordinali, altre misure come il Kappa ponderato possono essere più appropriate, poiché considerano anche l'ordine delle categorie.
Misurare la concordanza garantisce l'affidabilità e la validità delle valutazioni e delle misurazioni.
In un contesto clinico, ad esempio, un alto grado di concordanza tra medici su una diagnosi può indicare che il protocollo diagnostico è chiaro e applicabile.
Nella ricerca psicologica, un'alta concordanza tra valutatori di comportamenti o risposte può indicare che le definizioni operative sono ben definite e comprese.
Inizia creando una tabella di contingenza, che è una tabella a doppia entrata dove ciascuna cella rappresenta il numero di elementi per cui i due valutatori hanno fornito una determinata coppia di valutazioni.
Le righe della matrice rappresentano le categorie del primo valutatore, mentre le colonne rappresentano le categorie del secondo valutatore.
Somma i valori lungo la diagonale principale della matrice e dividi per il numero totale di osservazioni. Questo dà la proporzione di concordanza osservata (Po).
Calcola le frequenze attese (Pe) per ciascuna categoria. Questo si fa moltiplicando la somma delle righe per la somma delle colonne per ogni categoria e dividendo per il numero totale di osservazioni.
Se hai dubbi puoi leggere la parte inerente del mio articolo sul chi-quadro
Comunque una volta creata questa nuova tabella, somma i valori lungo la diagonale principale della matrice e dividi per il numero totale di osservazioni. Questo dà la proporzione di concordanza attesa (Pe).
\(\displaystyle
\kappa = \frac{p_o - p_e}{1 - p_e}
\)
Dove:
Usa la formula
I valori tipici dell'indice K di Cohen sono interpretati come segue:
Vediamo ora un esempio pratico per illustrare questi passaggi.
Per illustrare come calcolare l'indice Kappa di Cohen, consideriamo un esempio pratico. Supponiamo che due valutatori stiano classificando un insieme di 50 documenti in tre categorie: "Accettato", "Revisionato" e "Rifiutato".
La tabella di contingenza risultante dalle loro valutazioni è la seguente:
La concordanza osservata è data dalla somma dei valori lungo la diagonale principale (28 + 19 + 28 = 75).
La proporzione di concordanza osservata (Po) è quindi 75 / 100 = 0.75.
Per calcolare le frequenze attese, moltiplica la somma delle righe per la somma delle colonne per ogni categoria e dividi per il totale delle osservazioni:
La somma delle frequenze attese è quindi 13.30 + 7.00 + 13.60 = 33.90.
La proporzione di concordanza attesa (Pe) è quindi 33.90 / 100 = 0.339.
Usa la formula per l'indice Kappa di Cohen:
\(\displaystyle
\kappa = \frac{P_o - P_e}{1 - P_e}
\)
\(\displaystyle
\kappa = \frac{0.75 - 0.339}{1 - 0.339} = \frac{0.411}{0.661} \approx 0.622
\)
In questo esempio, l'indice Kappa di Cohen è 0.622, il che indica un buon livello di concordanza tra i due valutatori, superiore a quella che ci si aspetterebbe per puro caso.
Interpretare correttamente il valore di Kappa è fondamentale per comprendere quanto siano affidabili le valutazioni. Vediamo come interpretare i diversi valori di Kappa e quali sono i limiti e le considerazioni da tenere in mente.
Nonostante la sua utilità, l'indice Kappa di Cohen presenta alcune limitazioni che è importante considerare per una corretta interpretazione.
Ad esempio, Kappa può essere influenzato dalla distribuzione dei dati tra le categorie.
Se una categoria è molto più frequente delle altre, l'indice potrebbe sottostimare il livello di concordanza reale. Inoltre, la dimensione del campione gioca un ruolo cruciale
Valori di Kappa calcolati su campioni molto piccoli potrebbero non essere affidabili, quindi è fondamentale lavorare con un campione sufficientemente grande per ottenere stime più stabili e rappresentative.
Un altro aspetto da tenere in considerazione è il possibile bias dei valutatori. Se i valutatori tendono a preferire certe categorie sistematicamente, l'indice Kappa potrebbe non riflettere accuratamente la vera concordanza tra di loro.
È quindi essenziale assicurarsi che le valutazioni siano il più oggettive possibile.
A proposito di bias, sai che ho pubblicato una playlist sul mio canale YouTube dove parlo di bias cognitivi e statistica? La mia community la trova davvero interessante, tu che ne pensi?
Infine, Kappa può risultare distorto in presenza di molte categorie o di categorie non omogenee.
In tali situazioni, potrebbe essere utile raggruppare le categorie in modo più omogeneo o considerare l'uso di altre misure di concordanza più appropriate per il contesto specifico.
L'indice Kappa di Cohen e la D di Cohen sono entrambe misure utilizzate in statistica, ma servono a scopi diversi e sono applicate in contesti differenti.
E tu non puoi proprio permetterti di confonderli.
Ti ho parlato abbondantemente dell’indice Kappa di Cohen. Ora ti do una veloce panoramica dell’indice D di Cohen.
La D di Cohen, nota anche come dimensione dell'effetto di Cohen, è una misura utilizzata per quantificare la dimensione di una differenza tra due gruppi in termini di deviazioni standard.
Mentre l'indice Kappa di Cohen valuta la concordanza tra due valutatori su dati categoriali, la D di Cohen è impiegata principalmente per valutare l'entità di una differenza tra le medie di due gruppi.
Ad esempio, se vuoi confrontare l'efficacia di due trattamenti, puoi calcolare la D di Cohen per determinare quanto grande sia la differenza tra i due trattamenti in termini di effetti.
Un valore di 0.2 indica una dimensione dell'effetto piccola, 0.5 indica una dimensione media e 0.8 indica una grande dimensione dell'effetto.
Iscriviti alla Newsletter
