1

6-7 Novembre 2017 - Lecco

Simeone Andrulli

Ospedale A. Manzoni - Lecco

Divisione di Nefrologia e Dialisi

4° Corso di Diagnosi, Terapia e Critical Appraisal in

Nefrologia e Discipline correlate

Percorso nel critical appraisal

2

Lettura per curiosità

Lettura per rispondere ad un quesito specifico

(ricerca focalizzata)

Lettura per la ricerca (ricerca sistematica)

Livelli di lettura

3

Steps

Selezione dei lavori

Lettura dei lavori

Key messages

4

Selezione dei lavori

Se dobbiamo gettare nella spazzatura un

articolo, dobbiamo farlo prima di leggerne i

risultati

5

Studio primario o secondario?

Distinguere i lavori originali dal resto delle

pubblicazioni scientifiche

6

Sezioni del lavoro

Abstract

Introduzione

Materiali e Metodi

Pazienti

Definizione dei trattamenti

dimensione del campione

analisi statistica

Risultati

Discussione

Bibliografia

Tabelle

Figure

7

Perché è stato svolto questo studio

Occorre una dichiarazione esplicita dello scopo

del lavoro

Qual è il quesito clinico?

8

Punti importanti in uno studio

Scopo

Scelta dei pazienti

Definizione dei trattamenti a confronto

Condizione di cecità

Disegno sperimentale

Randomizazzione

Durata follow-up

9

Quali pazienti?

Come sono stati reclutati?

Sono tutti i pazienti di un centro o una parte?

Sono stati selezionati con procedura casuale?

10

Scelta dei pazienti

Campione e Popolazione

P C

Campionamento

Inferenza

11

Si è cercato di ridurre gli errori

sistematici?

Gli autori hanno eseguito gli aggiustamenti per le

differenze iniziali?

I due gruppi a confronto hanno avuto la stessa

attenzione da parte del medico?

La frequenza dei controlli è stata la stessa?

Studio in cieco?

I drop-out sono tanti? Sono stati inclusi nell’analisi?

12

Punti importanti in uno studio

Drop-out e Persi al follow-up

End-points

Dimensione del campione

Tipi di analisi statistica

13

Tipo di analisi

Intention to treat analysis

Per-protocol analysis

14

Il test statistico è corretto?

Test parametrici

t-test per dati indipendenti

t-test per dati non indipendenti

Anova

Misure ripetute

Chi quadrato

Coefficiente di corr. di Pearson

Test non parametrici

Mann-Whintney

Wilcoxon

Kruskal-Wallis

Friedman

Test esatto di Fisher

Coefficiente di corr. di Spearman

15

Studio sperimentale

Punti importanti

Randomizzazione

Disegno sperimentale

Studio a gruppi paralleli

Studio cross-over

16

Studio a gruppi paralleli

17

Studio cross - over

18

Valutazione della risposta

Outcomes

Primario

Efficacia

Sicurezza

Secondari

Variabile continua

Slope

Creat. Clearance

End-points

Mortalità

Raddoppio della Cr.

19

Attenti agli End-points compositi

Mortalità Totale

IMA

Scompenso cardiaco

Arteriopatia obliterante

20

Gli autori aumentano l’effetto apparente di una terapia

Valutazione della risposta

21 Brenner BM et al. N Engl J Med 2001 ; 345 ( 12 ): 861 - 9

RENAAL Endpoint : Raddoppio Cr, ESRD, Morte

762 689 554 295 36

751 592 583 329 52

Placebo

Losartan

22

Brenner BM N Engl J Med 2001 345:861-869

RENAAL

E C RR EER CER ARR %ARR % RRR NNT

Losartan Placebo

Pazienti studiati 748 762

Outcome N 327 359 0,93 0,437 0,471 0,034 3,4 29

% 44 47 7

Gruppi

23

Misura l’errore nella stima della media della

popolazione da una media campionaria estratta

dalla stessa con una procedura casuale

Errore standard della media

n

sESM

24

Errore di 1° tipo 1 () ed errore di 2° tipo ()

La P di è settata dallo sperimentatore

La P di è funzione di una serie di fattori:

dimensione di

dimensione della differenza tra le medie di

gruppo ()

dimensione del campione (n)

variabilità dei dati individuali (2)

Distribuzione di campionamento dei dati

sotto l’ipotesi nulla (Ho) e alternativa (Ha)

H0: 0 - 1 = 0

Ha: 0 - 1 0

Le curve si sovrappongono parzialmente:

e competono

La sovrapposizione si riduce se aumenta

la differenza media tra i due gruppi

La sovrapposizione si riduce se

le curve diventano più strette Errore

Standard della Media (ESM): / n

30

80

70

60

50

40

30

20

10

0 50 - 75 25 - 50 < 25 HD start

Creatinine Clearance ( ml / min )

%

Levin A et al. Am J Kidney Dis 1999; 34: 125 – 34

LVH prevalence and renal function

N = 246

31 London GM et al. Kidney Int 1987; 31: 973 - 80

Hematocrit and LV cavity diameter

Uremic cardiomiopathy: an inadequate LVH

10 20 30 40 50

LV

en

d -

dia

sto

lic

in

tern

al

dia

mete

r (

cm

/ m

2 )

3

4

5

r = - 0.62

P < 0.001

N = 57

32

Tipo di studio

Studio osservazionale trasversale

Studo osservazionale longitudinale

Studio di intervento

33

Studio trasversale

Non c’è follow-up

Lo studio della relazione temporale non è possibile

Lo studio può stabilire solo un’associazione

34

Differenza tra R e R2

R

1. Coefficiente di correlazione

2. Indica il grado di reciproca

dipendenza di due variabili

3. Varia tra -1 e +1

4. Il segno indica se due variabili

sono correlate direttamente o

inversamente

5. Tende a 0 per variabili

indipendenti

R2

1. Percentuale di variabilità della

Y associata alla variabilità

della X

2. È più piccola di R

3. È sempre positiva

35

Come studiare l’associazione di variabili categoriche:

la tabella di contingenza 2x2 e il Chi quadrato

La tabella di contingenza 2x2 rappresenta un modo efficiente e chiaro

per illustrare l’associazione tra due variabili categoriche con due livelli

Malattia (esito)

si no

Fattore

di

rischio

si a c n1

no b d n2

m1 m2 T

Il Chi quadrato Il test Chi quadrato calcola la probabilità

associata all’osservazione dei dati della

tabella, sotto l’ipotesi nulla di

indipendenza tra fattore di rischio e

l’esito

Se la probabilità associata a questa

osservazione è troppo bassa

(arbitrariamente < 0.05, ossia 5%) allora

si rifiuta l’ipotesi nulla (di indipendenza)

e si conclude per un’associazione

statisticamente significativa tra fattore

ed esito

Malattia (esito)

si no

Fattore

di

rischio

si a c n1

no b d n2

m1 m2 T

38

Studio longitudinale di follow-up

Lo studio della relazione temporale è possibile

Posso osservare la sequenza temporale del fenomeno

Con quale cadenza raccolgo l’informazione ?

Quanto deve essere lungo il follow-up ?

Come affronto il problema dei pazienti dropout?

39

Studio di follow-up

Importanza delle informazioni basali

Inclusi nelle analisi multivariate possono avere

un’importanza prognostica

Possono servire per aggiustare per le differenze iniziali

Possono servire per aumentare la potenza di un test

Possono condizionare negativamente l’arruolamento dei

pazienti

Come misurare il rischio:

prevalenza e incidenza

In uno studio trasversale, la prevalenza di malattia o di un fattore di

rischio deriva dal rapporto tra il numero di pazienti che presentano la

caratteristica di interesse e il numero totale dei pazienti studiati; si tratta

quindi di una proporzione.

In uno studio longitudinale, di coorte o in uno studio sperimentale,

potremo calcolare l’incidenza, la velocità (il vero rate degli autori

anglosassoni) di accadimento di un evento nell’unità di tempo, ossia il

rapporto tra il numero dei nuovi casi rispetto ai soggetti sani presenti

all’inizio dello studio e osservati per un certo tempo

I data base elettronici: potenzialità e limiti

L’allestimento di uno specifico data base creato ad hoc per uno

studio è una tappa importante

I data base per uso clinico possono rappresentare una buona

opportunità di studi osservazionali di buona qualità

Ci sono due rischi:

Spesso gli autori non prestano la dovuta attenzione al controllo

preventivo della completezza e della qualità dei dati inseriti con

il rischio di stime distorte

Possono inoltre essere tentati ad adottare la strategia della

duplicazione dei pani, illustrare lo stesso fenomeno con un

sub-set di variabili di volta in volta diverso

42

Come raccogliere l’informazione

sull’ipertrofia del ventricolo sn?

Spessore del setto e della parete posterore

Massa del ventricolo sn

Indice di massa cardiaca

Quale indice?

Variabile continua o categorica?

Tipo di ipertrofia: concentrica o eccentrica

43

L’anemia influenza l’ipertrofia ventricolare?

Ipertrofia come variabile continua: Regressione

lineare

Ipertrofia come variabile categorica:

Regressione logistica in uno studio trasversale

Regressione di Cox in uno studio longitudinale

La regressione verso la media, un importante

confondente ancora misconosciuto negli studi clinici

soprattutto di coorte

La regressione verso la media è un fenomeno statistico ancora poco

noto ma molto importante

Se la pressione arteriosa di un paziente alla prima misurazione risulta

elevata, le successive misure sono spesso inferiori. Se un paziente

viene arruolato in un trial sull’ipertensione arteriosa sulla base del

primo dato, può essere che dopo risulti avere una pressione minore e

quindi più controllata, distorcendo (aumentando apparentemente)

l’effetto del farmaco

La distorsione può essere importante se non c’è un gruppo di

controllo (placebo) che permette di stimare correttamente l’effetto

puro del farmaco al netto dell’effetto placebo e della regressione

verso la media

45

Regressione verso la media

Cos’è?

Negli studi di coorte

Con un solo dato basale

Quando manca il gruppo di controllo

Inizio Fine

46

Regressione verso la media

È più rilevante

Per alcune variabili

Con valori successivi poco correlati

Con valori di cut-off elevati o estremi

Inizio Fine

47

Regressione verso la media

È da tener presente

Per valutare l’effetto vero di un farmaco

Per evitare errori nella selezione dei pazienti

per un clinical trial

Inizio Fine

Si controlla

con misure basali ripetute

Come si misura la forza di un’associazione

rischio relativo in uno studio osservazionale longitudinale

odds ratio, in uno studio osservazionale trasversale

In uno studio sperimentale longitudinale prospettico, il fattore di

rischio può essere sostituito dal trattamento in studio (trattamento

sperimentale e trattamento standard) e l’effetto della terapia

sperimentale rispetto a quella standard sarà espresso dal rischio

relativo di malattia e/o morte (Esito) nei trattati rispetto allo stesso

tipo di rischio nei controlli

Disease

Factor

+ -

+

-

P1 P3 P1 + P3

P2 P4 P2 + P4

P1 + P2 P3 + P4 1

Relative Risk

P1

P1 + P3

P2

P2 + P4 Risk ratio = :

Come si misura la forza di un’associazione

rischio relativo in uno studio osservazionale longitudinale

odds ratio, in uno studio osservazionale trasversale

In uno studio sperimentale longitudinale prospettico, il fattore di

rischio può essere sostituito dal trattamento in studio (trattamento

sperimentale e trattamento standard) e l’effetto della terapia

sperimentale rispetto a quella standard sarà espresso dal rischio

relativo di malattia e/o morte (Esito) nei trattati rispetto allo stesso

tipo di rischio nei controlli

Disease

Factor

+ -

+

-

P1 P3 P1 + P3

P2 P4 P2 + P4

P1 + P2 P3 + P4 1

ODDS ratio

P1 * ( P4)

P2 * ( P3) Risk ratio =

Vai a ODDS ratio

Come si misura la forza di un’associazione

rischio relativo in uno studio osservazionale longitudinale

odds ratio, in uno studio osservazionale trasversale

In uno studio sperimentale longitudinale prospettico, il fattore di

rischio può essere sostituito dal trattamento in studio (trattamento

sperimentale e trattamento standard) e l’effetto della terapia

sperimentale rispetto a quella standard sarà espresso dal rischio

relativo di malattia e/o morte (Esito) nei trattati rispetto allo stesso

tipo di rischio nei controlli

Disease

Treatment

+ -

+

-

P1 P3 P1 + P3

P2 P4 P2 + P4

P1 + P2 P3 + P4 1

Relative Risk

P1

P1 + P3

P2

P2 + P4 Risk ratio = :

Links causativi

Questi possono essere provati solo con studi sperimentali di

buona qualità

Il disegno sperimentale di questi studi può essere vario. Si

riconoscono due disegni principali, il disegno a gruppi paralleli e

il disegno cross-over

Nel primo il paziente è randomizzato al trattamento

(sperimentale o standard)

nel secondo il paziente riceve ambo i trattamenti, con una

sequenza definita a random (A B oppure B A)

55

Studio di intervento

Mezzi a disposizione

Studio sponsorizzato

Studio con supporto

Studio non sponsorizzato multicentrico

Studio non sponsorizzato monocentrico

Studio osservazionale prospettico multicentrico

sul rischio e l’utilità della biopsia renale

Osservazionale

Multicentrico

Prospettico

Non profit

Aperto a tutti i Centri che fanno biopsie

Tutti i pazienti che eseguono la biopsia del

rene nativo

Arruolamento competitivo

Data entry su web (RIBR)

57

Clinical trials

Valutazione rigorosa della relazione causa-effetto

in un gruppo di pazienti ben definito

Prospettici

Cercano di evitare errori sistematici

Fonte di dati utile per successive metanalisi

Vantaggi

58

Clinical trials

Tempo e costo

Attenti agli end - points sostitutivi

Attenti ai biases occulti

Bias di selezione

Cieco non sempre possibile

Randomizzazione imperfetta

Limiti

Studio poco rappresentativo della popolazione obiettivo

59

Clinical trials Inutili

Se uno studio precedente ha già fornito risultati definitivi

Non pratici

Numero proibitivo di pazienti da arruolare

Non appropriati

Studi volti a determinare la prognosi o

la validità di un test diagnostico o di screening

60

Potere di uno studio: 1-

capacità di uno studio di evidenziare una differenza quando

questa c’è

utile da considerare di fronte a uno studio negativo

di solito varia tra 0.8 e 0.9

Studio di differenza o di equivalenza?

negli studi di equivalenza è meglio che sia 0.95

In uno studio di Equivalenza <

62

Studio negativo Guarda i limiti dell’IC

Questo limite è clinicamente rilevante?

Si: lo studio è negativo, ma non è definitivo

No: lo studio non solo è negativo ma è anche definitivo

63

64

Come rappresentare l’effetto di un farmaco o di una

terapia: riduzione del rischio relativo, riduzione del

rischio assoluto e l’NNT

Negli studi sponsorizzati e anche in quelli non profit, gli autori

tendono a dare enfasi all’effetto di un farmaco o di un

trattamento con la riduzione percentuale del rischio relativo

osservato nel gruppo di interesse rispetto al gruppo di controllo.

Occorre invece guardare la scala delle relative figure o alla

riduzione del rischio assoluto

Un modo semplice per esprimere l’effetto di un farmaco, è quello

di calcolare l’NNT, Number Needed to Treat, il numero di

pazienti da trattare per un certo tempo per evitare un evento,

che si ricava dal reciproco della riduzione assoluta del rischio

Experimental Event Rate ( EER )

EER =

N° di eventi nel gruppo sperimentale

N° di soggetti nel gruppo sperimentale

Control Event Rate ( CER )

CER =

N° di eventi nel gruppo di controllo

N° di soggetti nel gruppo di controllo

Relative risk ( RR )

RR =

EER

CER

Relative risk reduction ( RRR )

% RRR =

( CER - EER ) x 100

CER

Absolute risk reduction ( ARR )

ARR = CER - EER

Number Needed to Treat ( NNT )

NNT per prevenire un evento =

1

ARR RRR

NNT

Per esempio, se il rischio dei trattati è 0.1 (10%) e dei

controlli è 0.2 (20%)

la riduzione relativa del rischio sarà del 50% [(0.2-

0.1)/0.2]

la riduzione assoluta del rischio sarà del 10% (0.2-

0.1) e

l’NNT sarà 10 (1/0.1)

NNT Vantaggi

Stima il beneficio di una terapia

in un modo più comprensibile

Oltre all’effetto intrinseco del

farmaco, incorpora il rischio

basale del paziente

Offre una base per esprimere i

costi di un trattamento

Permette un confronto di

trattamenti diversi per diversi

disordini

Svantaggi

Va espresso insieme al periodo di

tempo del trattamento

Attenti a confrontare NNT di

trattamenti di durata differente

Richiede l’assunto che il rischio resti

costante nel tempo

L’NNT ricavato dalle tabelle è

univariato!

Come studiare l’andamento di una variabile continua

nel tempo: l’analisi della varianza per misure ripetute

Quando si hanno misure ripetute nel tempo, molti lavori, anche di

riviste importanti, esprimono ancora le differenze nel tempo tra i

gruppi con t-test ripetuti ai vari tempi. Questo è un grosso errore che

va evitato perché la struttura dei dati è quella di misure ripetute nel

tempo negli stessi pazienti

se si tratta di variabili quantitative continue, un modo elegante e

adeguato per trattare questi dati è quello dell’analisi della varianza

per misure ripetute, che tiene conto simultaneamente dei vari effetti

in gioco

E’ tuttavia uno strumento che va usato da persone che abbiano una

buona conoscenza dei concetti statistici

Come descrivere l’esperienza di vita di un

campione nel tempo:

Caratteristiche peculiari

• presenza di un punto di inizio osservazione

• presenza di un punto di fine osservazione che può accadere per

vari motivi

• possibilità che non tutti i pazienti presentino l’evento di interesse

(dati troncati o censored)

• il numero dei pazienti a rischio si riduce con l’aumento del follow-

up

Regressione di Cox

Quando si vuole studiare l’effetto di un farmaco al netto

dell’influenza di eventuali confondenti o più semplicemente

l’effetto di un fattore al netto degli altri (in termini statistici si usa

il termine “effetto del fattore A indipendentemente dal fattore B”),

l’analisi della sopravvivenza ha a disposizione il potente

strumento della regressione multivariata di Cox

Caratteristiche comuni al Kaplan-Meier e

al Cox La variabile dipendente è il tempo di occorrenza dell’evento

Presenza di dati troncati

Still alive

Lost to follow-up

La probabilità viene ricalcolata ad ogni occorrenza dell’evento

I pazienti a rischio decrescono durante il follow up con una precisione

della stima puntuale che decresce da sinistra verso destra

È meglio troncare la curva quando i pazienti a rischio sono meno

del 20% di quelli iniziali

Caratteristiche specifiche

Le curve separate per gruppo

sono univariate

Il confronto tra due o più

curve si fa con un test

semplice univariato: il log rank

test

L’effetto di una covariata

continua può essere saggiata

solo discretizzandola (es. età)

e costruendo le relative curve

Kaplan-Meier Cox

• Permette di considerare

simultaneamente l’effetto

indipendente di più fattori e

covariate sulla sopravvivenza

• Le curve ottenute sono quindi

“aggiustate” per i fattori e le

covariate inserite nel modello

• Le covariate continue possono

essere saggiate come tali

Cox

Permette di studiare le

associazioni tra le variabili

prognostiche e l’outcome

Può aiutare a scoprire links

causali tra variabili grazie

anche alle informazioni

disponibili in tempi successivi

Si presta all’analisi di

fenomeni complessi

multivariati

Studi di coorte Studi sperimentali

• Permette di considerare l’effetto del

trattamento sperimentale al netto

degli altri fattori associati

all’outcome

• Permette di aggiustare a posteriori

il confronto tra i gruppi quando la

randomizzazione per puro caso

non ha prodotto gruppi bilanciati

per i fattori prognostici più

importanti

• Rende gli studi più potenti

riducendo la variabilità casuale

Quando usare la regressione logistica

A differenza della regressione di Cox, nella regressione logistica

la variabile dipendente (la Y) non è il tempo passato fino

all’insorgenza dell’evento (Time to event) ma semplicemente

una variabile categorica che vale zero (0) se l’evento non è

accaduto e uno (1) se l’evento è stato osservato. I predittori

(ossia le X) sono sempre i fattori e le covariate, come nell’analisi

di Cox

A differenza della regressione lineare multipla, la Y è una

variabile categorica (Morti/vivi, Recidiva/non recidiva, Pazienti

con complicanze/pazienti senza complicanze)

Quando è utile la regressione logistica

negli studi trasversali,

negli studi volti a studiare l’occorrenza di complicanze dopo

un intervento (per esempio dopo una biopsia renale)

quando il tempo di osservazione per ogni paziente è fisso o

almeno sovrapponibile nei due gruppi a confronto

La regressione logistica trascura il tempo di accadimento degli eventi

e si concentra solo sul fatto che siano avvenuti o meno

Lo strumento statistico utile sarà l’odds ratio con i suoi intervalli di

confidenza, a differenza della regressione di Cox, che considerando

gli eventi nel tempo (studio longitudinale di coorte), userà lo

strumento statistico del rischio relativo.

Come si misura la bontà di un test diagnostico

Malattia

Test

+ - +

-

a c

b d

m1 m2

n1

n2

T

Sensibilità = a / m1

Specificità = d / m2

VPP = a / n1

VPN = d / n2

Accuratezza = (a+d) / T

LR+ = Sens / (1 - Spec)

LR- = (1 - Sens) / Spec

Nomogramma

di Fagan

Il likelihood ratio

Proprietà

Nei test dicotomici, con l’uso del nomogramma di Fagan,

permette di calcolare la probabilità post-test di malattia, nota la

sua probabilità pre-test

Nei test quantitativi (non dicotomici) come il dosaggio del PSA,

degli enzimi cardiaci o della ferritina, permette di stimare le

diverse probabilità di malattia in base al dosaggio quantitativo

del test

Permette infine l’uso di test in sequenza: la probabilità post-test

del primo diventa la probabilità pre-test del secondo test, con un

possibile aumento della capacità diagnostica

Prior ODDS * Likeliwood Ratio Post. ODDS =

Teorema di Bayes

Come si misura la bontà di un test diagnostico

La sensibilità (a/m1 della tabella 3) indica la capacità del test di

individuare i malati. Si ricava dal rapporto (n. malati con test + / tutti i

malati).

La specificità (d/m2 della tabella 3) indica la capacità del test di

individuare i sani. Si ricava quindi dal rapporto (n. di sani con test

negativo / tutti i sani).

Un test molto sensibile darà quindi pochi falsi negativi (b, ossia

malati ma negativi al test) e

un test molto specifico darà pochi falsi positivi (c, ossia sani ma

positivi al test); a e d rappresentano invece i veri positivi e i veri

negativi rispettivamente.

Come si misura la bontà di un test diagnostico

La stessa tabella permette di capire come ottenere la probabilità pre-

test di malattia (m1/T, ossia la probabilità di un paziente dello studio

di essere malato prima di conoscere l’esito del test) e

la probabilità post-test di malattia, ossia la probabilità di essere

malati una volta che è noto il risultato del test.

Un test poco utile sarà quello che non cambia molto la probabilità di

malattia.

Come si misura la bontà di un test diagnostico

La performance di un test dipenderà non solo dalle sue proprietà

intrinseche (sensibilità e specificità) ma anche dal contesto in cui

viene applicato che influenza la probabilità a priori o pre-test di

malattia.

Il valore predittivo di un test è influenzato da entrambi gli aspetti ed è

quindi più utile.

Il valore predittivo positivo indica la probabilità di essere malato dato

che il test è risultato positivo (a/n1).

Allo stesso modo, il valore predittivo negativo indica la probabilità di

essere sano dato che il test è risultato negativo (d/n2).

Likelihood ratio

(rapporto di verosimiglianza)

Il likelihood ratio (o rapporto di verosimiglianza) di un test

combina insieme sensibilità e specificità.

Il likelihood ratio + (positivo) [uguale a sensibilità/(1-specificità)]

indica di quante volte aumenta la probabilità che il test sia + in

un malato rispetto a un sano.

Il likelihood ratio – (negativo) specularmente [uguale a

specificità /(1 - sensibilità)] indica di quante volte aumenta la

probabilità che il test sia – (negativo) in un sano rispetto a un

malato.

Disease

Factor

+ -

+

-

1 -

1 -

1 1

Youden index

1 - ( + ) Youden Index =

90

Key messages Leggete solo gli studi primari

Non avere fretta

Se avete poco tempo, trascurate l’introduzione e la discussione ma

non accontentatevi di leggere l’abstract o le conclusioni

dell’abstract

Meglio le tabelle delle figure

Diffidate di un lavoro che utilizza una tecnica statistica complessa

Guardate anche se il lavoro aveva uno sponsor

Attenti alla congruenza delle conclusioni con i risultati