David Epstein Universidad de York, Inglaterra [email protected] · Indice zIntroducción zParte 1 – La...
Transcript of David Epstein Universidad de York, Inglaterra [email protected] · Indice zIntroducción zParte 1 – La...
La evaluación de pruebasLa evaluación de pruebas diagnosticas
David EpsteinUniversidad de York,
1
Indice
IntroducciónIntroducción Parte 1
– La sensibilidad y especificidadParte 2Parte 2
– La probabilidad de enfermedad– La fórmula de Rvdo. Dr. Bayes
Parte 3Parte 3– La curva de rendimiento diagnóstico (ROC)
Parte 4– El criterio de positivismo óptimo para una prueba– El criterio de positivismo óptimo para una prueba
Caso Práctico 1Parte 5
El meta análisis
2– El meta-análisis
Caso práctico 2Resumen, preguntas y conclusiones
Bibliografíag
Deeks J Systematic reviews in health care:Deeks J. Systematic reviews in health care: systematic reviews of evaluations of diagnostic and screening tests. BMJ. 2001;323:157-62.Hennekens C, Buring J. Epidemiology in medicine. Philadelphia: Lippincott; 1987.W i t i M Fi b H Cli i l D i i A l iWeinstein M, Fineberg H. Clinical Decision Analysis. Philadelphia: W B Saunders; 1980.Jaimes Fabián Diagnostic tests: use andJaimes, Fabián. Diagnostic tests: use and interpretation. Acta Med Colomb, Jan./Mar. 2007, vol.32, no.1, p.29-33
3
Una prueba es un separador p p
La pruebaLa prueba– Un método para buscar más datos de un paciente
Hi ó i fí i í i di áfi– Histórico, físico, químico, radiográfico…Los resultados de la prueba– Separar pacientes en grupos con diferentes
probabilidades de tener una enfermedad
4
Características de una pruebap
Normalmente una prueba tiene 2Normalmente una prueba tiene 2 característicasUna variable de medición– Por ejemplo, la presión diastólica de sangre
Un criterio de positivismo– El valor para separar el “normal” de la p p
“enfermedad”– Por qué hacemos una dicotomización?
5
Resultados de un estudio de la relaciónResultados de un estudio de la relación entre el nivel de la enzima “SGOT” y una infarto de miocardio reciente
25%17%
Prop
Con IM N=48
25%25%
12/4823%
11/48
19%
9/48
8%
4/48
8%
4/48
8/48
0%
porción d
50 100 150 200 250 60025%
SGOT unidades/litro
0%de pacien
50%80%
37/46
11%
5/46
9%
4/46
ntes Sin IM N=46
675%
SGOT: Glutamic oxaloacetic transaminase
La prueba “SGOT” para el infarto de miocardio
Variación en los valores de SGOT enVariación en los valores de SGOT en pacientes con y sin IMLos valores en los grupos se solapanElegir un criterio de positivismo para separar los pacientes– Por ejemplo SGOT ≥100 unidades /litroj
Tabla 2 x 2
7
Los resultados en una tabla 2x2 con un criterio de positivismo de SGOT≥100p
Con IM Sin IM TotalCon IM Sin IM Total
SGOT≥100 VP FN P+SGOT≥100 VP FN P+
SGOT<100 FP VN P-
Total E+= 48 E- = 46 N= 94
8
Los resultados en una tabla 2x2 con un criterio de positivismo de SGOT≥100p
Con IM Sin IM TotalCon IM Sin IM Total
SGOT≥100 VP 25 FN 4 P+ 29SGOT≥100 VP=25 FN=4 P+ =29
SGOT<100 FP=23 VN=42 P- =65
Total E+= 48 E- = 46 N= 94
9
Definiciones
SensibilidadSensibilidad– = “sensitivity” = tasa de verdadero positivos=
Pr[P+|E+] = VP / E+Pr[P+|E+] = VP / E+Especificidad – = “specificity” = tasa de verdadero negativos=
Pr[P-|E-] = VN / E-
10
Cociente de verosimilitud :“Likelihood ratio”
DefinicionesDefiniciones– Cocientes de verosimilitud; “Likelihood ratio”
LR ibilid d/(1 ifi id d)– LR+ = sensibilidad/(1-especificidad)– LR- = (1-sensibilidad)/ especificidad
=“Razon de probabilidades”p
11
Ejercicio. Calcular sensibilidad y especificidadp
CálculoCálculo– Sensibilidad
E ifi id d– Especificidad– LR +– LR -
Interpretación– Exactidud o precisión de la prueba– Insuficiente para tomar una decisión
12
Ejercicio. Probabilidad de una enfermedad
Una prueba tieneUna prueba tiene– Una sensibilidad de 99%– Una especificidad de 90%Una especificidad de 90%
La prevalencia (frecuencia de la enfermedad en la población de interés) es 10%p )Le diste la prueba a un paciente y resultó P+.¿Cuál es la probabilidad de que el paciente tiene la ¿ p q penfermedad?A. 10% B. 50% C. Entre 90 y 99% D. 100%
14
La revisión de la probabilidadp
Imaginad un cohorte de 1 000 personasImaginad un cohorte de 1.000 personas De ellos, 100 tiene la enfermedad, 900 no la tiene
Sensibilidad 99%
Especificidad90%
99 P+, 1 P- 90 P+, 810 P-
En el cohorte de 1 000 personasEn el cohorte de 1.000 personas
99 + 90 = 189 P+ 1+ 810 = 811 P-
15 Pr(E+ |P+) = 99/189 = 51% Pr(E-|P-) = 810/811
Teorema de Bayes (skip)y ( p)
Pr(P+) Pr(P+|E+)*Pr(E+) + Pr(P+|E )*Pr(E )Pr(P+)= Pr(P+|E+)*Pr(E+) + Pr(P+|E-)*Pr(E-)
Sensibilidad Prevalencia 1-Especificidad 1-Prevalencia
Pr(E+ | P+ ) = Pr(P + | E + )* Pr(E+) / Pr( P+)
Probabilidad posterior
17
Ejercicio. Revisar la probabilidad de un paciente que tuvo un IM (skip)p q ( p)
SGOT ≥ 50SGOT ≥ 50– Sensibilidad 75%, especificidad 80%
Prevalencia . – A. Supone que es 50%– B. Supone que es 20%
Usar ambos métodos : el método “cohorte” y yla formula de Bayes
18
Cálculo (skip)( p)
Prevalencia (probabilidad prior) 50%Prevalencia (probabilidad prior) =50%– P(P+) = 0.475
Probabilidad posterior = 0.375/0.475= 79%
Prevalencia =20%– P(P+) = 0 31P(P+) 0.31
Probabilidad posterior = 0.15/0.31=48%
19
Formula de Bayesy
Difícil calcular rápidamenteDifícil calcular rápidamenteNo es muy intuitivaAfortunadamente hay una forma más sencilla
20
Odds
DefiniciónesDefiniciónes Odds– Odds = Probabilidad / (1-probabilidad)
– Probabilidad = odds / (1 + odds)
21
Cociente de verosimilitud :“Likelihood ratio”
DefinicionesDefiniciones– Cocientes de verosimilitud; “Likelihood ratio”
LR ibilid d/(1 ifi id d)– LR+ = sensibilidad/(1-especificidad)– LR- = (1-sensibilidad)/ especificidad
22
Fórmula de Bayes: más sencilloy
P ( | ) P ( ) P ( | )E P E P E+ + + + +Pr( | ) Pr( ) Pr( | )*Pr( | ) Pr( ) Pr( | )
E P E P EE P E P E+ + + + +
=− + − + −
Odds posterior = Odds prior x likelihood ratio(+)
LR+ . Cambiar (aumentar) la probabilidad de la enfermedad en pacientes con un resultado positivo
LR-. Cambiar (disminuir) la probabilidad de la f d d i t lt d ti
23enfermedad en pacientes con un resultado negativo
Calculad la probabilidad de la penfermedad en un paciente con un resultado positivop
Umbral de SGOT = 50Umbral de SGOT 50– Sensibilidad 75%, especificidad 80%
Prevalencia = probabilidad prior de que la paciente tuvo un IM– Supone que es 50%
odds prior = 0.5 / 0.5 = 1LR+ = 0.75 / 0.2 = 3.75odds posterior = 1 x 3.75 = 3.75probabilidad posterior P(E+| P+) = 3.75 / 4.75 ≈ 0.80
Calculad la probabilidad de la enfermedad en un paciente con un resultado positivo si P(E+)=20%resultado positivo si P(E+)=20%Calculad la probabilidad de la enfermedad en un paciente con un resultado NEGATIVO si P(E+)=20%
24
Ejercicioj
JAIMES Fabián Diagnostic tests: use andJAIMES, Fabián. Diagnostic tests: use and interpretation. Acta Med Colomb, Jan./Mar. 2007 vol 32 no 1 p 29 332007, vol.32, no.1, p.29-33.
25
Odds posteriorp
En el análisis anterior calculamos el oddsEn el análisis anterior calculamos el odds posterior dado un resultado positivo de la prueba (P+)prueba (P+)
También se puede calcular el odds posterior de la enfermedad dado un valor “X” de SGOT eg X= 75
26
“Likelihood ratios” Cocientes deLikelihood ratios . Cocientes de verosimilitud. Calcular dentro de cada rango de SGOTg
SGOT “x” E+ E LR(x)SGOT x E+ E- LR(x)
0-49 12 37 (12/48)/(37/46)=0,310 49 12 37 (12/48)/(37/46) 0,31
50-99 11 5
100-149 9 4
150+ 16 0
27 Total 48 46
“Likelihood ratios”
SGOT E+ E LR(x)SGOT “x”
E+ E- LR(x)
0 49 12 37 0 31 LR <1 disminuir la 0-49 12 37 0,31
50-99 11 5 2,11
probabilidad de la enfermedad (dado el resultado de la prueba),
100-149 9 4 2,16 LR >1 aumentar la probabilidad de la
150+ 16 0 Inf.
probabilidad de la enfermedad (dado el resultado de la prueba)
28 Total 48 46
La fórmula de Bayes para calcular el y podds posterior dado un valor “X” de SGOT
Pr( | ) Pr( ) Pr( | )*Pr( | ) Pr( ) Pr( | )
E X E X EE X E X E+ + +
=Pr( | ) Pr( ) Pr( | )E X E X E− − −
29
Odds posterior de IMp
SGOT E+ E LR(X) Odds ProbabilidadSGOT “X”
E+ E- LR(X) Odds posterior
Probabilidad posterior
0-49 12 37 0 310 49 12 37 0,31
50-99 11 5 2,11
100-149 9 4 2,16
150+ 16 0 Inf.
30 Total 48 46
Cálculo de odds posterior cuando SGOT=75 y la prevalencia = 20%y p
LR | (50<SGOT<100) 2 11LR | (50<SGOT<100) = 2,11Prevalencia = 20%– Odds prior de la enfermedad= Pr(E+)/P(E-)= 0,25
Odds posterior = Pr(E+| X) / Pr(E- | X)p ( | ) ( | )– = 0,25 x 2,11= 0,53– Probabilidad posterior = 0,53/1,53 = 35%p , ,
31
Odds posterior de IM cuando la prevalencia = 20%p
SGOT E+ E LR(X) Odds ProbabilidadSGOTX
E+ E- LR(X) Odds posterior
Probabilidad posterior
0-49 12 37 0 310 49 12 37 0,31
50-99 11 5 2,11 0,53 0,35
100-149 9 4 2,16
150+ 16 0 Inf.
32 Total 48 46
Odds posterior de IM cuando la prevalencia = 20%p
SGOT “x” E+ E LR(x) Odds ProbabilidadSGOT x E+ E- LR(x) Odds posterior
Probabilidad posterior
0-49 12 37 0,31 0,08 0,070 49 12 37 0,31 0,08 0,07
50-99 11 5 2,11 0,53 0,35
100-149 9 4 2,16 0,54 0,35
150+ 16 0 Inf. Inf. ≈1,00
33 Total 48 46
Parte 3
La relación entre sensibilidad y especificidadLa relación entre sensibilidad y especificidadLa curva de ROC
34
Relación entre sensibilidad y especificidadp
Sensibilidad está medida en pacientes con laSensibilidad está medida en pacientes con la enfermedadEspecificidad está medida en pacientes sin la enfermedadenfermedadPor tanto, son independientes DADO UN CRITERIO DE POSITIVISMOUna prueba tendría una sensibilidad alta y especificidad alta, o sensibilidad baja y especificidad bajao sensibilidad baja y especificidad bajao sensibilidad baja y especificidad alta. etc
35
Cambiar el criterio de positivismop
En SGOT la elección de un criterio deEn SGOT, la elección de un criterio de positivismo más alto, reduciría la sensibilidad y mejoraría la especificidady mejoraría la especificidadCambiar el criterio de positivismo vincular sensibilidad y especificidad: “a trade-off”Ejercicio. Calcular sensibilidad y especificidad para SGOT ≥50 & SGOT ≥150
36
SGOT ≥ 50
Con IM Sin IMCon IM Sin IMSGOT≥50 36 9SGOT 50 12 37SGOT<50 12 37Total 48 46
Sensibilidad. 36/48 = 0,75Especificidad. 37/46 = 0,804
37
SGOT ≥100
Con IM Sin IMCon IM Sin IMSGOT≥100 25 4SGOT 100 23 42SGOT<100 23 42Total 48 46
Sensibilidad. 25/48=0,521Especificidad. 42/46=0,913
38
SGOT ≥150
Con IM Sin IMCon IM Sin IMSGOT≥150 32 0SGOT 150 16 46SGOT<150 16 46Total 48 46
Sensibilidad. 32/48 = 0,333Especificidad. 46/46 = 1
39
Resumen de resultados en función del criterio de positivismop
Criterio Sensibilidad EspecificidadCriterio Sensibilidad Especificidad
SGOT 50 0 75 0 80SGOT ≥50 0,75 0,80
SGOT ≥100 0,52 0,91
SGOT ≥150 0,33 1,00
40
La curva de rendimiento diagnóstico (ROC)( )
0.8
1Tasa de VP (sensibilidad)
0.6 Umbral = 50
0.4 Umbral = 100
0
0.2Umbral = 150
410
0 0.2 0.4 0.6 0.8 1
Tasa de falsos positivos (1-especificidad)
Ejercicio. Dibujar e interpretar la curva de ROC para cada prueba A, B, Cp p , ,
E+
E+
E-
Resultado de la prueba
E-
Resultado de la prueba CA
E++
Resultado de
42E- la prueba B
Interpretación de curva de ROCp
sensibilidad
1
sensibilidad
Área bajo la curva (AUC) =
45º
( )0,5
430
1- especificidad1
Interpretación de curva de ROCp
sensibilidad
10,5 < Área < 1
sensibilidad
Área = Probabilidad de hacer un buen diagnóstico de 2
personas, una con la enfermedad y otra
i l f d d
45º
sin la enfermedad
450
1- especificidad1
Interpretación de curva de ROCp
sensibilidad
1
sensibilidad
Gradiente de la curva de ROC = LR a esta coordinada
45º
McNeil et al (1975) NEJM 293:211-215
460
1- especificidad1
“Likelihood ratios” Cocientes deLikelihood ratios . Cocientes de verosimilitud. Calcular dentro de cada rango de SGOTg
SGOT x E+ E LR (x)SGOT x E+ E- LR (x)
0-49 12 37 (12/48)/(37/46)=0,310 49 12 37 (12/48)/(37/46) 0,31
50-99 11 5
100-149 9 4
150+ 16 0
47 Total 48 46
“Likelihood ratios”
SGOT E+ E LR(x)SGOT E+ E- LR(x)
0-49 12 37 0,31 LR <1 disminuir la 0 49 12 37 0,31
50-99 11 5 2,11
probabilidad de la enfermedad (dado el resultado de la prueba)
100-149 9 4 2,16 LR >1 aumentar la probabilidad de la
150+ 16 0 Inf.probabilidad de la enfermedad (dado el resultado de la prueba)
48 Total 48 46
La relación entre la curva de ROC y el LR
0.8
1Tasa de VP (sensibilidad)
0.6 Umbral = 50 LR = 0,31
0.4 Umbral = 100
0
0.2Umbral = 150
490
0 0.2 0.4 0.6 0.8 1
Tasa de falsos positivos (1-especificidad)
Ejercicioj
Dibujar una curva ROC para la prueba deDibujar una curva ROC para la prueba de presión ocular (“Schiotz tonometría”) para identificar pacientes con glaucomaidentificar pacientes con glaucoma
50
Presión ocular
0.2
0.25
0.3
E+Probabilidad
0.1
0.15
Presión intra-ocular más
-0.1
-0.05
00-1 1-2 2-3 3-4 4-5 5-6 6-7 7-8 8-9 9-10 10-11 11-12
0
0.05
0-1 1-2 2-3 3-4 4-5 5-6 6-7 7-8 8-9 9-10 10-11 11-12
ocular más baja (menos riesgo de ceguera)
-0.25
-0.2
-0.15
E_
ceguera)
51-0.45
-0.4
-0.35
-0.3
Presión ocular
Resultado de la prueba E+ (%) E- (%)
0-1 0.018 0
1 2 0 016 01-2 0.016 0
2-3 0.023 0
3-4 0.073 0.001
4 5 0 181 0 0054-5 0.181 0.005
5-6 0.277 0.042
6-7 0.166 0.14
7-8 0.246 0.394
8-9 0 0.247
9-10 0 0.119
5210-11 0 0.042
11-12 0 0.01
Total 1 1
Presión ocular
Resultado de la prueba E+ E- FP VP LR
0-1 0.018 0 0 0.018
1 2 0 016 0 0 0 0341-2 0.016 0 0 0.034
2-3 0.023 0 0 0.057
3-4 0.073 0.001 0.001 0.13 73.00
4-5 0.181 0.005 0.006 0.311 36.20
5-6 0.277 0.042 0.048 0.588 6.60
6-7 0.166 0.14 0.188 0.754 1.19
7-8 0.246 0.394 0.582 1 0.62
8-9 0 0.247 0.829 1 0.00
9-10 0 0.119 0.948 1 0.00
5310-11 0 0.042 0.99 1 0.00
11-12 0 0.01 1 1 0.00
Curva ROC
Curva ROCCurva ROC
0.8
0.9
1
0.5
0.6
0.7
0.8
or V
P
0.2
0.3
0.4
Valo
8<Criterio<9
Sensibilidad=17<Criterio<8
Sensibilidad=0,75Especificidad=1 0 19=0 81
0
0.1
0 0.1 0.2 0.3 0.4 0.5 0.6 0.7 0.8 0.9 1
Valor FP
Especificidad=1-0,58=0,42Especificidad=1-0,19=0,81
54
Parte 4. El criterio de positivismo óptimo para una pruebap p p
Por ejemplo Pacientes sospechosos de IMPor ejemplo. Pacientes sospechosos de IMTu hospital tiene una prueba para IMEl hospital usa la prueba con un LR+ = 2Se trata el paciente según el resultado de la prueba Supón que la probabilidad previa = 20%D é d b P+ l b bilid d t iDespués de una prueba P+, la probabilidad posterior E+| P+ 33%El hospital quiere que revises su política p q q p¿ Es correcto su criterio de positivismo?¿ De que factores depende tu decisión?
55
La elección del criterio de positivismo optimop
E+ FN
Resultado de la prueba
E- FP
57 X2 es un separador más especifico que X1
La elección del criterio de positivismo optimop
E+ FN LR(X2) mayor que LR(X1)LR(X1)
Resultado de la prueba
E- FP
58 X2 es un separador más especifico que X1
Factores relevantes para la decisiónp
Prevalencia de la enfermedad (rara oPrevalencia de la enfermedad (rara o común)Consecuencias de errores: falsos positivos y falsos negativos– Efectividad de tratamientos– Riesgos de tratamientos– ¿Costes de los tratamientos?
59
Ejercicio: Consecuencias de errorj
¿Qué criterio de postivismo (más especifico /¿Qué criterio de postivismo (más especifico / más sensible) elegirías si
El t t i t ti á i ?– El tratamiento tiene más riesgo?– Las consecuencias sin tratamiento son más
graves?graves?– La prevalencia disminuye?
L l i t ?– La prevalencia aumenta?– El tratamiento es más caro?
60
Consecuencias de error
¿Qué X elegirías si¿Qué X elegirías si– El tratamiento es arriesgado?
Consecuencias peores para un FP X más especificoConsecuencias peores para un FP X más especifico – Las consecuencias sin tratamiento son graves?
Para evitar FN X más sensible– La prevalencia disminuye?
FP más probable X más especifico para evitar FPL l i t ?– La prevalencia aumenta?
FN más probable X más sensible para evitar FN
61
Ejemplo: Criterio de positivismo óptimo de un prueba para encontrar IMp p p
ConsecuenciasConsecuencias– VN : Buena salud
FP : Adversos efectos de fármacos (hemorragia)– FP : Adversos efectos de fármacos (hemorragia)Tasa de mortalidad 3 por 100 personas
– VP : Prognosis bastante buenagTasa de mortalidad 20 por 100 personas
– FN : Riesgo alto de mortalidadTasa de mortalidad 50 por 100 personas
Objetivo: Minimizar la tasa de mortalidad
62
Análisis de la decisión para la elección del criterio de positivismo óptimo p p
E+ ConsecuenciasDesignación de X como
una P+
E+P(E+|X)
Consecuencias de VP
Resultado d l
una PE-
P(E-|X)
Consecuencias de FP
Decisiónde la prueba =
XConsecuencias
d FN
E+P(E+|X)
Designación de X como
una P-
de FN
Consecuencias
( | )
E-
63
Consecuencias de VNP(E-|X)
Probabilidad posterior de IM cuando la prevalencia = 20%p
SGOT E+ E LR(X) Odds ProbabilidadSGOTX
E+ E- LR(X) Odds posterior
Probabilidad posterior
0-49 12 37 0 310 49 12 37 0,31
50-99 11 5 2,11 0,53 0,35=(11/48)/(5/46)
=(0,2/0,8)*2,11 =0,53/1,53
100-149 9 4 2,16100 149 9 4 2,16
150+ 16 0 Inf.
64 Total 48 46
Análisis de la decisión para la elección del criterio de positivismo optimo p p
E+ 0 20Designación
P+
E+0,35
0.20Prevalencia 20%
Resultado d l
E-0,65
0.03
Decisiónde la prueba
SGOT = 75 0.50
E+0,35
Designación P-
0E-
65
00,65
Análisis de la decisión para la elección del criterio de positivismo optimo p p
E+ 0 20Designación
P+
E+0,35
0.20
T di d
Prevalencia 20%
Resultado d l
E-0,65
0.03Tasa media de mortalidad = 0,09
Decisiónde la prueba
SGOT = 75 0.50
E+0,35
Designación P-
0E-Tasa media de t lid d 0 17
66
00,65
mortalidad = 0,17
Análisis de la decisión para la elección del criterio de positivismo optimop p
50< SGOT <100 debe designar una50< SGOT <100 debe designar una resultado positivoEjercicio– Comparar las tasas de mortalidad si determinas
un valor de SGOT < 50 como “negativo” frente a la opción de determinar un valor de SGOT < 50 como “positivo”como positivo
67
Criterio de positivismo óptimo. Prevalencia = 20%
SGOT LR(X) Probabilidad Mortalidad MortalidadSGOTX
LR(X) Probabilidad posterior de la
f d d
Mortalidad si X P+
Mortalidad si X P-
enfermedad
0-49 0,31 0,07 0.042 0.036
50-99 2,11 0,35 0,089 0,173
100-149 2,16 0,35 0,090 0,175
68150+ Inf. ≈1,00 0.200 0.500
La fórmula de Bayes para calcular el Likelihood Ratio óptimo p
Pr( | ) Pr( ) *Pr( | ) Pr( )
X E E CVN CFPX E E CVP CFN
⎛ ⎞+ − −⎛ ⎞= ⎜ ⎟ ⎜ ⎟+ ⎝ ⎠⎝ ⎠Pr( | ) Pr( )X E E CVP CFN− + −⎝ ⎠⎝ ⎠
LR óptimo = ( 1/ Odds prior ) * “consecuencias”LR óptimo = ( 1/ Odds prior ) consecuencias
Por ejemplo:
LR óptimo = 0.8/0.2 * (0-0,03) / (0,2 – 0,5)
LR óptimo = 4 x 0,1 = 0,4
69 Weinstein M, Fineberg H. Clinical Decision Analysis. Philadelphia: W B Saunders; 1980.
Likelihood Ratio y el criterio de positivismo óptimop p
¿Cómo cambiaría sus conclusiones en el¿Cómo cambiaría sus conclusiones en el caso de que:
L t d l i d IM á b j– La tasa de prevalencia de IM es más baja– El prognosis después el tratamiento de un IM sea
mejor?mejor?¿Qué otros factores son importantes en la d i ió ?decisión?
70
Parte 5
Meta análisisMeta-análisis– Síntesis de los resultados de varios estudios
4 Métodos– Unir los datos– Análisis de sensibilidad y especificidad
independientemente– Análisis de Likelihood Ratios– Análisis de Diagnostic Odds Ratio
72
¿Unir los datos? Calcular sensibilidad ¿y especificidad para cada estudio y los datos agrupados. Comentar. g p
E+ E Sens EspecE+ E- Sens EspecEstudio1 P+ 100 10
P 300 90P- 300 90Total 400 100
Estudio2 P+ 30 100Estudio2 P 30 100P- 10 100Total 40 200
Total P+ 130 110P- 310 190
73Total 440 300
¿Unir los datos? Calcular sensibilidad ¿y especificidad para cada estudio y los datos agrupados. Comentar. g p
E+ E Sens EspecE+ E- Sens EspecEstudio1 P+ 100 10
P 300 90P- 300 90Total 400 100 0,25 0,9
Estudio2 P+ 30 100Estudio2 P 30 100P- 10 100Total 40 200 0,75 0,5
Total P+ 130 110P- 310 190
74Total 440 300 0,29 0,63
Método 1. Problema con datos agrupados. g p
sensibilidad
1
Estudio 2sensibilidad
Datos agrupados
45º Estudio 1
750
1- especificidad1
Datos de sensibilidad y especificidad de 20 estudios. Deeks 2001
76 Estimates from 20 studies of sensitivity and specificity of measurement of endometrial thicknesses of more than 5 mm using endovaginal ultrasonography for detecting endometrial cancer..
Desafíos de un meta-análisis
Variabilidad en los resultadosVariabilidad en los resultados– De carácter aleatorio
D á i á i– De carácter sistemáticoDebido a diferencias entre los estudios (p.e características de los pacientes)características de los pacientes) Debido a diferencias en el criterio de positivismo entre los estudios
77
Método 2
Meta análisis independientes de los datos deMeta-análisis independientes de los datos de sensibilidad y los datos de especificidadResultados– Sensibilidad 0,96 – ( 95% intervalo de confianza 0,93 a 0,99)– Especificidad 0,61– ( 95% intervalo de confianza 0,55 a 0,66)
79
Problemas del meta-análisis de sensitividad y especificidad por separadop
No se tuvo en cuenta la heterogeneidadNo se tuvo en cuenta la heterogeneidad sistemática entre los estudios
81
Método 3. Promedios de los Likelihood ratios positivos y negativosp y g
Supone que los Likelihood Ratios sonSupone que los Likelihood Ratios son similares entre los estudios Resultados– Likelihood Ratio positivo 2,54 – ( 95% intervalo de confianza 2,16 a 2,98)– Likelihood Ratio negativo 0,09 – ( 95% intervalo de confianza 0,06 a 0,13)
82
Meta-análisis con Likelihood Ratios constante. (Sensibilidad estimado)( )
1
0.8
1Tasa de VP
LR- constante = 0,09
0.6
0.2
0.4 LR+ constante = 2,54
00 0.2 0.4 0.6 0.8 1
83 Tasa de FP
Interpretar los resultados de LR+ y LR-p y
Supone que la prevalencia de cáncer endometrialSupone que la prevalencia de cáncer endometrial en esta populación es 13%Calcular el odds posterior de la enfermedad de unCalcular el odds posterior de la enfermedad de un paciente quien resultó P+Calcular el odds posterior de la enfermedad de unCalcular el odds posterior de la enfermedad de un paciente quien resultó P-
84
Odds posteriorp
P ( | ) P ( ) P ( | )E P E P EPr( | ) Pr( ) Pr( | )*Pr( | ) Pr( ) Pr( | )
E P E P EE P E P E+ + + + +
=+ +Pr( | ) Pr( ) Pr( | )E P E P E− + − + −
Si ltó P+Si resultó P+
Odds posterior de enfermedad = (0,13/0,87)*2,54 = 0,38
Probabilidad posterior = 0 38 / 1 38 = 28%Probabilidad posterior = 0,38 / 1,38 = 28%
Si resultó P-
Odds posterior de enfermedad = (0 13/0 87)*0 09 = 0 014
85Odds posterior de enfermedad = (0,13/0,87) 0,09 = 0,014
Probabilidad posterior = 0,014 / 1,014 = 1,3%
Meta-análisis de Likelihood ratios
La interpretación de LR+ y LR es intuitiva yLa interpretación de LR+ y LR- es intuitiva y útil en la práctica clínicaProblemas en el meta-análisis– ¿Cómo elegiría entre LR+ constante o LR-
constante?– Otra vez el análisis no tuvo en cuenta la
dif i l it i d iti i t ldiferencia en el criterio de positivismo entre los estudios
86
Método 4. Odds ratio diagnostico (Diagnostic odds ratio)( g )
Supone que los odds ratio diagnositicos sonSupone que los odds ratio diagnositicos son similares entre los estudiosDefinición– DOR = LR + / LR –– = sensibilidad / (1- sensibilidad)– _________________________– especificidad / (1- especificidad)
87
Diagnostic odds ratiog
Es poco probable que el LR no varia entre estudiosEs poco probable que el LR no varia entre estudios, porque el LR varia en función del criterio de positivismopositivismoEs más probable que el DOR no varia en función del criterio de positivismo ya que es una característica p y qde la tecnologíaPero resulta difícil aplicar el DOR a la practica clínicaLa fórmula para calcular el SROC
88
Relación entre DOR y la curva de SROC (Summary ROC)( y )
Si el DOR es constante en los estudios (o todo laSi el DOR es constante en los estudios (o todo la variación en el DOR es aleatoria): Podemos calcular la sensibilidad en función dePodemos calcular la sensibilidad en función de especificidad y DOROdds(TVP) = DOR * odds(TFP)Odds(TVP) DOR odds(TFP)
– Donde– TVP = tasa de verdadero positivo = sensibilidad– TFP = tasa de falso positivo = 1-especificidad– Odds(x) = x/(1-x)
89
Summary ROC. Sensibilidad previstay p
1
0.8
1Tasa de VP DOR constante = 28
(95% IC 18,2 a 43,2)
0.6 El criterio de positivismo variaría entre estudios
( )
0.2
0.4
El análisis supone que otra variabilidad es
00 0.2 0.4 0.6 0.8 1
otra variabilidad es aleatoria
90 Tasa de FP
Conclusión
Meta análisisMeta-análisis– Síntesis de los resultados de varios estudios
L i i bl– Los supuestos son inevitables– Es importante explorar factores que resultan en la
ariabilidad entre est diosvariabilidad entre estudios– Un factor sería el criterio de positivismo, por
ejemplo debido a diferencias en la calibración deejemplo, debido a diferencias en la calibración de las máquinas
91
Comparación entre dos opcionesp p
Diseño del estudioDiseño del estudio– Ensayo clínico aleatorio
Validez interna altaValidez interna altaCaro y difícilValidez externa puede ser baja
– Estudio de modelizaciónUtilizar datos de prevalencia, sensibilidad, especificidadTener en cuenta que las diferencias en sens y especTener en cuenta que las diferencias en sens y espec pueden ser por diferencias en el criterio de positivismoModelizar las consecuencias de FP, FN etc.
92
Ensayo clínico aleatorio: la anginay g
O ll d hOverall, death or MI was reduced in the routine
[ dinvasive group [compared with the selective group ; Odd 0 82 95% CIOdds ratio 0.82, 95% CI 0.72-0.93]
93
Caso práctico 2: Evaluación de Telemedicina (modelización)( )
Pacientes con lesiones de la piel sospechosas dePacientes con lesiones de la piel sospechosas de melanoma malignoOpciones para el cribadoOpciones para el cribado
– Telemedicina en atención primaria con una cámara digital y conexión electrónica para enviar las imágenes a un especialista
– Atención especializada con una cámara digital (dermatoscopia)(dermatoscopia)
Evaluar las opciones y hacer recomendaciones para el sistema sanitario
94
Datos de eficacia
Estudio VP Total E+ FP Total E-Estudio VP Total E+ FP Total ETelemedicina Browns 83 85 98 171
Moreno Ramirez 14 14 10 47Atención Cristofolini 29 33 40 187
Especialista Soyer 61 65 17 94Benelli 48 60 38 341e e 8 60 38 3Carli 3 4 1 11Krahn 35 39 3 41SStanganelli 51 55 13 207Lorentzen 40 49 11 183Drummer 22 23 17 801
95
Otros datos
Prevalencia de melanoma maligno en estaPrevalencia de melanoma maligno en esta populación es 22%Consecuencias– Tasa de mortalidad con tratamiento correcto 2%– Tasa de mortalidad sin tratamiento precoz 3,6%– Tasa de mortalidad con tratamiento innecesaria ?– Qué otros factores sería importantes?
96