Metodo de comparacion2011

Aseguramiento de la Calidad en el Lab. Clínico: Control de

Calidad Externo (CCE)

Pedro Cortes AlfaroTecnólogo Medico

Magister en Administración en Salud

Valor

verdadero

Variabilidad Pre-analítica

(estimada como irrelevante)

Variabilidad Biológica Intrínseca

(una constante)

Variabilidad analítica

(imprecisión analítica total)

Resultado de la muestra

VARIABILIDAD TOTAL

Bias Analítico

Variabilidad Analítica

(imprecisión analítica total)+ ERROR TOTALBias Analítico =

Composición de un dato de laboratorio

ASEGURAMIENTO DE LA

CALIDAD FASE ANALÍTICA

Cumple

CCI

Material

Control

Corrida Analítica

Gráficas Levey-Jennings

Reglas de Westgard

Error Total - Cartas OPSpecs –

Nº Sigma - ΔSEcrit (inexactitud e

imprecisión del método)Cumple

No

Si

Material

Control con

trazabilidad

No Si Aseguramiento

de la calidad de

Resultados/

procedimiento

Acciones Preventivas

y Correctivas

CCE

Material

Control

ERROR

(de una medida)

Error sistemático

incertidumbreRESULTADO

Error aleatorio

Error sistemático conocido

Error sistemático desconocido

corrección Error remanente

R + U (R)

Error originado por causas aleatorias o fortuitas y probablemente no corregibles

ERROR ALEATORIO

60

70

80

90

100

110

120

130

1 3 5 7 9 11 13 15 17 19

Límite de alarma superior

Límite de precaución superior

Límite de precaución inferior

Límite de alarma inferior

media

Tiempo: dias: fechas

unidades

Error Total Máximo: es el máximo error aceptable a

un determinado nivel de concentración.

“VV”

Error Sistemático (ES) = x – “VV”

Error Total Máximo = ES + EA

Error Aleatorio (EA) = 3 x S(n-1)

x

ERROR SISTEMÁTICO

• Diferencia entre valor medio y valor verdadero. • Es el mismo para todas las medidas repetidas.• Depende de la veracidad del procedimiento de

medida.• Causas del error sistemático:

• Calibración incorrecta: afecta a todas las muestras. Debe ser evitado o corregido.

• Inespecificidad (metrológica): afecta a las muestras • que contengan alguna interferencia. Debe prevenirse.

Si se utiliza un procedimiento de medida muy específico y adecuadamente calibrado, los resultados están libres de error sistemático.

Callum G. Fraser: BIOLOGICAL VARIATION: FROM PRINCIPLES TO PRACTICE

Error Total(TE) puede ser calculado de diferentesformas. La manera mas usual es agregando el bias (sesgo) y precision “linealidad”.

TE = bias + 2SD ( or CV)



TEa= bias + 1,65 SD ( or CV)

TEa= BA + 1,65 CVA

me

did

a a

erroraleatorio

valo

r ve

rda

der

o

error sistemático

me

did

a b

80 90 100 110 120

resultado medición

pro

bab

ilid

ad

-15 0

tamaño error sistemático

pro

bab

ilid

ad

80 90 100 110 120

valo

r ve

rdad

ero

error sistemático

med

ida

erroraleatorio

error de medida

imprecisión

error máximo de medida

TIPOS DE ERRORES

0 +1 +2 +3 +4 +5 +6-1-2-3-4

s

DESPLAZAMIENTO DE LA CONDICION ESTABLE

ESTIMACIÓN DEL ERROR SISTEMÁTICO

comprar MRC

comparar procedimientos

participar en EQAS

asignado a materialesreferencia certificados

obtenido en muestras conprocedimientos de veracidad conocida

Valor de consenso encomparación interlaboratorios

valor verdadero convencionalValorverdadero

método externo para validación del desempeño en cuanto a exactitud de un laboratorio, mediante la evaluación de muestras ciegas y la comparación de sus resultados con todos los laboratorios participantes.

CONTROL DE CALIDAD EXTERNO

ESTIMACIÓN DEL ERROR EN EQAS

Diferencia respecto a un valor verdadero convencional

– Mensurandos con valor independiente del método: valor de la media global (u otro vvc). Los valores de referencia son independientes del método.

– Mensurandos con valor dependiente del método: valor de la media del método (u otro vvc). Enzimas, muchos inmunoanálisis. Los valores de referencia son dependientes del método.

EXPRESIÓN DEL ERROR EN EQAS

• error absoluto = resultado lab - valor

verdadero

• error relativo (%) = 100 x error absoluto / valor

verdadero

– útil para comparar con el requisito de

exactitud o con la incertidumbre o con

otros mensurandos

• error relativo (s) = SDI = error absoluto / sgrupo

– útil para comparar con otros laboratorios

Bias: “Modelos de Estimación”

¿De que forma podemos estimar el Bias de nuestros métodos?

1)- Comparación de Métodos.2)- Esquemas Interlaboratorio o Peer Group.3)- Control de Calidad Externo.- Regresión- T test4)- Estudios de Recuperación, verificación de la veracidad .5)- Otros.

Bias: “Comparación de Métodos”

Los estudios de comparación de métodos se llevan a cabo a efectos de determinar el error sistemático del ensayo (cantidad) que está siendo evaluado.

Se realizan analizando muestras con el nuevo método y un método de comparación.

Sobre la base de las diferencias observadas entre los dos métodos se calcula el error sistemático.

Las diferencias observadas se analizan en los distintos niveles de decisión médica de la cantidad (analito) en cuestión, para juzgar sobre la aceptabilidad del método. Brindan información importante sobre la naturaleza del error (sistemático o constante).


Objetivo

“El propósito fundamental de los estudios de comparación demétodos es determinar si dos métodos son estadísticamentecomparables”

Para que esto sea cierto se deben dar tres condiciones:1- La pendiente no debe ser significativamente diferente de 1.2- La intersección no debe ser significativamente diferente de 0.3- No debe existir diferencia significativa en los niveles dedecisión médica.


Factores a Considerar1)- Método de Comparación.2)- Número de muestras a analizar.3)- Corrida Simple Vs. Duplicados.4)- Duración del estudio.5)- Estabilidad de las muestras.


Método de Comparación-Se habla de método de comparación.

-Debería seleccionarse un método de referencia para asegurarla veracidad de los resultados que genera.

-Si el método de comparación es un método de referencia, lasdiferencias encontradas son asignadas al método en estudio.

-Al momento de interpretar los resultados es muy importantesaber cual es la referencia que estamos empleando.

- Conceptos relacionados : “Trazabilidad”; “Método Definitivo o de Referencia”


Número de muestras a analizar

-Deben seleccionarse entre 20 y 40 muestras de pacientes, de manera tal que se cubra el rango de trabajo del ensayo en estudio.

-La calidad de las muestras seleccionadas es más importante que la cantidad.

- Factor crítico: “Distribución de las muestras”.


Corrida Simple Vs. Duplicados-Los duplicados brindan una verificación sobre la validez de las mediciones.

-Incrementan costos.

- Si no se trabaja con duplicados se deben verificar los pares de datos al momento que son obtenidos.


Duración del estudio

-Mínimo 5 días.

-Optimo 20 días.

-2 a 5 muestras por día.


Estabilidad de las muestras-Genéricamente se recomienda no dejar pasar más de 2 horas para procesar las muestras por ambos métodos.

-La estabilidad del analito en la muestra puede ser una limitante.

- Ejemplos: Bicarbonato, lactato, amonio, gases en sangre.


Interpretación de resultadosExisten 4 razones o motivos por los cuales se realizan estudios de comparación entre métodos:

-Clínico-Analítico-Investigación-Armonización

Bias: “Comparación de Métodos”Interpretación de resultados

Sensibilidad de parámetros estadísticos de tres clases de error

Random Proporcional Constante

Slope No Si No

Intercept No No Si

Std. Err. Est. Si No No

Bias No Si Si

Std. Dev. Diff. Si Si Si

T Test Si Si Si

Corr. Coef, (R) Si No No

Med. Dec. Pt. No No No

Predicted Bias No Si Si

95% Confs.Limit

Si Si SI


Interpretación de resultadosStd. Err. Est.(SEE)-Describe la dispersión de los puntos x,y alrededor de la línea de tendencia central.

-Cuanto más chico sea el SEE mejor correlacionan los métodos.

- Si el desvío estándar de ambos métodos es idéntico, el SEE será aproximadamente 1,4 veces el desvío estándar típico.

valores verdaderos

valo

res o

bservad

os

constante

proporcional


Interpretación de resultadosStd. Err. Est.(SEE)


Análisis GráficoEs inicialmente útil para detectar outliers.Para los métodos que supuestamente tienen un grado de acuerdo importante se utiliza el “Difference plot”.

Permite identificar outliers

Permite visualizar errores

www.westgard.com


Análisis Gráfico Asociado

Permite identificar outliersVerificar la calidad de las muestrasRespuesta lineal en el rango analíticoAcuerdo entre los métodos

www.westgard.com


Diferentes modelos de regresión:

Regresión lineal

Regresión de Deming

Passing-Bablok

Bias: “Comparación de Métodos”Interpretación de resultados

-Ambos modelos funcionanminimizando la suma de loscuadrados de los residuales.

-La regresión regular asumepara hacerlo que le métodode comparación es exacto.

-Angulo definido por el cociente de los errores relativos de los 2 métodos.


Interpretación de resultados

Passing Bablok- Es una aproximación diferente.- Calcula las pendientes de cada uno de los pares de puntos.-Descarta las pendientes horizontales y verticales y estima-la media del resto.- Descarta outliers.

Bias: “Comparación de Métodos”Coeficiente de correlación (r)

“Describe el ancho relativo de la elipse queengloba los puntos de la serie de datos.”

- Es sensible al error aleatorio, al rango de datos y al signo de la pendiente.

- Mide el grado de asociación entre dos variables.


Interpretación de resultados¿Cómo estimar el Bias en unidades de concentración y porcentaje a partir de la ecuación de la recta obtenida del estudio de comparación de métodos?

Pendiente: 1,0377 (m)Intercepto: 5,37 (b)

Ecuación de la recta: Y = m * X + bY = pendiente * X + Intercepto

Y = 1,0377 * X + 5,37X : Concentración a la cual se va a evaluar el biasDebería representar un nivel de decisión médica



Y = 1,0377 x X + 5,37Lo que quiero saber es:- Para una muestra que tenga un valor verdadero de “X”que valor voy a obtener yo de acuerdo al Bias de mimétodo .

- X = 100 mg/dl- Y = 1,0377 x 100 + 5,37-Y = 109,1mg/dl

- Para una muestra con un valor verdadero de 100 mg/dlcon mi método yo obtendría un valor de 109,1 mg/dl.



X = 100 mg/dl (valor verdadero)Y = 109,1 mg/dl (valor obtenido)

¿Cuál es el Bias en unidades de concentración?

Bias = Valor Obtenido – Valor VerdaderoBias = 109,1 – 100 = 9,1 mg/dl



X = 100 mg/dl (valor verdadero)Y = 109,1 mg/dl (valor obtenido)

¿Cuál es el Bias en porcentaje?Bias = Valor Obtenido – Valor Verdadero x 1oo

Valor VerdaderoBias = 109,1 – 100 x 1oo

100Bias = 9,1 %

Cada punto representa una muestra medida con dos procedimientos.

La línea roja es la recta de regresión y la negra indica la igualdad x=y

A Resultados idénticos

B Error sistemático constante positivo


Cada punto representa una muestra medida con dos

procedimientos.

La línea roja es la recta de regresión y la negra indica la

igualdad x=y

C Error sistemático proporcional

D Error mixto

Bias: “Esquemas Interlaboratorio”


“Los esquemas interlaboratorio brindan unainformación muy útil para la estimación del Bias”

Puntos críticos:-Contra que me comparo.-Valor verdadero.-Trazabilidad.-Tamaño del grupo de comparación.-Niveles de decisión médica evaluados.


Evaluemos Nivel 1:

Supongamos valor verdadero: Media grupo parLab: 40,07

Media grupo par: 39,05Bias: ( 40,07 - 39,05) = 1,02Bias %: (1,02 / 39,05)*100= 2,61


Evaluemos Nivel 1:

Supongamos valor verdadero: Media Acumuladadel laboratorio

Lab: 40,07Media acum. Lab.: 40,08Bias: ( 40,07 - 40,08) = -0,01Bias %: (0,01 / 40,08)*100= 0,02


Evaluemos Nivel 1:

Supongamos valor verdadero: Media del Método

Lab: 40,07Media del Método: 37,72Bias: ( 40,07 - 37,72) = 2,35Bias %: (2,35 / 37,72)*100= 6,2


Evaluemos Nivel 2:

Supongamos valor verdadero: Media grupo par

Lab: 185,6Media grupo par: 188,1Bias: ( 185,6 – 188,1) = -2,5Bias %: (2,5 / 188,1)*100= 1,3


Evaluemos Nivel 2:

Supongamos valor verdadero: Media Acumuladadel laboratorio

Lab: 185,6Media acum. Lab.: 186,4Bias: ( 185,6 - 186,4) = -0,8Bias %: (0,8 / 186,4)*100= 0,4


Evaluemos Nivel 2:Supongamos valor verdadero: Media del Método

Lab: 185,6Media del Método: 188,1Bias: ( 185,6 – 188,1) = -2,5Bias %: (2,5 / 188,1)*100= 1,3

SDI – IDE - Puntaje-Z %sesgo - %BIAS - DRP

SRZ (promedio últimos 6 Puntaje-Z, últimas muestras)

n

ZiSRZ

n

1i

SRZ

S

X-X100*

X

X-X

Criterios de Evaluación Programas de Evaluación externa

En Términos de Error Total permitido:

Probabilidad (%)

Unidirectional z - Score

Bidereccional Z- Score

99 2,33 2,58

98 2,05 2,33

97 1,88 2,17

96 1,75 2,05

95 1,65 1,96

90 1,28 1,65

85 1,04 1,44

ImprecisiónInexactitud

ERROR TOTAL (Competencia)

1.65%CV%SESGOET

Criterios de aceptabilidad de los resultadosde los PEEC

ERROR TOLERABLE MAXIMO, ETMEstablece un intervalo de variación aceptable alrededor del valor asignado. En la práctica, dicho valor asignado tiene que ser igual o cercano a la concentración crítica para el analito

X=A +ETM-ETM

CRITERIO DE TONKS

Establece un error de tolerancia máximo (ETM) paracada constituyente, considerando el intervalo dereferencia (IR) o valor de referencia para éste, y secalcula de la fórmula siguiente:

ETM = (0.25*IR/valor medio del IR)*100

Criterios para determinar el ETM

Ejemplo, para glucosa:IR = 80 a 120 = 40valor medio del IR = (80 + 120)/2 = 100,luego ETM =(0.25 * 40/100) * 100 = 10 %

luego el D.R.P. aceptable para glucosa es entre - 10 % a + 10 %

1963

DRPx x

x

i m

m

100

Xm

D.R.P.(-) D.R.P.(+)

D . R . P .

Desvio Relativo Porcentual: mide en % la

diferencia entre el valor informado por el

laboratorio para cada constituyente sérico (xi) y el

valor promedio del método analítico (xm) obtenido

por consenso.

ERROR TOTALCONVENCIONAL

CALIDAD ANALÍTICAPLANIFICADA

CALIDAD CLÍNICAPLANIFICADA

IMPRECISIÓNESTABLE

INEXACTITUDESTABLE

IMPRECISIÓNESTABLE

INEXACTITUD ESTABLE

MARGEN DE CC SEGURO

INEXACTITUD ESTABLE

MARGEN DE CC SEGURO

IMPRECISIÓNESTABLE

FACTORESPREANALÍTICOS

IMPRECISIÓNESTABLE

Misma base de fondo, diferentes costos

Distinta base de fondo, diferentes costos

ENFOQUES DE CALIDAD

Grafico de Precisión

. .... ...

.

..

..

..

..

......

.

..

..

..

.

.

Precisa yExacta

ImprecisaY exacta

Precisa eInexacta

ImprecisaE Inexacta

Ejemplos de Precisión

... ..95.. .

..95...

PRECISO Y EXACTO

Control Interno y Externo Solo Control Interno

PRECISO E INEXACTO

Bias: “Verificación de Veracidad” Recuperación

Desempeño del Método

Premisa:“Establecer los Requisitos de Calidad”

Conocemos el desempeño de nuestros métodos en condiciones estables a partir de la verificaciones y validaciones analíticas de métodos.Una vez conocido el método como aceptable (cumple con nuestro requisitos de calidad), trabajamos con control de calidad para asegurarnos que el método permanece estable en función del tiempo.Operando correctamente los datos de desempeño analítico del método obtenidos de las corridas de los controles (esquemas interlaboratorio), junto con los requisitos de calidad podemos seguir cual es el comportamiento del método de acuerdo a nuestras expectativas.


Los errores calculados son:- Error Aleatorio: A partir de los protocolos de Precisión Simple y Compleja.

SD y CV- Error Sistemático: A partir del protocolo de Comparación de Métodos.

Y = Pendiente * X + IntersecciónDe la combinación de conceptos y errores surge ladecisión acerca de la aceptabilidad del método en estudio.Existen varios modelos para esta combinación.Los más apropiados son:

1-Method Desicion Chart2-Six Sigma

Method Desicion Chart

- Recomendaciones para combinación de errores:

• bias + 2SD < TEa• bias + 3SD < TEa• bias + 4SD < TEa

- A partir de los protocolos de evaluación obtenemos los siguientes datos:

BIASCV

- BIAS y CV se calculan en concentraciones consideradas niveles de decisión médica.


El TE a debe expresarse en porcentaje.Si TE a está expresado en concentración, debe transformarse en porcentaje considerando el nivel de decisión médica seleccionado:


TE a: 1 mg/dl (Calcio)Nivel de decisión médica: 11 mg/dlTE a%: (1/11)*100 = 9.1 %

TE a: 0.5 mEq/l (Potasio)Nivel de decisión médica: 3.0 mEq/lTE a%: (0.5/3.0)*100 = 16.7 %


Crear el gráfico:- Rotular el eje Y como Inexactitud permitida ( BIAS %) y establecer una escala de 0 a TE a%.- Rotular el eje X como Imprecisión permitida ( CV %) y establecer una escala de 0 a TE a.0.5 (la mitad)- Dibujar la línea bias + 2SD uniendo el TE a en el eje Y con el TE a.0.5 en el eje X.- Dibujar la línea bias + 3SD uniendo el TE a en el eje Y con el TE a.0.33 en el eje X.- Dibujar la línea bias + 4SD uniendo TE a en el eje Y con el TE a.0.25 en el eje X.- Rotular las zonas ( de derecha a izquierda) como Pobre, Marginal, Bueno y Excelente.

Pobre: El método no cumple con los requerimientos de calidad, ni siquiera trabajando en condiciones de base, por lo tanto, es inapropiadopara ser empleado como método de rutina.

Marginal: El método provee la calidad requerida solo bajo condicionesmuy controladas. Será difícil trabajarlo como método de rutina y debeestablecerse una estrategia de calidad total.(entrenamiento deoperadores, QC exhaustivo, plan de mantenimiento frecuente, control de resultados).

Bueno: Cumple con los requerimientos de calidad y puede ser empleado en forma rutinaria con un QC planificado.(multiregla o N:4)

Excelente: Cumple con los requerimientos de calidad y es fácil demanejar con un QC mínimo.


Metodo de comparacion2011

Documents

Transcript of Metodo de comparacion2011