Systematic reviews – benefits and pitfalls · 1 Systematic reviews – benefits and pitfalls...
-
Upload
doankhuong -
Category
Documents
-
view
222 -
download
0
Transcript of Systematic reviews – benefits and pitfalls · 1 Systematic reviews – benefits and pitfalls...
![Page 1: Systematic reviews – benefits and pitfalls · 1 Systematic reviews – benefits and pitfalls Yngve Falck-Ytter Deutsches Cochrane Zentrum Statistische Methoden in Evidenz-basierter](https://reader031.fdocuments.in/reader031/viewer/2022011809/5d50387588c993f62d8b7470/html5/thumbnails/1.jpg)
1
Systematic reviews –benefits and pitfalls
Yngve Falck-YtterDeutsches Cochrane Zentrum
Statistische Methoden in Evidenz-basierter Medizin und Health Technology Assessment
Freiburg, 20. November 2003
![Page 2: Systematic reviews – benefits and pitfalls · 1 Systematic reviews – benefits and pitfalls Yngve Falck-Ytter Deutsches Cochrane Zentrum Statistische Methoden in Evidenz-basierter](https://reader031.fdocuments.in/reader031/viewer/2022011809/5d50387588c993f62d8b7470/html5/thumbnails/2.jpg)
2
Inhalt
Warum brauchen wir systematische Reviews?
Evidence-based medicine / HTA
Benefits and pitfalls of meta-analysis
Klinisch-methodische Aspekte
Kritische Beurteilung der Qualität von SR
![Page 3: Systematic reviews – benefits and pitfalls · 1 Systematic reviews – benefits and pitfalls Yngve Falck-Ytter Deutsches Cochrane Zentrum Statistische Methoden in Evidenz-basierter](https://reader031.fdocuments.in/reader031/viewer/2022011809/5d50387588c993f62d8b7470/html5/thumbnails/3.jpg)
Crossing the quality chasm. IOM 2000 3
Hintergrund
Klinische Entscheidungen: 20 – 40% basiert auf
Erkenntnisse aus klinischer Forschung?
Schnell expandierendes medizinisches Wissen
Wenig transparenter, fehlerhafter und langsamer
Transfer von Wissen in die Praxis
![Page 4: Systematic reviews – benefits and pitfalls · 1 Systematic reviews – benefits and pitfalls Yngve Falck-Ytter Deutsches Cochrane Zentrum Statistische Methoden in Evidenz-basierter](https://reader031.fdocuments.in/reader031/viewer/2022011809/5d50387588c993f62d8b7470/html5/thumbnails/4.jpg)
4
ErkenntnistransferInformationen zu medizinischen Fragestellungen
• Klinische (kontrollierte) Studien• Epidemiologische (Beobachtungs-) Studien• ....
Behandelnde ÄrzteGesundheitsbehörden, KrankenkassenPatientenKlinische Forschung
Evi
denz
-Pro
dukt
ion
Evi
denz
-Nut
zung
?
![Page 5: Systematic reviews – benefits and pitfalls · 1 Systematic reviews – benefits and pitfalls Yngve Falck-Ytter Deutsches Cochrane Zentrum Statistische Methoden in Evidenz-basierter](https://reader031.fdocuments.in/reader031/viewer/2022011809/5d50387588c993f62d8b7470/html5/thumbnails/5.jpg)
Searched November 15, 2003 in PubMed: RCT[pt] 5
RCT Zitationen in MedlineRandomized controlled trial citations in Medline
Total: 175,140
38 186 212 268 288 350 369 455 557 626926
14571766
20492258252030272799
35033829
4402
5609
67367150
75458216
9469
10359
1137510940
11652
10981
7043
1226 1238
4495
1068110299
10148
0
2000
4000
6000
8000
10000
12000
14000
1965
1967
1969
1971
1973
1975
1977
1979
1981
1983
1985
1987
1989
1991
1993
1995
1997
1999
2001
2003
Num
ber o
f hits
![Page 6: Systematic reviews – benefits and pitfalls · 1 Systematic reviews – benefits and pitfalls Yngve Falck-Ytter Deutsches Cochrane Zentrum Statistische Methoden in Evidenz-basierter](https://reader031.fdocuments.in/reader031/viewer/2022011809/5d50387588c993f62d8b7470/html5/thumbnails/6.jpg)
6
Informationsflut vs. LesezeitJedes Jahr ca. 2 Mio. Artikel in 25.000 FachzeitschriftenGastroenterologie: Weltweit ~ 270 Zeitschriften250.000 bis 1 Mio. abgeschlossene Studien19 Artikel pro Tag, 365 Tage pro Jahr Davidoff 1995
Durchschnittliche ärztliche Lesezeit: < 40 Min. pro Woche
![Page 7: Systematic reviews – benefits and pitfalls · 1 Systematic reviews – benefits and pitfalls Yngve Falck-Ytter Deutsches Cochrane Zentrum Statistische Methoden in Evidenz-basierter](https://reader031.fdocuments.in/reader031/viewer/2022011809/5d50387588c993f62d8b7470/html5/thumbnails/7.jpg)
Lau J et. al. N Engl J Med 1992;327:248-54 7
Example streptokinase in acute MI
(OR, 95% CI)
Lau J et. al. N Engl J Med 1992;327:248-54
![Page 8: Systematic reviews – benefits and pitfalls · 1 Systematic reviews – benefits and pitfalls Yngve Falck-Ytter Deutsches Cochrane Zentrum Statistische Methoden in Evidenz-basierter](https://reader031.fdocuments.in/reader031/viewer/2022011809/5d50387588c993f62d8b7470/html5/thumbnails/8.jpg)
8
Antman E et. al. JAMA 1992;268:240-48
![Page 9: Systematic reviews – benefits and pitfalls · 1 Systematic reviews – benefits and pitfalls Yngve Falck-Ytter Deutsches Cochrane Zentrum Statistische Methoden in Evidenz-basierter](https://reader031.fdocuments.in/reader031/viewer/2022011809/5d50387588c993f62d8b7470/html5/thumbnails/9.jpg)
9
Antman E et. al. JAMA 1992;268:240-48
![Page 10: Systematic reviews – benefits and pitfalls · 1 Systematic reviews – benefits and pitfalls Yngve Falck-Ytter Deutsches Cochrane Zentrum Statistische Methoden in Evidenz-basierter](https://reader031.fdocuments.in/reader031/viewer/2022011809/5d50387588c993f62d8b7470/html5/thumbnails/10.jpg)
10
Evidence-based Medicine
Evidence-based medicine is the integration of best research evidence with clinical expertise and patients values.
Sackett D, Straus S, Richardson W, Rosenberg W, Haynes B. Evidence-based Medicine – how to practice and teach EBM. Churchill-Livingstone 1997
![Page 11: Systematic reviews – benefits and pitfalls · 1 Systematic reviews – benefits and pitfalls Yngve Falck-Ytter Deutsches Cochrane Zentrum Statistische Methoden in Evidenz-basierter](https://reader031.fdocuments.in/reader031/viewer/2022011809/5d50387588c993f62d8b7470/html5/thumbnails/11.jpg)
Oxford Centre of Evidence Based Medicine; http://www.cebm.net 11
Level of evidence
Level of evidence
Studies on therapy / harm
I Randomized controlled trials
II Cohort studies
III Case-control-studies
IV Case-series
V Expert opinion
![Page 12: Systematic reviews – benefits and pitfalls · 1 Systematic reviews – benefits and pitfalls Yngve Falck-Ytter Deutsches Cochrane Zentrum Statistische Methoden in Evidenz-basierter](https://reader031.fdocuments.in/reader031/viewer/2022011809/5d50387588c993f62d8b7470/html5/thumbnails/12.jpg)
12
Für EBM nötig...
Systematische Identifikation von Evidenz(unter Einbezug medizinischer Datenbanken)
LösungsansätzeI Primärliteratur: Originalartikel (Klassische EBM)II Sekundärliteratur: z.B. Journal Club, Journal WatchIII Zusammenfassen: Synthese von mehreren Artikeln
aus Primärliteratur (Narrativ oder systematisch), „Clinical Evidence“, „Cochrane Library“
![Page 13: Systematic reviews – benefits and pitfalls · 1 Systematic reviews – benefits and pitfalls Yngve Falck-Ytter Deutsches Cochrane Zentrum Statistische Methoden in Evidenz-basierter](https://reader031.fdocuments.in/reader031/viewer/2022011809/5d50387588c993f62d8b7470/html5/thumbnails/13.jpg)
Searched: September 15, 2003 (meta-analysis[mh] OR meta-analysis[pt] OR meta-anal*[tw])
13
Meta-analysen und Systematic Reviewsin Medline
6 3 12 19 17 25 32 54113
254335
436539 564
699803
883
11311185
1381
17901906
1991
0
200
400
600
800
1000
1200
1400
1600
1800
2000
1980
1981
1982
1983
1984
1985
1986
1987
1988
1989
1990
1991
1992
1993
1994
1995
1996
1997
1998
1999
2000
2001
2002
Num
ber o
f hits
![Page 14: Systematic reviews – benefits and pitfalls · 1 Systematic reviews – benefits and pitfalls Yngve Falck-Ytter Deutsches Cochrane Zentrum Statistische Methoden in Evidenz-basierter](https://reader031.fdocuments.in/reader031/viewer/2022011809/5d50387588c993f62d8b7470/html5/thumbnails/14.jpg)
Egger M, Smith DS. BMJ 1995;310:752-54 14
Meta-analysisYusuf S.Circulation 1993
ISIS-4Lancet 1995Funnel
plot: i.v. Mg im
AMI
Reporting bias
![Page 15: Systematic reviews – benefits and pitfalls · 1 Systematic reviews – benefits and pitfalls Yngve Falck-Ytter Deutsches Cochrane Zentrum Statistische Methoden in Evidenz-basierter](https://reader031.fdocuments.in/reader031/viewer/2022011809/5d50387588c993f62d8b7470/html5/thumbnails/15.jpg)
Egger M, Smith DS. BMJ 1995;310:752-54 15
Meta-analysisYusuf S.Circulation 1993
ISIS-4Lancet 1995
![Page 16: Systematic reviews – benefits and pitfalls · 1 Systematic reviews – benefits and pitfalls Yngve Falck-Ytter Deutsches Cochrane Zentrum Statistische Methoden in Evidenz-basierter](https://reader031.fdocuments.in/reader031/viewer/2022011809/5d50387588c993f62d8b7470/html5/thumbnails/16.jpg)
Egger M, Smith DS. BMJ 1995;310:752-54 16
![Page 17: Systematic reviews – benefits and pitfalls · 1 Systematic reviews – benefits and pitfalls Yngve Falck-Ytter Deutsches Cochrane Zentrum Statistische Methoden in Evidenz-basierter](https://reader031.fdocuments.in/reader031/viewer/2022011809/5d50387588c993f62d8b7470/html5/thumbnails/17.jpg)
17
Verzerrungen (Bias): Quellen
Publikationsbias (File Drawer Problem)• öfter Nicht-Veröffentlichung von „negativen“ Studien• schnellere und mehrfache Publikationen sign. Ergebnisse
Language bias• Systematische Unterschiede bei Publikationen im englisch-
vs. nichtenglisch-sprachigem RaumRetrieval bias• Keine sichere Methode für das Auffinden von
veröffentlichten Studien
![Page 18: Systematic reviews – benefits and pitfalls · 1 Systematic reviews – benefits and pitfalls Yngve Falck-Ytter Deutsches Cochrane Zentrum Statistische Methoden in Evidenz-basierter](https://reader031.fdocuments.in/reader031/viewer/2022011809/5d50387588c993f62d8b7470/html5/thumbnails/18.jpg)
Egger et al. Lancet 1997;350:326-29 18
Veröffentlichungen deutsch vs. englisch
![Page 19: Systematic reviews – benefits and pitfalls · 1 Systematic reviews – benefits and pitfalls Yngve Falck-Ytter Deutsches Cochrane Zentrum Statistische Methoden in Evidenz-basierter](https://reader031.fdocuments.in/reader031/viewer/2022011809/5d50387588c993f62d8b7470/html5/thumbnails/19.jpg)
Glaxo 1997 19
Retrieval Bias
Accessibility of published data (April 1997)
51%
46%
3%
0% 10% 20% 30% 40% 50% 60%
Papers published in journals NOTscanned by EMED/MEDL
Abstracts / grey literature
Papers published in journals scanned byEMED/MEDL
![Page 20: Systematic reviews – benefits and pitfalls · 1 Systematic reviews – benefits and pitfalls Yngve Falck-Ytter Deutsches Cochrane Zentrum Statistische Methoden in Evidenz-basierter](https://reader031.fdocuments.in/reader031/viewer/2022011809/5d50387588c993f62d8b7470/html5/thumbnails/20.jpg)
Bassler D et al Monatsschrift Kinderheilkunde 2001 20
Zugriff auf Studien (RCT, CCT)
0 00 0
348
94
4116
3672
827
0
50
100
150
200
250
300
350
400
MonatsschriftKinderheilkunde
Klinische Pädiatrie Kinderarzt PädiatrischePraxis Kinderarzt
Anz
ahl S
tudi
en (1
970-
1999
)
Handsuche
...davon in Medline
... mit richtigemPublikationstyp
![Page 21: Systematic reviews – benefits and pitfalls · 1 Systematic reviews – benefits and pitfalls Yngve Falck-Ytter Deutsches Cochrane Zentrum Statistische Methoden in Evidenz-basierter](https://reader031.fdocuments.in/reader031/viewer/2022011809/5d50387588c993f62d8b7470/html5/thumbnails/21.jpg)
Egger et al. Systematic Reviews 2001 21
Problemfeld: “Heterogeneity”
![Page 22: Systematic reviews – benefits and pitfalls · 1 Systematic reviews – benefits and pitfalls Yngve Falck-Ytter Deutsches Cochrane Zentrum Statistische Methoden in Evidenz-basierter](https://reader031.fdocuments.in/reader031/viewer/2022011809/5d50387588c993f62d8b7470/html5/thumbnails/22.jpg)
22
Wichtig: Meta-Analysen immer kritisch beurteilen!
Vorsicht bei Meta-Analysen, wo…• Studien nicht eindeutig beschrieben sind• Studien nicht kritisch beurteilt wurden• Heterogenität nicht untersucht wurde• Keine Sensitivitätsanalysen vorgenommen wurden
Immer zu bedenken: • Meta-Analysen können nie die Verzerrungen (Bias) der
zugrunde liegenden Studien kompensieren• Mit anderen Worten: Müll rein → Müll raus
![Page 23: Systematic reviews – benefits and pitfalls · 1 Systematic reviews – benefits and pitfalls Yngve Falck-Ytter Deutsches Cochrane Zentrum Statistische Methoden in Evidenz-basierter](https://reader031.fdocuments.in/reader031/viewer/2022011809/5d50387588c993f62d8b7470/html5/thumbnails/23.jpg)
23
![Page 24: Systematic reviews – benefits and pitfalls · 1 Systematic reviews – benefits and pitfalls Yngve Falck-Ytter Deutsches Cochrane Zentrum Statistische Methoden in Evidenz-basierter](https://reader031.fdocuments.in/reader031/viewer/2022011809/5d50387588c993f62d8b7470/html5/thumbnails/24.jpg)
24
Lösungsansätze
Standardisierung der Reports von ReviewsQUORUM Statement, Moher et al. Lancet 1999
Standardisierung der Reports von klinischen StudienCONSORT Statement, Begg et al. 1996/2001
Standardisierung der Reports von DiagnosestudienSTARD Statement, Bossuyt et al. Ann Int Med 2003
![Page 25: Systematic reviews – benefits and pitfalls · 1 Systematic reviews – benefits and pitfalls Yngve Falck-Ytter Deutsches Cochrane Zentrum Statistische Methoden in Evidenz-basierter](https://reader031.fdocuments.in/reader031/viewer/2022011809/5d50387588c993f62d8b7470/html5/thumbnails/25.jpg)
25
Lösungen: Prospektive Registrierung von Studien
![Page 26: Systematic reviews – benefits and pitfalls · 1 Systematic reviews – benefits and pitfalls Yngve Falck-Ytter Deutsches Cochrane Zentrum Statistische Methoden in Evidenz-basierter](https://reader031.fdocuments.in/reader031/viewer/2022011809/5d50387588c993f62d8b7470/html5/thumbnails/26.jpg)
26
Archie Cochrane
1979
“It is surely a great criticism of our profession that we have not organised a critical summary, by speciality or subspecialty,
adapted periodically, of all relevant randomised controlled trials.”
![Page 27: Systematic reviews – benefits and pitfalls · 1 Systematic reviews – benefits and pitfalls Yngve Falck-Ytter Deutsches Cochrane Zentrum Statistische Methoden in Evidenz-basierter](https://reader031.fdocuments.in/reader031/viewer/2022011809/5d50387588c993f62d8b7470/html5/thumbnails/27.jpg)
27
Preparing, maintaining and promoting the accessibility of systematic reviews of the effects of
health care interventions
![Page 28: Systematic reviews – benefits and pitfalls · 1 Systematic reviews – benefits and pitfalls Yngve Falck-Ytter Deutsches Cochrane Zentrum Statistische Methoden in Evidenz-basierter](https://reader031.fdocuments.in/reader031/viewer/2022011809/5d50387588c993f62d8b7470/html5/thumbnails/28.jpg)
28
Colorectale Chirurgie: Spülen oder nicht spülen?
Outcome: Anastomotic leakage
![Page 29: Systematic reviews – benefits and pitfalls · 1 Systematic reviews – benefits and pitfalls Yngve Falck-Ytter Deutsches Cochrane Zentrum Statistische Methoden in Evidenz-basierter](https://reader031.fdocuments.in/reader031/viewer/2022011809/5d50387588c993f62d8b7470/html5/thumbnails/29.jpg)
29
Spülen oder nicht spülen?
Outcome: Wound infection
![Page 30: Systematic reviews – benefits and pitfalls · 1 Systematic reviews – benefits and pitfalls Yngve Falck-Ytter Deutsches Cochrane Zentrum Statistische Methoden in Evidenz-basierter](https://reader031.fdocuments.in/reader031/viewer/2022011809/5d50387588c993f62d8b7470/html5/thumbnails/30.jpg)
30
Lösungsansätze: Cochrane
Systematische Reviews (z.B. Cochrane)• Erfassung aller für die Fragestellung relevanten Literatur
• Datenbanken: Medline, Embase etc.• Handsuche: z.B. Studien in Cochrane CENTRAL database
• Gegensatz: narrative Reviews• Cochrane: Titel → Protokoll → Review• Transparenz
![Page 31: Systematic reviews – benefits and pitfalls · 1 Systematic reviews – benefits and pitfalls Yngve Falck-Ytter Deutsches Cochrane Zentrum Statistische Methoden in Evidenz-basierter](https://reader031.fdocuments.in/reader031/viewer/2022011809/5d50387588c993f62d8b7470/html5/thumbnails/31.jpg)
31
Epidemiologische Studien, Datenbanken, FallserienKlinische Studien (randomisiert, kontrolliert, prospektiv)
Systematic Reviews (Wirksamkeit)
Health Technology Assessment (HTA)
LeitlinienDMP
Patienten-Informationen
AusschüsseUmfassende Bewertung
Management im klinischen Alltag
Inte
rnat
iona
l
Inte
rnat
iona
l
Nat
iona
l
Nat
iona
lSR
/ M
A
Entscheidungs-hilfen
![Page 32: Systematic reviews – benefits and pitfalls · 1 Systematic reviews – benefits and pitfalls Yngve Falck-Ytter Deutsches Cochrane Zentrum Statistische Methoden in Evidenz-basierter](https://reader031.fdocuments.in/reader031/viewer/2022011809/5d50387588c993f62d8b7470/html5/thumbnails/32.jpg)
32
Missverständnisse und Missbrauch
Vorwurf: Plagiat
Kochbuch-Medizin
Marketing Instrument
Äpfel mit Birnen vergleichen
![Page 33: Systematic reviews – benefits and pitfalls · 1 Systematic reviews – benefits and pitfalls Yngve Falck-Ytter Deutsches Cochrane Zentrum Statistische Methoden in Evidenz-basierter](https://reader031.fdocuments.in/reader031/viewer/2022011809/5d50387588c993f62d8b7470/html5/thumbnails/33.jpg)
33
Zusammenfassung
Systematische Reviews / Meta-Analysen können zeitnah Forschungsergebnisse zusammenfassen und die Präzision einer Aussage verbessernMethodisch korrektes Vorgehen notwendigSind alle Studien eingeschlossen? Publication Bias?
Vorsicht bei Meta-Analysen mit nur kleinen Studien
Quellen und Ausmaß klinischer und methodischer Heterogenität identifizieren und bewerten
![Page 34: Systematic reviews – benefits and pitfalls · 1 Systematic reviews – benefits and pitfalls Yngve Falck-Ytter Deutsches Cochrane Zentrum Statistische Methoden in Evidenz-basierter](https://reader031.fdocuments.in/reader031/viewer/2022011809/5d50387588c993f62d8b7470/html5/thumbnails/34.jpg)
34