Small-study effects und Reporting-Bias - PowerPoint PPT Presentation


Title: Small-study effects und Reporting-Bias


1
Small-study effects und Reporting-Bias
2
Schritte eines systematischen Cochrane Reviews
  1. Fragestellung festlegen
  2. Auswahlkriterien definieren
  3. Methoden definieren
  4. Studien suchen
  5. Auswahlkriterien anwenden
  6. Daten extrahieren
  7. Bias-Risikos der Studien bewerten
  8. Ergebnisse analysieren und darstellen
  9. Ergebnisse interpretieren und Schlussfolgerungen
    ziehen
  10. Review optimieren und aktualisieren

3
Übersicht
  • Small-study effects erkennen
  • Reporting-Bias verstehen

4
Zur Erinnerung Zufallsfehler
  • Wenn mehrere Studien einen Effekt schätzen, ist
    jede Studie vom Zufallsfehler betroffen
  • Die Schätzer liegen verteilt um den wahren Effekt
    einige niedriger, einige höher

Quelle Julian Higgins
5
Zufallsfehler und kleine Studien
  • Beim Zufallsfehler wird angenommen, dass
  • kleine Studien weniger genau sind wie große
    Studien
  • die Schätzer weiter um den Mittelwert streuen
  • Small-study effects
  • wenn kleine Studien konsistent positive oder
    negative Ergebnisse haben als große Studien
  • eine mögliche Ursache für Heterogenität
  • verschiedene Erklärungen möglich

6
Small-study effects erkennen
  • Muss für jeden Endpunkt einzeln bewertet werden
  • Verfügbare Methoden
  • Funnel Plots
  • Statistische Tests
  • Sensitivitätsanalysen
  • Ggf. StatistikerIn um Rat fragen

7
Funnel Plots
  • Tragen Effektgröße gegen Studiengröße auf
  • Studiengröße wird meist durch ein Maß wie
    Standardfehler angegeben
  • Studien streuen um den kombinierten
    Effektschätzer
  • Größere Studien am oberen Ende, kleinere Studien
    weiter unten
  • Man erwartet, dass kleine Studien breiter streuen
  • Ein symmetrischer Graph sieht wie ein umgekehrter
    Trichter (funnel) aus
  • In RevMan können Funnel Plots erstellt werden
  • Ist in der Regel sinnvoll interpretierbar 10
    Studien mit verschiedener Größe vorhanden sind

8
Symmetrischer Funnel Plot
Standardfehler
Effekt
Quelle Matthias Egger Jonathan Sterne
9
Asymmetrischer Funnel Plot
Standardfehler
Unpublizierte Studien
Effekt
Quelle Matthias Egger Jonathan Sterne
10
Asymmetrischer Funnel Plot
Kleine Studien haben alle positive Effektschätzer
Standardfehler
RR
Effekt
Quelle Matthias Egger Jonathan Sterne
11
Kolloide vs. Kristalloide für Volumenersatztherapi
e
Tod
Adaptiert von Perel P, Roberts I. Colloids
versus crystalloids for fluid resuscitation in
critically ill patients. Cochrane Database of
Systematic Reviews 2011, Issue 3.
12
Magnesium bei Herzinfarkt
Adaptiert von Li J, Zhang Q, Zhang M, Egger M.
Intravenous magnesium for acute myocardial
infarction. Cochrane Database of Systematic
Reviews 2007, Issue 2.
13
Gründe für Asymmetrie im Funnel Plot
  • Zufall
  • Artefakte
  • Einige statistische Größen sind mit dem
    Standardfehler korreliert, z.B. OR
  • Klinische Unterschiede
  • Unterschiedliche Studienpopulation in kleinen
    Studien
  • Implementierung ist anders in kleinen Studien
  • Methodische Unterschiede
  • Größeres Bias-Risiko in kleinen Studien
  • Reporting-Bias

Quelle Egger M et al. Bias in meta-analysis
detected by a simple, graphical test. BMJ 1997
315 629
14
verbesserte Funnel Plots mit Konturen
Quelle Sterne JAC, Sutton AJ, Ioannidis JPA et
al. Recommendations for examining and
interpreting funnel plot asymmetry in
meta-analyses of randomised controlled trials.
BMJ 2011342d4002 doi 10.1136/bmj.d4002
15
Asymmetrie durch Heterogenität
Quelle Sterne JAC, Sutton AJ, Ioannidis JPA et
al. Recommendations for examining and
interpreting funnel plot asymmetry in
meta-analyses of randomised controlled trials.
BMJ 2011342d4002 doi 10.1136/bmj.d4002
16
Tests für Funnel-Plot-Asymmetrie
  • Ist die Assoziation zwischen Studien- und
    Effektgröße größer als zufällig zu erwarten wäre?
  • Drei Tests werden empfohlen
  • Sie haben generell eine geringe stat. Power, um
    Reporting-Bias auszuschließen
  • Zusätzlich sollte Form des Funnel Plot betrachtet
    werden
  • In der Regel nur sinnvoll interpretierbar 10
    Studien versch. Größe vorhanden sind

17
Sensitivitätsanalyse
  • Wie stark wirkt sich ein Effekt durch kleine
    Studien auf die Ergebnisse aus?
  • Bei Bedarf StatistikerIn fragen bevor Sie
    fortfahren
  • Falls Heterogenität (I2 gt 0), die Schätzer aus
    dem Fixed-effect und dem Random-effects Modell
    vergleichen
  • Gibt es einen Unterschied?
  • Wenn ja, gibt es einen Grund, warum die
    Intervention in kleineren Studien wirksamer bzw.
    weniger wirksam sein könnte?
  • Selektionsmodelle (z.B. trim fill) und andere
    Methoden

18
Sensitivitätsanalyse
Adaptiert von Li J, Zhang Q, Zhang M, Egger M.
Intravenous magnesium for acute myocardial
infarction. Cochrane Database of Systematic
Reviews 2007, Issue 2.
19
Übersicht
  • Small-study effects erkennen
  • Reporting-Bias verstehen

20
Verbreitung von Evidenz
Quelle Matthias Egger
21
Reporting-Bias
  • Verbreitung von Forschungsergebnissen wird von
    Art und Richtung der Ergebnisse beeinflusst
  • Statistisch signifikante (positive) Ergebnisse
    werden eher publiziert
  • und werden daher mit höherer Wahrscheinlichkeit
    in einem Review berücksichtigt
  • Dies führt zur Überschätzen von Effekten
  • Da große Studien sehr wahrscheinlich publiziert
    werden, sind v.a. kleine Studien betroffen
  • Für Ihren Review sind die nicht-signifikanten
    Ergebnisse genauso wichtig wie die signifikanten

22
Evidenz für Reporting-Bias
Anteil nicht publizierter Studien
Signifikant Nicht-signifikanter Trend Null
Jahre seit Durchführung
Quelle Stern JM, Simes RJ. Publication bias
evidence of delayed publication in a cohort study
of clinical research projects BMJ
1997315640-645.
23
Positive Studien werden
  • eher zur Publikation eingereicht und akzeptiert
    (Publikationsbias)
  • schneller publiziert (Time-Lag Bias)
  • in mehreren Artikeln publiziert(Multiple
    publication bias)
  • auf Englisch publiziert (Sprach-Bias)
  • in indexierten high-impact Journalen publiziert
    (Location-Bias)
  • von anderen zitiert (Zitationsbias)

Auch positiv Endpunkte werden bevorzugt
berichtet (Outcome Reporting Bias)
Quelle Julian Higgins
24
Beispiel Alpha-Blocker bei Bluthochdruck
  • Nur 10 Studien gefunden, die jedoch verschiedene
    Dosierungen verwendet haben
  • Medikamente wurden von Behörden zugelassen. Daher
    mussten auch Studien durchgeführt und Ergebnisse
    eingereicht worden sein
  • Aber nur wenige Studien wurden gefunden
  • Für viele Dosierungen, die von Behörden
    akzeptiert wurden, gab es keine publizierte
    Evidenz
  • Für einige Dosierungen gab es überhaupt keine
    publizierten Daten

Quelle Nancy Santesso and Holger Schünemann.
Based on Heran BS, Galm BP, Wright JM. Blood
pressure lowering efficacy of alpha blockers for
primary hypertension. Cochrane Database of
Systematic Reviews 2009, Issue 4
25
Beispiel Antidepressiva
Quelle Moreno, S. G., A. J. Sutton, et al. Novel
methods to deal with publication biases
secondary analysis of antidepressant trials in
the FDA trial registry database and related
journal publications. BMJ 2009, 339.
26
Folgen des Publikationsbias
Hopewell S, McDonald S, Clarke MJ, Egger M. Grey
literature in meta-analyses of randomized trials
of health care interventions. Cochrane Database
of Systematic Reviews 2007, Issue 2.
27
Was bedeutet das für meinen Review?
  • Vorbeugen
  • Eine umfangreiche Suche in mehreren Quellen
  • Suche von grey literature, nicht-englischsprachi
    ger Literatur Handsuche
  • Studienregister
  • Erkennen
  • Small-study effects sollten gesucht werden
  • Sensitivitätsanalyse, um ihre möglichen
    Auswirkungen zu untersuchen
  • Publikationsbias ist nicht die einzige Erklärung
  • Es gibt kein Allheilmittel
  • Gefundene Small-study effects sollten weiter
    untersucht werden
  • Im Review sollte zur Wahrscheinlichkeit von
    Reporting-Bias Stellung genommen werden

28
Was sollte im Protokoll geschrieben werden
  • Wie Reporting-Bias bewertet wird (Assessment of
    reporting biases)
  • Optionale Verwendung von Funnel plots oder
    statistischer Asymmetrie-Tests

29
Fazit
  • In Ihrem Review sollten Sie nach sog.
    Small-study effects suchen
  • Zahlreiche mögliche Ursachen in Betracht ziehen
  • Mögliche Auswirkungen von Reporting-Bias beachten
  • Wenn unsicher, Rat von StatistikerIn einholen

30
Quellen
  • Sterne JAC, Egger M, Moher D (editors). Chapter
    10 Addressing reporting biases. In Higgins JPT,
    Green S (editors). Cochrane Handbook for
    Systematic Reviews of Interventions Version 5.1.0
    updated March 2011. The Cochrane Collaboration,
    2011. Available from www.cochrane-handbook.org.
  • Egger M et al. Bias in meta-analysis detected by
    a simple, graphical test. BMJ 1997 315 629
  • Sterne JAC, Sutton AJ, Ioannidis JPA et al.
    Recommendations for examining and interpreting
    funnel plot asymmetry in meta-analyses of
    randomised controlled trials. BMJ 2011342d4002
    doi 10.1136/bmj.d4002

Danksagung
  • Zusammengestellt von Miranda Cumpston
  • Basierend auf Unterlagen von Jonathan Sterne,
    Matthias Egger, Julian Higgins, David Moher,
    Nancy Santesso, Holger Schünemann, Cochrane Bias
    Methods Group, des Australasian Cochrane Zentrums
    und Cochrane Applicability and Recommendations
    Methods Group
  • Englische Version freigegeben vom Cochrane
    Methods Board
  • Übersetzt in Kooperation zwischen dem Deutschen
    Cochrane Zentrum (JörgMeerpohl, Laura Cabrera,
    Patrick Oeller), der Österreichischen Cochrane
    Zweigstelle (Barbara Nußbaumer, Peter Mahlknecht,
    Isolde Sommer, Jörg Wipplinger) und Cochrane
    Schweiz (Erik von Elm, Theresa Bengough)
View by Category
About This Presentation
Title:

Small-study effects und Reporting-Bias

Description:

Title: Reporting biases Author: Miranda Cumpston Keywords: introductory, authors, reporting bias Description: Based on materials by Jonathan Sterne, Matthias Egger ... – PowerPoint PPT presentation

Number of Views:11
Avg rating:3.0/5.0
Slides: 31
Provided by: MirandaC9
Category:

less

Write a Comment
User Comments (0)
Transcript and Presenter's Notes

Title: Small-study effects und Reporting-Bias


1
Small-study effects und Reporting-Bias
2
Schritte eines systematischen Cochrane Reviews
  1. Fragestellung festlegen
  2. Auswahlkriterien definieren
  3. Methoden definieren
  4. Studien suchen
  5. Auswahlkriterien anwenden
  6. Daten extrahieren
  7. Bias-Risikos der Studien bewerten
  8. Ergebnisse analysieren und darstellen
  9. Ergebnisse interpretieren und Schlussfolgerungen
    ziehen
  10. Review optimieren und aktualisieren

3
Übersicht
  • Small-study effects erkennen
  • Reporting-Bias verstehen

4
Zur Erinnerung Zufallsfehler
  • Wenn mehrere Studien einen Effekt schätzen, ist
    jede Studie vom Zufallsfehler betroffen
  • Die Schätzer liegen verteilt um den wahren Effekt
    einige niedriger, einige höher

Quelle Julian Higgins
5
Zufallsfehler und kleine Studien
  • Beim Zufallsfehler wird angenommen, dass
  • kleine Studien weniger genau sind wie große
    Studien
  • die Schätzer weiter um den Mittelwert streuen
  • Small-study effects
  • wenn kleine Studien konsistent positive oder
    negative Ergebnisse haben als große Studien
  • eine mögliche Ursache für Heterogenität
  • verschiedene Erklärungen möglich

6
Small-study effects erkennen
  • Muss für jeden Endpunkt einzeln bewertet werden
  • Verfügbare Methoden
  • Funnel Plots
  • Statistische Tests
  • Sensitivitätsanalysen
  • Ggf. StatistikerIn um Rat fragen

7
Funnel Plots
  • Tragen Effektgröße gegen Studiengröße auf
  • Studiengröße wird meist durch ein Maß wie
    Standardfehler angegeben
  • Studien streuen um den kombinierten
    Effektschätzer
  • Größere Studien am oberen Ende, kleinere Studien
    weiter unten
  • Man erwartet, dass kleine Studien breiter streuen
  • Ein symmetrischer Graph sieht wie ein umgekehrter
    Trichter (funnel) aus
  • In RevMan können Funnel Plots erstellt werden
  • Ist in der Regel sinnvoll interpretierbar 10
    Studien mit verschiedener Größe vorhanden sind

8
Symmetrischer Funnel Plot
Standardfehler
Effekt
Quelle Matthias Egger Jonathan Sterne
9
Asymmetrischer Funnel Plot
Standardfehler
Unpublizierte Studien
Effekt
Quelle Matthias Egger Jonathan Sterne
10
Asymmetrischer Funnel Plot
Kleine Studien haben alle positive Effektschätzer
Standardfehler
RR
Effekt
Quelle Matthias Egger Jonathan Sterne
11
Kolloide vs. Kristalloide für Volumenersatztherapi
e
Tod
Adaptiert von Perel P, Roberts I. Colloids
versus crystalloids for fluid resuscitation in
critically ill patients. Cochrane Database of
Systematic Reviews 2011, Issue 3.
12
Magnesium bei Herzinfarkt
Adaptiert von Li J, Zhang Q, Zhang M, Egger M.
Intravenous magnesium for acute myocardial
infarction. Cochrane Database of Systematic
Reviews 2007, Issue 2.
13
Gründe für Asymmetrie im Funnel Plot
  • Zufall
  • Artefakte
  • Einige statistische Größen sind mit dem
    Standardfehler korreliert, z.B. OR
  • Klinische Unterschiede
  • Unterschiedliche Studienpopulation in kleinen
    Studien
  • Implementierung ist anders in kleinen Studien
  • Methodische Unterschiede
  • Größeres Bias-Risiko in kleinen Studien
  • Reporting-Bias

Quelle Egger M et al. Bias in meta-analysis
detected by a simple, graphical test. BMJ 1997
315 629
14
verbesserte Funnel Plots mit Konturen
Quelle Sterne JAC, Sutton AJ, Ioannidis JPA et
al. Recommendations for examining and
interpreting funnel plot asymmetry in
meta-analyses of randomised controlled trials.
BMJ 2011342d4002 doi 10.1136/bmj.d4002
15
Asymmetrie durch Heterogenität
Quelle Sterne JAC, Sutton AJ, Ioannidis JPA et
al. Recommendations for examining and
interpreting funnel plot asymmetry in
meta-analyses of randomised controlled trials.
BMJ 2011342d4002 doi 10.1136/bmj.d4002
16
Tests für Funnel-Plot-Asymmetrie
  • Ist die Assoziation zwischen Studien- und
    Effektgröße größer als zufällig zu erwarten wäre?
  • Drei Tests werden empfohlen
  • Sie haben generell eine geringe stat. Power, um
    Reporting-Bias auszuschließen
  • Zusätzlich sollte Form des Funnel Plot betrachtet
    werden
  • In der Regel nur sinnvoll interpretierbar 10
    Studien versch. Größe vorhanden sind

17
Sensitivitätsanalyse
  • Wie stark wirkt sich ein Effekt durch kleine
    Studien auf die Ergebnisse aus?
  • Bei Bedarf StatistikerIn fragen bevor Sie
    fortfahren
  • Falls Heterogenität (I2 gt 0), die Schätzer aus
    dem Fixed-effect und dem Random-effects Modell
    vergleichen
  • Gibt es einen Unterschied?
  • Wenn ja, gibt es einen Grund, warum die
    Intervention in kleineren Studien wirksamer bzw.
    weniger wirksam sein könnte?
  • Selektionsmodelle (z.B. trim fill) und andere
    Methoden

18
Sensitivitätsanalyse
Adaptiert von Li J, Zhang Q, Zhang M, Egger M.
Intravenous magnesium for acute myocardial
infarction. Cochrane Database of Systematic
Reviews 2007, Issue 2.
19
Übersicht
  • Small-study effects erkennen
  • Reporting-Bias verstehen

20
Verbreitung von Evidenz
Quelle Matthias Egger
21
Reporting-Bias
  • Verbreitung von Forschungsergebnissen wird von
    Art und Richtung der Ergebnisse beeinflusst
  • Statistisch signifikante (positive) Ergebnisse
    werden eher publiziert
  • und werden daher mit höherer Wahrscheinlichkeit
    in einem Review berücksichtigt
  • Dies führt zur Überschätzen von Effekten
  • Da große Studien sehr wahrscheinlich publiziert
    werden, sind v.a. kleine Studien betroffen
  • Für Ihren Review sind die nicht-signifikanten
    Ergebnisse genauso wichtig wie die signifikanten

22
Evidenz für Reporting-Bias
Anteil nicht publizierter Studien
Signifikant Nicht-signifikanter Trend Null
Jahre seit Durchführung
Quelle Stern JM, Simes RJ. Publication bias
evidence of delayed publication in a cohort study
of clinical research projects BMJ
1997315640-645.
23
Positive Studien werden
  • eher zur Publikation eingereicht und akzeptiert
    (Publikationsbias)
  • schneller publiziert (Time-Lag Bias)
  • in mehreren Artikeln publiziert(Multiple
    publication bias)
  • auf Englisch publiziert (Sprach-Bias)
  • in indexierten high-impact Journalen publiziert
    (Location-Bias)
  • von anderen zitiert (Zitationsbias)

Auch positiv Endpunkte werden bevorzugt
berichtet (Outcome Reporting Bias)
Quelle Julian Higgins
24
Beispiel Alpha-Blocker bei Bluthochdruck
  • Nur 10 Studien gefunden, die jedoch verschiedene
    Dosierungen verwendet haben
  • Medikamente wurden von Behörden zugelassen. Daher
    mussten auch Studien durchgeführt und Ergebnisse
    eingereicht worden sein
  • Aber nur wenige Studien wurden gefunden
  • Für viele Dosierungen, die von Behörden
    akzeptiert wurden, gab es keine publizierte
    Evidenz
  • Für einige Dosierungen gab es überhaupt keine
    publizierten Daten

Quelle Nancy Santesso and Holger Schünemann.
Based on Heran BS, Galm BP, Wright JM. Blood
pressure lowering efficacy of alpha blockers for
primary hypertension. Cochrane Database of
Systematic Reviews 2009, Issue 4
25
Beispiel Antidepressiva
Quelle Moreno, S. G., A. J. Sutton, et al. Novel
methods to deal with publication biases
secondary analysis of antidepressant trials in
the FDA trial registry database and related
journal publications. BMJ 2009, 339.
26
Folgen des Publikationsbias
Hopewell S, McDonald S, Clarke MJ, Egger M. Grey
literature in meta-analyses of randomized trials
of health care interventions. Cochrane Database
of Systematic Reviews 2007, Issue 2.
27
Was bedeutet das für meinen Review?
  • Vorbeugen
  • Eine umfangreiche Suche in mehreren Quellen
  • Suche von grey literature, nicht-englischsprachi
    ger Literatur Handsuche
  • Studienregister
  • Erkennen
  • Small-study effects sollten gesucht werden
  • Sensitivitätsanalyse, um ihre möglichen
    Auswirkungen zu untersuchen
  • Publikationsbias ist nicht die einzige Erklärung
  • Es gibt kein Allheilmittel
  • Gefundene Small-study effects sollten weiter
    untersucht werden
  • Im Review sollte zur Wahrscheinlichkeit von
    Reporting-Bias Stellung genommen werden

28
Was sollte im Protokoll geschrieben werden
  • Wie Reporting-Bias bewertet wird (Assessment of
    reporting biases)
  • Optionale Verwendung von Funnel plots oder
    statistischer Asymmetrie-Tests

29
Fazit
  • In Ihrem Review sollten Sie nach sog.
    Small-study effects suchen
  • Zahlreiche mögliche Ursachen in Betracht ziehen
  • Mögliche Auswirkungen von Reporting-Bias beachten
  • Wenn unsicher, Rat von StatistikerIn einholen

30
Quellen
  • Sterne JAC, Egger M, Moher D (editors). Chapter
    10 Addressing reporting biases. In Higgins JPT,
    Green S (editors). Cochrane Handbook for
    Systematic Reviews of Interventions Version 5.1.0
    updated March 2011. The Cochrane Collaboration,
    2011. Available from www.cochrane-handbook.org.
  • Egger M et al. Bias in meta-analysis detected by
    a simple, graphical test. BMJ 1997 315 629
  • Sterne JAC, Sutton AJ, Ioannidis JPA et al.
    Recommendations for examining and interpreting
    funnel plot asymmetry in meta-analyses of
    randomised controlled trials. BMJ 2011342d4002
    doi 10.1136/bmj.d4002

Danksagung
  • Zusammengestellt von Miranda Cumpston
  • Basierend auf Unterlagen von Jonathan Sterne,
    Matthias Egger, Julian Higgins, David Moher,
    Nancy Santesso, Holger Schünemann, Cochrane Bias
    Methods Group, des Australasian Cochrane Zentrums
    und Cochrane Applicability and Recommendations
    Methods Group
  • Englische Version freigegeben vom Cochrane
    Methods Board
  • Übersetzt in Kooperation zwischen dem Deutschen
    Cochrane Zentrum (JörgMeerpohl, Laura Cabrera,
    Patrick Oeller), der Österreichischen Cochrane
    Zweigstelle (Barbara Nußbaumer, Peter Mahlknecht,
    Isolde Sommer, Jörg Wipplinger) und Cochrane
    Schweiz (Erik von Elm, Theresa Bengough)
About PowerShow.com