Abbildung 1: Muster bei den untersuchten systematischen Reviews mit „kritisch-niedriger“ Bewertung (n=110). Besonders häufig waren die kritischen Fragen Nr. 2 (Studienprotokoll) und Nr. 7 (Liste mit Begründungen über den Ausschluss von Studien) nicht erfüllt. Zur Vergrößerung auf das Bild klicken.
 

Bewertung der Berichtsqualität mittels AMSTAR-2

Um zu überprüfen, ob die Autoren eines systematischen Reviews tatsächlich über alle relevanten Aspekte in ihrer Forschungsarbeit berichtet haben, wird häufig AMSTAR-2 herangezogen. AMSTAR-2 (A Measurement Tool to Assess Systematic Reviews 2) ist ein validiertes Instrument, um die Vertrauenswürdigkeit der Berichterstattung von systematischen Reviews zu bewerten. 

Die Gesamtbewertung der Vertrauenswürdigkeit wird in vier Stufen eingeteilt: „hoch“, „moderat“, „niedrig“ und „kritisch-niedrig“. Die Checkliste umfasst 16 Fragen, wovon 7 (Nr. 2, Nr. 4, Nr. 7, Nr. 9, Nr. 11, Nr. 13 und Nr. 15) als kritisch gelten. Kritisch deshalb, weil schon eine nicht erfüllte kritische Frage zur Abstufung der Bewertung in „niedrig“ führt, zwei oder mehr in „kritisch-niedrig“. Die nicht-kritischen Fragen führen dementgegen nur bei Nicht-Erfüllung zur Herabstufung von „hoch“ auf „moderat“.

Folgende Tabelle zeigt eine zusammenfassende und übersetzte Version der 7 kritischen Fragen nach AMSTAR-2:

Tabelle 1: Kurzversion der kritischen Fragen nach AMSTAR-2, eigene Darstellung

Zahlreiche Studien zeigen den Nutzen von AMSTAR-2 hinsichtlich der Einschätzung von Verzerrungsrisiken, beispielsweise des Publikationsbias, und nur minimale Unterschiede hinsichtlich anderer etablierter Instrumente zur Bewertung von systematischen Reviews wie etwa ROBIS auf [8][9][10][11][12]. Sowohl die STIKO als auch ÄFI (einsehbar über die Hintergrundpapiere) nutzen AMSTAR-2 in ihren Bewertungen der Studienlage.

Es gibt inzwischen einige Querschnitt-Studien, die mittels AMSTAR-2 hohe Raten an kritisch-niedriger und niedriger Vertrauenswürdigkeit in die Berichterstattung von systematischen Reviews verschiedener Fachbereiche feststellen:

• Eine Querschnitt-Metastudie von 2024 mit 45 inkludierten systematischen Reviews konnte bei ca. 78 % (n=35) der untersuchten Studien eine kritisch-niedrige, bei ca. 16 % (n=7) eine niedrige, bei ca. 4 % (n=2) eine moderate und bei ca. 2 % (n=1) eine hohe Vertrauenswürdigkeit in die Berichterstattung feststellen [13].
• Eine 2020 veröffentlichte Querschnittstudie zur AMSTAR-2-Bewertung von 60 systematischen Reviews zur Behandlung von schwerer Depression bei Erwachsenen mittels pharmakologischer und psychologischer Interventionen ermittelte ca. 88 % (n=53) systematische Reviews mit kritisch-niedriger, ca. 2 % (n=1) mit niedriger, ca. 3 % (n=2) mit moderater und ca. 7 % (n=4) mit hoher Vertrauenswürdigkeit [14].
• Ähnliche Ergebnisse zeigt auch eine 2022 veröffentlichte Studie mit 222 inkludierten systematischen Reviews zu zahnärztlichen Eingriffen, die mit AMSTAR-2 bewertet wurden: ca. 57 % der systematischen Reviews wiesen eine kritisch-niedrige Vertrauenswürdigkeit auf, ca. 28 % eine niedrige, ca. 14 % eine moderate und ca. 1 % eine hohe (Pauletto et al., 2022).
• Eine japanische Studie zum Thema Belegbarkeit von gesundheitsbezogenen Aussagen zu funktionellen Lebensmitteln zeigte auf: Von 40 zufällig inkludierten systematischen Reviews wiesen 95 % (n=38) eine kritisch-niedrige und 5 % (n=2) eine niedrige Vertrauenswürdigkeit auf [15].
• Außerdem sei eine Querschnittstudie zur AMSTAR-2-Bewertung von systematischen Reviews über Bewegungstherapie bei chronischen Rückenschmerzen genannt. Von den 38 identifizierten systematischen Reviews waren 13 % (n=5) Cochrane-Reviews. 74 % (n=28) der systematischen Reviews erhielten eine kritisch-niedrige Bewertung, 16 % (n=6) eine niedrige, 2 % (n=1) eine moderate und 8 % (n=3) eine hohe [16].

Insgesamt zeigt sich, dass ein Großteil der systematischen Reviews über verschiedene medizinische Fachdisziplinen hinweg von geringer Vertrauenswürdigkeit in die Berichterstattung ist. Konsistent und für AMSTAR-2 sprechend ist zudem, dass Cochrane-Reviews meist eine höhere Bewertung erhalten haben. Das stimmt insofern mit der Beobachtung von Studien überein, wonach die Methoden von Cochrane-Reviews hochwertiger sind als die anderer systematischer Reviews [17][18][19].
 

Welche Bedeutung hat die Studie von Pilic et al.?

Positiv hervorzuheben ist, dass die Studie eine rigorose Methodik mittels Block-Randomisierung an einer großen Stichprobe angewandt hat, wodurch die Ergebnisse eine starke Validität erhalten. 120 systematische Reviews hört sich vielleicht im ersten Moment nach wenig an, die Methodik ist aber sehr zeitaufwändig und die Stichprobe ist größer als bei den meisten anderen Studien.

Für die Ergebnisse spricht auch, dass sie in dieselbe Richtung zeigen wie bisherige Studien zu anderen Fachbereichen (wie eingangs dargestellt). Dies gilt insbesondere hinsichtlich der Häufigkeit von kritisch-niedrigen Bewertungen bei systematischen Reviews und der methodischen Überlegenheit von Cochrane-Reviews.

Wichtig ist, dass die Bedeutung von AMSTAR-2 selbst nicht missverstanden wird: AMSTAR-2 sagt nichts über die tatsächliche methodische Validität einer Studie aus, sondern nur darüber, wie die Autoren über ihre Studie berichtet haben. Eine Studie kann durchaus statistisch gut gemacht sein, aber schlecht berichtet worden sein. Beides geht aber selbstverständlich Hand in Hand und kann deshalb schwer voneinander getrennt werden. Externe Personen, die sich ein systematisches Review anschauen, können schließlich nur mit dem arbeiten, was zur Verfügung steht. 

Weiterhin ist AMSTAR-2 nicht das einzige Instrument zur Bewertung von Verzerrungsrisiken in systematischen Reviews. Wie bereits angesprochen lässt sich hierfür auch ROBIS nutzen, wobei bisherige Studien vergleichbare Ergebnisse zwischen AMSTAR-2 und ROBIS feststellen. Nicht direkt als Schwäche zu nennen, aber immerhin berichtenswert ist, dass Pilic et al. (2026) ROBIS erwähnen, aber keine Analyse mit diesem Instrument durchgeführt haben. Zukünftige Studien sollten für detailliertere Einblicke in die Qualität von systematischen Reviews zu Impfungen auch vergleichend ROBIS in die Analyse einbeziehen.

Zur tiefergehenden statistischen Analyse haben Pilic et al. (2026) einen AMSTAR-2-Score berechnet, bei dem jede Frage abhängig von der Antwort einen Wert erhält (Ja = 1, teilweise Ja = 0,5 und Nein = 0). Damit kann ein systematisches Review einen maximalen Score von 16 erhalten. Einschränkend ist hierbei festzuhalten, dass die Erfinder von AMSTAR-2 dieses Vorgehen selbst nicht empfehlen. Es ist nicht klar, ob ein solcher Score tatsächlich eine Vergleichbarkeit zwischen systematischen Reviews herstellt (da die verschiedenen Fragen durchaus einen ungleichen Wert für die Gesamtbewertung haben können) oder womöglich sogar Schwächen verschleiert.
 

Welcher Handlungsbedarf lässt sich aus den Ergebnissen ableiten?

Insgesamt ist es lobenswert, dass das Robert Koch-Institut und die Weltgesundheitsorganisation Interesse daran haben, die Qualität von systematischen Reviews im Fachbereich Impfungen zu überprüfen. Aus den gewonnenen Erkenntnissen leitet sich für ÄFI ein dringender Handlungsbedarf ab:

1. Es benötigt weitere Studien, die diese Ergebnisse überprüfen. Insbesondere muss die Frage geklärt werden, ob diese Ergebnisse generalisierbar sind. Die Querschnitt-Studie war sehr geprägt von systematischen Reviews zur HPV- und Influenza-Impfung. Das ist insofern positiv, als dass systematische Reviews zur COVID-Impfung keine Rolle gespielt haben. Es ist davon auszugehen, dass die durch die COVID-19-Pandemie erheblich zugenommene Anzahl an systematischen Reviews zu einer Veränderung der Qualität dieser Studientypen (insbesondere zur COVID-19-Impfung) geführt hat. Es müssen jedoch weitere Studien durchgeführt werden, welche dieses Ergebnis vermehrt anhand von anderen Impfungen (beispielsweise zu Rotaviren, Meningokokken, Pneumokokken) replizieren, um eine Generalisierbarkeit zu erreichen. 
2. Die STIKO sollte sich verpflichten, künftig jedes untersuchte systematische Review mit AMSTAR-2 zu überprüfen. Bisher ist in der Standardvorgehensweise (SOP) der STIKO nur ein fakultativer Gebrauch von AMSTAR-2 erkennbar. Da einige Studien inzwischen die Validität des Instruments aufzeigen und es erhebliche Vorteile bei der Erkennung von Verzerrungsrisiken (insbesondere des Publikationsbias) bietet, sollte die SOP der STIKO dahingehend aktualisiert werden. Gerade auch das Robert Koch-Institut, von dessen Mitarbeitern die Studie stammt, sollte die STIKO darauf aufmerksam machen.
3. Die STIKO muss auch bei den eigenen systematischen Reviews methodisch rigoroser werden. Seit der verabschiedeten SOP von 2011 führt die STIKO bei jeder neuen Impfempfehlung (mit bisher nur der Ausnahme COVID-19) ein systematisches Review zur Überprüfung der Impfstoffwirksamkeit und -sicherheit durch. Bisher war das für Rotaviren (2013), Gürtelrose (2018), Meningokokken B (2024), RSV (2024) und Meningokokken ACWY (2025) der Fall. Alle diese systematischen Reviews wären jedoch nach AMSTAR-2 in der Vertrauenswürdigkeit als „kritisch-niedrig“ eingestuft worden, da es – wie in der hier vorgestellten Studie bei den meisten systematischen Reviews – u. a. kein vorab veröffentlichtes Protokoll und keine Liste mit Begründungen über ausgeschlossene Studien gab. Diese methodischen Mängel müssen dringend korrigiert werden. Zu anderen Impfempfehlungen (von vor 2011) hat die STIKO bisher kein systematisches Review durchgeführt – dies sollte unbedingt nachgeholt werden. 
4. Die methodischen Standards von systematischen Reviews sollten generell verbessert werden. Das könnte beispielsweise gemacht werden, indem Studienprotokolle als verpflichtend bei der Einreichung in einem Fachjournal vorausgesetzt werden. Dafür könnten bereits etablierte Register wie PROSPERO genutzt werden. Protokolle haben auch deshalb eine ganz besondere Bedeutung für die Forschung, da sie eine der besten Möglichkeiten darstellen, um den Reporting Bias zu reduzieren. Wenn kein Protokoll vorab veröffentlicht wurde, kann schließlich nicht festgestellt werden, inwiefern die Autoren von ihrem Analyse-Plan abgewichen sind. So können unliebsame Ergebnisse ganz einfach unterdrückt werden.
    

Zusammenfassung

Insgesamt bestätigt die RKI/WHO-Studie von Pilic et al. (2026) ein systematisches Qualitätsproblem bei systematischen Übersichtsarbeiten zu Impfstoffen: Über 91,7 % bzw. mehr als 9 von 10 erfüllen nicht die Standards für methodische Vertrauenswürdigkeit. Dies wirft ein kritisches Licht auf die Evidenzbasis, auf die sich STIKO und andere bei der Erstellung von Impfempfehlungen stützen.

Die Ergebnisse bestätigen auch die Erfahrung der Ärztinnen und Ärzte für individuelle Impfentscheidung e. V. (ÄFI) bei der Erstellung der wissenschaftlichen Hintergrundpapiere zu den Aktualisierungen ihrer Impf-Fachbeiträge: Die meisten systematischen Reviews sind „kritisch-niedrig“ mit häufigen Defiziten, was die Registrierung eines Protokolls (Nr. 2) und das Vorhandensein einer Liste mit Begründungen über den Ausschluss von Studien (Nr. 7) betrifft.

ÄFI sieht einen dringenden Handlungsauftrag: Statt auf eine Masse methodisch schwacher Reviews zu setzen, müssen hochwertige Primärstudien (insbesondere große randomisierte kontrollierte Studien), Cochrane-Reviews und transparente, reproduzierbare Übersichtsarbeiten in den Vordergrund rücken und Limitationen klar kommuniziert werden.
 

Literaturverzeichnis

[1] Murad et al., 2016
[2] Lhachimi, 2020
[3] South & Lorenc, 2020
[4] Qureshi et al., 2025
[5] Ioannidis, 2016
[6] Rethlefsen et al., 2024
[7] Pilic et al., 2026
[8] Shea et al., 2017
[9] Lorenz et al., 2019
[10] Pieper et al., 2019
[11] Lunny et al., 2026
[12] Storman et al., 2026
[13] Bojcic et al., 2024
[14] Matthias et al., 2020
[15] Kamioka et al., 2023
[16] Almeida et al., 2020
[17] Jadad et al., 1998
[18] Moseley et al., 2009
[19] Fleming et al., 2013