Hochwertige systematische Übersichtsarbeiten (systematische Reviews) gelten gemeinhin als der Goldstandard in der evidenzbasierten Medizin (ebM) und für die öffentliche Gesundheit. Aber fließen in solche Reviews tatsächlich alle relevanten Aspekte ein, die auf einem Fachgebiet aktuell verfügbar sind?

Für den Bereich von Impfungen ist dies offenbar nicht der Fall. Das ist das Ergebnis einer neuen Studie des Robert Koch-Instituts (RKI) und der Weltgesundheitsorganisation (WHO), die im Januar 2026 im Fachjournal Systematic Reviews (BMC) erschienen ist. Die Querschnitt-Studie "Methodological quality of systematic intervention reviews on vaccination" entstand unter Mitarbeit von Ole Wichmann, der auch als Ko-Projektleiter der IMPRESS-Studie des RKI zur Steigerung von Impfquoten fungiert (ÄFI berichtete).

Die Autoren werteten eine Stichprobe von 120 systematischen Reviews zu Impfstoff-verwandten Themen aus dem SYSVAC-Register aus - einer Datenbank zu systematischen Reviews über impfbezogene Themen, die in Zusammenarbeit zwischen dem RKI, der WHO und der London School of Hygiene and Tropical Medicine (LSHTM) entstanden ist.

Es wurden Übersichtsarbeiten zwischen 2011 und 2023 einbezogen und verschiedene statistische Verfahren angewandt, um die Abhängigkeit von bestimmten Merkmalen zu untersuchen (beispielsweise Publikationsjahr, Cochrane-Review).

Um zu überprüfen, ob die Autoren eines systematischen Reviews tatsächlich über alle relevanten Aspekte in ihrer Forschungsarbeit berichtet haben, wurde AMSTAR-2 (A Measurement Tool to Assess Systematic Reviews 2) herangezogen - ein validiertes Instrument, um die Vertrauenswürdigkeit der Berichterstattung von systematischen Reviews zu bewerten.
 

Ernüchternde Ergebnisse

Im Ergebnis wurden 91,7 Prozent (n=110) der 120 Studien hinsichtlich ihrer Berichterstattung als "kritisch-niedrig" vertrauenswürdig ausgewiesen, lediglich 5 Prozent (n=6) als "hoch" vertrauenswürdig. Bei den 110 als "kritisch-niedrig" eingestuften Studien fehlte bei 77,3 Prozent (n=85) ein vorab veröffentlichtes Studienprotokoll, bei 93,6 Prozent (n=103) blieb die Nichtberücksichtigung von Studien unbegründet.

3 Studien von 120 waren Cochrane-Reviews, die nicht nur generell als hochwertiger gelten, sondern auch deutlich besser in der Studie abschnitten. Besonders hervorzuheben ist, dass es bei 35,8 Prozent (n=43) der untersuchten Studien bei mindestens einem Autor einen Interessenkonflikt gab.
 

Welcher Handlungsbedarf lässt sich aus den Ergebnissen ableiten?

Zwar ist es lobenswert, dass RKI und WHO Interesse daran haben, die Qualität von systematischen Reviews im Bereich Impfungen zu überprüfen. Aus den gewonnenen Erkenntnissen leitet sich für ÄFI allerdings ein dringender Handlungsbedarf ab:

1. Weitere Studien sind vonnöten, die diese Ergebnisse überprüfen. Insbesondere muss die Frage geklärt werden, ob diese Ergebnisse generalisierbar sind. Die Querschnitt-Studie war sehr geprägt von systematischen Reviews zur HPV- und zur Influenza-Impfung. Das ist insofern positiv, als dass systematische Reviews zur COVID-Impfung keine Rolle gespielt haben. Es ist davon auszugehen, dass die durch die COVID-19-Pandemie erheblich zugenommene Anzahl an systematischen Reviews zu einer Veränderung der Qualität dieser Studientypen (insbesondere zur COVID-19-Impfung) geführt hat. Es müssen jedoch weitere Studien durchgeführt werden, welche dieses Ergebnis vermehrt anhand von anderen Impfungen (beispielsweise zu Rotaviren, Meningokokken, Pneumokokken) replizieren, um eine Generalisierbarkeit zu erreichen.
    
2. Die STIKO sollte sich verpflichten, künftig jedes untersuchte systematische Review mit AMSTAR-2 zu überprüfen. Bisher ist in der Standardvorgehensweise (SOP) der STIKO nur ein fakultativer Gebrauch von AMSTAR-2 erkennbar. Da einige Studien inzwischen die Validität des Instruments aufzeigen und es erhebliche Vorteile bei der Erkennung von Verzerrungsrisiken (insbesondere des Publikationsbias) bietet, sollte die SOP der STIKO dahingehend aktualisiert werden. Das RKI, von dessen Mitarbeitern die Studie stammt, sollte die STIKO darauf aufmerksam machen.
    
3. Die STIKO muss bei den eigenen systematischen Reviews methodisch rigoroser werden. Seit der 2011 verabschiedeten SOP führt die STIKO bei jeder neuen Impfempfehlung (mit bisher nur der Ausnahme COVID-19) ein systematisches Review zur Überprüfung der Impfstoffwirksamkeit und -sicherheit durch. Bisher war das für Rotaviren (2013), Gürtelrose (2018), Meningokokken B (2024), RSV (2024) und Meningokokken ACWY (2025) der Fall. Alle diese systematischen Reviews wären jedoch nach AMSTAR-2 in der Vertrauenswürdigkeit als "kritisch-niedrig" eingestuft worden, da es u. a. kein vorab veröffentlichtes Protokoll und keine Liste mit Begründungen über ausgeschlossene Studien gab. Diese methodischen Mängel müssen dringend korrigiert werden. Zu anderen Impfempfehlungen (von vor 2011) hat die STIKO bisher kein systematisches Review durchgeführt - dies sollte unbedingt nachgeholt werden.
    
4. Die methodischen Standards von systematischen Reviews sollten generell verbessert werden. So sollten Studienprotokolle bei der Einreichung in einem Fachjournal als verpflichtend vorausgesetzt werden. Protokolle haben auch deshalb eine ganz besondere Bedeutung für die Forschung, da sie eine der besten Möglichkeiten darstellen, um den Reporting Bias zu reduzieren. Wenn kein Protokoll vorab veröffentlicht wurde, kann schließlich nicht festgestellt werden, inwiefern die Autoren von ihrem Analyse-Plan abgewichen sind. So können unliebsame Ergebnisse ganz einfach unterdrückt werden.
    

Die Impf-Empfehlungen der STIKO müssen überprüft werden

Insgesamt bestätigt die RKI/WHO-Studie ein systematisches Qualitätsproblem bei systematischen Übersichtsarbeiten zu Impfstoffen: Über 91,7 % bzw. mehr als 9 von 10 erfüllen nicht die Standards für methodische Vertrauenswürdigkeit. Dies wirft ein kritisches Licht auf die Evidenzbasis, auf die sich STIKO und andere bei der Erstellung von Impfempfehlungen stützen.

Die Ergebnisse bestätigen auch die Erfahrung der ÄFI bei der Erstellung der wissenschaftlichen Hintergrundpapiere zu den Aktualisierungen ihrer Impf-Fachbeiträge: Die meisten systematischen Reviews sind "kritisch-niedrig" mit häufigen Defiziten, was die Registrierung eines Protokolls (Nr. 2) und das Vorhandensein einer Liste mit Begründungen über den Ausschluss von Studien (Nr. 7) betrifft.

ÄFI sieht einen dringenden Handlungsauftrag: Statt auf eine Masse methodisch schwacher Reviews zu setzen, müssen hochwertige Primärstudien (insbesondere große randomisierte kontrollierte Studien), Cochrane-Reviews und transparente, reproduzierbare Übersichtsarbeiten in den Vordergrund rücken und Limitationen klar kommuniziert werden.
 

Der Sprecher des ÄFI-Vorstandes Dr. med. Alexander Konietzky erklärt:

"Die STIKO beruft sich bei ihren Impfempfehlungen stets auf die wissenschaftliche Evidenz, wenn es um die Wirksamkeit und Sicherheit von Impfstoffen geht. Die von RKI und WHO nun vorgestellte Studie belegt das Gegenteil: Die geringe Vertrauenswürdigkeit der allermeisten Impfstudien widerspricht diesem Anspruch - auf den die Öffentlichkeit allerdings einen Anspruch hat.

Impfempfehlungen müssen der höchsten Evidenz genügen. Schließlich geht es bei Impfungen um die präventive Verabreichung von Substanzen an gesunden Menschen. Überdies gilt die STIKO als wissenschaftlicher Standard: Ihre Empfehlungen haben medizinische und politische Tragweite für die Ärztinnen und Ärzte in Deutschland.

Um die Glaubwürdigkeit ihrer Empfehlungen zurückzugewinnen, sollte die STIKO ihre Standardvorgehensweise grundlegend überprüfen. Dazu gehört auch, unzureichende systematische Reviews künftig nicht mehr zu berücksichtigen. Sämtliche Impfempfehlungen der STIKO, die lediglich auf ihren eigenen Prüfmethoden fußen, wären nach den Maßstäben der aktuellen Studie durchgefallen. Sie alle gehören daher auf den Prüfstand."