Vielmehr entsteht der Eindruck, dass manche Wissenschaftsjournalisten den Originalartikel gar nicht gelesen haben. Lassen wir die Gepflogenheiten des zeitgenössischen Wissenschaftsjournalismus aber beiseite und betrachten die Lancet-Publikation selbst.

Nur wenige Wochen zuvor wurde ein anderer Artikel von Pilic et al. veröffentlicht, von dem die Ärztinnen und Ärzte für individuelle Impfentscheidung (ÄFI) bereits berichtet haben. Pilic et al. wandten das Instrument AMSTAR-2 an und stellten fest, dass über 90 % der systematischen Übersichtsartikel zum Thema Impfstoffe den aktuell geltenden Qualitätskriterien nicht genügen. Es bietet sich daher an, den Artikel von Blackney et al. in diesem Licht zu analysieren.
 

Die kritischen Qualitätskriterien von AMSTAR-2

Zunächst erinnern wir uns daran, dass AMSTAR-2 insgesamt 16 Qualitätskriterien formuliert, von denen sieben kritisch sind:

1. Ein vorab festgelegtes Protokoll soll gewährleisten, dass die Autoren die Ergebnisse ihrer Analyse nicht im Nachhinein an ihre vorgefasste Meinung anpassen.

2. Die Literaturrecherche soll korrekt durchgeführt werden.

3. Wenn Studien aus der Analyse ausgeschlossen werden (was bei Reviews fast immer der Fall ist), muss jeder Ausschluss begründet werden.

4. Für jede individuelle Studie, auf der die Übersichtsstudie basiert, muss mithilfe der dafür entwickelten Instrumente das Risiko eingeschätzt werden, dass in dieser Studie Datenverzerrungen auftreten können („risk of bias“).

5. Die Diskussion der Gesamtergebnisse muss diese risk of bias streng berücksichtigen; falls (was oft unvermeidlich ist) bestimmte Schlussfolgerungen auf einer unsicheren Basis beruhen, muss diese Tatsache hervorgehoben werden.

6. Außer den möglichen Datenverzerrungen in individuellen Studien muss die Möglichkeit einer speziellen Verzerrung überprüft werden, die etwa dadurch entsteht, dass positive Ergebnisse eher publiziert werden als negative.

(Der 7. kritische Punkt betrifft nur quantitative Analysen und spielt daher für die Studie von Blackney et al. keine Rolle.)
 

Artikel erfüllt kein einziges kritisches Kriterium eindeutig

Die Qualität wird als „kritisch niedrig“ bewertet, wenn mindestens zwei dieser Kriterien nicht erfüllt sind. Solche Übersichtsarbeiten sind unzuverlässig. Bei Blackney et al. wird aber von den sechs prinzipiell anwendbaren Kriterien kein einziges eindeutig erfüllt.

Bezüglich P.2 erwähnen die Autoren zwar kurz, dass sie die Literatur in der Datenbank PubMed nach bestimmten Begriffen durchsucht haben, aber wie sie die gefundenen Publikationen weiter behandelt haben, bleibt unklar. Da man mit den gleichen Begriffen sehr unterschiedlich suchen kann, müssen nicht nur die Suchbegriffe, sondern auch das Suchverfahren beschrieben werden, damit ein kritischer Leser die Prozedur wenn nötig wiederholen kann.

Die Referenzliste bei Blackney et al. besteht aus 190 Publikationen. Nicht alle davon sind wissenschaftliche Artikel, da auch einige offizielle Behördendokumente aufgeführt werden. Aber allein zu einem Begriffspaar wie „mRNA oder messenger RNA“ finden sich in PubMed innerhalb des referierten Zeitraums zwischen 1.01.2020 und 31.12.2025 mehr als 160 Tausend (!) Publikationen, zu dem Begriff „Covid-19 vaccine“ mehr als 500 Publikationen.
 

Mögliche Datenverzerrungen bleiben unerwähnt

Heutzutage wird in Übersichtsarbeiten der Umgang mit den relevanten Quellen mithilfe eines PRISMA-Diagramms dargestellt: Man zeigt, wie viele Artikel betrachtet wurden, wie viele von ihnen Duplikate sind, in wie vielen der wichtige Suchbegriff (z. B. mRNA) zwar vorkommt, es aber in der Studie um etwas anders geht, usw. Weder ein solches Diagramm noch eine äquivalente wörtliche Beschreibung lässt sich bei Blackney et al. finden. Es wird keine Begründung für den Ausschluss von (wahrscheinlich tausenden) potentiell relevanten Publikationen angegeben, die wissenschaftliche Qualität der zitierten Publikationen wird nicht geprüft und eine Analyse der Heterogenität der Ergebnisse erübrigt sich natürlicherweise, da heterogene Befunde gar nicht erwähnt werden.

Die Analyse der möglichen Quellen von Datenverzerrungen („bias“) gehört heute zu den wichtigsten Aufgaben jeder analytischen Übersichtsstudie. Bei Blackney et al. kommt das Wort „bias“ nur zweimal vor, wenn die Autoren über ein mögliches „Overreporting“ spekulieren, d. h. mutmaßen, dass Ärzte möglicherweise mehr Nebenwirkungen berichten, als es tatsächlich gibt. Eine Begründung für diese Mutmaßung gibt es nicht.

Bekannterweise kann der sogenannte healthy vaccinee bias (d. h. Geimpfte und Ungeimpfte unterscheiden sich in ihrem Gesundheitszustand noch vor der Impfung) die wichtigste Verzerrungsquelle bei der Bewertung von Impfeffekten sein; Blackney et al. erwähnen diesen Bias mit keinem Wort. Die andere allgemein bekannte Sorge ist die steile Abnahme der Impfwirksamkeit mit der Zeit; auch dieses Problem wird nicht ausführlich besprochen.
 

Nur zwei von 14 Qualitätsmerkmalen erfüllt

Was ist mit den übrigen Kriterien von AMSTAR-2? Die vom Kriterium 1 geforderte Beschreibung von Patientengruppe, Intervention, Vergleich und Outcome fehlt zwar explizit, aber man kann aus dem Text die entsprechende Information extrahieren – so können wir diesen Punkt akzeptieren. Das Kriterium 16 (Angabe zu Interessenkonflikten) ist ebenfalls erfüllt.

Dagegen gibt es keinen Hinweis auf eine doppelte Überprüfung von Artikeln und deren Ergebnissen (Kriterien 5 und 6), die Einzelheiten der zitierten Studien werden nicht analysiert (Kriterium 8), sodass der Leser nicht immer weiß, ob eine zitierte Studie eine Originalstudie oder ein Review ist, ob sie eine randomisierte oder retrospektive Beobachtungsstudie ist, welchen Evidenzstatus sie hat und welche Limitationen sie einräumt. Insgesamt werden von den 14 Qualitätskriterien (zwei sind unanwendbar) lediglich zwei erfüllt: Ein negativer Rekord.

Das Gegen-Argument lässt sich vorhersehen: Das Review von Blackney et al. sei anders konzipiert und solle gar nicht nach AMSTAR-2-Kriterien gemessen werden. Aber genau das ist der Punkt: Warum soll ein Text veröffentlicht werden, der nicht einmal beabsichtigt, die Mindest- Qualitätskriterien zu erfüllen? Wozu hat die Medizin in den letzten Jahrzehnten so intensiv an Qualitätssicherung und Methodologie gearbeitet, wenn man alle erarbeiteten und etablierten methodologischen Kriterien einfach ignorieren kann? Und wenn die Studien mit zwei kritischen Defekten als „schlechte“ charakterisiert werden, welche Steigerung dieser Bewertung verdient eine Studie, die sechs kritische Defekte aufweist?
 

Wissenschaftlich wertlos

Im Zeitalter der evidenzbasierten Medizin haben solche Übersichtsartikel keine Existenzberechtigung. Reviews, die sich an keine harten Regeln halten, können nicht objektiv sein, sondern spiegeln lediglich die Meinung der Autoren wider. Ihr wissenschaftlicher Wert, ihre Beweiskraft sind gleich Null. Und wenn sie nicht als „Meinung“ gekennzeichnet werden (wie es im guten Journalismus üblich ist), können sie den Leser nur in die Irre führen.

Selbst die Autoren, die kein eigenes Interesse haben, verzerren die Datenlage unbewusst zugunsten der eigenen Meinung, wovon noch einer der Gründer der modernen Wissenschaft Francis Bacon im 17. Jahrhundert schrieb. Diese Verzerrung kann dramatische Maßstäbe annehmen, wenn, wie in diesem Fall, alle Autoren des Reviews lange Zeit für dieselben pharmakologischen Konzerne tätig waren, deren Produkte sie jetzt rühmen. Dann verschwimmt die Grenze zwischen Meinung und Werbung.

Der Teufel steckt im Detail und auf die Wissenschaft trifft dieser Spruch besonders zu. Die in AMSTAR-2 formulierten Anforderungen sind deshalb lebenswichtig, weil man ansonsten im Nebel bleibt: Wie genau wird in einer zitierten Studie der Status „geimpft“ definiert? Werden die Ereignisse auch zwischen der ersten und der zweiten Impfdosis mitgezählt? Wird die Vergleichsgruppe der Ungeimpften simultan (d. h. während der Impfkampagne) oder zeitversetzt (z. B. 2020) untersucht?

All diese und viele andere Einzelheiten können das Ergebnis drastisch beeinflussen. Deshalb fordern die modernen Standards, dass so viele Details wie möglich in Reviews beschrieben und analysiert werden. Eine bloße Erwähnung eines Hauptergebnisses (z. B. Prozent Nebenwirkungen) ist keine Wissenschaft.
 

Kaskade der Unverlässlichkeit

Es kommt zu einer Kaskade der Unverlässlichkeit. Sehr viele empirische Studien werden durchgeführt, die erhebliche Mängel oder zumindest wichtige Einschränkungen haben. Systematische Reviews versuchen die Ergebnisse dieser Studien zusammenzufassen, aber die meisten von ihnen (s. o. Pilic et al., 2026) ignorieren die Probleme der Originalstudien und geben die Ergebnisse noch stärker verzerrt weiter.

Übersichten wie von Blackney et al. zitieren diese systematischen Reviews, ohne auf deren Mangelhaftigkeit zu achten, und übernehmen unkritisch jedes proklamierte Ergebnis, sobald es ihre Meinung bestätigt. Die Pressestelle der Universität hebt nur die Aspekte hervor, welche die Universität in einem guten Licht erscheinen lassen, und scheut jede Selbstkritik wie die Pest. Schließlich übernimmt die deutsche Presse den Bericht der Pressestelle genauso unkritisch.

Blackney et al. haben aus dem Ozean der vorhandenen Literatur zu den Covid-Impfungen einfach ein paar Publikationen herausgefischt, die zu ihrer vorgefassten Meinung passen – und alles andere weggelassen. Sie verstehen nicht, dass die radikalsten Impfgegner genau das Gleiche machen und ein ähnliches „Review“ präsentieren könnten, in dem sie zeigen würden, dass nicht nur Covid-19-Impfungen, sondern auch alle anderen Impfungen Erzeugnisse des Teufels seien. Unter den hunderttausenden Publikationen zum Thema Impfung lassen sich locker 190 finden, die jede beliebige Meinung bestätigen.