Unausgewogene Berichterstattung in der medizinischen Wissenschaft-publication bias

Full text

Institut für Allgemeinmedizin
Unausgewogene Berichterstattung
in der medizinischen Wissenschaft
- publication bias -
Hans-Hermann Dubben
Hans-Peter Beck-Bornholdt
ISBN 3
-
00
-
014238
-
X

ii
Den Patienten gewidmet,
die an klinischen Studien teilnahmen,
die niemals veröffentlicht wurden.
„Positive, aber auch negative Ergebnisse
müssen veröffentlicht oder der Öffentlichkeit
anderweitig zugänglich gemacht werden.“
Deklaration von Helsinki, Weltärztebund
Gefördert durch die Unna Stiftung, Düsseldorf
2. Auflage
ISBN 3-00-014238-X
Erstellt am Institut für Allgemeinmedizin des Universitätsklinikums Hamburg-Eppendorf
Druck: Eigendruck
Verlag: Institut für Allgemeinmedizin des Universitätsklinikums Hamburg-Eppendorf
Copyright: Hans-Hermann Dubben und Hans-Peter Beck-Bornholdt, 2004.
Vertrieb:
Per Email: dubben@uke.uni-hamburg.de
Postalisch: Institut für Allgemeinmedizin, UKE, Martinistrasse 52, 20246 Hamburg
Schutzgebühr: € 5,-
HSH Nordbank, Kontonr. 104 364 000, BLZ 210 500 00, Verwendungszweck: I 549 - 2

iii
Zusammenfassung
Publication bias bezeichnet unausgewogene Berichterstattung in der Wis-
senschaft, die zu einer Fehleinschätzung der wissenschaftlichen Realität
und im Allgemeinen zu einer Überschatzung von Therapieerfolgen führt.
Die Ursache für publication bias liegt in der Mentalität der Forscher und
an den Erwartungen der Gesellschaft an die Wissenschaft.
Publication bias behindert den wissenschaftlichen Fortschritt und verur-
sacht die Fehlbehandlung von Patienten.
Die gegenwärtige Publikationspraxis ist unethisch und mit der Deklarati-
on von Helsinki unvereinbar.
Die einzig wirksame Maßnahme gegen publication bias ist die lückenlose
Registrierung aller Studien und die Verpflichtung zur Offenlegung aller
Ergebnisse.

iv
Inhaltsverzeichnis
1. Was ist publication bias?
2. Wie erkennt man unausgewogene Berichterstattung in der Wissenschaft?
3. Stand der Forschung zur Frage unausgewogener Berichterstattung (publication
bias) in der Wissenschaft
3.1. Erfassung der Studien zur Bestimmung von publication bias
3.2. Der Beitrag der Autoren zum publication bias
3.3. Der Beitrag der Fachzeitschriften zum publication bias
3.4. Der Beitrag der Leser zum publication bias
4. Beispiele für unausgewogene Berichterstattung in der Wissenschaft
4.1 Publication bias bei Blutdruck senkenden Medikamenten
4.2 Modeerscheinung in der Wissenschaft: split-course Strahlentherapie
4.3 Publication bias bei der Prüfung diagnostischer Tests.
5. Die Folgen unausgewogener Berichterstattung in der medizinischen Wissenschaft
6. Publication bias und Evidenzbasierte Medizin
7. Gegenmaßnahmen
8. Quergedacht
9. Nachwort
10. Literatur

Dubben & Beck-Bornholdt: Publication bias
1
1. Was ist publication bias?
The human intellect
… is more moved and excited by affirmatives
than by negatives.
Francis Bacon, 1621.
Vom Beginn einer klinischen Studie über
die Lektüre der Publikation bis zur Anwen-
dung ihrer Ergebnisse, sind zahlreiche
Hürden zu nehmen. Diese Hürden sind
häufig eher psychologischer und publizisti-
scher als wissenschaftlicher Natur. Dies hat
zur Folge, dass nicht alle Resultate veröf-
fentlicht werden. Das, was die Endverbrau-
cher wissenschaftlicher Information, also
Wissenschaftler, Ärztinnen und Patienten
im Rahmen einer Literaturrecherche finden,
ist häufig kein getreues Abbild dessen, was
tatsächlich in Kliniken und Labors zu dem
Thema erforscht worden ist. Man spricht
von publication bias, wenn die veröffent-
lichten Forschungsergebnisse nicht reprä-
sentativ für alle erzielten Resultate sind.
Publication bias ist unausgewogene
Berichterstattung in der Wissenschaft.
Patient
Zeitschrift
Leser
Autor
Studie
Abb. 1: Längst nicht alle wissenschaftlichen
Ergebnisse kommen dem Patienten zugute.
Auf dem beschwerlichen Weg von der Studie
bis zum Patienten bleibt ein großer Teil der
Ergebnisse auf der Strecke und landet im
Papierkorb.
Das Ausbleiben einer Publikation kann die
unterschiedlichsten Gründe haben. Zunächst
sind die finanziellen und logistischen
Hürden bis zum Abschluss der Studie zu
nehmen. Danach stehen die Studienleiter
vor der Entscheidung, ob sie das Ergebnis
überhaupt publizieren wollen und, wenn ja,
in welcher Zeitschrift und in welcher
Sprache. Offenbar gibt es keine Standards
an die sich ein Wissenschaftler halten kann
und muss, um zu entscheiden, welche
Resultate es wert sind, veröffentlicht zu
werden und welche nicht (Dickersin 1990).
Eine weitere Frage ist, ob und wo das
Manuskript zur Veröffentlichung ange-
nommen wird. Manche Studien werden in
weit verbreiteten und in Literaturdaten-
banken geführten englischsprachigen Zeit-
schriften publiziert. Andere erscheinen in
kleinen nationalen Zeitschriften in der
Muttersprache der Autoren. Und wieder
andere werden nie gedruckt.
Der wahrscheinlich älteste Hinweis auf
dieses Phänomen geht auf den Philosophen
und Atheisten Diagoras von der Insel Milos
zurück. Diagoras wurde vor 2500 Jahren
angesichts der Danktafeln (Abb.2a), die
Abb. 2a: Publikation positiver Ergebnisse.
gerettete Schiffbrüchige in einem Tempel
aufgestellt hatten, von einem Priester

2
gefragt, ob dies nicht ausreichend Evidenz
für die Existenz der Götter sei. Worauf
Diagoras entgegnet haben soll: „Und wo
sind die Tafeln der Ertrunkenen?“ (gefun-
den bei Petticrew 1998). Abb.2b zeigt die
auf der Hand liegende Antwort. Dickersin
(1990) zufolge war Sterling (1959) der
erste, der auf die bevorzugte Veröffentli-
chung positiver Ergebnisse in der Wissen-
schaft hingewiesen hat. Der Begriff
publication bias wurde von Smith (1980)
geprägt (Dickersin 1990).
Abb. 2b: Das weniger spektakuläre Schick-
sal negativer Ergebnisse.
Publication bias setzt sich aus den ver-
schiedensten Komponenten zusammen und
hat zahlreiche Ursachen und Verursacher.
Sie werden in dieser Broschüre benannt und
ergründet. Vorher müssen wir uns aber ein
paar Gedanken zur Methodik machen.
2. Wie erkennt man unausge-
wogene Berichterstattung
in der Wissenschaft?
Wie kann man erkennen, ob die Studien, die
beispielsweise in eine Metaanalyse
1
eingegangen sind, repräsentativ für den
Stand der Forschung zu einer bestimmten
wissenschaftlichen Fragestellung sind? Wie
kann man erkennen, ob sie nicht mögli-
cherweise nur eine unausgewogene, viel zu
positive Auswahl darstellen? Zu diesem
Zweck wurden verschiedene Methoden
erdacht. Die Trichtergrafik, die im folgen-
den Abschnitt erklärt wird, ist eines von
mehreren Werkzeugen, mit denen man eine
Sammlung von Ergebnissen auf unausge-
wogene Berichterstattung (publication bias)
untersuchen kann.
Was ist eine Trichtergrafik (funnel plot)?
Das Prinzip dieses Verfahrens lässt sich mit
einem Würfelspiel anschaulich darstellen.
Mit einem ganz normalen Würfel können
sechs verschiedene Ergebnisse erzielt
werden:
1 2 3 4 5 6
Bei einem fairen Würfel sind alle sechs
Ergebnisse gleich wahrscheinlich. Die
durchschnittliche Punktzahl pro Wurf
beträgt folglich (1+2+3+4+5+6)/6 = 21/6 =
3,5. Wenn man mit sehr vielen Würfeln
würfelt, wird die Abweichung des Durch-
1
Metaanalyse: Synthese der Ergebnisse verschiede-
ner vergleichbaren Studien zum gleichen oder einem
ähnlichen Thema. Das Motiv für die Durchführung
von Metaanalysen ist, durch Zusammenlegen der
Daten hohe Patientenzahlen und damit eine bessere
Aussagekraft zu erlangen. Die Ergebnisse hängen
allerdings entscheidend von der Auswahl und der
Qualität der eingeschlossenen Studien ab.

Dubben & Beck-Bornholdt: Publication bias
3
schnittswertes von diesem theoretischen
Wert sehr gering sein. Je weniger Würfel
man wirft, um größer werden die zufällig
auftretenden Abweichungen sein. Die
folgende Grafik zeigt das Ergebnis sehr
vieler Spielsimulationen am Computer.
Jeder Punkt ist das Resultat eines einzelnen
Würfelexperiments.
Die Streuung um den theoretischen Wert
3,5 (gestrichelte senkrechte Linie) wird mit
zunehmender Anzahl der Würfel geringer.
Als Maß für die Messgenauigkeit wurde
hier die Anzahl der Würfel verwendet. In
klinischen Studien wird dafür oft die
Anzahl der Patienten genommen und zur
Messgröße der Studie (z.B. der Heilungs-
rate) in Beziehung gesetzt. Wenn man viele
Studien zu derselben Therapie in so einer
Grafik darstellt, dann erwartet man eben-
falls eine Trichterform, denn die Ergebnisse
von Studien mit wenigen Patienten unter-
liegen eher dem Zufall als die Resultate
großer Studien.
1 2 3 4 5 6
10
100
1000
10000
Durchschnittliche Augenzahl
Anzahl der Würfel
Abb. 3: Durchschnittliche Augenzahl, die
beim Wurf verschieden vieler Würfel erzielt
wird. Die Schwankungsbreite nimmt mit der
Anzahl der Würfel ab. Es ergibt sich die
Form eines umgekehrten Trichters (funnel).
Die Abbildung zeigt das Ergebnis zahlrei-
cher Computersimulationen.
Hätten wir beim Würfelspiel Ergebnisse mit
kleiner Augenzahl verschwiegen, wäre der
Trichter unsymmetrisch geworden. Genauso
verhält es sich bei unausgewogener Be-
richterstattung (publication bias), wenn
Studien mit negativen Ergebnissen mit
geringerer Wahrscheinlichkeit veröffent-
licht werden. Bei Asymmetrie in der
Trichtergrafik besteht somit dringender
Verdacht auf unausgewogene Berichter-
stattung.
3. Stand der Forschung zur
Frage unausgewogener
Berichterstattung (publi-
cation bias) in der Wissen-
schaft
Bei Diagoras’ Schiffbrüchigen ist die
positiv eingefärbte Berichterstattung offen-
sichtlich. Kein einziger Ertrunkener hat
nach menschlichem Ermessen die Gelegen-
heit gehabt, sein Missfallen mit einer Tafel
im Tempel kundzutun. Im Tempel werden
zu 100 Prozent positive Ergebnisse gezeigt.
In einer der führenden medizinischen Fach-
zeitschriften, dem New England Journal of
Medicine, beträgt der Anteil positiver
Ergebnisse 88 Prozent. In psychologischen
Fachzeitschriften beträgt der Anteil sogar
über 95 Prozent (Dickersin & Min, 1993,
Sterling 1959) und erinnert damit an
„Wahlergebnisse“ in totalitären Staaten.
Derart hohe Anteile an positiven Ergebnis-
sen lassen deutlich Zweifel aufkommen, ob
diese Berichte repräsentativ für das sind,
was tatsächlich alles erforscht wurde. Die
Diagoras-Frage lautet also: „Und wo sind
die Veröffentlichungen der Studien mit
negativem Ergebnis?“

4
Im Werdegang einer Studie und deren (et-
waiger) Publikation gibt es vier Stationen,
die für die Untersuchung und den Nachweis
von publication bias besonders interessant
sind:
1. Die Erfassung der Studien, auch derer,
die später nicht publiziert werden. Unter-
scheiden sich die publizierten Studien
systematisch von den nicht publizierten?
2. Die Autoren der Studien, denn sie
entscheiden, ob sie ihre Ergebnisse über-
haupt publizieren wollen. Wovon wird
deren Entscheidung beeinflusst?
3. Die wissenschaftlichen Fachzeitschrif-
ten bzw. deren Herausgeber und Gutachter
(peer reviewer). Wovon wird deren Ent-
scheidung beeinflusst?
4. Der Verbraucher, also die Ärztin, der
Patient, die Wissenschaftlerin, denn sie
muss die Studie in der umfangreichen
internationalen Fachliteratur finden und
möglichst unvoreingenommen lesen,
bewerten und verwerten. Wovon hängt es
ab, dass eine Publikation auffindbar ist?
Welchen Einfluss haben die Erwartungen
und Vorlieben der Verbraucherin?
Diese Stationen werden im Folgenden
abgearbeitet.
3.1. Erfassung der Studien zur
Bestimmung von publication bias
Für die Untersuchungen des publication
bias ist zunächst eine Informationsquelle
notwendig, die alle klinischen Studien
unabhängig von ihrem Ergebnis erfasst.
Dies ist dann gewährleistet, wenn ein
Forschungsvorhaben bei Initiierung oder
zumindest zu einem Zeitpunkt, an dem noch
keine Ergebnisse vorliegen, registriert wird.
Zu diesen Quellen zählen:
• Studienprotokolle, die von Ethik-
kommissionen genehmigt wurden
(Easterbrook 1991; Dickersin et al. 1992;
Stern & Simes 1997),
• Studien, die von der amerikanischen
Gesundheitsbehörde NIH (Dickersin & Min
1993) oder von anderen Fördereinrichtun-
gen finanziert wurden (Misakian & Bero
1998)
• und Studien, die von Fachgesellschaften
durchgeführt wurden (Ioannidis 1998 ).
Weitere Hinweise zu publication bias
können auch aus anderen Quellen gewon-
nen werden, wie beispielsweise aus Disser-
tationen (Zimpel & Windeler, 2000) und
Zusammenfassungen (Abstracts) für
wissenschaftliche Fachtagungen (Callaham
et al. 1998).
Ethikkommissionen
Easterbrook et al. (1991) untersuchten die
Forschungsprojekte, die vom Central
Oxford Research Ethics Committee zwi-
schen 1984 und 1987 genehmigt worden
waren. Bei Beobachtungsstudien und
Laboruntersuchungen fanden sie eine be-
vorzugte Veröffentlichung positiver Ergeb-
nisse. Statistisch signifikante Ergebnisse
hatten eine mehr als dreifach höhere
Chance, publiziert zu werden als nicht-
signifikante. Für randomisierte kontrollierte
Studien
2
fanden Easterbrook et al. aller-
2
Randomisierte kontrollierte Studien werden
gegenwärtig als das bestmögliche Studiendesign
angesehen, um die Wirkung einer medizinischen
Intervention zu untersuchen. Bei diesem Studiende-
sign wird eine Gruppe von Patienten oder Probanden
nach dem Zufallsprinzip in zwei oder mehrere
Gruppen aufgeteilt (Randomisierung). Die eine
Gruppe erhält das zu untersuchende Medikament
bzw. die zu untersuchende Behandlung, während die

Dubben & Beck-Bornholdt: Publication bias
5
dings keinen Hinweis auf publication bias
(siehe auch den späteren Abschnitt „Quer-
gedacht“).
Dickersin et al. (1992) untersuchten 737
Studien, die an den Johns Hopkins Health
Institutions in Baltimore bis 1980 durch-
geführt worden waren. Sie fanden, dass dort
statistisch signifikante Ergebnisse zwei- bis
dreimal so häufig publiziert wurden wie
nicht signifikante Resultate.
Stern & Simes (1997) untersuchten das
Schicksal von 748 Studien, die zwischen
1979 und 1988 vom Royal Prince Alfred
Hospital Ethics Committee in Sydney
genehmigt worden waren. Es zeigte sich,
dass Studien mit positivem Ergebnis etwa
doppelt so häufig publiziert wurden wie
Studien mit negativem Ergebnis. Außerdem
wurden negative Studien später veröffent-
licht als positive (time-lag bias), denn die
mediane Dauer bis zur Publikation betrug
etwa 5 Jahre für positive und 8 Jahre für
negative Ergebnisse.
0 1 2 3 4 5 6 7 8 9 10
0
10
20
30
40
50
60
70
80
90
100
p < 0,05
p≥ 0,1
0,05 ≤ p < 0,1
Jahre nach Genehmigung durch Ethikkommision
Nicht-publizierte Arbeiten (%)
Abb. 4: Anteil der nicht-publizierten
Arbeiten im Verlauf der Zeit nach Geneh-
migung durch eine Ethikkommission.
Studien mit statistisch signifikanten Er-
gebnissen („p < 0,05“) werden häufiger
andere Gruppe eine konventionelle Therapie, ein
Placebo oder nichts erhält.
und früher veröffentlicht als Studien mit
nicht-signifikanten Ergebnissen („p >
0,05“; Stern & Simes, 1997)
Egger & Smith (1998) und Dickersin (1997)
führten eine Metaanalyse aller verfügbaren
Untersuchungen durch, die auf Anträgen bei
Ethik-Kommissionen basieren. Der Anteil
nicht veröffentlichter Ergebnisse variierte
zwischen 7 und 41 Prozent.
Alle fünf hier zitierten Untersuchungen
zeigen eine Bevorzugung von Studien mit
positiven Ergebnissen. Die Chance, publi-
ziert zu werden, ist für positive Ergebnisse
etwa dreifach größer als für negative.
Studienregister
Es gibt hunderte fachspezifische Studien-
register. Deren Inhalte sind jedoch nicht
standardisiert und teilweise überlappen sie.
Das Fehlen eines zentralen Studienregisters
behindert die Arbeit derjenigen, die
Informationen über aktuelle Forschungs-
vorhaben suchen. Auch Datenbanken der
pharmazeutischen Industrie über Medika-
mente, die sich in der Entwicklung befinden
(„pipeline sources“), könnten als Informa-
tionsquellen über gegenwärtig laufende
Medikamentenstudien dienen. Manheimer
et al. (2002) hat drei dieser Quellen vergli-
chen, von denen zwei für sich beanspruch-
ten, ein vollständiges Bild der aktuellen US-
Medikamentenforschung zu liefern. Nur
drei von 32 Vorhaben waren tatsächlich in
allen drei Datenbanken registriert. Die
Hälfte war nur in jeweils einem Register zu
finden. Von zwölf in der Entwicklung
befindlichen Medikamentenstudien zur
Behandlung von Prostatakrebs waren drei in
anderen Studienregistern nicht auffindbar.
Bei Dickdarmkrebs waren es sogar acht von
20 Studien.

6
Offenbar gewähren derzeit existierende
Studienregister keinen vollständigen Über-
blick über das Forschungsgeschehen.
Fachgesellschaften
Von Fachgesellschaften durchgeführte
prospektive Studien
3
sind ebenfalls bereits
aktenkundig, bevor die ersten Ergebnisse
vorliegen. Inwieweit man nachträglich an
diese Studienprotokolle heran kommt, auch
an diejenigen unveröffentlichter Untersu-
chungen, hängt von der Kooperationsbereit-
schaft der Fachgesellschaft ab. Ioannidis
(1998) untersuchte Wirksamkeitsstudien,
die im Zeitraum von 1986 bis 1996 von den
Fachgesellschaften ACTG (AIDS Clinical
Trials Group) und CPCRA (Terry Beirn
Community Programs for Clinical Research
on AIDS) durchgeführt wurden. Die
Ergebnisse seiner Untersuchung werden in
Kapitel 3.2 unter time lag bias dargestellt.
Wissenschaftliche Kongresse
Wissenschaftliche Kongresse sind häufig
das erste Forum, auf dem neue Forschungs-
ergebnisse vorgestellt werden. Daher bieten
sie eine interessante Gelegenheit zur
Untersuchung von publication bias.
Callaham et al. (1998) untersuchten die
Beiträge für einen Kongress in Notfallme-
dizin. Hierbei betrachteten sie drei Ebenen:
1. das Einreichen von Abstracts zu dem
Kongress, 2. die Auswahl dieser Abstracts
für einen Vortrag, 3. und die spätere
Auswahl für eine Publikation. Abstracts mit
einem positiven Ergebnis hatten doppelt so
gute Chancen zum Kongress angenommen
3
Prospektive Studie: Klinische Studie, bei der vor
Studienbeginn festgelegt wird, was untersucht
werden soll.
zu werden als mit negativem Ergebnis. Es
zeigte sich, dass bereits vor dem Einreichen
eine Selektion zugunsten positiver Studien
stattgefunden hatte, denn ob aus einem ein-
gereichten Abstract später eine Publikation
wurde, hing maßgeblich davon ab, ob es
zuvor als Abstract für einen Vortrag auf
dem Kongress akzeptiert wurde und ob ein
positives Ergebnis vorlag.
Scherer et al. (1994) untersuchten, ob und
wann randomisierte kontrollierte Studien,
deren Zusammenfassungen auf einem
Ophtalmologenkongress im Jahre 1988 und
1989 vorgestellt worden waren, später
veröffentlicht wurden. Außerdem führten
sie eine Metaanalyse unter Berücksichti-
gung von zehn weiteren Studien dieses
Typs durch. Nur etwa die Hälfte der Studien
wurde nachfolgend veröffentlicht, die
meisten binnen zwei Jahren. Dabei zeigte
sich eine leichte Bevorzugung signifikanter
Ergebnisse.
Klassen et al. (2002) untersuchten die
Proceedings der Society for Pediatric
Research der Jahre 1992 bis 1995. 41
Prozent der 447 randomisierten kontrol-
lierten Studien, die auf diesen Tagungen
vorgestellt worden waren, wurden später
nicht veröffentlicht. Von den veröffent-
lichten Studien waren 64 Prozent zugunsten
der experimentellen Therapie ausgefallen,
während es bei den nicht veröffentlichten
Studien nur 44 Prozent waren (p<0,001).
Studien, die nicht zugunsten der experi-
mentellen Therapie ausfielen, wurden
folglich seltener publiziert. Darüber hinaus
stellten die Autoren anhand einer Trichter-
grafik fest, dass bereits bei den auf der
Tagung vorgestellten Studien publication
bias vorliegt.

Dubben & Beck-Bornholdt: Publication bias
7
Timmer et al. (2002) untersuchten eine
Zufallsstichprobe aus den Abstracts, die
zwischen 1992 und 1995 zur Digestive
Diseases Week, einem jährlichen Kongress
von Gastroenterologen, eingereicht wurden.
Knapp die Hälfte davon (47%) wurde später
publiziert. Abstracts, die für einen Vortrag
bei dem Kongress angenommen worden
waren, wurden nachfolgend mit größerer
Wahrscheinlichkeit veröffentlicht als
Abstracts, die abgelehnt worden waren
(54% vs. 34%). Es wurde kein signifikanter
Zusammenhang zwischen der Richtung des
Studienergebnisses und der Publikations-
häufigkeit gefunden, wohl aber hinsichtlich
der Publikationsqualität: Studien mit nicht-
signifikanten Ergebnissen erschienen
signifikant seltener in Fachzeitschriften mit
hohem Verbreitungsgrad und Ansehen.
Krzyzanowska et al. (2003) untersuchten
die Tagungsbände der Jahrestagung der
Amerikanischen Gesellschaft für Onkologie
(American Society of Clinical Oncology
ASCO) von 1989 bis 1998. Hier werden alle
eingereichten Abstracts abgedruckt, auch
wenn sie nicht für eine Präsentation
angenommen wurden. Die Autoren berück-
sichtigten ausschließlich randomisierte
Phase III Studien
4
mit mindestens 200
Patienten. 81 Prozent der Studien mit
signifikantem Ergebnis und 68 Prozent mit
nicht-signifikantem Ergebnis waren
4
Die Phase III Studie ist eine kontrollierte klinische
Studie zum Vergleich der Wirksamkeit zweiter
unterschiedlicher Therapieverfahren. Die Wirksam-
keit eines neuen Medikaments oder einer neuen
Behandlungsmethode und das etwaige Auftreten
seltener aber schwerwiegender Nebenwirkungen
werden untersucht und mit dem Standardverfahren
oder gegen ein Placebo verglichen. Die Verträglich-
keit, die Sicherheit, sowie mögliche Arzneimittel-
wechselwirkungen werden erfasst. Erst nach
positivem Abschluss dieser Phase kann ein neues
Medikament oder eine neue Behandlungsmethode
auch außerhalb von Studien eingesetzt werden.
innerhalb von fünf Jahren publiziert worden
(p<0,001). Ähnlich sah es bei dem Ver-
gleich von Studien aus, bei denen die
experimentelle Behandlung besser abge-
schnitten hatte. Hier waren 81 Prozent
publiziert worden, im Vergleich zu 70
Prozent, wenn die experimentelle Behand-
lung nicht besser war (p= 0,001). Es gab
kaum Studien, die noch nach mehr als fünf
Jahren veröffentlicht wurden. Auf die Dauer
bis zur Publikation hatten folgende Para-
meter einen Einfluss: die statistische
Signifikanz des Ergebnisses (p<0.001); die
Art der Präsentation beim ASCO-Meeting
(Vortrag oder „nur publiziert“ im Tagungs-
band, aber nicht als Vortrag angenommen;
p=0,002); sowie der Sponsor (Pharma-
gesponsorte Studien wurden am schnellsten
publiziert, p<0,02).
Hopewell & McDonald (2003) untersuchten
962 Konferenz-Abstracts von kontrollierten
klinischen Studien, die zwischen 1980 und
2000 im Australian and New Zealand
Journal of Medicine publiziert wurden.
Davon wurde gut die Hälfte (61%) später
vollständig veröffentlicht. Von der Präsen-
tation auf der Konferenz bis zur Publikation
vergingen im Mittel ein bis zwei Jahre. Die
Autoren haben die Abstracts nicht nach
positiven und negativen Ergebnissen
unterschieden.
Dissertationen
Zimpel & Windeler (2000) untersuchten die
140 Dissertationen der Jahre 1982 – 1992,
aus den vier Baden-württembergischen
Hochschulen Heidelberg, Freiburg i.Br.,
Tübingen und Ulm, die zu unkonventionel-
len medizinischen Verfahren durchgeführt
worden waren. Ein positives Ergebnis
führte eher zur Publikation, allerdings war
der Unterschied nicht statistisch signifikant.

8
Zusammenfassend ist festzustellen, dass
zahlreiche klinische Studien über Ethik-
kommissionen, Fördereinrichtungen,
Dissertationen, Tagungen, Fachgesell-
schaften, Behörden, etc. erfasst werden
können. Die (publizierten) Untersuchungen
über publication bias berichten, dass davon
später nur etwa die Hälfte publiziert wird.
Die Ergebnisse eines großen Teils der
Studien scheinen in unbekannten Schubla-
den zu verschwinden. Hinzu kommt der
Eindruck, dass positive Ergebnisse schnel-
ler veröffentlicht werden.
3.2. Der Beitrag der Autoren zum
publication bias
In diesem Abschnitt wird der Beitrag der
Autoren zum publication bias erläutert.
Forscher sind darauf aus, etwas Neues zu
finden. Das ist auch die Erwartung der
Gesellschaft an die Wissenschaft. Den
Versuch eines Forscher-Kollegen zu
wiederholen und damit seine Ergebnisse zu
überprüfen, wird folglich von Wissen-
schaftlern als langweilig empfunden und ist
mit dem Verdacht verbunden, man habe
keine eigenen erforschenswerten Ideen und
koche aus diesem Grunde lediglich die
Studien seiner wesentlich intelligenteren
und kreativeren Kollegen nach. So finden
kritische Überprüfungen der häufig beju-
belten positiven Ergebnisse kaum statt.
Aber auch bei der Erforschung neuer und
auf eigenen Ideen beruhender Zusammen-
hänge möchte man lieber herausfinden, dass
dieses oder jenes funktioniert, und nicht,
dass es nicht funktioniert. Manche Autoren
sind also enttäuscht und entmutigt, wenn sie
negative Ergebnisse haben und zögern,
diese überhaupt zur Publikation einzurei-
chen.
Time lag bias: Zeitlich verzögerte Veröf-
fentlichung negativer Ergebnisse
Ioannidis (1998) untersuchte den Verbleib
aller 109 randomisierten Wirksamkeits-
studien, die im Zeitraum von 1986 bis 1996
von der ACTG (AIDS Clinical Trials
Group) und von der CPCRA (Terry Beirn
Community Programs for Clinical Research
on AIDS) durchgeführt wurden. Positive
Studien wurden deutlich früher publiziert
als negative. (Zur Definition von positiv
und negativ in diesem Fall siehe Abschnitt
8.1). Vom Studienbeginn bis zur Veröffent-
lichung verstrichen bei positiven Studien im
Median
5
4,3 Jahre, bei „negativen“ Studien
waren es 6,5 Jahre (p<0,001). Dieser
Unterschied war hauptsächlich auf das
Zeitintervall zwischen Vollendung der
Nachbeobachtung und der Veröffentlichung
zurückzuführen. Positive Studien wurden
also schneller nach Abschluss der Studie
zur Veröffentlichung eingereicht (1,0 vs.
2,4 Jahre; p=0,001), dies ist der Autoren-
anteil am time lag bias. Die positiven
Studien wurden auch schneller von den
Zeitschriften publiziert (0,8 vs. 1,1 Jahre;
p<0,04). Nur Studien mit negativen
Ergebnissen wurden von mehr als einer
Zeitschrift abgelehnt. Die beiden letzten
Punkte sind der Herausgeber- und Gutach-
teranteil am time lag bias.
5
Median: Zur Ermittlung des Medians sortiert man
die Messwerte der Größe nach. Der Median ist dann
der Wert, der in der Mitte der Reihe steht.

Dubben & Beck-Bornholdt: Publication bias
9
Ioannidis (1998) zeigte auch, dass die
Studien mit negativem Ergebnis etwa
doppelt so viele Patienten wie die positiven
eingeschlossen hatten. Damit haben sie
nicht nur eine höhere Power
6
und sind
aussagekräftiger als die kleineren Studien,
sondern die Vorbereitung dieser Studien
durch beispielsweise das Anwerben von
kooperierenden Kliniken, benötigt mehr
Zeit. Damit beginnen die negativen Studien
bereits mit Verspätung. Insgesamt erschei-
nen daher Studien mit negativem Ergebnis
meist einige Jahre nach den positiven
Studien zu derselben Fragestellung.
Während dieser Zeit gibt es übertriebene
Vorstellungen über den Nutzen eines
Medikamentes oder einer Therapie. Dieser
initialen Welle der Euphorie folgt dann
vielleicht eine Phase der Ernüchterung.
Diese wird aber oft von der nächsten Welle
einer neuen Euphorie ersäuft.
Sprachen bias (language bias)
Englisch ist die derzeitige Wissenschafts-
sprache. Ein auf Englisch publizierter
Artikel kann und wird von mehr Anwen-
dern gelesen als ein nicht-englischer
Artikel. Es gibt Hinweise in der Literatur,
dass Studien mit statistisch signifikantem
Ergebnis öfter die Hürde zur internationa-
len englischsprachigen Zeitschrift nehmen.
Egger et al. (1997) machten sich in diesem
Zusammenhang auf die Suche nach
randomisierten kontrollierten Studien, die in
fünf führenden deutschsprachigen Fachzeit-
schriften veröffentlicht worden waren. Von
diesen Autoren suchten Egger und Kollegen
randomisiert kontrollierte Studien, die in
etwa demselben Zeitraum in englisch-
sprachigen Journalen veröffentlicht worden
6
Power: Wahrscheinlichkeit, dass ein tatsächlich
vorhandener Effekt in einer Studie auch gefunden
wird.
waren. Insgesamt fand Egger 62 Studien-
paare, von denen er 40 analysieren konnte.
Die Studien, bei denen der primäre End-
punkt
7
statistisch signifikant war, waren von
den jeweiligen Autoren eher auf Englisch
und diejenigen mit nicht signifikantem
Ergebnis eher auf Deutsch publiziert
worden (Tabelle 1).
Veröffentlichung
auf
p-Wert des
primären End-
punktes Deutsch
Englisch
Nicht signifikant 65% (26)
37% (15)
Signifikant 35% (14)
63% (25)
Tabelle 1: Statistische Signifikanz und
Sprache der Publikation. Daten aus Egger
et al. (1997)
English-language bias kann zum Tragen
kommen, wenn Übersichtsartikel auf
englischsprachige Publikationen beschränkt
sind. Eine diesbezügliche Auswertung
(Gregoire et al. 1995) von acht Allgemein-
medizin-Journalen zeigte, dass von 36
Metaanalysen in führenden englischspra-
chigen Fachzeitschriften 26 die Literatursu-
che auf englischsprachige Studien begrenzt
hatten. Dies hatte zur Folge, dass 19
Publikationen aufgrund der Sprache
ausgeschlossen wurden, obwohl sie
wissenschaftlich akzeptabel waren.
Offenbar neigen Autoren dazu, positive
Ergebnisse eher international zu publizieren
und die negativen Ergebnisse in der
Muttersprache zu veröffentlichen. Diese Art
von bias scheint zumindest für die deutsche
Sprache am Aussterben zu sein. Der Anteil
der in Deutscher Sprache erschienenen Stu-
dien nahm mit der Zeit ab (Egger et al.
1997). Gleichzeitig gibt es immer mehr
7
Primärer Endpunkt: Dies ist das alles entscheiden-
de Zielkriterium der Studie.

10
deutsche Fachzeitschriften, die englisch-
sprachige Artikel enthalten oder gar nur
noch auf Englisch erscheinen.
Nun kann man argwöhnen, dass es ohnehin
einen qualitativen Unterschied zwischen
internationalen, und damit in der Regel
englischsprachigen und nationalen Fach-
zeitschriften gibt. Schließlich sind die
internationalen angesehener und können
sich daher eher die Rosinen aus dem
Angebot herauspicken. Moher et al. (1996)
verglichen die Qualität englisch- und nicht-
englischsprachig publizierter kontrollierter
randomisierter Studien und fanden keinen
nennenswerten Unterschied. Im Gegensatz
dazu kamen Juni et al. (2002) zu dem
Ergebnis, dass die nicht-englischen Publi-
kationen im Allgemeinen methodisch
schlechter seien als diejenigen, die in
englischer Sprache erscheinen. Sie kamen
ferner zu dem Schluss, dass der English
language bias die Resultate von Metaanaly-
sen nicht entscheidend veränderte.
Weshalb werden Ergebnisse nicht
veröffentlicht?
Bei Befragung werden von Forschern
unterschiedliche Gründe angegeben,
weshalb sie ihre Ergebnisse nicht veröf-
fentlicht haben: das Ergebnis sei nicht
signifikant; der Sponsor halte die Daten
zurück; Veröffentlichung sei nicht Ziel der
Studie gewesen (Beispiel: Zulassungsstu-
dien); keine Zeit oder kein Interesse mehr;
„unwichtige“ Ergebnisse; Ablehnung des
Manuskriptes befürchtet; andere Publika-
tion mit ähnlichen Ergebnissen gefunden;
Wechsel der Arbeitstelle usw. Methodische
Probleme oder eine tatsächliche Ablehnung
des Manuskripts betreffen nur jeweils ca. 10
Prozent der nicht publizierten Studien
(Dickersin et al. 1992, Dickersin & Min
1993, Easterbrook et al. 1991, Horton 1997,
Misakian & Bero 1998, Weber et al. 1998).
In einer Untersuchung von Timmer et al.
(2002) gaben die befragten Autoren
Zeitmangel als Hauptgrund an, nicht zu
publizieren.
Grundsätzlich sind Wissenschaftler an der
Veröffentlichung kleiner negativer Studien
wenig interessiert (Easterbrook et al. 1991;
Dickersin et al., 1992; Dickersin 1993;
Hetherington et al. 1989). Einige Forscher
geben auf Befragung an, dass involvierte
pharmazeutische Firmen die Daten verwal-
ten und somit diese Firmen die Publikation
initiieren sollten. Häufig wurden derartige
Studien nur für die Produktzulassung
durchgeführt, ohne dass eine Veröffentli-
chung beabsichtigt war (Easterbrook et al.
1991). Im Jahre 1987 verzeichnete die
Finnish National Agency for Medicines 274
Medikamentenstudien. Über 183 dieser
Studien wurde bis 1993 nichts berichtet
(Bardy 1996).
Lexchin et al. (2003) prüften, ob die
Ergebnisse von Medikamentenstudien eher
positiv ausfallen, wenn sie von der Phar-
maindustrie finanziert werden und ob sich
die methodische Qualität dieser Studien von
derjenigen mit anderer Finanzierungsquelle
unterscheidet. Zu dieser Fragestellung
fanden sie 30 Untersuchungen. Von der
Pharmaindustrie finanzierte Studien
gelangten seltener zur Publikation als
Studien mit anderen Finanzierungsquellen.
Ferner gelangten industriefinanzierte
Studien etwa viermal so häufig zu einem
positiven Ergebnis als die anderen Studien.
Es gab keinen offensichtlichen Hinweis
darauf, dass die pharmagesponserten
Studien eine schlechtere methodische
Qualität hatten. Lexchin und Mitarbeiter

Dubben & Beck-Bornholdt: Publication bias
11
vermuten daher als Ursache publication
bias, d.h. Studien mit negativen Ergebnis-
sen bleiben unter Verschluss. Als weitere
mögliche Ursache führen sie inadäquate
Vergleichsbehandlungen an, die beispiels-
weise darin bestehen können, dass man die
Kontrollgruppe mit dem Konkurrenzpräpa-
rat behandelt – allerdings hoffnungslos
unterdosiert. Oder man lässt ein mittelmä-
ßiges Pferd im Rennen gegen eine Horde
Maulesel antreten und feiert es dann als
Champion.
Letzteres und die Subjektivität der meisten
Begründungen lassen viel Platz für Speku-
lation. So kann es durchaus sein, dass ein
misslungener Wirksamkeitsnachweis im
Rahmen einer Medikamentenprüfung aus
marktpolitischen Erwägungen nicht
publiziert wird oder dass ein Autor Ergeb-
nisse zurückhält, weil sie seine bisherigen
Arbeiten bzw. die Arbeiten anderer in Frage
stellen könnten oder weil die praktischen
Folgerungen dem Autor nicht erwünscht
erscheinen.
Mehrfache Veröffentlichung von Studien
Das Gegenstück zum Verschweigen
unliebsamer Daten ist das umso werbewirk-
samere Herausposaunen „passender“
Ergebnisse durch die selektive oder
mehrfache Veröffentlichung von positiven
Studien. Eine Form davon ist die Aufspal-
tung großer multizentrischer Studien in
viele kleinere Berichte, bei denen so getan
wird, als ob es sich jeweils um unterschied-
liche Studien handeln würde (Salamitaktik).
Da die Autoren es versäumen, auf diesen
Umstand hinzuweisen und sich in der
Autorenschaft abwechseln, ist es sehr
schwierig, derartige Mehrfachpublikationen
zu erkennen (Gilbody & Song 2000).
Tramèr et al. (1997) untersuchten 84
Publikationen zur Wirkung von Ondan-
setron auf die postoperative Übelkeit. Diese
Studien umfassten scheinbar die Daten von
insgesamt 11.980 Patienten. Tatsächlich
waren es aber nur 8.645 Patienten in 70
Studien. 38 Prozent der Patientendaten
waren durch Mehrfachpublikation entstan-
den. Dabei wurden Studien mit großen
Effekten bevorzugt mehrfach publiziert, mit
der Folge, dass die Effizienz des Medi-
kaments um 23 Prozent überschätzt wurde.
Dies war in zahlreichen Artikeln, Editorials,
Übersichtsarbeiten und Buchkapiteln
übersehen worden (Rennie 1999). Das ist
auch nicht verwunderlich, denn es gab
keine klaren Querverweise zwischen den
Studien, es wurde in verschiedenen Spra-
chen und mit völlig unterschiedlichen
Autorennamen publiziert, oder es wurden
Teile der Daten von Studien zu neuen
vermischt. In zwei Fällen wurden „ähnliche
Berichte“ zitiert – ohne Hinweis darauf,
dass es sich um exakt dieselben Patienten
handelte. Die Zusammenhänge kamen nur
dadurch ans Licht, weil Tramèr et al. den
Daten und Autoren mit kriminalistischer
Hartnäckigkeit nachforschten, um Existenz
und Wirkung verdeckter Mehrfach-
publikationen aufzudecken.
Durch die verdeckte mehrfache Veröffentli-
chung positiver Studien entsteht der
Eindruck von sehr viel mehr Studien mit
obendrein ähnlichen Ergebnissen, als
überhaupt durchgeführt wurden. Dies führt
zu einer Überschätzung der Evidenz für
diese Ergebnisse.
Eine weitere Vermehrung der Publikationen
findet durch zahlreiche Metaanalysen und
Übersichtsartikel statt, die sich mehr oder

12
weniger überschneiden. Auch hier kann
inkorrektes Zitieren es schwierig bis
unmöglich machen, die tatsächliche
Evidenz richtig einzuschätzen.
Melander et al. (2003) verglichen 42
placebo-kontrollierte Studien über fünf
verschiedene Antidepressiva, die zwischen
1983 und 1999 bei der Swedish Drug
Regulatory Authority zur Genehmigung
eingereicht worden waren, mit den tatsäch-
lich daraus hervorgegangenen Publi-
kationen. Das Ergebnis ihrer Untersuchung
für eines dieser Antidepressiva zeigt
Abbildung 5. Zu dem Medikament gab es
Abb. 5: Durchgeführte Studien und daraus
hervorgehende Veröffentlichungen zu einem
Antidepressivum (nach Melander et al.
2003).
insgesamt fünf Studien, drei positive und
zwei negative. Zwei der drei positiven
Studien waren veröffentlicht worden (),
die beiden negativen Studien nicht. Es gab
noch eine dritte Publikation, die vorgab eine
unabhängige Studie gewesen zu sein. Es
war aber lediglich die Zusammenfassung
der Daten aller fünf Studien (). Die Daten
der ganz linken und der ganz rechten Studie
(beide positiv) sind somit doppelt veröf-
fentlicht worden.
Das Gesamtergebnis der Untersuchung von
Melander et al. ist in Abbildung 6 darge-
stellt. Das in Abbildung 5 dargestellte
Medikament finden Sie unten rechts. Von
den 42 durchgeführten Studien fielen 21
positiv aus. Und 19 der 21 positiven
Studien wurden veröffentlicht. Die 21
Studien mit negativen Ergebnissen führten
zu lediglich 6 Publikationen. Studien mit
signifikantem Ergebnis zum Vorteil des
getesteten Medikamentes wurden also mehr
als dreimal so häufig publiziert wie Studien
mit nicht-signifikantem Ergebnis.
Gøtzsche (1989) untersuchte 244 Studien
über nichtsteroidale entzündungshemmende
Medikamente zur Behandlung der rheuma-
tischen Arthritis. Fast ein Fünftel (18%) der
Studien war mehrfach publiziert worden.
Aber nur in einem Viertel dieser mehrfach
publizierten Arbeiten wurde darauf hinge-
wiesen. Bei der Hälfte waren der Erstautor
Abb. 6: Publikations-
Stammbaum für
fünf Antidepres
siva, die in Schweden
zwischen 1989 und 1994 zur Behand
lung
zugelassen wurden (Melander et al.
2003).

Dubben & Beck-Bornholdt: Publication bias
13
und die Anzahl der Autoren verschieden
und ebenfalls bei der Hälfte gab es wichtige
Diskrepanzen zwischen den verschiedenen
Versionen derselben Studie. So gab es
Widersprüche bezüglich der durchgeführten
Verblindung, des Studiendesigns, der
Anzahl der ausgeschlossenen Patienten, der
Anzahl der untersuchten Variablen, der
beobachteten Nebenwirkungen und nicht
zuletzt auch bezüglich der statistischen
Signifikanz der Ergebnisse. Da sich die
Suche auf die Datenbank MEDLINE
beschränkte, dürfte es sich bei den ermit-
telten 18 Prozent Mehrfachpublikationen
um eine Unterschätzung handeln, da
MEDLINE nicht alle Zeitschriften abdeckt.
Vor allem die nicht-englischsprachigen
Zeitschriften sind unterrepräsentiert.
Huston & Moher (1996) fanden ähnliches,
als sie versuchten eine Metaanalyse über
das Psychopharmakon Risperidon durchzu-
führen. Zunächst fanden sie 20 Artikel und
verschiedene nicht publizierte Berichte über
randomisierte doppelblinde Studien.
Tatsächlich waren es jedoch nur sieben
kleine und zwei große Studien. Von den
großen Studien war eine insgesamt sechs-
mal veröffentlicht worden – immer mit
unterschiedlichen Autoren. Dadurch war in
der Fachwelt der falsche Eindruck einer
positiven Wirkung des Medikaments
entstanden, welche sogar mehrfach repro-
duziert worden sei. Huston & Moher
berichten sogar von einer Studie, die in
derselben Zeitschrift innerhalb von fünf
Jahren zweimal publiziert wurde (McMillan
1977, 1982). Sie stellen die Frage, ob man
derart skrupellosen Autoren überhaupt
trauen und die sachgemäße Durchführung
ihrer Untersuchungen glauben könne. Sie
fordern mehr Transparenz, beispielsweise
durch Veröffentlichung von Hinweisen auf
Mehrfachpublikation in den Arbeiten.
Das verdeckte Mehrfachpublizieren
derselben Daten führt zu einer Überschät-
zung der Wirksamkeit beispielsweise eines
neuen Medikaments. Es liegt auf der Hand,
dass dies zum Schaden der Patienten ist,
aber kommerziellen Interessen entgegen-
kommt – kurzfristig betrachtet. Langfristig
jedoch verlieren solche Unternehmen ihr
Image und ihre Glaubwürdigkeit. Im Jahre
1996 entschied sich Schering Health Care
dafür, die Information über alle laufenden
kontrollierten Studien im Cochrane
Controlled Trials Register anzumelden. Im
Jahre 1998 zog Glaxo Wellcome nach. Es
gibt kaum eine bessere Maßnahme für ein
Pharmaunternehmen, um seine guten
ethischen, klinischen und wissenschaftli-
chen Absichten zu dokumentieren (Rennie
1999).
Selective reporting
Eine andere Art von Unausgewogenheit
entsteht durch das selektive Berichten über
bestimmte Arten der Auswertung. 41 von
42 der Swedish Drug Regulatory Authority
vorgelegten Studienberichte enthielten zwei
oder mehr alternative Datenanalysen
(„intention to treat
8
“ und „per protocol
9
“).
8
intention to treat: Alle randomisierten Patienten
werden in der Gruppe ausgewertet, der sie ursprüng-
lich zugeordnet wurden. Bei diesem Verfahren kann
kein einziger Patient zwischen Randomisierung und
Auswertung verloren gehen. Daher ist es frei von
nachträglicher Selektion.
9
per protocol: Nur die Patienten, die exakt nach
Protokoll behandelt wurden, werden ausgewertet.
Patienten, die wegen ausbleibender Wirkung,
eintretenden Nebenwirkungen oder schwerer
Krankheit die Behandlung abbrechen, gelangen nicht
in die Auswertung. Daher sind die Ergebnisse
aggressiver Therapien, vor allem bei placebokontrol-

14
Diese Berichte führten zu 28 Publikationen,
in denen in nur zwei Fällen beide Analysen
präsentiert wurden. Ansonsten wurde nur
über das meist industriefreundlichere
Ergebnis einer „per protocol“ Analyse
berichtet. Dies führt zu einer erheblichen
Überschätzung des Nutzens der getesteten
Medikamente (Melander et al. 2003).
Nicht alle Autoren haben das Glück und die
Unverschämtheit, mit ein und denselben
Daten mehrfach Lorbeer zu ernten. Es kann
auch schwierig sein, eine Arbeit überhaupt
zu publizieren. Wenn ein Manuskript aber
erst einmal geschrieben ist, wird es meist
solange bei verschiedenen Zeitschriften
eingereicht, bis es jemand annimmt.
Wissenschaftler stehen unter Druck,
möglichst viel und in möglichst hochrangi-
gen Zeitschriften zu veröffentlichen. Bei der
ersten Einreichung zielt der Autor im
Allgemeinen auf das Journal mit dem
höchsten Ansehen, das sein Paper nach
eigener Einschätzung gerade noch nehmen
müsste. In der Regel wird das ein internati-
onales englischsprachiges Blatt sein. Wird
die Arbeit vom Traumblatt abgelehnt, gibt
ein erfahrener Autor nicht auf. Das Manu-
skript hat ja viel Mühe und Zeit gekostet
und der Autor kann seine Existenz nicht mit
abgelehnten Arbeiten rechtfertigen. Das
Manuskript landet also auf dem Schreib-
tisch des Herausgebers der Zeitschrift mit
dem nächst niedrigen Rang. Mit der Anzahl
der Versuche nimmt das Ansehen der
gewählten Zeitschrift ab, damit meist auch
der Verbreitungsgrad und am Ende lauert
ein nationales Blatt, das den Artikel in
Landesprache herausgibt. Wenn nun
negative Ergebnisse mit höherer Wahr-
scheinlichkeit abgelehnt werden als
lierten Studien, bei dieser Art der Auswertung
besonders optimistisch.
positive, dann liegt es auf der Hand, dass
erstere im Mittel eine längere Strecke auf
dem Leidensweg vom internationalen Top-
Journal zum Bezirksblatt zurücklegen. Da
am Anfang die Eigeneinschätzung der
Autoren eine Rolle spielt und negative
Ergebnisse auch von den Autoren gering
geschätzt werden, beginnt der Weg negati-
ver Studien obendrein bereits bei Zeit-
schriften mit geringerem Ansehen.
Insgesamt bleibt festzuhalten, dass es für
Forscher zahlreiche Beweggründe gibt,
Ergebnisse zurückzuhalten. Dies betrifft in
erster Linie negative Ergebnisse. Insbeson-
dere bei positiven Ergebnissen besteht die
Tendenz, diese mehrfach zu veröffentlichen.
Die (veröffentlichte) Literatur über publi-
cation bias zeigt also, dass die Autoren in
erheblichem Ausmaß zur Unausgewogen-
heit der Berichterstattung in der Wissen-
schaft beitragen.

Dubben & Beck-Bornholdt: Publication bias
15
3.3. Der Beitrag der Fachzeit-
schriften zum publication bias
Wir haben oben bereits gesehen, dass
Manuskripte mit positivem Ergebnis den
Parcours vom Einreichen bis zum Druck
schneller zurücklegen als Manuskripte mit
negativen Resultaten. In diesem Abschnitt
geht es um die Hindernisse, auf die ein
Manuskript bei Herausgebern und Gutach-
tern (peer rewiewer) treffen kann.
Eingereichte Manuskripte mit negativen
Ergebnissen werden seltener zur Veröf-
fentlichung angenommen
Das selektive Einreichen von Manuskripten
scheint der Hauptgrund für publication bias
zu sein (Egger & Smith 1998). Aber es tritt
auch eine signifikante Verzögerung nach
Einreichen des Manuskriptes auf. Ioannidis
(1998) und Stern & Simes (1997) stellten in
ihren Untersuchungen fest, dass lediglich
Studien mit negativen Ergebnissen von
mehr als einer Zeitschrift abgelehnt wurden.
Es gibt also auch eine selektive Akzeptanz
von Arbeiten mit positiven Ergebnissen
durch die Fachzeitschriften. Ein eklatantes
Beispiel hierfür sind die mittlerweile
revidierten Autoreninstruktionen aus
Diabetologia (Manuscript guideline.
Diabetologia 1984): “mere confirmation
of
known facts will be accepted only in
exceptional cases; the
same applies to
reports of experiments and observations
having
no positive outcome."
In einer prospektiven Kohortenstudie
10
(Olson et al., 2002) wurden die von Februar
10
Kohortenstudie: Eine definierte Patientengruppe
(eine Kohorte) wird über einen bestimmten Zeitraum
beobachtet, um zu sehen, wie viele einen gewissen
Endpunkt entwickeln.
Dabei wird die Studienpopulation entweder dadurch
gewonnen, dass vergleichbare Personen die entweder
1996 bis August 1999 bei JAMA (Journal of
the American Medical Association) einge-
reichten Manuskripte ausgewertet. Berück-
sichtigt wurden alle 745 prospektiven,
kontrollierten Studien, die einen statisti-
schen Test zum Vergleich der Ergebnisse
zwischen den Gruppen verwandten. Die
Autoren kommen zu dem Ergebnis, dass bei
JAMA eingereichte Arbeiten mit negativen
Ergebnissen nicht seltener zur Veröffentli-
chung angenommen werden, als Manu-
skripte mit positiven Ergebnissen. Die
Ergebnisse dieser Untersuchung sind jedoch
fragwürdig. Denn Manuskripte, bei denen
kein primärer Endpunkt angegeben worden
war, wurden als „negativ“ eingestuft, wenn
die Mehrzahl der untersuchten Endpunkte
nicht signifikant war. Häufig werden jedoch
diverse Endpunkte untersucht und die
Studie wird von den Autoren und den
Lesern als „positiv“ bewertet, wenn auch
nur einer dieser Endpunkte statistisch
signifikant ist (vgl. Ioannidis 1998). Trotz
der fragwürdigen Einteilung ergab die
Untersuchung eine geringe Bevorzugung
positiver Manuskripte (20 Prozent vs. 15
Prozent)
11
. Der Schluss liegt nahe, dass
Manuskripte mit negativen Ergebnissen bei
JAMA sehr wohl benachteiligt werden.
exponiert sind oder nicht. (z.B. Raucher und
Nichtraucher) eingeschlossen werden und ein
definierter Endpunkt wird beobachtet. Oder eine
definierte Population, z.B. die gesamte Bevölkerung
einer Kleinstadt wird ausgewählt, diese dann
untersucht auf das Vorliegen von Risikofaktoren
(z.B. Hypercholesterinämie, Hypertonie) für einen
bestimmten Endpunkt.
11
Dieser Unterschied ist nach Aussage von Olson et
al. nicht statistisch signifikant. Dies gilt jedoch nur
für einen zweiseitigen Signifikanztest, der hier nicht
angebracht ist. Man müsste sonst davon ausgehen,
dass auch Manuskripte mit positiven Resultaten
hätten benachteiligt sein können. Dies ist aufgrund
der Vorkenntnisse aber eine ziemlich abwegige
Annahme. Bei einem einseitigen Signifikanztest
wäre die Bevorzugung statistisch signifikant
gewesen. Die Studie zeigt also eher das Gegenteil
dessen, was Olson et al. (2002) am Ende behaupten.

16
Konfirmatorischer bias (confirmatory
bias)
Confirmatory bias ist die Tendenz der
Gutachter von Fachzeitschriften, Ergeb-
nisse, die mit allgemein akzeptierten
Theorien übereinstimmen, eher zu akzeptie-
ren als solche, die ihnen widersprechen.
Mahoney (1977) ließ 67 Gutachter ver-
schiedene Versionen ein und desselben
Berichtes über ein fiktives Experiment
begutachten. Wenn die Ergebnisse der
allgemein akzeptierten theoretischen
Erwartung widersprachen, waren die
Gutachter eher dazu geneigt, kritische
Fragen zur Methodik zu stellen und die
Arbeit abzulehnen.
12
Länder bias (nationality bias)
Link (1998) untersuchte, ob Gutachter aus
den USA Manuskripte anders beurteilen als
Gutachter aus anderen Ländern (reviewer
bias). Dabei wurde auch die Herkunft der
Manuskripte berücksichtigt und nach US-
und Nicht-US-Manuskripten unterschieden.
Grundlage der Untersuchung waren alle
Manuskripte, die in den Jahren 1995 und
1996 bei der Zeitschrift Gastroenterology
eingereicht worden waren. Die Gutachter
unterteilten diese in vier Kategorien:
1.) annehmen, 2.) vorläufig annehmen,
3.) vorläufig ablehnen mit der Möglichkeit
zur Wiedereinsendung nach vollständiger
Überarbeitung und 4.) endgültig ablehnen.
12
Dieses Verhalten der Gutachter ist im Bayesschen
Sinne insofern völlig vernünftig, als die a priori
Wahrscheinlichkeit, dass völlig unerwartete
Ergebnisse auf korrektem Wege gewonnen wurden,
deutlich geringer ist als bei Resultaten, die unsere
Vorurteile bestätigen (vgl. hierzu Beck-Bornholdt &
Dubben, 2003). Daher ist eine besonders kritische
Beurteilung erstaunlicher Studienergebnisse
durchaus angebracht. Im Popperschen Sinne ist das
allerdings grober Unfug, da das Falsifizieren
dadurch behindert wird.
Die Ergebnisse sind in Tabelle 2 wiederge-
geben.
Die Manuskripte, die nicht aus den USA
kamen, wurden von den Gutachtern beider
Gruppen sehr ähnlich beurteilt (p=0,31). Im
Gegensatz dazu waren US-Manuskripte für
Gutachter aus den USA „überzeugender“
als für ihre nicht US-amerikanischen
Kollegen (p=0,001). US-Gutachter zeigten
eine signifikante Vorliebe für Manuskripte
aus den USA (p=0,001). Diese Vorliebe
findet sich weniger ausgeprägt auch bei den
nicht US-amerikanischen Gutachtern
(p=0,09). Die Arbeit weist somit auf einen
deutlichen Länder bias bei den US-Ameri-
kanern hin. Es ist ihnen allerdings zugute zu
halten, dass sie dies überhaupt untersucht
und veröffentlicht haben. Unseres Wissens
sind ähnliche Untersuchungen in anderen
Ländern noch nicht durchgeführt worden.
Tabelle 2: Urteil der US-amerikanischen
und der nicht-US-amerikanischen Gut-
achter in Abhängigkeit von der Herkunft
der Manuskripte.
Insgesamt entsteht der Eindruck, dass bei
den Zeitschriften positive und „passende“
Ergebnisse erwünschter sind als deren
Gegenstücke (s.a. Abschnitt 4.2).
Herkunft der
Manuskripte Nicht aus USA Aus USA
Herkunft der
Gutachter USA Nicht-
USA USA Nicht-
USA
Annehmen 3,6 % 3,2 % 7,0 % 3,6 %
Vorläufig
annehmen 24,9 % 24,6 % 31,3 % 30,5 %
Vorläufig
ablehnen 26,8 % 24,6 % 26,1 % 21,6 %
Endgültig
ablehnen 44,7 % 47,6 % 35,6 % 44,3 %

Dubben & Beck-Bornholdt: Publication bias
17
3.4. Der Beitrag der Leser zum
publication bias
Auch der Endverbraucher wissenschaftli-
cher Veröffentlichungen ist nicht objektiv.
Er sucht nicht objektiv, wenn er z.B. bei der
Suche nach Literatur nicht-englischspra-
chige Studien ausschließt. Er liest lieber
etwas über positive Ergebnisse, als einen
Text, der ihm verrät, dass irgendetwas nicht
funktioniert. Er liest und zitiert am liebsten
das, was seine eigene Auffassung bestätigt.
Da ist der Forscher ganz Mensch, die
beiden Autoren dieser Broschüre natürlich
eingeschlossen. Beim Aufarbeiten der
Literatur zu diesem Thema ist uns aufge-
fallen, dass auch wir selbst Untersuchun-
gen, die die Existenz von publication bias
feststellten, viel ernster nahmen, als
Untersuchungen, die keinen publication
bias gefunden haben. Als uns das auffiel,
stellten wir uns umgehend die Frage, ob es
publication bias nicht auch in der Literatur
über publication bias geben könnte. Die
irritierenden Ergebnisse der sich daraus
ergebenden Recherche sind in Kapitel 8
„Quergedacht“ dargestellt.
Selektives Lesen
Daniels et al. (2002) hatten festgestellt, dass
in ihrer hausinternen Internisten-Konferenz
häufiger Studien mit positivem als mit
negativem Ergebnis vorgestellt wurden. Sie
gingen der Frage nach, ob hierbei die
Vorliebe der Referenten eine Rolle spielen
könnte. Dazu fertigten sie Abstracts an, die
eine Hälfte mit positivem und die andere
mit negativem Ergebnis, und ließen die
Referenten dann auswählen. In 59% der 180
Fälle wurde ein positiver Abstract gewählt,
in 41% eine negativer.
13
Inclusion bias und Selection bias
Wissenschaftler, die eine Metaanalyse
durchführen, haben im Allgemeinen
Vorkenntnisse über die Ergebnisse in Frage
kommender Studien. Diese Vorkenntnisse
können die Einschlusskriterien für Studien,
die in die Metaanalyse eingehen, beein-
flussen (Egger & Smith 1998). In einer
Metaanalyse von sieben Studien über
Cholesterin-Senkung nach Myokardinfarkt
wurde ein (nicht-signifikanter) Vorteil
durch die Intervention festgestellt. Eine
Studie, die einen Nachteil durch Choleste-
rin-Senkung zeigte, wurde nicht berück-
sichtigt, obwohl sie sämtliche Einschluss-
kriterien erfüllte. Die eingeschlossenen
Studien wurden in den ersten fünf Jahren
nach ihrem Erscheinen im Mittel 20mal pro
Jahr zitiert, die ausgeschlossene nur einmal
(citation bias). Elf weitere Studien, die zu
der Zeit vorlagen, aber die etwas willkürli-
chen Einschlusskriterien nicht erfüllten,
zeigten alle einen signifikanten Nachteil in
der Gesamtsterblichkeit durch Cholesterin-
Senkung (Egger & Smith 1998).
Anzeigen für Medizinprodukte in
Fachzeitschriften
Mit zunehmendem Einfluss der Evidenz-
basierten Medizin enthalten Anzeigen für
Arzneimittel in Fachzeitschriften immer
häufiger bibliographische Hinweise.
Villanueva et al. (2003) untersuchten
anhand der Anzeigen für Antihypertensiva
und für Lipidsenker in sechs spanischen
Fachzeitschriften des Jahrgangs 1997,
13
Im Gegensatz zur Angabe der Autoren ist diese
Diskrepanz nach unserer Berechnung statistisch
signifikant (p = 0,02, Binomialtest).

18
inwieweit die angeführten Studien tatsäch-
lich die Aussagen der Werbung stützten.
Bei der Bewertung war man sehr großzügig:
So wurde ein bibliographischer Hinweis
selbst dann als die Werbeaussage stützend
gewertet, wenn es sich lediglich um ein
Zitat aus der Einleitung oder der Diskussion
handelte und auch wenn die Qualität der
zitierten Arbeit sehr schlecht war. Die
bibliographischen Hinweise in den Annon-
cen stammten zu etwa zwei Dritteln aus den
20 weltweit meistzitierten Fachzeitschriften.
Trotz großzügiger Bewertung zeigte sich,
dass fast die Hälfte (45 von 102) der
Werbeaussagen nicht durch die zitierte
Studie belegt wurde. In 20 Fällen wurde in
der Werbung ein Medikament einer
Patientengruppe empfohlen, die sich von
der in der zitierten Studie untersuchten
Gruppe unterschied: in 15 Fällen wurde aus
einer Studie an Hochrisikogruppen auf alle
Patienten geschlossen, in vier Fällen wurde
das Medikament spezifisch Patienten
empfohlen, die aus der Studie ausgeschlos-
sen worden waren und in einem Fall wurde
von in vitro und tierexperimentellen
Untersuchungen auf den Menschen ge-
schlossen. In zehn Fällen wurde die
Wirksamkeit übertrieben dargestellt, in
neun Fällen wurden Risikoreduktionen
behauptet, die nicht nachgewiesen waren
und in sechs Fällen hatten die Studien
überhaupt nichts mit dem beworbenen
Produkt zu tun. Die Autoren der Untersu-
chung schließen aus ihren Ergebnissen, dass
bei den bibliographischen Hinweisen in der
Werbung erhebliche Skepsis geboten ist.
Insgesamt zeigt sich, dass Leser und
sonstige Verbraucher publizierter Ergeb-
nisse die ohnehin schon bestehende
Unausgewogenheit der Berichterstattung
durch selektives Lesen, selektierende Ein–
und Ausschlusskriterien für Metaanalysen
und Übersichtsartikel sowie selektierte und
falsche Literaturzitate noch weiter verstär-
ken.

Dubben & Beck-Bornholdt: Publication bias
19
4. Beispiele für unausgewo-
gene Berichterstattung in
der Wissenschaft
Gegenstand dieses Kapitels sind ausge-
suchte Beispiele für unausgewogene
Berichterstattung (publication bias) in der
medizinischen Forschung und die sich
daraus für Patienten ergebenden Konse-
quenzen.
4.1 Publication bias bei Blutdruck
senkenden Medikamenten
Im Jahre 1990 erschien im Lancet eine
später viel zitierte Metaanalyse aller bis
1994 vorliegenden randomisierten Studien
zur medikamentösen Behandlung des
Hypertonus (Collins et al. 1990, mit einer
Aktualisierung von Collins & MacMahon
1994). Insgesamt sind 17 Studien in die
Analyse eingeflossen. Eine dieser Studien
besteht aus drei unabhängigen Untersu-
chungen, so dass insgesamt die Daten von
19 Untersuchungen vorliegen. Sie umfassen
die Daten von 48.000 Patienten mit einer
durchschnittlichen Nachbeobachtungszeit
von 5 Jahren.
Die Autoren geben an, dass es ihres
Wissens keine bis dahin publizierten oder
nicht publizierten Studien gäbe, die nicht in
die Analyse eingeflossen wären. Mit Hilfe
der Trichtergrafik kann diese Aussage
getestet werden. Wie weiter oben in
„Methoden zur Erkennung von publication
bias“ gezeigt, streuen die Ergebnisse kleiner
Studien stärker um den tatsächlichen Wert
als die Ergebnisse großer Studien. Dies
trifft auch auf die Wirksamkeit von blut-
drucksenkenden Medikamenten zu, wie die
folgende Grafik zeigt (Abbildung 7). Als
Maß für die Messgenauigkeit wurde hier die
Anzahl der beobachteten Schlaganfälle
gewählt. Auf der linken Seite der senk-
rechten Trennlinie liegen die Studien, bei
denen durch das Medikament die Anzahl
der Schlaganfälle reduziert wird. Rechts ist
der Bereich, bei dem die Kontrollbehand-
lung besser war als das Verum. Der durch
die Daten eingenommene Trichter ist
unsymmetrisch. Es scheinen einige kleine
Studien zu fehlen, deren Ergebnisse rechts
von der gestrichelten Linie liegen müssten.
Die Asymmetrie der Punkte ist ein deutli-
cher Hinweis auf publication bias. Die
Wirksamkeit ist folglich geringer, als die
Übersichtsarbeit suggeriert.
6 4 26 4 2
0
100
200
300
Verum besser als Kontrolle 
Gesamtanzahl der Schlaganfälle
246246
 Kontrolle besser als Verum
Odds ratio
Abbildung 7: Trichtergrafik (funnel plot)
aller Studien aus dem Übersichtsartikel
von Collins et al. (1990, 1994) zur Ab-
nahme des Schlaganfallrisikos bei Blut-
drucksenkung.

20
4.2 Modeerscheinungen in der
Wissenschaft: Durch Pausen
unterbrochene Strahlenthera-
pie von Tumoren.
In der Wissenschaft gibt es Modeerschei-
nungen wie in der Haute Couture. Dass sich
die bearbeiteten Themen mit dem Wind und
dem Geldgeber drehen, ist bekannt und zu
erwarten. Erstaunlich ist jedoch, dass auch
die erzielten Resultate saisonbedingt sind.
Ein ausgeprägtes Beispiel zeigt eine
systematische Übersichtsarbeit aus der
Radio-Onkologie (Dubben et al. 2001). Im
Allgemeinen erstreckt sich die strahlen-
therapeutische Behandlung von Tumoren
über mehrere Wochen. Die Autoren
untersuchten, welche Evidenz zu der Frage
vorliegt, ob eine Bestrahlungspause von
mehreren Tagen oder Wochen negative
Folgen für den Behandlungserfolg hat.
Hierbei stellten sie fest, dass Untersuchun-
gen der 70er Jahre fast einhellig zu dem
Ergebnis führten, dass sich Bestrahlungs-
pausen positiv auswirken. Seit Mitte der
80er Jahre ist jedoch zu beobachten, dass
die Untersuchungen genau zum gegenteili-
gen Resultat gelangen (siehe Abbildung 8).
Es ist unwahrscheinlich, dass diese Daten
eine Kehrtwende in den Naturgesetzen
signalisieren, spiegelt die Grafik sehr
wahrscheinlich einen Wechsel der Mode
wider. Die veröffentlichte Meinung
reflektiert daher nicht unbedingt die
tatsächliche Sachlage, sondern zum
überwiegenden Teil den so genannten main
stream, die herrschende Meinung. Während
früher durch Pausen unterbrochene Strah-
lentherapien als modern und vorteilhaft
galten, sind sie heute verpönt. Früher
glaubte man, dass sich das mitbestrahlte
Normalgewebe in einer Pause schneller
erholt als der Tumor. Heutzutage glaubt
man das Gegenteil. Auslöser für den
Umschwung ist eine strahlenbiologische
Arbeit aus dem Jahre 1973, in der die
Reaktion von Mäusehaut auf Strahlung
untersucht wurde (Denekamp, 1973).
1970 1980 1990 2000
0
20
40
60
80
100

Paradigmenwechsel in der Strahlenbiologie: Denekamp 1973
Publikationsjahr
Anteil der Studien (%), die einen Vorteil
durch Pausen zeigen
Abb. 8: Anteil „positiver“ Publikationen
über Pausen während einer Strahlenthe-
rapie in Abhängigkeit vom Erscheinungs-
jahr. Eine Studie wurde als „positiv“
bezeichnet, wenn sie eine von Pausen
unterbrochene Strahlentherapie als
vorteilhaft gegenüber einer kontinu-
ierlichen Behandlung darstellte. Gruppen
von je 5 Jahren, erste Gruppe von 1966 bis
Mitte 1972. 95%-Vertrauensbereiche nach
Binomialstatistik. Die Verringerung des
Anteils mit der Zeit ist hoch signifikant (p
< 0,000002; ≤ 1982 vs. > 1982; Chi-
Quadrat-Test).
Es ist denkbar, dass Patienten durch die
gegenwärtige Ächtung von Pausen eine
nützliche Therapieoption vorenthalten wird.
Ebenso ist es möglich, dass Patienten
suboptimal behandelt werden, wenn
Behandlungspausen auftreten, wie z.B. an
Wochenenden, an Feiertagen und bei
Geräteausfall. Wegen der unausgewogenen
Berichterstattung in der Wissenschaft und

Dubben & Beck-Bornholdt: Publication bias
21
der unzureichenden Trennschärfe der
durchgeführten Studien, ist auch nach mehr
als 100 Jahren Strahlentherapie der Einfluss
von Behandlungsunterbrechungen nicht
wissenschaftlich geklärt.
4.3 Publication bias bei der Prüfung
diagnostischer Tests
Die unausgewogene Berichterstattung treibt
ihr Unwesen nicht nur in Metaanalysen, die
über Behandlungseffekte berichten, sondern
auch in Arbeiten über diagnostische Tests.
Song et al. (2002) untersuchten 28 Meta-
analysen. In fast allen scheint es publication
bias zu geben, davon in 12 Fällen mit
statistischer Signifikanz. Dabei berichten
kleinere Studien jeweils über größere
Testgenauigkeit. Die Überschätzung der
Qualität diagnostischer Testergebnisse
dürfte ein immenses Schädigungspotential
für Gesundheit und Ressourcen des Ge-
sundheitswesens besitzen.
5. Die Folgen unausgewogener
Berichterstattung in der Wis-
senschaft
Das Zurückhalten von Studienergebnissen
hat nach Horton (1997) drei mögliche
Folgen für die Patienten:
1. Da Studien mit viel versprechenden
Ergebnissen eher veröffentlicht werden,
entsteht der Eindruck einer höheren
Wirksamkeit von untersuchten Behand-
lungen. Daher könnten Patienten nutz-
losen oder sogar schädlichen Behand-
lungen ausgesetzt werden.
2. Der Nachweis kleiner, aber klinisch
bedeutsamer Effekte wird erschwert,
wenn Studien mit moderaten Ergebnis-
sen nicht publiziert werden, denn damit
sinkt die Power systematischer Über-
sichtsarbeiten. Daher könnten Patienten
effektive Behandlungen vorenthalten
werden.
3. Patienten könnten um die Teilnahme an
Studien gebeten werden, deren Frage-
stellung in Wirklichkeit längst erforscht
ist.
Die Veröffentlichungen in den medizini-
schen Fachzeitschriften haben erheblichen
Einfluss auf die Behandlungskonzepte für
Patienten. Die besprochenen Verzerrungen
bewirken, dass Studien mit signifikanten
Ergebnissen bevorzugt, schneller und
prominenter publiziert werden, und dass
diese Arbeiten in Literaturrecherchen
entsprechend häufiger, früher und einfacher
wieder aufgefunden werden. Daher muss
davon ausgegangen werden, dass in
Übersichtsarbeiten und Metaanalysen die
Behandlungseffekte überschätzt werden und
zum Teil Effekte gesehen werden, wo gar
keine sind.
Obwohl publication bias seit Jahrzehnten
bekannt ist, werden seine Folgen in der
wissenschaftlichen Literatur kaum berück-
sichtigt. So zeigte eine Untersuchung über
die Qualität systematischer Übersichts-
arbeiten, dass nur bei 3 bis 7 Prozent der
Metaanalysen der Versuch unternommen
wurde, mit Hilfe einer Trichtergrafik zu
prüfen, ob publication bias vorliegt (Linde
et al. 1997).
Publication bias hat entscheidenden
Einfluss auf die Leitlinien, die von den
verschiedenen Fachgesellschaften zur

22
Behandlung von Erkrankungen erstellt
werden. Dies gilt selbstverständlich auch
für evidenzbasierte Leitlinien. Publication
bias ist eine der zentralen Schwierigkeiten
auf dem Weg zu einer Evidenzbasierten
Medizin, denn diese setzt zwingend voraus,
dass alle Studien umfassend bzw. in
gleicher Zugänglichkeit der Öffentlichkeit
zur Verfügung stehen. Sutton und Mitar-
beiter (2000) untersuchten alle systemati-
schen Übersichtsarbeiten in der Cochrane
Database of Systematic Reviews (1998,
issue 3). Berücksichtigt wurden alle 48
Metaanalysen mit mindestens 10 Studien
bei denen mindestens ein dichotomer
Endpunkt
14
untersucht wurde. Etwa die
Hälfte der Metaanalysen war von publica-
tion bias betroffen. Bei vier der 48 Meta-
analysen ergaben sich nach Korrektur für
publication bias erhebliche Änderungen bei
den Schlussfolgerungen. Drei Metaanalysen
mit zunächst signifikanten Ergebnissen
waren nach der Berücksichtigung von
publication bias nicht mehr signifikant.
Eine Metaanalyse die als nicht-signifikant
und indifferent eingestuft worden war,
stellte sich nach der Analyse als signifikant
negativ heraus. Die Autoren schließen aus
ihren Ergebnissen, dass die Ergebnisse der
Metaanalysen in etwa einem Zehntel der
Fälle durch publication bias erheblich
beeinflusst werden.
LeLorier et al. (1997) verglichen die
Ergebnisse von großen randomisierten
kontrollierten Studien mit mehr als 1000
Patienten, die im New England Journal of
Medicine, im Lancet, in den Annals of
Internal Medicine oder im Journal of the
American Medical Association zwischen
1991 und 1994 publiziert wurden, mit den
14
Dichotomer Endpunkt: Das Ergebnis lautet „ja“
oder „nein“.
Resultaten vorausgegangener Metaanaly-
sen. Sie fanden 12 Studien und 19 Meta-
analysen, die dieselben Fragestellungen
bearbeiteten. Insgesamt wurden 40 Verglei-
che mit primären und sekundären End-
punkten angestellt. Die Übereinstimmung
bezeichnen die Autoren als mittelmäßig.
Der positive und der negative prädiktive
Wert der Metaanalysen betrug jeweils 67
Prozent. Das bedeutet, wenn es keine
nachfolgende Studie gegeben hätte, dass in
33 Prozent der Fälle eine ineffektive
Behandlung etabliert worden wäre, bzw.
ebenfalls in 33 Prozent der Fälle eine
effektive Behandlung nicht übernommen
worden wäre. Etwa die Hälfte (46%) der
divergierenden Ergebnisse kamen dadurch
zustande, dass auf eine positive Meta-
analyse (Behandlung signifikant besser)
eine negative (Behandlung nicht besser)
randomisierte Studie folgte. Diese Abfolge
kann durch publication bias erklärt werden,
weil positive Ergebnisse schneller veröf-
fentlicht und zu Metaanalysen verarbeitet
werden als negative. In 54 Prozent der
divergierenden Ergebnisse folgte auf eine
negative Metaanalyse eine positive rando-
misierte Studie. Dies kann an der Heteroge-
nität der in die Metaanalyse aufgenomme-
nen Studien liegen. Heterogenität kann
entstehen durch unterschiedliche Ein-
schlusskriterien hinsichtlich Patienten-
charakteristika und Erkrankung, unter-
schiedliche primäre Behandlung, Unter-
schiede bei etwaigen die Therapie unter-
stützenden Maßnahmen usw.

Dubben & Beck-Bornholdt: Publication bias
23
6. Publication bias und Evi-
denzbasierte Medizin
Eine wichtige Säule der Evidenzbasierten
Medizin (EBM) ist das Zusammentragen
klinischer Ergebnisse in systematischen
Übersichtsarbeiten und Metaanalysen. Man
kann vernünftigerweise jedoch nicht
erwarten, dass eine solche Meta-Arbeit
besser ist als die Studien, die darin einge-
gangen sind. Mitunter reicht ein einziges
faules Ei, um ein bis dahin aussichtsreiches
Omelett komplett zu verderben. Es gibt
zahlreiche Möglichkeiten zu positiven, aber
nicht reproduzierbaren Ergebnissen zu
gelangen (Beck-Bornholdt & Dubben,
2001). Die wichtigsten und folgenschwers-
ten seien hier genannt:
1. Nachträgliches Ausschließen von
Patienten von der Auswertung. Dies erhöht
die Chance auf ein falsch positives Ergeb-
nis.
2. Studien mit zu wenigen Patienten und
folglich zu geringer statistischer Power.
Solche Studien produzieren nicht nur eine
Vielzahl falsch negativer Befunde, sondern
paradoxerweise auch noch einen hohen
Anteil falsch positiver Ergebnisse (Beck-
Bornholdt & Dubben, 2003).
3. Multiples Testen, unklare Studienziel-
größen und ein unzureichendes Signifikanz-
niveau. Durch multiples Testen, z.B. durch
ein unklar definiertes Studienende und
durch Subgruppenanalysen wird die
Wahrscheinlichkeit für falsch positive
Ergebnisse enorm erhöht.
Durch publication bias, und natürlich auch
durch andere Arten wissenschaftlicher
Unredlichkeit, wird der Anteil der positiven
Falschmeldungen noch weiter erhöht. Da es
nicht möglich ist, Falschmeldungen
zuverlässig als solche zu erkennen, ist
unausgewogene Berichterstattung auch für
die Evidenzbasierte Medizin ein Problem.
Es besteht die Gefahr, dass unwissen-
schaftlich erhobene positive Ergebnisse,
durch publication bias angereichert, zu
einem dann selbstverständlich positiven
Ergebnis verbacken werden und durch das
Etikett „evidenzbasiert“ bzw. „EBM“ das
Mäntelchen der Wissenschaftlichkeit
erhalten.
Evidenzbasierte Medizin kann den Patien-
ten nur dann zugute kommen, wenn
zahlreiche wissenschaftliche und methodi-
sche Voraussetzungen erfüllt sind – und
zwar bei jeder einzelnen Studie.
In den letzten Jahren häufen sich die
Berichte in den öffentlichen Medien über
wissenschaftlichen Betrug. Dass gefälschte
Daten erheblichen Schaden anrichten
können, liegt auf der Hand. Nach Auffas-
sung von Chalmers (1990) hat allerdings die
unzureichende Veröffentlichung klinischer
Studien wahrscheinlich mehr Schaden
angerichtet als die absichtliche Fälschung
von Daten. Dies sei ein Unrecht gegenüber
den teilnehmenden Patienten, den kooperie-
renden Wissenschaftlern, den Geldgebern
und der Gesellschaft.
Einen unentbehrlichen Schritt hin zu einer
nutzbringenden Evidenzbasierten Medizin
besprechen wir im nächsten Abschnitt.
7. Gegenmaßnahmen
In der Deklaration des Weltärztebundes von
Helsinki (52. Generalversammlung des

24
Weltärztebundes, Edinburgh, Schottland,
Oktober 2000) wurde festgehalten:
„Die Pläne aller Studien sind der
Öffentlichkeit zugänglich zu machen.“
„Positive, aber auch negative Ergeb-
nisse müssen veröffentlicht oder der
Öffentlichkeit anderweitig zugänglich
gemacht werden.“
Das bisher Dargestellte zeigt, dass wir
hiervon noch sehr weit entfernt sind. Nach
Auffassung von Chalmers liegt es in der
Verantwortung der Wissenschaftler, der
Ethikkommissionen, der Einrichtungen zur
Forschungsförderung und der Herausgeber
von Fachzeitschriften auf ausgewogene
Berichterstattung in der Wissenschaft hin zu
arbeiten.
Am besten wäre es, publication bias von
vornherein zu vermeiden. Chalmers (1990)
und Dickersin (1990) schlugen vor, klini-
sche Studien prospektiv zu registrieren, da
die vorherige Aufnahme von Studien in ein
Register ganz sicher unabhängig von deren
zukünftigen Ergebnissen ist. Die Registrie-
rung würde darüber hinaus das Auffinden
publizierter Studien erleichtern (Jull et al.
2002). Ein Register würde nicht nur
submission bias und publication bias
minimieren, sondern auch:
• Patienten und Kliniker über Studien
informieren, an denen sie teilnehmen
könnten
• Doppelforschung und Doppelförderung
minimieren
• Lücken in gegenwärtigen Forschungsak-
tivitäten deutlich machen
• Zusammenarbeit von Forschern fördern
und zu multizentrischen Studien anregen
Eine denkbare Strategie wäre es, Ethik-
kommissionen mit einzubeziehen. Diese
sind ohnehin über alle Studien an Patienten
unterrichtet und keine kann ohne deren
Genehmigung von statten gehen. Es wäre
für diese Kommissionen relativ einfach, auf
eine Registrierung der Studien gemäß der
International Standardised RCT Numbers
zu bestehen (Jull et al. 2002). Die erhaltene
Nummer gilt als Beweis für die Registrie-
rung. Dass so etwas machbar ist, sieht man
daran, dass in allen Ländern dieser Welt
jedes noch so kleine Auto mit einem
eindeutigen und registrierten Kennzeichen
versehen ist (Abb. 9) und selbst Bücher eine
International Standard Book Number
(ISBN) haben. Mit der Registrierung sollte
natürlich eine Publikationspflicht verbun-
den sein und beim Publizieren müsste das
Kennzeichen genannt werden, um Mehr-
fachpublikationen zu vermeiden bzw.
kenntlich zu machen.
Abb. 9: Fideles Beispiel für die verbindliche
Vergabe eindeutiger Kennzeichen.
Die Kosten für ein umfassendes Studien-
register würden mehrfach kompensiert
werden durch Einsparungen dessen, was
zurzeit dadurch verschwendet wird, dass
Daten unauffindbar sind und Studien

Dubben & Beck-Bornholdt: Publication bias
25
mehrfach durchgeführt werden (Dickersin
2003).
Dass die a priori Registrierung der Studien
einen entscheidenden Unterschied machen
kann, hat Simes (1986, 1987) gezeigt. Die
Analyse aller veröffentlichten Studien zur
Behandlung fortgeschrittener Ovarialkarzi-
nome kommt zu dem Ergebnis, dass eine
Kombinationschemotherapie der Behand-
lung mit einem einzelnen Wirkstoff
überlegen sei. Eine zweite Analyse jedoch,
die ausschließlich auf den Ergebnissen von
Studien beruht, die bei ihrer Auflage
registriert wurden, führte nicht zu diesem
Ergebnis. Möglicherweise war hier die im
ersten Fall bestehende Unausgewogenheit
der Berichterstattung zugunsten positiver
Ergebnisse durch die Registrierung redu-
ziert worden.
Es war sicherlich gut gemeint: in einem
Editorial (Shields 2000) kündigte die
Zeitschrift Cancer Epidemiology, Biomar-
kers & Prevention an, dass sie eine Rubrik
für negative Ergebnisse einrichten werde.
Dies sei ein Beitrag zur Vermeidung von
publication bias. Die Arbeiten müssten sich
jedoch auf eine einzige Druckseite be-
schränken und es werde eine vollständige
und nachvollziehbare Darstellung der
geprüften Hypothese, der Methodik –
einschließlich Biometrie – sowie der
erzielten Ergebnisse erwartet. Dieses
Feigenblatt erscheint so wirkungsvoll wie
eine Gleichstellungsmaßnahme in einem
patriarchalischen Land, der zufolge in
Zukunft auch weibliche Abgeordnete
gewählt werden dürften, sofern sie beson-
ders gut aussähen und sich mit einem
Stehplatz in der hintersten Ecke des
Plenarsaals begnügten.
8. Quergedacht
Die bisherigen Darstellungen gaben in
erster Linie die Sicht der jeweiligen
Autoren wieder, die in der Literatur zum
Thema „unausgewogene Berichterstattung
in der Wissenschaft“ berichtet haben.
Unsere eigenen Interpretationen haben wir
dabei zunächst weitgehend zurückgehalten.
Nicht immer konnten wir uns den Argu-
menten der Autoren anschließen. Hier und
da kamen wir zu gänzlich widerspre-
chenden Überzeugungen. Im Folgenden
wollen wir einige eigene Gedanken zum
Thema publication bias vorstellen.
8.1. Willkürliche und inkonsistente
Definition des Begriffs publi-
cation bias
Die Begriffe positives Ergebnis, negatives
Ergebnis und Null-Ergebnis werden in der
Literatur nicht einheitlich gehandhabt. Drei
häufige Definitionen einer positiven Studie
sind: 1.) das Ergebnis der experimentellen
Behandlung ist signifikant besser als die
Kontrollbehandlung; 2.) das Ergebnis der
Studie ist signifikant, egal welche Behand-
lung besser ist; 3.) Das Ergebnis der
Untersuchung ist interessant oder wird vom
Autor als bemerkenswert eingeschätzt.
Zwei häufige Definitionen einer negativen
Studie sind: 1.) das Ergebnis der experi-
mentellen Behandlung ist nicht signifikant
besser oder 2.) die Ergebnisse der Behand-
lungsarme unterscheiden sich nicht signifi-
kant. Je nach dem, welche Definition man

26
benutzt, werden Studien als positiv oder als
negativ angesehen. Dementsprechend kann
man zu unterschiedlicher Einschätzung
kommen, ob in einer Sammlung von
Studien publication bias besteht oder nicht.
Ein Beispiel ist die weiter oben erwähnte
Studie von Easterbrook et al. (1991), die
720 Forschungsprojekte, die vom Central
Oxford Research Ethics Committee zwi-
schen 1984 und 1987 genehmigt worden
waren, untersucht haben. Sie finden im
Hinblick auf die Wahrscheinlichkeit,
publiziert zu werden, eine Bevorzugung von
Studien mit statistisch signifikanten
Ergebnissen. Diese Aussage wird häufig
zitiert, ist aber mit äußerster Vorsicht zu
betrachten, da die Arbeit in einigen Punkten
sehr fragwürdig ist. Erstens: Die Einteilung
der Studien macht keinen Sinn: „statisti-
cally significant“ ist demzufolge ein
Ergebnis mit p < 0,05; „non-significant
trend“ geht einher mit p≥0,05; und ein
„null“-Ergebnis wurde definiert als „no
difference was observed“. Damit nicht
genug. Selbst Arbeiten, in denen kein
Signifikanztest durchgeführt wurde oder
werden konnte, z.B. mangels einer Ver-
gleichsgruppe, wurden auf nicht nachvoll-
ziehbare Weise in dieses Schema eingeord-
net, indem die Wichtigkeit der Ergebnisse
eingeschätzt oder auf „striking observati-
ons“ geachtet wurde.
Bei Ioannidis (1998) wurde eine Studie als
„positiv“ gewertet, wenn das Ergebnis des
primären Endpunkts zugunsten des experi-
mentellen Studienarms statistisch signifi-
kant war. Studien ohne signifikantes
Ergebnis oder mit signifikantem Ergebnis
zugunsten des Kontrollarms wurden als
„negativ“ gewertet. Gab es keinen Kontroll-
arm, beispielsweise beim Vergleich zweier
Dosierungen desselben Medikaments,
wurde die Studie als „positiv“ gewertet,
wenn sich eine der Behandlungsdosen als
statistisch signifikant herausstellte. War
kein primärer Endpunkt definiert, so wurde
die Studie als „positiv“ gewertet, wenn
einer der Hauptendpunkte statistisch
signifikant war.
Auch Dickersin et al. (1992) verwenden
eine recht flexible Definition von „signifi-
kant“. Zu den statistisch signifikanten
Studien zählten sie diejenigen hinzu, von
denen die jeweiligen Autoren meinten, dass
sie wichtige Befunde enthielten.
8.2. Kritische Bewertung der
Trichtergrafik als Instrument
zur Erkennung von publication
bias
Trichtergrafiken sind nicht eindeutig
interpretierbar. Neue Verfahren, Therapien
und Medikamente werden mit Vorliebe an
besonders kranken Personen ausprobiert.
Die zugrunde liegende Idee dabei ist: Wenn
die Studien bei diesen Patienten keinen
messbaren Effekt zeigen, dann wird sie an
weniger kranken erst recht keinen Effekt
zeigen können. Wenn die Therapie wirksam
ist, werden kleine schnelle Studien große
Effekte zeigen. Dadurch ermutigt werden
spätere größere Studien an weniger kranker
Klientel durchgeführt, die in dieser Klientel
entsprechend kleinere Erfolge zeigen. Es
entsteht dann ein unsymmetrischer Trichter,
auch ganz ohne publication bias.
Eine weitere Variante ist ein hohler Trich-
ter. Dieser kann entstehen, wenn Studien
mit statistisch signifikanten Ergebnissen,

Dubben & Beck-Bornholdt: Publication bias
27
egal in welcher Richtung, systematisch
häufiger publiziert werden als Studien, die
keinen oder nur geringen Effekt zeigten.
Diese Beispiele zeigen, dass die Trichter-
grafik kein verlässliches Werkzeug zum
Auffinden oder Ausschließen von publica-
tion bias ist. Asymmetrische Trichter
können andere Ursachen haben als publica-
tion bias und wiederum kann ein Trichter
symmetrisch sein, obwohl publication bias
vorliegt.
8.3. Unausgewogene Berichterstat-
tung über unausgewogene Be-
richterstattung?
Bei der Ausarbeitung dieser Broschüre fiel
uns auf, dass wir Berichten, die keinen oder
nur einen geringen publication bias
nachwiesen, weniger Beachtung schenkten
als solchen, die einen statistisch signifikan-
ten Effekt gefunden hatten. Unsere Auf-
merksamkeit war positiv-lastig. So kamen
wir auf die Idee zu prüfen, ob die Arbeiten
zum Thema publication bias nicht ebenfalls
dem publication bias unterliegen.
Hierzu haben wir alle Arbeiten, die wir zum
Thema publication bias gemustert haben
und die eigene Daten enthielten mit Hilfe
einer Trichtergrafik (funnel plot) ausge-
wertet (siehe Abbildung; Details s. Dubben
und Beck-Bornholdt 2005). Zu den so
gefundenen 23 Datenpunkten (Bardy 1998,
Callaham 1998, Daniels 2002, De Bellefeu-
ille 1992, Dickersin 1987, Dickersin 1992,
Dickersin 1993, Easterbrook 1991, Egger
1997, Evers 2000, Ioannidis 1998, Klassen
2002, Koren 1989, Krzyzanowska 2003,
Lexchin 2003, Melander 2003, Misakian
1998, Olson 2002, Scherer 1994, Stern &
Simes 1997, Timmer 2002, Weber 1998,
Zimpel & Windeler 2000) kamen während
des Review-Prozesses auf Vorschlag einer
der Reviewer drei weitere hinzu (Chalmers
1990, Cheng 1998, Petticrew 1999).
0.1 0.2 0.5 1 2 5 10 20 300.1 0.2 0.5 1 2 5 10 20 30
10
100
1000

positiver Ergeb nisse
negativer Ergebnissen
Bevorzugte Publication
Berichteter Effekt
Größe der Metaanalyse
(Anzahl der Studien)
Abb. 10: Trichtergrafik der veröffentlichten
Ergebnisse zum Thema „publication bias“.
Je nach Untersuchungstyp wurde als Maß
für die Größe des publication bias entweder
die odds ratio
15
oder die hazard ratio
16
berechnet. Die Trichtergrafik zeigt eine
Tendenz dahingehend, dass Arbeiten mit
15
odds ratio: In einer Patienten Gruppe sind 40 von
50 geheilt. 10 sind also nicht geheilt. Die Odd
beträgt dann 40:10. Das ist dasselbe wie das
Torverhältnis z.B. bei einem Handballspiel, bereitet
aber trotzdem vielen Schwierigkeiten. Jetzt kommt
noch eine zweite Patientengruppe hinzu, bei der die
Odd 30:20 beträgt. Als Maß dafür, in welcher der
beiden Gruppen eine bessere Chance auf Heilung
besteht, kann man die Odds-ratio (OR) benutzten.
Sie ist einfach der Quotient aus den beiden Odds, in
diesem Fall ist OR = 40:10 / 30:20 = 4 / 1,5 = 2,67.
16
hazard ratio:Die Hazard-ratio ist für eine Fußnote
schlicht zu kompliziert. Sehr eng verwandt mit ihr ist
das relative Risiko, das hier gut her passt. Wir haben
dieselben Patientengruppen wie bei der odds-ratio.
Das Risiko (das „Risiko“ geheilt zu werden) beträgt
40/50 = 0,8 bzw. 30/50 = 0,6. Als Maß dafür, in
welcher der beiden Gruppen eine höhere Wahr-
scheinlichkeit für Heilung besteht, nimmt man hier
das relative Risiko (RR, auch risk-ratio genannt). Es
ist der Quotient aus den beiden Risiken, in diesem
Fall ist RR = 0,8/0,6 = 1,33.
Das relative Risiko ergibt eine kleinere Zahl als die
odds-ratio. Die in der Abbildung 10 als hazard ratio
markierten Punkte würden also zur odds-ratio
umgerechnet noch weiter rechts liegen.

28
kleinem Stichprobenumfang, d.h. mit weni-
gen untersuchten Studien, über besonders
große positive Effekte berichteten. Diese
Tendenz ist nicht statistisch signifikant.
Allerdings ist die Power unserer Untersu-
chung aufgrund der relativ geringen Anzahl
der Studien zum Thema publication bias
eher klein.
9. Nachwort
Wir danken Frau Dr. Hanna Kaduszkiewicz
für die Durchsicht des Manuskripts. Für
verbliebene Fehler und Unverständliches
sind wir natürlich selbst verantwortlich.
Hinweise, Fragen, Ergänzungen und
Vorschläge sind sehr willkommen. Die
Adresse dafür lautet: dubben@uke.uni-
hamburg.de.
10. Literatur
Die dieser Arbeit zugrunde liegende
Literatur wurde in der Medline-Datenbank
gesucht mit dem Suchprofil („publication
bias“ oder „citation bias“ oder „language
bias“ oder „location bias“ oder „reference
bias“ oder „multiple publication bias. Die
Literaturverzeichnisse der so gefundenen
Arbeiten wurden ebenfalls durchsucht.
Bardy AH: Report bias in drug research. Therapie
1996, 51: 382-3.
Bardy AH: Bias in reporting clinical trials. Br-J-
Clin-Pharmacol. 1998, 46(2): 147-50.
Beck-Bornholdt HP, Dubben HH: Der Schein der
Weisen. Irrtümer und Fehlurteile im täglichen
Denken. ISBN 3-499-61450-2, Rowohlt Verlag,
2003.
Beck-Bornholdt HP, Dubben HH: Der Hund, der
Eier legt. Erkennen von Fehlinformationen durch
Querdenken. Buchtitel. Überarbeitete und
aktualisierte Neuauflage. ISBN 3-499-61154 6,
Rowohlt Verlag, 2001.
Callaham ML, Wears RL, Weber EJ, Barton C,
Young G: Positive-outcome bias and other limitati-
ons in the outcome of research abstracts submitted to
a scientific meeting. JAMA 1998, 280: 254-7.
Chalmers I: Underreporting research is scientific
misconduct. JAMA 1990, 263: 1405-8.
Chalmers I, Adams M, Dickersin K, Hetherington J,
Tarnow-Mordi W, Meinert C, Tonascia S, Chalmers
TC. A cohort study of summary reports on
controlled trials. JAMA 1990; 263: 1401-5.
Cheng K, Preston C, Ashby D, O'Hea U, Smyth RL.
Time to publication as full reports of abstracts of
randomized controlled trials in cystic fibrosis. Ped
Pulmon 1998; 26: 101-5.
Collins R, Peto R, MacMahon S, Hebert P, Fiebach
NH, Eberlein KA, Godwin J, Qizilbash N, Taylor
JO, Hennekens CH: Blood pressure, stroke and
coronary heart disease. Part 2, short-term reductions
in blood pressure: overview of randomised drug
trials in their epidemiological context. Lancet 1990,
335: 827-838.
Collins R, MacMahon S: Blood pressure, antihyper-
tensive drug treatment and the risks of stroke and of
coronary hart disease. Brit. Med. Bull. 1994, 50:
272-298.
Daniels CE, Montori VM, Dupras DM: Effect of
publication bias on retrieval bias. Acad-Med. 2002,
77: 266.
De Bellefeuille C, Morrison CA, Tannock IF : The
fate of abstracts submitted to a cancer meeting:
factors which influence presentation and subsequent
publication. Annals of Oncology 1992, 3: 187-191.
Denekamp J: Changes in the rate of repopulation
during multifraction irradiation of mouse skin. Br. J.
Radiol. 1973, 46: 381-387.
Dickersin K, Rennie D: Registering clinical trials.
JAMA 2003, 290:516-523.
Dickersin K: The existence of publication bias and
risk factors for ist occurrence. JAMA 1990, 263:
1385-9.
Dickersin K: How important is publication bias? A
synthesis of available data. AIDS-Educ-Prev, 1997,
9: 15-21.
Dickersin K, Min YI: NIH clinical trials and
publication bias. Online-J-Curr-Clin-Trials. 1993
Apr 28; Doc No 50. (Sekundärzitat gefunden bei
Dickersin 1997. Laut Auskunft der Staats- und
Universitätsbibliothek Hamburg vom 22.3.2004 ist
diese Publikation nicht zu beschaffenÄrztlichen
Zentral….).
Dickersin K, Min YI: Publication bias: The problem
that won’t go away. Ann N Y Acad Sci 1993, 703:
135-48.

Dubben & Beck-Bornholdt: Publication bias
29
Dickersin K, Min YI, Meinert CL: Factors
influencing publication of research results. Follow-
up of applications submitted to two institutional
review boards. JAMA 1992, 267: 374-8.
Dickersin K, Chan S, Chalmers TC, Sacks HS,
Smith H: Publication bias and clinical trials.
Controlled Clinical Trials 1987, 8: 343-353.
Dubben HH, Beck-Bornholdt HP: Systematic review
of publication bias in studies on publication bias.
BMJ 2005; 331:433-434.
Dubben HH, Krüll A, Beck-Bornholdt HP: Split-
course radiotherapy: where do we stand? Strahlen-
ther Oncol 2001, 177: 227-239.
Easterbrook PJ, Berlin JA, Gopalan R, Matthews
DR: Publication bias in clinical research. Lancet
1991, 337: 867-872.
Egger M, Smith GD: Meta-analysis: bias in location
and selection of studies. BMJ 1998, 316:61-66.
Egger M, Zellweger-Zahner T, Schneider M, Junker
C, Lengeler C, Antes G: Language bias in
randomised controlled trials published in English
and German. Lancet 1997; 350: 326-9.
Evers JLH: Publication bias in reproductive
research. Hum. Reprod 2000, 15: 2063-6.
Gilbody SM, Song F: Publication bias and the
integrity of psychiatry research. Psychological
Medicine 2000, 30: 253-8.
Gøtzsche PC: Multiple publication of reports of drug
trials. Eur. J. Pharmacol. 1989, 36: 429-32.
Gregoire G, Derderian F, Le-Lorier J: Selecting the
language of the publications included in a meta-
analysis: is there a Tower of Babel bias? J-Clin-
Epidemiol. 1995, 48: 159-63.
Hetherington J, Dickersin K, Chalmers I, Meinert C:
Retrospective and propective identification of
unpublished controlled trials: lessons from a survey
of obstetricians and pediatricians. Pediatrics 1989,
84: 374-380.
Hojat M, Gonnella JS, Caelleigh AS: Impartial
judgment by the "gatekeepers" of science: fallibility
and accountability in the peer review process. Adv-
Health-Sci-Educ-Theory-Pract 2003, 8: 75-96.
Hopewell S, McDonald S: Full publication of trials
initially reported as abstracts in the Australian and
New Zealand Journal of Medicine 1980-2000.
Intern-Med-J 2003, 33: 192-4.
Horton R: Medical editors trial amnesty. Lancet
1997, 350: 756.
Huston P, Moher D: Redundancy, disaggregation,
and the integrity of medical research. Lancet 1996,
347: 1024-6.
Ioannidis JPA: Effect of the statistical significance
of results on the time to completion and publication
of randomized efficacy trials. JAMA 1998, 279:
281-286.
Jull A, Chalmers I, Rodgers A: Clinical trials in NZ:
does anybody know what's going on? N-Z-Med-J.
2002, 115: U269
Juni P, Holenstein F, Sterne J, Bartlett C, Egger M:
Direction and impact of language bias in meta-
analyses of controlled trials: empirical study. Int-J-
Epidemiol. 2002, 31: 115-23.
Klassen TP, Wiebe N, Russell K, Stevens K,
Hartling L, Craig WR, Moher D: Abstracts of
randomized controlled trials presented at the Society
for Pediatric Research Meeting. Arch. Pediatr.
Adolesc. Med. 2002, 156: 474-9.
Koren G, Grahman K, Shear H, Einarson T: Bias
against the null hypothesis: the reproductive hazards
of cocaine. Lancet 1989, 2 (8677):1440-2.
Krzyzanowska MK, Pintilie M, Tannock IF: Factors
Associated With Failure to Publish Large
Randomized Trials Presented at an Oncology
Meeting. JAMA 2003, 290: 495-501.
LeLorier J, Gregoire G, Benhaddad A, Lapierre J,
Derderian F: Discrepancies between meta-analyses
and subsequent large randomized, controlled trials.
N Engl J Med 1997, 337: 536 – 42.
Lexchin J, Bero LA, Djulbegovic B, Clark O:
Pharmaceutical industry sponsorship and research
outcome and quality: systematic review. BMJ 2003,
326: 1167-77.
Link AM: US and non-US submissions: an analysis
of reviewer bias. JAMA 1998, 280: 246-7.
Linde K, Clausius N, Ramirez G, Melchart D, Eitel
F, Hedges LV, Jonas WB: Are the clinical effects of
homeopathy placebo effects? A meta-analysis of
placebo-controlled trials. Lancet 1997, 350 (9081):
834-43.
Mahoney M: Publication prejudices: An
experimental study of confirmatory bias in peer
review system. Cognitive Therapy and Research
1977, 1: 161-175. (Sekundärzitat bei Hojat et al.
2003)
Manheimer E, Anderson D: Survey of public
information about ongoing clinical trials funded by
industry: evaluation of completeness and accessi-
bilità. BMJ 2002;325:528–31.
Manuscript guideline. Diabetologia 1984;25:4A.
(Sekundärzitat aus Egger & Smith 1998)
McMillan JI: Rheumatoid arthritis: a double blind
study comparing tolmetin sodium with ibuprofen in
patients untreated with either drug previously. Curr
Ther Res 1982, 31: 813-20.
McMillan JI: Tolmetin sodium vs ibuprofen in
rheumatoid arthritis patients previously untreated
with either drug: a double blind cross-over study.
Curr Ther Res 1977, 22: 266-75.

30
Melander H, Ahlqvist-Rastad J, Meijer G, Beermann
B: Evidence b(i)ased medicine-selective reporting
from studies sponsored by pharmaceutical industry:
review of studies in new drug applications.BMJ
2003, 326: 1171-3.
Misakian AL, Bero LA: Publication bias and
research on passive smoking – comparison of
published an unpublished results. JAMA 1998, 280:
250-3.
Moher D, Fortin P, Jadad A, Juni P, Klassen T, Le-
Lorier J, Liberati A, Linde K, Penna
A:Completeness of reporting of trials published in
languages other than English: implications for
conduct and reporting of systematic reviews. Lancet
1996, 347(1998): 363-6
Olson CM, Rennie D, Cook D, Dickersin K,
Flanagin A, Hogan JW, Zhu Q, Reiling J, Pace B:
Publication bias in editorial decision making. JAMA
2002, 287: 2825-8.
Petticrew M: Diagoras of Melos (500 BC): an early
analyst of publication bias. Lancet 1998, 352: 1558.
Petticrew M, Gilbody S, Song F. Lost information?
The fate of papers presented at the 40th Society for
Social Medicine Conference. J Epidemiol Commu-
nity Health 1999; 53: 442-3.
Rennie D: Fair conduct and fair reporting of clinical
trials. JAMA 1999, 282: 1766-8.
Sackett DL, Rosenberg WMC, Gray JAM, Haynes
RB, Richardson WS. Münch. med. Wschr. 139: 644-
645, 1997.
Scherer R, Dickersin K, Langenberg P: Full
publication of results initially presented in abstracts
– a meta-analysis. JAMA 1994, 272: 158-62.
Shields PG: Publication bias is a scientific problem
with adverse ethical outcomes: the case for a section
for null results. Cancer Epidemiology, Biomarkers &
Prevention 2000, 9: 771-2.
Simes RJ: Publication bias: the case for an interna-
tional registry of clinical trials. J Clin Oncol 1986, 4:
1529-1541. (Sekundärzitat aus Chalmers 1990)
Simes RJ. Confronting publication bias: a cohort
design for meta-analysis. Stat Med 1987; 6:11-29.
(Sekundärzitat aus Egger & Smith 1998 und
Chalmers 1990)
Smith ML: Publication bias and meta-analysis.
Evaluation Educ. 1980, 4: 22-24. (Sekundärzitat aus
Dickersin 1990)
Song F, Khan KS, Dinnes J, Sutton AJ: Asymmetric
funnel plots and publication bias in meta-analyses of
diagnostic accuracy. Int-J-Epidemiol. 2002, 31: 88-
95.
Sterling TD: Publication decisions and their possible
effects on inferences drawn from tests of
significance – or vice versa. J Am Stat Assoc 1959,
54: 30-34.
Stern JM, Simes RJ: Publication bias: evidence of
delayed publication in a cohort study of clinical
research projects. BMJ 1997, 315: 640-5.
Sutton AJ, Duval SJ, Tweedie RL, Abrams KR,
Jones DR: Empirical assessment of effect of
publication bias on meta-analysis. Brit. Med. J.
2000, 320: 1574-7.
Timmer A, Hilsden RJ, Cole J, Hailey D, Sutherland
LR: Publication bias in gastroenterological research
– a retrospective cohort study based on abstracts
submitted to a scientific meeting. BMC Medical
Research Methodology 2002, 2:7 and
http://www.biomedcentral.com/1471-2288/2/7
Tramèr MR, Reynolds DJM, Moore RA, McQuay
HJ: Impact of covert duplicate publication on meta-
analysis: a case study. BMJ 1997, 315:635-640.
Villanueva P, Peiró S, Libero J, Pereiró I: Accuracy
of pharmaceutical advertisements in medical
journals. Lancet 2003, 361: 27-32.
Weber EJ, Callaham ML, Wears RL: Unpublished
research from a medical specialty meeting: Why
investigators fail to publish. JAMA 1998, 280: 257-
259.
Winkmann G., Schlutius S, Schwelm HG: Publikati-
onssprachen der Impact Faktor-zeitschriften und
medizinischer Literaturdatenbanken. Dtsch. Med.
Wochenschr. 2002, 127: 131-7.
Zimpel T, Windeler J: Veröffentlichungen von
Dissertationen zu unkonventionellen medizinischen
Therapie- und Diagnoseverfahren – ein Beitrag zum
“publication bias”. Forschende Komplementärmedi-
zin – Klassische Naturheilkunde 2000, 7: 71-4.