Warum die Umfragen falsch liegen: US-Präsidentenwahl, 2020-Edition

Posted On 25. Oktober 2020

Wenn man im Rennen um die Wahl zum US-Präsidenten zwischen Trump und Biden nur nach den Umfragen geht, dann ist die Sache schon seit Monaten klar: Biden wird gewinnen, und je nach Umfrage sogar sehr deutlich. Aber ist das auch so?

Ich denke: Nein, die Umfragen liegen historisch falsch.

Das kann ich an einer Reihe von Faktoren festmachen: Einerseits in der Art und Weise, wie Meinungsforschungsinstitute die meisten Umfragen gestalten. Und andererseits an ganz anderen Indikatoren, die alle eher für Trump sprechen.

Beginnen wir zunächst mit den Umfragen.

Update: ich habe zum selben Thema auch folgenden Podcast auf Englisch aufgenommen:

I. Der schüchterne Trump-Wähler

Für mich ist eindeutig, dass es auch 2020 einen gewissen Anteil von Trump-Wählern gibt^[1], die nicht willens sind, Meinungsforschern ihre Wahlabsichten mitzuteilen. Manche gehen noch weiter: Statt keine Angabe zu machen, lügen sie sogar.

1) Die Studie von Cloud Research

Genau zu diesem Thema gab es vor Kurzem eine Studie von Cloud Research, die erstaunliche Zahlen zu Tage förderte:

• 11.7% aller republikanisch registrierten Wähler gaben an, bei Umfragen ihre wahren Wahlabsichten verschleiern zu wollen
• im Kontrast dazu galt das für 5.4% aller demokratisch registrierten Wähler
• 10.5% aller unabhängig registrierten Wähler fielen ebenfalls in diese Kategorie

Erst im Anschluss an diese Frage erhob CloudResearch, wen der/die Befragte zu wählen gedenke^[2], und ob er oder sie diese Absicht gegenüber anderen Meinungsforschern angeben würde oder nicht. Dabei kam folgendes heraus:

• 10.1% aller Trump-Wähler gab an, bei Telefonumfragen unehrlich zu sein
• 5.1% aller Biden-Wähler gab ebenfalls an, bei Telefonumfragen unehrlich zu sein

2) Wie wirkt sich der schüchterne Trump-Wähler auf Umfragen und die Wahl aus?

Aus den Zahlen von Cloud Research geht hervor, dass der Effekt auf Umfragen sehr stark sein muss. Wie stark er wirklich ist, wird man sehen müssen – und vor allen Dingen ist das etwas, was sich von Staat zu Staat unterscheidet. Fakt ist in jedem Fall, dass schon 2016 die meisten Umfrageforscher insbesondere in Michigan und Wisconsin falsch lagen.

Für die Wahl 2020 kann man (denke ich) durchaus von einem Verzerrungsfaktor von ca. 5% zu Ungunsten von Trump in den Umfragen ausgehen, im Schnitt. Möglicherweise ist es auch mehr. Aber widmen wir uns einem Meinungsforschungsinstitut, das es sich auf die Fahne geschrieben hat, die schüchternen Trump-Wähler so gut wie möglich sichtbar zumachen.

3) Die Trafalgar Group

Wie du an den Umfragen im obigen Bild erkennen kannst: Anders als die Konkurrenz sagte die Trafalgar Group in wichtigen Staaten wie Michigan korrekt voraus, wer das Rennen machen würde. Auch 2020 sieht Trafalgar das Rennen in Michigan ganz anders als weite Teile der Branche:

Um den schüchternen Trump-Wähler zu finden setzt Trafalgar insbesondere auf Anonymität – beziehungsweise darauf, dass die Befragten auch glauben, dass sie anonym bleiben. Dass das sehr sinnvoll ist, zeigt eine Reihe von Antworten, die das Team von Cloud Research gesammelt hat im Rahmen der oben genannten Studie:

Ansonsten hat Trafalgar auch die mittlerweile berühmte Nachbarsfrage erfunden:

Für wen stimmen die meisten Ihrer Nachbarn?

Das ist ein cleverer Ansatz. Denn es zeigt sich dann immer konsistent über verschiedene Wählergruppen hinweg, dass bei dieser Frage die Umfrageergebnisse für Trump plötzlich besser ausfallen. Das legt sehr nahe, dass es die schüchternen Trump-Wähler tatsächlich gibt.

---

II. Umfragen sind nicht länger repräsentativ

Das Kernproblem der Umfragebranche lässt sich sehr leicht zusammenfassen: Es fällt den meisten Instituten schwer, Umfragen repräsentativ zu gestalten. Das hat verschiedene Gründe, die eben beschriebenen schüchterne Trump-Wähler sind da nur ein Teil des Puzzles.

1) Das Aussterben der Telefonumfrage

Anders als viele der Umfrageinstitute, die zum Beispiel auch der berühmte Nate Silver und seine Seite FiveThirtyEight unverdrossen als Goldstandard bezeichnen, setzt Trafalgar nur zu einem Teil auf Telefonumfragen, gerade weil immer mehr Menschen daran zweifeln, dass diese wirklich anonym sind. Weniger auf Telefonumfragen zu setzen liegt auch ziemlich nahe, wenn du dir folgende Grafik betrachtest:

Es erscheint mir also nur logisch, dass Meinungsforscher, die ausschließlich darauf setzen, schlechte Daten erheben.

2) Der wenig informierte Wähler

Trafalgar Group-Gründer Robert Cahaly sieht eine wesentliche Ursache für die schlechten Ergebnisse seiner Kollegen darin, dass deren Umfragen zu lange sind. Trafalgar setzt auf kurze Umfragen mit ca. 5-9 Fragen; die Konkurrenz dagegen stellt häufig 25 oder mehr.

Das Problem daran: Auf diese Weise erreicht man weite Teile der arbeitstätigen Bevölkerung nicht mehr. Die meisten sind entweder nicht willens, oder gar nicht erst zeitlich dazu in der Lage, an einem Werktag um halb sieben 25 oder mehr Fragen am Telefon zu beantworten. Trafalgar setzt aus diesem Grund auch gerne auf Kommunikationsformen, die den Zeitpunkt der Beantwortung den Befragten überlassen: Email und Textnachrichten beispielsweise.

Denn wer tatsächlich willens und in der Lage ist, 25+ Fragen zu beantworten, ist in aller Regel überdurchschnittlich an Politik interessiert – und das ist typischerweise eben genau nicht die Wählergruppe, die eine Wahl entscheidet. Die vielen Fragen sorgen also dafür, dass insbesondere die meisten Telefonumfragen nicht länger repräsentativ und damit kaum noch aussagekräftig sind.

3) Das Drängen zu einer Entscheidung

Viele Umfrageforscher versuchen ihren Befragten auch dann zu einer Entscheidung zu drängen, wenn sie unentschlossen sind, statt sie einfach als unentschlossen zu kategorisieren. Dass das nicht zu den qualitativ hochwertigsten Ergebnissen führt ist letztlich selbsterklärend, nichtsdestoweniger wird gerne an dieser Technik festgehalten.

4) Eine Absichtserklärung ist nicht dasselbe wie zu wählen

Tatsächlich kommt es auch nicht selten vor, dass Menschen anders handeln, als sie es planen und verkünden. Das sollte keinen überraschen, der mal wieder die guten Vorsätze fürs Neue Jahr oder die neuesten Selbstvorgaben für Ernährung und Sport nicht eingehalten hat.

Das trifft auch auf Umfragen zu. Auch beim Thema Wählen gibt es das Phänomen der sozialen Erwünschtheit: Nicht wählen zu gehen, wird von vielen Mitmenschen als etwas Schlechtes gesehen. Entsprechend ist es natürlich leicht, bei einer Befragung eine bestimmte Wahlabsicht zu verkünden. Das heißt aber noch lange nicht, dass die entsprechende Person dann auch tatsächlich zur Wahl erscheint, insbesondere, wenn sich die politische Motivation in Grenzen hält.

---

III. Das klassische US-Problem: Die parteipolitische Demografie

Das US-Wahlsystem hat viele Eigenheiten, und eine davon stellt Meinungsforscher vor ein besonderes Problem: Als Wähler registriert man sich in den meisten Staaten entweder als Demokrat, als Republikaner, oder als unabhängiger Wähler. Diese Registrierung ist einerseits öffentlich einsehbar (sie ist also zu Forschungszwecken erhebbar), und hat andererseits für demokratisch bzw. republikanisch registrierte Wähler den Vorteil, dass sie an den Vorwahlen (primaries) ihrer Parteien teilnehmen können.

1) Das Stichprobenproblem

Das führt dazu, dass Meinungsforscher gezwungen sind, ihre Stichproben korrekt zu ziehen. Denn offensichtlich ist das Wahlverhalten republikanisch registrierter Wähler ein anderes als das der demokratisch registrierten. Es ist für eine gute Umfrage in den USA also sehr wichtig, dass sie das relative Verhältnis zwischen republikanisch und demokratisch registrierten Wählern, die auch zur Wahl erscheinen, angemessen abbildet.

Es gibt aber Umfragen, die das nicht korrekt handhaben. Das vielleicht dreisteste Beispiel ist diese nationale Quinnipiac-Umfrage, die am 20. Mai veröffentlicht wurde:

Das mit 50% – 39% überraschend deutliche Ergebnis der Umfrage zugunsten von Biden wird weniger überraschend, wenn du dir die Methodologieseite zur Umfrage ansiehst:

Bei nur 26% der Befragten handelt es sich also um als Republikaner registrierte Wähler, bei stolzen 36% dagegen um demokratisch registrierte. Das Problem daran: Das ist eine Verteilung, die nicht im Ansatz repräsentativ ist auf nationaler Ebene.

Nicht jede Umfrage fällt so krass aus, nicht einmal bei Quinnipiac. Bei Quinnipiac sind die Schwankungen so stark, dass man fast eher Inkompetenz als rundheraus böse Absicht annehmen muss, allerdings fällt dennoch auf, dass dieses Oversampling der demokratisch registrierten Wähler (bzw. eben Undersampling der republikanisch registrierten Wähler) chronisch zu Ungunsten von Trump ausfällt.

Ein anderes Meinungsforschungsinstitut namens Gallup erhebt schon lange die sehr neutral gestellte Frage, wie sich die Wähler national identifizieren^[3]. So sehen die Ergebnisse für 2020 aus:

Daran wird deutlich, dass es im Mai tatsächlich erhebliche Schwankungen gab, bedingt durch den Tod George Floyds am 25. Mai und die darauf folgenden Unruhen. Die Quinnipiac-Umfrage wurde allerdings fünf Tage vorher veröffentlicht (und noch einmal etliche Tage davor erhoben), der Gallup-Vergleichswert liegt also bei D+3 ^[4], während Quinnipiac auf D+10 kommt. Das ist bestenfalls unseriös.

Wie gesagt: Nicht jede Umfrage fällt so krass aus, doch schon kleinere Verzerrungen fallen natürlich erheblich ins Gewicht, ohne Absicht oder nicht. Quinnipiac ist bei all dem wenigstens noch so ehrlich, im Kleingedruckten mitzuveröffentlichen, wie das Verhältnis zwischen Demokraten und Republikanern in der Umfragestichprobe aussieht. Das ist in den USA durchaus nicht selbstverständlich, weshalb man bei vielen Umfragen bestenfalls raten kann.

Historisch sahen die Anteile von Demokraten, Republikanern und Unabhängigen bei den jeweiligen Wahlen übrigens so aus:

Grundlegend anders also, als es viele der Umfragen suggerieren.

2) Haben die Meinungsforscher nicht dazu gelernt?

Man würde meinen, das die Meinungsforscher seit 2016 dazu gelernt haben, und tatsächlich ist das auch ein Argument, das ich immer wieder höre – gerade wenn ich das Rennen zwischen Biden und Trump mit Freunden und Bekannten diskutiere.

Doch bei näherer Betrachtung der Umfragen finde ich nichts, was auf einen Lerneffekt hindeutet. Das wird vor allem am eben genannten Stichprobenproblem deutlich; aber auch in Sachen schüchterner Trump-Wähler erkenne ich bei den meisten Meinungsforschern keine ernsten Bemühungen – tatsächlich wird das Phänomen von vielen weiterhin bestritten.

Dass die Trafalgar-Befragungen zu ganz anderen Ergebnissen kommen als die der etablierten Größen der Umfragebranche legt für mich den Verdacht nahe, dass keine Vernunft eingekehrt ist. In vielen Fällen (bei NY Times/Siena zum Beispiel) halte ich das auch schlicht für Absicht: Das sind Umfragen, die das Meinungsbild nicht abbilden, sondern prägen sollen.

---

IV. Es gibt bessere Indikatoren als Umfragen: Was alles für Trump spricht

Was sehr vielen nicht klar ist: Umfragen sind seit je her keine besonders guten Indikatoren dafür, wie eine Wahl ausgeht. Viel mehr gibt es eine Reihe von unterliegenden Faktoren, die den Ausgang einer Wahl besser vorhersagen; es ist nur meistens so, dass diese Faktoren einigermaßen mit den Umfragen korrelieren. Sprich: Wenn es ein paar wichtige Faktoren gibt, die für einen bestimmten Wahlausgang sprechen, dann werden die Umfragen das oft auch widerspiegeln.

Wenn Umfragen allerdings das einzige sind, was für einen Kandidaten spricht, dann geben sie keinen Aufschluss über den Ausgang der Wahl. Und genau das scheint mir im Rennen zwischen Trump und Biden der Fall zu sein.

1) Registrierungstrends

Da sich Wähler in den USA in den meisten Staaten entweder als Republikaner, Demokraten und Unabhängige registrieren und diese Daten öffentlich sind, ist leicht ersichtlich, was sich in den letzten paar Jahren vor der Wahl getan hat. Beispielsweise hat sich die Lücke in Florida, dem vielleicht wichtigsten battleground state, seit 2016 klar geschlossen:

Trump hat Florida also 2016 mit weniger registrierten Republikanern gewonnen, als es 2020 sind – und das gilt auch relational zu den Demokraten. Möglicherweise hat ein Teil seiner Wähler die Registrierung als Republikaner auch nachgeholt, aber das kann nicht jeden betreffen. Fakt ist, dass Trump 2020 in Florida eine breitere Basis hat. Es wirkt deshalb für mich unwahrscheinlich, dass er schlechter abschneiden wird.

Sehr ähnliche Registrierungstrends gibt es in fast allen battleground states 2020: Nahezu durch die Bank haben sich deutlich mehr Republikaner als Demokraten neu registriert. Das gilt sowohl für die letzten 4 Jahre seit der Wahl 2016, also auch für das Jahr 2020. Und tatsächlich auch für die letzten paar Wochen vor der Wahl. Das sind also langfristig anhaltende Trends, keine Strohfeuer und auch keine Effekte, die durch die COVID-Pandemie wieder abgeebbt wären.

2) Das Wahlverhalten bestimmter Bevölkerungsgruppen: Von Latinos und Norwegern

Wie schon weiter oben etabliert liegt das Problem der meisten Umfragen in der mangelnden Repräsentativität. Diese herzustellen ist auch nicht so einfach, weil bestimmte Bevölkerungsgruppen sehr häufig ganz eigenen Wahlmustern folgen.

Hispanics vs Einwanderer aus Kuba und Venezuela

Insgesamt waren Hispanics 2016 eine Wählergruppe, mit der Trump eher seine Schwierigkeiten hatte – dieser Tage fast schon eine Binsenweisheit. Aber hier zeigt sich ein sehr wesentliches Komplexitätsproblem für Meinungsforscher: Es gibt unter den Hispanics zwei Untergruppen, die vor allem 2020 stark in Richtung Trump trenden: Einwanderer (und deren Kinder) aus Kuba und Venezuela. Und insbesondere im wichtigen Staat Florida sind beide Gruppen zahlreich vertreten.

Norwegische Amerikaner

Weniger bekannt ist, dass insbesondere in Minnesota und Wisconsin ein recht hoher Anteil der Bevölkerung Vorfahren aus Norwegen hat. Für alle NFL-Fans: Genau das ist der Ursprung für den Namen der Minnesota Vikings.

Das ist eine Bevölkerungsgruppe, die traditionell eher demokratisch wählt. Es gibt allerdings Ausnahmen: Sie bevorzugen unabhängig von der Parteizugehörigkeit Kandidaten, die Frieden möchten und keine neuen Kriege anzetteln wollen. Von dieser Sorte gab es seit Jimmy Carter bemerkenswert wenige, Trump präsentierte sich aber 2016 als ein solcher. Wisconsin ging damals gerade aufgrund der Norweger völlig überraschend an Trump, selbst die pessimistischste Umfrage hatte Hillary Clinton bei 6 Punkten Vorsprung gesehen.

2020 sind wir nun in der Situation, dass Trump der erste US-Präsident seit Jimmy Carter ist (und damit in meiner Lebenszeit), der keinen Krieg neu begonnen hat. An wen wird Wisconsin 2020 wohl gehen? In Minnesota reichte es 2016 nicht ganz für Trump. 2020 wird es zwar schwer werden, aber er ist durchaus in Schlagdistanz.

3) Gute Wirtschaft + Amtsinhaberbonus

Ebenfalls für Trump spricht, dass er als Amtsinhaber antritt: Nur Jimmy Carter brachte es in der jüngeren Geschichte fertig, als Amtsinhaber zu verlieren, und ist damit eine absolute Ausnahme – abgesehen von George Bush Sr. 1992, der allerdings auch mit Ross Perot einen ungewöhnlich starken zweiten Konkurrenten hatte, was die übliche Wahldynamik durchbrach^[5].

Dass es wirtschaftlich schlecht läuft, kann dazu führen, dass ein Amtsinhaber abgewählt wird – doch unter Trump lief es bis zur Pandemie prächtig.

Seither gab es einen Absturz, auf den aber eine rasche Erholung folgte. Trotz der Pandemie sagen 56% aller Amerikaner, dass es ihnen besser als vor 4 Jahren geht. Das ist eine Zahl, die eine Wiederwahl insbesondere in Anbetracht der Umstände sehr wahrscheinlich macht.

4) Das pandemiebedingte Abstimmungsverhalten der Jugend

Eins vorweg: Wenn ich hier von Jugend spreche, dann meine ich die Altersgruppe von 18-29, weil das die bevorzugt verwendete Kategorie ist. Generell wählt diese Bevölkerungsgruppe überwiegend demokratisch, weshalb ein hoher Anteil dieser Wählergruppe an der Wählerschaft 2020 wichtig für Biden ist. 2016 lag der Anteil dieser Altersgruppe bei 14%:

Das Problem bei dieser Wahl: Auf der Seite von NBC News, die Frühwahldaten nach Parteiregistrierung, Alter und Geschlecht verfügbar macht, liegt der Anteil dieser Gruppe bisher in den battleground states bei folgenden Werten:

Staat	Anteil Stimmen der Altersgruppe 18-29
Arizona	9%
Florida	8%
Georgia	10%
Michigan	8%
Nevada	8%
Ohio	8%
Pennsylvania	10%
Wisconsin	5%

Das muss noch kein Problem sein, denn man kann durchaus annehmen, dass sich junge Leute durch COVID weniger bedroht fühlen und einfach später wählen, ähnlich wie das auch bei registrierten Republikanern als Ganzes eher der Fall ist. Jedoch gibt es ein großes Aber: Junge Leute werden bei US-Wahlen typischerweise auf dem Collegecampus zum Wählen animiert, von ihren engagierten Kommilitonen.

Doch wo noch 2016 rege junge studentische Wähler rekrutiert wurden, deren Wahlmotivation noch einen letzten Schub brauchte, ist im Jahr 2020 pandemiebedingt kein Mensch zu sehen. Ich habe den Verdacht, dass die Wählergruppe der 18-29jährigen deshalb an den Wahlurnen 2020 unterrepräsentiert sein wird – ein weiterer Faktor, der für Trump spricht.

5) Sonstige Indikatoren, die für Trumps Wiederwahl sprechen

Tatsächlich könnte ich den Blogpost noch ziemlich weit mit einer Reihe von weiteren Indikatoren ausführen, doch das würde hier den Rahmen sprengen. Darum hier noch eine stichwortartige Liste:

• Ein Primary-Modell, das mit tatsächlich abgegebenen Stimmen aus den Vorwahlen arbeitet: Das Norpoth-Modell, das in 25 von 27 Rennen richtig lag und Trump als Sieger sieht.
  
• Die weiter oben genannte Selbstidentifikation der Wähler als Republikaner oder Demokraten sagt besser als Umfragen vorher, welcher Kandidat gewinnt
  
• Wählerenthusiasmus: Dieser lässt sich konkret in Umfragen fassen, macht sich aber auch sehr visuell bemerkbar, beispielsweise bei den Rallies der Kandidaten. Es ist unübersehbar, dass Trump hier absolut dominiert.
  
• Google Suche: Diese Kategorie gibt es logischerweise noch nicht so lange, doch seit der ersten Wahl im Jahr 2004, bei der Google verfügbar war, hat der meist gesuchteste Kandidat die Wahl auch gewonnen.

---

V. Fazit

Umfragen können ein wertvoller Indikator sein, doch damit sie als Indikator funktionieren, müssen sie repräsentativ sein. Immer wenn sehr viele andere und sehr unterschiedliche Faktoren für einen anderen Wahlausgang sprechen, so wie das bei Trump 2020 der Fall ist, dann zeigt das in meinen Augen vor allen Dingen eines: Dass etwas mit den Umfragen nicht stimmt.

Und was ist eigentlich mit den Wettmärkten?

Natürlich könntest du dich zurecht fragen, ob nicht auch die Wettmärkte ein Indikator dafür sind, dass Biden gewinnt? Ich denke nicht. Aus meiner Sicht folgen die Wettmärkte lediglich den Umfragen, und sind im Politikbereich noch ziemlich naiv. Nicht so naiv wie Nate Silvers Vorhersagen auf FiveThirtyEight, aber immer noch naiv.

Das ist auch der Grund, warum die gegenwärtige Situation so eine ungewöhnlich gute Gelegenheit zum Wetten ist. Dazu dann im nächsten Blogpost in den letzten Tagen vor der Wahl ein wenig mehr – mit einer detaillierten Analyse aller battleground states.

Fußnoten

^[1] Tatsächlich ist das Problem der sozialen Erwünschtheit in der Meinungsforschung schon lange bekannt, allerdings scheint es mir, als habe es insbesondere bei den Themen Brexit und Trump ein neues Niveau erreicht.

^[2] Es ist wichtig in dieser Reihenfolge zu fragen, weil auf diese Weise auch bei einer Antwortverweigerung oder einer falschen Antwort die erste Frage brauchbar bleibt.

^[3] Identifikation bedeutet in diesem Zusammenhang nicht zwingend, dass sie auch so registriert sind.

^[4] Diese Notierung gibt an, welche Partei vorne liegt (R für Republikaner, D für Demokraten) und mit wie vielen Prozentpunkten sie vor dem Kontrahenten liegt. Unabhängige werden dabei ignoriert.

^[5] Der Milliardär Ross Perot trat 1992 mit seiner Reform Party an und gewann knapp 19% der Stimmen (fast 20 Millionen insgesamt). Das ebnete den Weg für Clinton, der mit nur ca. 45 Millionen Stimmen 370 Wahlmännerstimmen holen konnte, Bush Senior holte als Amtsinhaber mit ca. 39 Millionen Stimmen die anderen 168 Wahlmänner. Danke an Makiba für die Korrektur (in den Kommentaren zu finden).