Backtesting und Datenanalyse: warum schöne Rückblicke täuschen

Lea hat ihr Regelwerk aus der letzten Lektion an historischen Daten getestet. Das Ergebnis sieht traumhaft aus: eine stetig steigende Kurve, 15 Prozent Rendite pro Jahr, ein hoher Sharpe-Wert. Am liebsten würde sie sofort loslegen. Doch sie ist inzwischen misstrauisch geworden, und das aus gutem Grund. Genau solche Kurven werden in der Werbung für Strategien und Fonds gezeigt, und erstaunlich oft funktioniert hinterher im echten Geld nichts davon.

Ein Backtest ist die Anwendung einer Strategie auf Vergangenheitsdaten, um zu sehen, wie sie gelaufen wäre. Das ist ein nützliches Werkzeug und zugleich eines der gefährlichsten, weil es so überzeugend wirkt. Eine schöne Kurve fühlt sich an wie ein Beweis. Sie ist aber nur eine Beschreibung der Vergangenheit, und die Vergangenheit lässt sich auf viele Arten schönrechnen, oft ohne böse Absicht.

Diese Lektion zeigt dir die vier häufigsten Fallen, die einen Backtest besser aussehen lassen, als die Strategie ist: Survivorship Bias, Look-ahead Bias, Data Snooping und ignorierte Kosten. Danach weißt du, wie man eine Strategie ehrlicher prüft und warum gesundes Misstrauen hier deine wichtigste Fähigkeit ist.

Warum ein guter Backtest noch keine gute Strategie ist

Der Kern des Problems ist einfach. Ein Backtest misst, wie eine Regel auf genau den Daten gelaufen wäre, an denen sie entwickelt wurde. Das nennt man In-Sample, also innerhalb der Stichprobe. Wie gut eine Strategie auf bekannten Daten aussieht, sagt aber fast nichts darüber, wie sie auf neuen, unbekannten Daten läuft, im Out-of-Sample. Genau dort verdienst oder verlierst du später dein echtes Geld.

Dazu kommt die Versuchung der Überoptimierung, die du aus der Lektion Regelbasierte Strategien kennst. Mit genug Parametern lässt sich jede Vergangenheit perfekt nachzeichnen. Je schöner der Rückblick, desto größer die Wahrscheinlichkeit, dass er das Zufallsrauschen von gestern beschreibt und nicht ein Muster, das morgen noch gilt. Behalte diesen Satz im Kopf, während wir die vier Fallen durchgehen.

Survivorship Bias: nur die Überlebenden zählen

Die erste Falle steckt schon in den Daten, bevor du irgendetwas testest. Survivorship Bias, auf Deutsch Überlebenden-Verzerrung, entsteht, wenn deine Datenbasis nur die Unternehmen enthält, die bis heute überlebt haben. Die Gescheiterten sind verschwunden, und mit ihnen ihre Verluste.

Ein konkretes Beispiel ist jeder Index. Der DAX tauscht mehrmals im Jahr Mitglieder aus. Wer eine Strategie an den heutigen 40 DAX-Werten über zwanzig Jahre zurückrechnet, testet ausschließlich an Firmen, die es bis heute geschafft haben. Pleiten wie die der Hypo Real Estate oder der Absturz von Wirecard fehlen einfach, obwohl sie reales Anlegergeld vernichtet haben. Das Ergebnis: Der Backtest sieht deutlich besser aus, als die Realität war, weil die großen Verlierer aus den Daten gefallen sind.

Der Effekt ist nicht klein. Bei einer Long-only-Strategie, die nur kauft, schlägt jede ausgelassene Pleite voll auf die geschönte Rendite durch. Schon bei der Bewertung von Fonds verschwindet ein erheblicher Teil der schlechten Produkte über die Jahre vom Markt, und nur die Überlebenden schreiben die Statistik. Frag bei jedem Backtest zuerst: Welche Firmen oder Fonds fehlen hier, weil sie unterwegs gestorben sind?

Look-ahead Bias: Wissen, das es noch nicht gab

Die zweite Falle ist subtiler und deshalb besonders tückisch. Look-ahead Bias entsteht, wenn der Backtest Informationen verwendet, die zum Entscheidungszeitpunkt noch nicht verfügbar waren. Die Strategie schummelt, ohne dass es auffällt, weil sie in die Zukunft blickt.

Die Klassiker sind harmlos aussehende Details. Die Strategie nutzt den Schlusskurs eines Tages, um angeblich schon am Vormittag zu handeln, obwohl der Schlusskurs erst am Abend feststeht. Oder sie verwendet eine Quartalszahl ab dem Bilanzstichtag, obwohl das Unternehmen sie erst Wochen später veröffentlicht. Oder sie rechnet mit nachträglich korrigierten Daten, die es in der ursprünglichen Form gar nicht gab. Jeder dieser Fehler verleiht der Strategie eine Treffsicherheit, die in der echten Zeitleiste unmöglich gewesen wäre. Die Prüffrage lautet: Hätte ich diese Information an genau diesem Tag wirklich gehabt?

Data Snooping: das Problem der vielen Versuche

Die dritte Falle ist statistischer Natur und vielleicht die wichtigste. Sie heißt Data Snooping oder Mehrfachtesten. Wenn du sehr viele Strategien an denselben Daten ausprobierst, findest du allein durch Zufall einige, die hervorragend aussehen.

Ein durchgerechnetes Beispiel macht das deutlich. Annahme: Du testest 1.000 reine Zufallsstrategien, die in Wahrheit keinerlei Vorhersagekraft haben. Verwendest du die übliche statistische Schwelle, bei der ein Ergebnis als auffällig gilt, wenn es rein zufällig nur in 5 von 100 Fällen entstünde, dann erscheinen allein durch Glück rund 50 dieser 1.000 wertlosen Strategien als überzeugend. Du hast nichts gefunden außer Rauschen, aber 50 schöne Kurven, die echt aussehen.

Genau dieses Problem haben die Forscher Campbell Harvey und Yan Liu für die Finanzforschung beziffert. Sie dokumentierten, dass mindestens 316 angebliche Renditefaktoren getestet wurden, und folgerten, dass der übliche Signifikanzmaßstab dem nicht gewachsen ist. Ihr Vorschlag: Ein neu entdeckter Faktor braucht heute einen t-Wert über 3 statt der traditionellen 2, um überhaupt glaubwürdig zu sein. Das ist die statistische Version der Erkenntnis aus der Lektion Faktoren und Stile, dass viele Faktorprämien nach ihrer Veröffentlichung schrumpfen oder verschwinden. Marcos López de Prado und Kollegen zeigten ergänzend, dass sich mit genug Versuchen praktisch immer eine Strategie mit traumhaftem Rückblick konstruieren lässt, die danach scheitert. Sie nennen das Backtest-Overfitting.

Transaktionskosten: der Rückblick ohne Reibung

Die vierte Falle ist die unspektakulärste und wird am häufigsten unterschätzt. Viele Backtests rechnen ohne Handelskosten, also ohne Geld-Brief-Spanne, Ordergebühren und Steuern. Das beschreibt eine reibungslose Welt, die es nicht gibt. Je öfter eine Strategie umschichtet, desto stärker klafft die Lücke zwischen Brutto und Netto, wie schon die Lektion Momentum und relative Stärke gezeigt hat.

Ein durchgerechnetes Beispiel zeigt die Größenordnung. Annahme: Eine umschlagstarke Strategie liefert im kostenlosen Backtest 8 Prozent pro Jahr, doch die realen Handelskosten betragen rund 0,7 Prozentpunkte pro Jahr, sodass netto nur 7,3 Prozent bleiben. Du startest mit 25.000 Euro über 20 Jahre. Das sind Modellannahmen, keine Garantie.

Backtest ohne Kosten: 25.000 Euro × 1,08 hoch 20 ≈ 116.500 Euro
Realistisch mit Kosten: 25.000 Euro × 1,073 hoch 20 ≈ 102.300 Euro

Allein die im Rückblick weggelassenen Kosten erzeugen einen Phantomgewinn von rund 14.200 Euro. Die Strategie war nie so gut, wie der Backtest behauptet. Bei sehr aktiven Systemen kann der Unterschied noch deutlich größer sein.

Wie man ehrlich testet

Aus den vier Fallen folgt kein Verzicht auf Backtests, sondern ein nüchterner Umgang mit ihnen. Mehrere Gewohnheiten trennen einen ehrlichen Test von Selbstbetrug.

Teste Out-of-Sample. Entwickle die Strategie auf einem Teil der Daten und prüfe sie anschließend an einem Zeitraum, den du beim Bauen nicht angesehen hast. Bricht die Leistung dort ein, war der schöne Rückblick wahrscheinlich überangepasst. Halte die Regeln einfach und die Zahl der Parameter klein, denn jede zusätzliche Stellschraube erhöht die Gefahr, das Rauschen zu treffen. Verwende eine Datenbasis, die auch die verschwundenen Firmen enthält, und achte penibel darauf, nur Informationen zu nutzen, die am jeweiligen Tag verfügbar waren. Rechne realistische Kosten und Steuern ein. Und übernimm die Haltung von Harvey und Liu: Sei umso skeptischer, je perfekter ein Ergebnis aussieht, und verlange für eine außergewöhnliche Behauptung einen außergewöhnlich strengen Beleg.

Typische Fehler

Vier Muster führen beim Backtesting besonders zuverlässig in die Irre:

Den Backtest für einen Beweis halten. Er beschreibt die Vergangenheit, er garantiert nichts.
An den heutigen Gewinnern testen. Wer die verschwundenen Firmen weglässt, baut den Survivorship Bias direkt ein.
So lange optimieren, bis die Kurve glänzt. Das maximiert die Anpassung an den Zufall, nicht an die Realität.
Kosten und Verfügbarkeit ignorieren. Ein reibungs- und schummelfreier Backtest ist eine Fantasie, kein Test.

Deine Aufgabe

Such dir eine beworbene Strategie, einen Fonds oder ein Zertifikat mit einer beeindruckenden Rückblickkurve, frei wählbar, nur als Übung ohne Kaufabsicht. Geh die vier Fallen als Checkliste durch und notiere zu jeder eine Frage und deine Vermutung: Welche gescheiterten Firmen oder Vorgängerprodukte fehlen in der Statistik? Könnte die Kurve Informationen nutzen, die es damals noch nicht gab? Wie viele Varianten wurden wohl getestet, bis diese gezeigt wurde? Und sind realistische Kosten enthalten?

Frag dich am Ende: Wenn ich alle vier Verzerrungen abziehe, wie viel von der versprochenen Überrendite bleibt vermutlich übrig? Diese fünfzehn Minuten Skepsis schützen dich besser vor schlechten Produkten als jede schöne Grafik.

Weiter lernen

Du durchschaust jetzt, warum ein glänzender Backtest oft mehr verspricht, als er hält. Die nächste Lektion wechselt das Thema und beginnt den Derivate-Block mit der Frage, was schiefgehen kann: Optionen verstehen, also Calls, Puts und die Kennzahlen dahinter, immer zuerst mit Blick auf das Risiko. Wie du aus geprüften Erkenntnissen ein belastbares Regelwerk baust, vertieft die Lektion Regelbasierte Strategien. Warum viele Faktoren nach ihrer Entdeckung verblassen, steht in Faktoren und Stile.