Lügen, verdammte Lügen und Statistiken

Die Falcon mit ihrem letzten Fehlstart, die Diskussion hier im Blog und auch die neuerliche Revision, hat mich dazu bewegt, mal meine Arbeit an meinem zweiten Buch über den ATV ruhen zu lassen und mich mehr mit der Falcon zu beschäftigen. Ich bin gerade dabei den Artikel nach Falcon 1 und 9 zu trennen und den Falcon 1 Artikel zu ergänzen und habe eine Kopie der SpaceX Website gemacht (zur leichteren Recherche).

Dabei stieß ich auf eine Studie der Firma Futron im Auftrag von SpaceX. SpaceX betont ja immer, dass wesentliche Designkriterien der Falcon waren die Zuverlässigkeit zu erhöhen, indem sie die Systeme möglich einfach machten. So hat man ja auf Retroraketen verzichtet, denn in 24 % der Fehlstarts von US Trägern von 1984-2004, lag es an der Stufentrennung. Klar, ein System das nicht vorhanden ist, kann nicht ausfallen und eine Stufe, die nicht auf Abstand gebracht wird, kann kollidieren. Man sollte vielleicht überlegen was gefährlicher ist. Fehlende Prallbleche in Treibstofftanks können keine Probleme machen, aber das Moment, das durch Treibstoffschwappen erzeugt wird, kann ein Triebwerk zum Abschalten bringen. So geschehen bei den Testflügen 3 und 2.

Sber zurück zur Überschrift: Nirgendwo wird so mit Statistiken gelogen wie bei der Raumfahrt. Lockheed Martin macht seine Atlas Statistik über 3 Generationen der Atlas mit unterschiedlichen ersten Stufen, weil es besser aussieht oder man sagt nur "der 26.ste erfolgreiche Start hintereinander" – Da weiß ich schon, dass der 27 ste vorher ein Fehlstart war.

In Russland ist man da noch phantasievoller, da zählt man separat nach Versionen (Sputnik, Vostok, Voschod, Sojus (mindestens 3 Subversionen) und Molnija und kommt so zumindest bei der Sojus auf gute Statistiken. Die anderen Modelle? Fragen sie lieber nicht…..

Oder man erklärt einfach bei der Proton alle frühen Starts, die von vielen Fehlschlägen begleitet waren, zu Testflügen und fängt mit der Nummerierung neu an.

In diesem Dokument fand ich folgende Grafik.

Beschriftet ist es als "Expected Failure Rates Due to All Causes Based on Historical Average Subsystem Failure". Also erwartete Fehlerrate basierend auf der durchschnittlichen Fehlerrate in der Vergangenheit, wobei als Datenmaterial alle Flüge zwischen Oktober 1984 und September 2004 genommen wurden.

Das erste was mir auffällt: Wie kann ich eine noch nicht existierende Trägerrakete mit anderen vergleichen, auf der Basis historischer Werte? Von dieser Rakete gibt es ja keine historischen Werte! Inzwischen gibt es sie, und die zu erwartende Fehlerrate aufgrund historischer Werte liegt nicht bei unter 3 % sondern bei satten 100 %.

Das nächste ist der Sinn der Statistik. Zuerst einmal finden sich nur aktuelle Träger darunter. So fehlt z.B. die gesamte Titan Familie. Selbst bei den aktuellen Trägern ist die Auswahl recht selektiv. Einerseits werden von der Delta 2 zwei Versionen unterschieden, aber wo bleiben die anderen? Auch von der Taurus gab es mehr Versionen.:

Launch Vehicle	Launches	Success	Launch success [%]
ARPA Taurus	2	2	100,00
Atlas V 401	2	2	100,00
Atlas V 521	1	1	100,00
Delta 4M	2	2	100,00
Delta 4M+(4,2)	1	1	100,00
Delta 7320-10	4	4	100,00
Delta 7326-9.5	3	3	100,00
Delta 7420-10C	7	7	100,00
Delta 7425-10	1	1	100,00
Delta 7425-9.5	3	3	100,00
Delta 7426-9.5	1	1	100,00
Delta 7920-10	6	6	100,00
Delta 7920-10C	13	13	100,00
Delta 7920-10L	2	2	100,00
Delta 7920-8	1	1	100,00
Delta 7920H	1	1	100,00
Delta 7925	34	33	97,06
Delta 7925-10	2	2	100,00
Delta 7925-8	2	2	100,00
Delta 7925-9.5	16	16	100,00
Delta 7925H	2	2	100,00
Minotaur 1	2	2	100,00
Pegasus	4	4	100,00
Pegasus H	4	4	100,00
Pegasus XL	20	17	85,00
Pegasus XL/HAPS	5	5	100,00
Pegasus/HAPS	2	1	50,00
Space Shuttle	101	100	99,01
Taurus 1110	1	1	100,00
Taurus 2110	2	1	50,00
Taurus 2210	1	1	100,00
Taurus 3210	1	1	100,00
Summary	1799	1706	94,83

Das zweite ist das verwendete Datenmaterial. Nehmen wir zwei Extreme: Die Delta IV Heavy hatte bis zu diesem Zeitpunkt noch gar keinen Start hinter sich: Trotzdem wird hier eine Prognose abgegeben, die sich ja nur auf den bisherigen Delta IVM Flügen beziehen kann. (die ja alle glückten). Aber das sind gerade mal 3 Flüge. Das Space Shuttle flog dagegen 101 mal (davon 100 mal erfolgreich) die Delta 2 in allen Mustern 98 mal, (davon 97 mal erfolgreich). Wie man dann auf Fehlstartquoten von 4 und nahezu 6 % kommt ist nicht nachvollziehbar, wobei es gerade bei diesen beiden Trägern ja genügend Starts, für eine aussagekräftige Statistik gibt.

Die Wirklichkeit holt natürlich solche statistischen "Lügen" ein (gelogen ist schon die angegebene Genauigkeit von 4 Stellen – es sind deutlich weniger, wie man an dem mehrfachen Auftreten von gleichen Prozentangaben erkennen kann – Dies wäre bei 4 Stellen Genauigkeit sonst doch etwas viel Zufall).

Die Delta IV Heavy hat nach 2 Flügen eine Zuverlässigkeit von 50 % und die Falcon 1 nach 3 Flügen eine von 0 % – Die Ausfallwahrscheinlichkeit betrug nicht 2.845 %, sondern 100 %….

Besonders interessant ist natürlich, wenn man sich die SpaceX Dokumente sich zu Gemüte führt. Da ist der Tenor dann so: 52 % der Fehler bei einem Start haben ihre Ursache in dem Triebwerk, deswegen haben wir es auch ganz einfach gebaut. 28 % hatten als Ursache die Stufentrennung, daher benutzen wir nur Pneumatik und keine Retroraketen.

Vielleicht sollte man es anders ausdrücken: Wir können die Rakete nur so billig produzieren, wenn wir auf so "Luxus" wie Retroraketen und Prallbleche verzichten. Wenn dann ein Start nicht klappt, ja dann müssen wir eben mal nachbessern. Die Nutzlast wird ein bisschen kleiner (bei der Falcon 1 von 670 auf 420 kg geschrumpft), die Rakete teurer (von 5.9 auf 7.9 Millionen Dollar Startpreis gestiegen) und natürlich dauert es ein bisschen länger sie einzuführen, aber die Kunden haben ja Zeit zu warten…

Mein absolute Lieblingslektüre sind die Updates von Elon Musks, die sind fast so schön, wie Extra 3 oder Kalkofes Mattscheibe. Da hörte ich nach jedem Fehlstart "Alles hat zu über 90 % geklappt, nur ganz kleine Probleme, die wir innerhalb von ein paar Wochen besteigt haben. Der Startplan bleibt davon unberührt." Und dann dauert es 12-18 Monate bis der nächste Test stattfindet ("Kleine Probleme") die Nutzlastangabe wird jedesmal nach unten korrigiert und die Rakete teurer. Und: Das Problem wird nicht mal korrigiert, denn die Kollision beider Stufen wurde ja schon beim letzten Fehlstart als Anomalie aufgeführt. Eine bessere Realsatire gibt es nicht. Dumm nur, das manche sie glauben, oder zu faul sind die Updates auf SpaceX nicht mal chronologisch (von hinten nach vorne) zu lesen um zu erkennen wie der Hase läuft.

Den neu bearbeiteten Falcon 1 Artikel – auch mit einer genauen Aufschlüsselung wie SpaceX Angaben "korrigiert" und das das Stufentrennungsproblem schon beim letzten Start auftrat und man damals meinte das Merlin 1C würde weniger Restschub haben und man könne so weitermachen, anstatt Retroraketen einzubauen (die Falcon ist der einzige Träger den ich kenne der meint auf Retroraketen verzichten zu können, wenn nicht die zweite Stufe zündet, bevor die erste ausgebrannt ist).

Ach ich freue mich schon auf den nächsten Start, mal sehen welches System das sei eingespart haben dann den Fehlstart verursacht und wie die Nutzlast dann weiter absinkt…. Und mal sehen was aus dem geplanten nächsten Start im September wird: Jedesmal wenn von "Wochen" die Rede war um ein Problem zu lösen wurden 12-18 Monate draus.