Bildverarbeitung – anno dazumal

Zeit mal in einem Blog die Gesichte der Bildverarbeitung zu referieren. Schon die frühen US-Raumsonden lieferten Bilder. Eine Ranger in den letzten 20 bis 24 Minuten vor dem Aufschlag 4.000 – 7.000 Surveyor bis zu 29.000 pro Mondtag (rund 14 Erdtage). Lunar Orbiter pro Mission maximal 212 – allerdings je eine Weitwinkelaufnahme von 80 MPixel und eine Teleaufnahme von 256 Mpixel, da zucken auch heute noch Fotografen mit den Augenbrauen. Ich kam wie öfters auf das heutige Thema, indem ich im Netz immer suche, wie viele Bilder eine Mission gemacht hat – die Rubrik im Datenblatt habe ich in Band 1 eingeführt, wo man von vielen Missionen die Bildzahl kennt. Bei neueren ist es sehr schwierig, die genaue Zahl zu ermitteln.

Die Frage, die sich aber wohl jeder gestellt hat – wie verarbeitet man solche Datenmengen mit der Technik der Sechziger und siebziger Jahre? Also mal ein Überblick über wie die Bildverarbeitung immer leistungsfähiger wurde.

Die einfache Antwort – zuerst einmal gar nicht. Ranger, Surveyor und Lunar Orbiter übertrugen keine digitalen Daten. Sie hatten TV-Kameras an Bord und übertrugen das TV-Signal. Bei der Bodenstation wurde dann das Videosignal wie andere Videosignale auf Magnetband, auch hier analog aufgezeichnet. Lunar Orbiter hatte keine TV-Kamera an Bord, hier wurde Film durch eine Photodiode abgetastet und mit dem analogen Wert ein 300-kHz-Signal moduliert, das dann auf die Trägerwelle gelegt wurde. Auch hier wurde am Boden alles auf Videobänder aufgezeichnet.

Wie kommt man dann zu Bildern?

Die Technik dafür hielt sich lange: Man projizierte das Videosignal als „Standbild“ auf einen Monitor und fotografierte diesen ab. So arbeitete man nicht nur bei Lunar Orbiter, sondern noch lange später. Surveyor-Mosaike entstanden von Hand, indem man Fotografien übereinanderlegte. 1972 erstellte die NASA einen Marsatlas, indem sie Fotos von Mariner 9 auf einen 1,2 m großen Globus klebte. Die Vorgehensweise Bilder abzufotografieren scheint sehr lange gängig gewesen zu sein. Anbei ein Ausschnitt aus Spektrum der Wissenschaft von 1980. Man erkennt sehr deutlich die Zeilenstruktur eines Röhrenmonitors. Das Abfotografieren vom Bildschirm war auch bei hochauflösenden Computergrafiken in den Achtzigern üblich, daher auch die Bezeichnung „Screenshot“. Ich kannte damals für die Kopie des Bildschirminhalts meines Computers (mit weniger Farben und Auflösung) auf einem nur schwarz-weißen Drucker die Bezeichnung „Hardcopy“. Wobei dies eben nicht über eine Fotografie geschah, sondern durch Auslesen des Speicherinhalts und Umsetzung in Druckeransteuerung, was dann auch den Begriff einer Kopie eher trifft als die analoge Wiedergabe.

Aufgrund dieser Auswertungsmethode gab man damals auch die Auflösung pro Zeilenabstand und nicht pro Pixel an wie heute. Siehe die Beschriftung beim Bild.

Man verschenkte dabei enorm viel Potenzial. Das wurde deutlich an das LOIRP (Lunar Orbiter Image Restauration Projekt) nach der Jahrtausendwende daran ging, die Bilder zu restaurieren. Das bedeutete zum einen Artefakte durch Unterbrechungen der Übertragung zu entfernen, dann heutige Bildverarbeitungsmethoden wie Kontrasterhöhung und Scharfzeichner anzuwenden. Da die Lunar Orbiter Fotos sehr groß sind hier ein Link zu einer damals publizierten Originalaufnahme und dieselbe Aufnahme vom LOIRP. Wenn man auf die Wolkenstrukturen achtet, dann sieht man es ist dieselbe Aufnahme. Die restaurierte Aufnahme macht auch heute noch eine gute Figur.

Bildverarbeitung

Doch auf Dauer war man auch bei der NASA nicht damit zufrieden, nur Bilder auszudrucken. Das verschenkte doch viele Möglichkeiten die Daten, die in den Bilder steckten, auszuwerten und Rauschen und andere Artefakte zu reduzieren.1963 wurde die Hardware konstruiert, um die Videosignale in digitale Signale zu übersetzen. Das Programm zum Digitalisieren wurde dann 1964 auf einem IBM 7094 Computer geschrieben. Eine IBM 7094 war eine 36 Bit Maschine die 0,35 MFlops erreichte, bei einem Arbeitsspeicher von 32 KWorten, rund 192 Kbyte (damals noch 1 Byte = 6 Bit). Das ist in etwa die Geschwindigkeit eines 386 mit Coprozessors.

Was wir heute unter Bildverarbeitung verstehen ist jedoch mehr. Anbei hier eine Originalaufnahme von Mariner 9. Sie hat einige Defekte. Zum einen fehlen ganze Bildzeilen, dann gibt es helle Spikes durch kosmische Strahlen. Der Helligkeitsbereich, der vom eigentlichen Bild abgedeckt wird, ist klein und damit auch der Kontrast. Zusätzlich sieht man die Krümmung der Vidiconröhre und daher auch das Gitter über dem Chip, um die Verzerrung zu bestimmen. Das machte aber erst bei digitalen Aufnahmen der Sinn. Die gab es erstmals mit Mariner 9. Vorher wurden zwar Bilder von Mariner 4,6,7 digital übertragen, aber vorher war die innere Verarbeitung analog, was sich dann in sehr vielen Artefakten niederschlug, wie man bei Originalaufnahmen von Mariner sieht. Bei den rund 200 Aufnahmen von Mariner 6+7 ging das noch, aber nicht bei Tausenden von Aufnahmen bei Ranger und Surveyor.

Schon bei Mariner 9 ging man an die elementaren Bildverarbeitungsschritte die damals so aussehen:

• Reduktion der Bilddaten von 9 auf 6 Bits (letzte 3 Bits weggelassen) spart Platz, ein Bildpunkt ist bei einem Computer auf 6-Bit-Byte Basis dann genau 1 Byte groß, was die Verarbeitung erleichtert. Offizieller Grund, das menschliche Auge kann nur 25 Graustufen unterscheiden.
• Ersetzen aller Pixels die um 32 Helligkeitswerte von der Umgebung abweichen durch die Nachbarwerte – blendet diese hellen Pixels aus.
• Strecken der verbliebenen Helligkeitswerte auf den ganzen Bereich
• Scharfzeichner, indem von jedem Pixel der Durchschnitt der umgebenden 25 Pixel abgezogen wird.
• Die Verarbeitung geschah im Batchbetrieb. Dazu diente eine IBM 360/44, ein für Realzeitdatenverarbeitung optimiertes Modell der IBM 360 Familie. die selbst in der größten Ausbaustufe nur 256 KByte Speicher hatte. Das reichte nicht mal für ein komplettes Mariner 9 Bild aus 700 x 832 Punkten.

Die Situation verbesserte sich in der zweiten Hälfte der Siebziger Jahre als Minicomputer einzogen und nun zum ersten Mal die interaktive Bearbeitung möglich war. Verwendet wurden die Super-Minis VAX 11/780. Das Problem war nur: für bestimmte Operationen benötigte man enorm viele Rechenoperationen. Für einen Scharfzeichner, der den Durchschnitt aus 35 x 35 Pixeln bestimmte, bei einem 1000 x 1000 Pixel Bild z. B. 1,225 Milliarden Rechenoperationen, was bei einer VAX mit maximal 1 MIPS selbst einem Pixel pro Operation (in der Praxis mehr) über 21 Minuten dauert. Die Lösung waren spezielle VLSI Chips, die in die VAX eingebaut wurden und die so für die VAX die Operation von 1225 auf 1 drückten.

Heute ist das alles kein Problem mehr. Inzwischen erstellen Amateure aus alten Bildern ansprechende Produkte, sind manchmal schneller als die Raumfahrtagenturen so bei Huygens: Es gab natürlich eine Software die Mosaike erstellen konnte. Das Problem war, dass es auf den Linsen Tröpfchen gab und diese Artefakte verwirrten die Software. Bis diese angepasst war, hatten schon etliche Amateure eigene Mosaike erstellt und veröffentlicht.

Heute gibt es glaube ich ein anderes Problem. Die Bilderflut. Es ist sicher kein Problem diese automatisiert zu Mosaiken zu verarbeiten, doch wie sieht es damit aus, die Bilder auch zu betrachten? Also nach Ungewöhnlichem zu untersuchen. Beim MRO setzte man schon auf Klickworker, um Krater zu zählen. Der LRO hat in 8 Jahren über 2 Millionen Bilder gemacht, also rund 700 pro Tag. Ich vermute die NASA setzt auf die wissenschaftliche Gemeinde, schließlich werden alle im PDS veröffentlicht.

Nun noch was zur Mariner 9 Aufnahme. Ich habe diese zuerst mit einem eigenen Programm verarbeitet. Das entfernt helle Pixel (bis zu einem bestimmten Grad), ergänzt fehlende Zeilen und reduziert die Masken. Danach in Affinity einen Scharfzeichner angewandt und den Helligkeitsbereich über das ganze Spektrum gestreckt. Für eine vollständige Bildverarbeitung müsste man noch die Bildfeldwölbung der Röhre korrigieren und ausgeklügeltere Algorithmen verwenden.