metaf2xml: analysiere und dekodiere METAR, TAF, und SYNOP und speichere als XML

(english version, versión en Español)

metaf2xml analysiert und dekodiert Wetterbeobachtungen (METAR, SPECI) und Wettervorhersagen (TAF) von Flughäfen und synoptische Wettermeldungen (SYNOP) und speichert deren Bestandteile als XML (alles mit Perl). Es bietet auch XSLT style sheets, um diese XML-Daten in verständliche Sprache (Text, HTML) oder in XML mit anderen Schemata umzuwandeln, und eine kommandozeilen- und eine web-basierte (CGI) Benutzerschnittstelle.

Inhalt Aktuelle Version Hintergrund Warum noch ein METAR/TAF-Analyseprogramm? Eigenschaften von metaf2xml Ressourcen, Demo-Version Beispiele für Meldungen in verständlicher Sprache

TAF SBGL (HTML, español)

METAR KJFK (HTML, english)

METAR UUEE (HTML, Русский)

Aktuelle Version

Die aktuelle Version (2009-08-09) ist 1.37 (TAR, ZIP), und enthält auch LIESMICH, Änderungen, ToDo (alles in Englisch), distinfo, und DTD.

Hintergrund

METAR und SPECI (Wetterbeobachtungen) und TAF (Wettervorhersagen) sind unentbehrlich für Flugplanung und Entscheidungen während des Fluges (für reale Flüge und Flugsimulation). Wetterinformationen werden regelmäßig von Meteorologen weltweit auf circa 3500 Flughäfen bereitgestellt und über zuverlässige, nicht-öffentliche Netzwerke verteilt. Informationen für SYNOP werden weltweit von mehr als 11000 manuellen und automatischen meteorologischen Stationen gesammelt und für Wettervorhersagen und Klimastatistiken verwendet. Das Format der Originalmeldungen ist abgekürzt, einige Bestandteile sind kodiert. Hier einige METAR-, TAF-, und SYNOP-Meldungen von Rio (SBGL, 83746), New York (KJFK, 74486), und Tokyo (RJTT, 47662):

SBGL 090700Z 00000KT CAVOK 18/15 Q1016
SBGL 090330Z 0906/1006 07005KT 8000 NSC TN20/0908Z TX31/0917Z PROB30 0908/0912 5000 BR BECMG 0911/0913
 02005KT BECMG 0915/0917 17010KT CAVOK BECMG 0921/0923 07005KT BECMG 1001/1003 02005KT 8000 NSC
KJFK 090751Z 17006KT 10SM SCT028 BKN080 OVC120 22/16 A3016 RMK AO2 SLP213 T02220161
KJFK 302055Z 3021/3124 21012KT P6SM FEW050 SCT250 FM310200 21007KT P6SM SCT070 BKN250 FM310900 19005KT
 P6SM BKN070 OVC150 FM311200 18010KT 5SM -SHRA BR OVC040 FM311500 19012KT 3SM RA BR OVC015CB FM311800 19015KT 5SM -SHRA BR SCT015CB OVC025
SPECI RJTT 090730Z 12008KT 080V160 9999 VCSH FEW025 FEW030CB BKN035 BKN/// 30/25 Q1010
RJTT 090700Z 15009KT 9999 VCSH FEW025 FEW030CB SCT050 BKN/// 31/24 Q1010 RMK 1CU025 1CB030 4SC050 A2983
 CB 30KM E AND 15KM NW MOV NE
RJTT 310026Z 3100/3124 03010KT 9000 FEW010 SCT020 BKN030 TEMPO 3100/3103 4000 -RA BR FEW004 BKN007 BECMG
 3104/3106 07010KT BECMG 3109/3112 04012KT TEMPO 3118/3121 FEW005 BKN009
AAXX 09064 83746 31962 01201 10186 20159 40169 57012 71000
AAXX 09064 74486 12766 81706 10222 20156 30212 40222 58002 69901 90551 333 10222 20172 555 90906
AAXX 09064 47662 12/65 81603 10308 20242 30059 40100 58005 60001 8327/

Das Format der Meldungen (und eine Menge mehr über Wetterbeobachtung und -meldungen) kann man in WMO Manual No. 306 oder in Annex 3 to the Convention on International Civil Aviation finden; einige Länder weichen von diesem Standard ab oder erweitern ihn, einige davon haben Dokumentation darüber veröffentlicht (z.B. Federal Meteorological Handbook No. 1 und No. 2 für die USA). Vor allem das Format der Bemerkungen in METAR- und TAF-Meldungen und die Kodierung der Abschnitte 3 und 5 in SYNOP-Meldungen hängt sehr vom Land oder sogar der Station ab.

metaf2xml kann für Flugsimulation oder von Piloten(-schülern) verwendet werden, die ihr Wissen über Meldungsformate erweitern wollen, und von allen, die einfach nur das aktuelle oder vorhergesagte Wetter an einer Station in verständlicher Sprache erfahren wollen (siehe Beispiele unten).

Warum noch ein METAR/TAF-Analyseprogramm?

Es gibt andere Projekte, die sich mit METAR und TAF beschäftigen, z.B.:

• das Programm "metar" des FlightGear-Projekts,
• das Perl-Modul Geo::METAR,
• die Java-Bibliothek jweather,
• die C-Bibliothek MDSP von NOAA/NWS (der Link zum Herunterladen scheint nicht mehr zu gehen),
• ein MS Windows-Programm (läuft unter Wine) in einem ZIP-Archiv von MetarWeather,
• die ADDS Abteilung von NOAA übersetzt (größtenteils) METAR- und TAF-Meldungen aus ihrer Datenbank,
• die Website OGIMET bietet graphische und text-basierte Oberflächen für aktuelle und ältere METAR-, TAF- und SYNOP-Daten (bezogen von NOAA),
• die Website mundomanz bietet graphische und text-basierte Oberflächen für aktuelle und ältere SYNOP-Daten; die meisten Teile der Meldungen werden auch in verständliche Sprache (Englisch, Spanisch) übersetzt,
• die Website Landings: Aviation's Databases holt aktuelle Wetterbeobachtungen und -vorhersagen (Quelle: NOAA/IWS) und kann sie in verständlicher Sprache anzeigen (Flughafenkode oder -namen eingeben und dann den Link zum dekodierten METAR oder TAF benutzen),
• Allmetsat bietet eine graphische Oberfläche zu METAR- und TAF-Daten (Quelle: NOAA/IWS); die wichtigsten Teile der Meldungen werden auch in verständliche Sprache übersetzt.

Aber irgendwie vermisste ich immer eine Eigenschaft, die ich suchte.

Eigenschaften von metaf2xml

Verarbeitung der Meldungen

Das Analyse-Modul (Anleitung in englisch) akzeptiert (= verarbeitet) oder toleriert (= markiert als Fehler) viele Erweiterungen des Standards; sie sind im Quelltext mit "EXTENSION" markiert. Viele kleinere, häufige Formatfehler werden vor der Analyse korrigiert, es sind mehr Kombinationen von Wetterphänomenen erlaubt, das Fehlen von Informationen wird in vielen Fällen erkannt.
Alle Bemerkungen werden verarbeitet, einige davon werden abhängig vom Ursprungsland oder der Station interpretiert, z.B. 'MON INVIS VAL FOSCHIA' und QUL/QUK (Italien), 'JP' (einige Karibikländer), 'YLO1' (Militär), alles aus dem Federal Meteorological Handbook No. 1 und dem Air Force Manual 15-111 (19.12.2003), 'RSNK' und 'LAG PK' (Daten von weiteren Wetterstationen), und viele mehr. Im Moment werden mehr als 80 Arten von METAR-Bemerkungen erkannt, von simplen Schlüsselwörtern ganz abgesehen (siehe auch DTD).
Das Ziel ist, soviele Informationen wie möglich aus einer Meldung zu erhalten, ohne Teile davon falsch zu interpretieren.

Speichern des Inhalts der Meldung als XML

Das Modul XML.pm (Anleitung in englisch) erzeugt die XML-Daten. Diese Daten enthalten ausschließlich Informationen der Originalmeldung, mit 2 Ausnahmen: die relative Feuchte (eigentlich 4 verschiedene Werte von 4 verschiedenen Formeln) und die Hauptwolkenuntergrenze (falls es eine gibt); diese 2 Bestandteile sind in XSLT umständlich zu berechnen. Jeder XML-Hauptknoten für einen Meldungsbestandteil hat das Attribut "s", welches den entsprechenden Teil der Originalmeldung enthält.
Das Ziel ist, die Elemente der XML-Datei nicht mehr analysieren zu müssen, daher bekommt jeder Informationsbestandteil einen eigenen XML-Knoten.

Herkunft der Meldungen

Meldungen können einfach als Text angegeben werden. Das CGI-Programm "metaf.pl" kann Meldungen auch von einem öffentlichen Server (im Moment fast alle bei NOAA) oder einer lokalen Datei holen. Dafür müssen die Parameter "type_metaf" und "type_synop" auf "ICAO" bzw. "WMO" gesetzt werden und die Eingabefelder sollten einen oder mehr Flughafenkodes oder Stationskodes enthalten.

Anzeige der XML-Datei

Das Projekt enhält XSLT style sheets, um das XML in verständliche Sprache als Text oder HTML in Englisch, Deutsch, Spanisch und Russisch umzuwandeln (Korrekturen und Erweiterungen sind willkommen). Das Ausgabeformat für Text ähnelt dem des Programms "metar" des FlightGear-Projekts. Das Ausgabeformat für HTML zeigt jede Meldung in einer eigenen Tabelle an. In der linken Spalte steht der Inhalt des entsprechenden Teiles der Originalmeldung und in der ersten Zeile steht die Originalmeldung (siehe auch Screenshots des Projektes oder Beispiele unten). Um den Inhalt zu Text oder HTML zu konvertieren, wird das Programm "xsltproc" benutzt, aber andere, ähnliche Programme sollten kein Problem sein.
Weiterhin gibt es auch XSLT style sheets, um eine Kurzfassung oder einen Überblick zu erzeugen: angezeigt werden nur einige Bestandteile der Meldungen (im Momemt nur METAR und SYNOP), in abgekürzter Form, jede Meldung eine Zeile.

Kommandozeilen-Schnittstelle

Das Programm metaf2xml.pl (Anleitung in englisch) liest Meldungen von der Standardeingabe, verarbeitet sie, und schreibt die XML-Daten auf die Standardausgabe. Die kann dann als Eingabe für "xsltproc" oder ähnliche Programme benutzt werden, um HTML oder Text zu erhalten. Das Programm metaf.pl (Anleitung in englisch), obwohl als CGI-Programm gedacht, kann benutzt werden, um Meldungen von anderen Quellen zu holen.

Web-basierte Schnittstelle

Idealerweise sollte jeder XML-fähige Browser das XML mit Hilfe des in der Datei angegeben XSLT style sheets verarbeiten und das Ergebnis anzeigen können. Es gibt jedoch einige, die manche XSL-Befehle nicht verarbeiten. Außerdem sind nicht alle Browser XML-fähig. Das CGI-Programm metaf.pl (Anleitung in englisch) bietet eine reine HTML-Schnittstelle. Die XML-Daten sieht man, wenn als Ausgabeformat "XML" gewählt wurde und man sich dann den Seitenquelltext anzeigen lässt.

Quellen sind verfügbar und GPL

Jeder, der möchte, ist gerne eingeladen, etwas zum Projekt beizutragen. Ein guter Startpunkt für Hilfe ist das ToDo.

Ressourcen, Demo-Version

Die Startseite des Projektes ist SourceForge.net, neue Versionen werden auch bei freshmeat.net bekanntgegeben. Die aktuelle Version enthält das Analyse-Modul, das DTD-Schema, die XSLT style sheets für die Umwandlung des XML in verständliche Sprache, die Perl-Programme für die Benutzerschnittstellen, und alles, um sie zu installieren.

Bei der Demo-Version mit Grafik (verwendet Ajax) werden vorgegebene Stationen auf einer Karte durch einen Punkt markiert. Die Karte kann in verschiedenen Vergrößerungen angezeigt und durch Anklicken und Ziehen verschoben werden. Die verarbeiteten Meldungen werden unterhalb der Karte angezeigt, die neueste Abfrage oben. Die Liste der Stationen ist fest vorgegeben, sie könnte aber auch dynamisch, z.B. aus einer Datenbank, erzeugt werden.

Die Meldungen für die Stationen werden aus Dateien auf dem sourceforge-Server geholt. Das sind Meldungen aus der Vergangenheit, die nur von Zeit zu Zeit aktualisiert werden. sourceforge.net läßt keine ausgehenden Verbindungen zu, daher können sie nicht direkt aus dem Internet geholt werden.

Es können aber auch Wettermeldungen eingegeben werden, wobei der Meldungstyp (METAR, TAF, SYNOP) ausgewählt werden muß.

Bei der text-basierte Demo-Version können Wettermeldungen eingegeben werden. Falls die Option "ICAO id(s)" oder "WMO id(s)" ausgewählt wird, können auch Stationskennungen eingegeben werden; die Meldungen für die Stationen werden dann, wie bei der Demo-Version mit Grafik, aus Dateien auf dem sourceforge-Servers geholt.

Verschiedene Organisationen und Anbieter ermöglichen freien Zugang zu aktuellen und älteren Wettermeldungen, z.B.:

• die IWS Abteilung der NOAA (METAR und TAF der letzten 24 Stunden),
• die ADDS Abteilung der NOAA (METAR der letzten 36 Stunden, aktuellster TAF),
• deren experimenteller Datenserver (METAR und TAF der letzten 72 Stunden, als XML oder CSV),
• die Swedish Civil Aviation Administration (nur Europa),
• Nav Canada (nur Kanada),
• OGIMET (mehr als 180 Tage METAR, TAF und SYNOP), oder
• die NWS Abteilung der NOAA (SYNOP der letzten 24 Stunden), oder
• das College of DuPage (SYNOP der letzten 5 Tage, aber für weniger Stationen).

Beispiele für Meldungen in verständlicher Sprache

Das Ergebnis der Analyse der o.a. Beispielmeldungen ist in metar-taf-synop.xml (XML ohne XSLT style sheet-Referenz). Mit den XSLT style sheets des Projektes sieht die Ausgabe in verständlicher Sprache (hier: englisch, HTML) so aus:

warning: station pressure missing

copyright (c) 2006-2009 metaf2xml @