FOSSGIS/Server/Projects/Wall-E

From OpenStreetMap Wiki
< FOSSGIS‎ | Server‎ | Projects
Jump to: navigation, search

Name des Projektes/Project Name

Wall·E

Kontakt/Main Contact

Andere Projektmitarbeiter/Other people involved

Kurze Beschreibung des Projektes/Short description of your project

Es geht um den Umzug des Bots Wall·E vom vor der Abschaltung stehenden Wikimedia Toolserver. Gleich vorweg: Ich kann/will Teile des Quellcodes nicht allgemein zugänglich machen. Wenn dies ein absolutes Ausschlußkriterium ist, spart euch die Mühe des Weiterlesens; falls eine teilweise Ausnahme denkbar ist, findet sich weiter unten eine Erklärung.

Der Bot Wall·E bedarf im deutschsprachigen Raum vermutlich keiner Vorstellung mehr. Trotzdem hier noch einmal die Einleitung zu seiner Wikiseite:

Wall·E ist ein von mir (Oli-Wan) betriebener Bot-Account, über den ich automatische Korrekturen bestimmter Fehler vornehme.

Derzeit werden folgende Korrekturen durchgeführt:

Möglicherweise werden zukünftig noch weitere Prozesse hinzukommen oder die Arbeitsgebiete ausgeweitet werden. Es bleibt jedoch bei der Beschränkung auf die Korrektur eindeutiger Fehler; beispielsweise ein Umtaggen konkurrierener (oder "veralteter") Schemata sehe ich nicht als meine Aufgabe.

Vorschau/Preview

Warum ist das Projekt für die OSM-Community interessant?/Why is this project interesting to the OSM community?

Verbesserung der Datenqualität, Entlastung menschlicher Mapper von Teilaufgaben in der Fehlerbeseitigung.

Welche spezielle Software brauchst Du?/What special software will you need?

Neben OSM-Standardwerkzeugen (Osmium samt Nebenbibliotheken, osmconvert, osmfilter, osmium etc.) GNU Emacs, mindestens Version 23 (besser 24).

Welche Ressourcen brauchst Du?/What resources will you need?

  • Aktuell belegt der Bot mit Quellen, Tools, gefilterten OSM-Daten und Logs etwa 60 MB Plattenplatz.
  • RAM < 1 GB.
  • Die aktuell 2-täglich ausgeführte Adresskorrektur benötigt (auf den Toolserver-Maschinen) <= 5 Minuten Rechenzeit, der 10-täglich ausgeführte Großputz (Adressen, Straßen, Leerraum, mehrfache Knoten, Ein-Knoten-Wege) <= 20 Minuten. Die Ausführungszeit ist wegen Interaktion mit der OSM-API (und teilweise Overpass API) größer, bis zu etwa einer Stunde.

Wo ist der Source-Code?/Where is your source code?

Zunächst zu meiner oben angedeuteten Zurückhaltung bezüglich einer Freigabe als Open Source. Der Bot besteht im Prinzip aus drei Komponenten:

  • Filterprogramme (C++ mit Osmium). Diese sind noch nicht, können aber jederzeit unter GPL veröffentlicht werden.
  • Eine OSM-Bibliothek für GNU Emacs. Auch diese kann/will ich langfristig unter GPL verfügbar machen, wenn erstens der Code aufgeräumt ist und zweitens die Funktionalität eines interaktiven Editors implementiert ist. Diese Bibliothek stellt alle Grundfunktionen bereit: Datenstrukturen für OSM-Objekte, Einlesen von Dateien, Interaktion mit dem API-Server, Bearbeitung von Objekten.
  • Die eigentlichen Bot-Funktionen, ebenfalls in Emacs Lisp. Diese beinhalten die tatsächlichen Korrekturprozesse inklusive diverser Sicherungen. Dies ist der Teil, den ich zumindest momentan nicht allgemein freigeben möchte, da ich ein zu großes Mißbrauchsrisiko sehe: Die Korrekturprozesse eignen sich auch als Blaupause etwa für Prozesse zum Massenumtaggen. Daher möchte ich den Code nicht allgemein, sondern höchstens auf Anfrage einzelnen Personen zur Verfügung stellen.

Man kann auch hinterfragen, welchen Nutzen eine Freigabe des Bot-Codes überhaupt hätte. Emacs Lisp ist im OSM-Umfeld eine eher wenig verbreitete Sprache, sodaß kaum jemand etwas (sinnvolles) damit anfangen könnte. Nützlicher (als Anleitung zur Erstellung ähnlicher Werkzeuge) ist sicherlich eine Beschreibung der Algorithmen, und die liegt auf den Wikiseiten bereits vor. Mit den Filterprogrammen läßt sich dagegen kein Unheil anrichten, aber sie könnten u.a. für verwandte QS-Zwecke nützlich sein.

Wohin mit den Quellen? Ist mir eigentlich ziemlich egal. Da der Quellcode recht überschaubar ist, wahrscheinlich schlichtweg in ~/public_html.

Welche Daten brauchst Du?/What data do you need?

Tagesaktueller Geofabrik-Länderextrakt (germany, austria, evtl. zukünftig weitere) als PBF.

Langfristig möchte ich einen oder zwei der Korrekturprozesse auch weltweit zur Ausführung bringen: dann werden je nach Umsetzung entweder ein aktueller Planet oder die Diffs seit der letzten Ausführung nötig sein.

Verwandte Projekte/Related Projects

Keine bekannt.

Status/State

neu/new