DE:Import/Guidelines
Deutsche Übersetzung mehr oder weniger 1:1 aus der englischen Seite von user blutsauger. Keine Gewähr auf Richtigkeit, v.a. was den rechtlichen Teil und dessen Begriffe betrifft.
Die Import Richtlinien, sowie der Verhaltenskodex für automatisierte Änderungen sollten immer beachtet werden, wenn man Daten in OpenStreetMap importiert, da Sie viele Erfahrungen der zusammenfassen. Importe sollten vorher gründlich überlegt, in Absprache und mit höherer sorgfalt ausgeführt werden, als reguläre Bearbeitungen, da Fehler signifikante Auswirkungen sowohl auf die bestehenden Daten, als auch die lokale Mapping Community haben können. Die Data working group wurde von der OSMF beauftragt, Importe festzustellen und zu blockieren, die sich nicht an diese Richtlinien halten. Im schlimmsten Fall kann Dein Account dadurch gesperrt werden.
Importe sollten nicht als Alternative zum bilden einer Mapping Community, dem organisieren von Mapping Parties und dem generieren von Aufmerksamkeit gesehen werden. Wie immer bei OSM basiert alles auf einer offenen Diskussion; die wird geführt auf der imports Mailingliste und der Diskussionsseite.
Verlauf
Wenn du der Meinung bist, dass öffentliche Stellen (Stadtverwaltung, Regierungsstellen), eine non-profit Organisation, eine Firma oder Privatperson gute Daten zur Verfügung stellt, die zur Verbesserung der Qualität von OpenStreetMap beitragen könnten, dann ist diese Seite die richtige für Dich.
Die folgende Checkliste gilt für Einsteiger wie für Fortgeschrittene gleichermaßen, beginnend mit allgemeinen Informationen hinüber zu mehr technischen Details. Diese werden in den darauffolgenden Abschnitten weiter behandelt. Je nach Wissensstand kannst du dich dort genauer informieren. Groß angelegte Importe (was auch immer das bedeuten mag) sollten immer nur mit Rücksprache technisch versierter Kollegen stattfinden, auch wenn du selber einer bist.
Schritt 1 - Voraussetzungen
- Mache dich mit den grundlegenden Editierfunktionen von OpenStreetMap vertraut (wie eben die meisten anfangen: Wege, Häuser, Hausnummern einzeichnen, lerne die geläufigen Tags durch die Mailingliste kennen). Lies den beginners' guide.
- Informiere dich über bereits durchgeführte Importe: Import/Past Problems
- Welchen Datentyp möchtest du importieren? Straßenverläufe, Häuserumrisse, Gewässer oder Adressdaten? Und welche Lizenzbedingungen gilt es zu beachten?
Schritt 2 - Community einbeziehen
- Es ist empfehlenswert, mit der Community abzustimmen, ob überhaupt ein Interesse am Import der Daten besteht. Daten, die in einer Region akzeptiert würden, können in anderen Regionen auf Ablehnung stoßen.
- Diskutiere dein Vorhaben. Informiere die Community per E-Mail über dein Vorhaben und füge einen Link zu deiner Wiki-Seite hinzu. Diese solltest du (mindestens) an imports@openstreetmap.org, talk-(Ländercode)@openstreetmap.org, sowie ggf. der lokalen Mailingliste deiner Region (beachte, dass du eine Liste auf lists.openstreetmap.org abonnieren musst, bevor du mailen kannst) schicken. Auf diese Weise kannst du von anderen Erfahrungen profitieren und wirst vielleicht feststellen, dass die Daten, die du importieren möchtest bereits besprochen wurden.
- Stelle dich darauf ein, Fragen der Community zu beantworten. Diskutiere mit der Community über die Eignung einer jeden Ebene für den Import. Einige Daten können ohne große Probleme importiert werden, während andere sich als weitaus komplizierter herausstellen (z.B. Straßenachsen). Außerdem werden einige Daten häufig akzeptiert und über andere gibt es selten Konsenz (z.B. Grundstücksgrenzen).
- Komplexere und im großen Stil vorgenommene Importe sollten mit der Hilfe von technisch versierten und erfahreneren OpenStreetMap-Helfern geprüft werden.
- Es ist nicht erlaubt, Importe ohne den lokalen Zuspruch durchzuführen.
Schritt 3 - Lizenz absichern
- Stelle unbedingt sicher, dass du die geeignete Lizenz zugesichert bekommst. Falls die Lizenz der Daten nicht mit der OpenStreetMap Open Database License kompatibel ist, darfst du sie auch nicht verwenden. In vielen deutschen Verwaltungsstellen werden derzeit recht fortschrittliche Versuche unternommen, Vermessungsdaten freizugeben. Einige Datenquellen sind fast frei: beispielsweise wird dann eine kommerzielle Nutzung unterbunden oder eine unbedingte Nennung der Quellen in allen OSM Bereichen gefordert. Manchmal jedoch ist es auch erfreulich einfach, seine lokale Verwaltung zur Freigabe ihrer Daten zu überzeugen, wenn man die Bedingungen der Open Database License erklärt. In diesen emails findest du anregende Beispiele. Auch kann die ODbL-Kompatibilitäts-Tabelle zur schnellen Klärung ob der (In-)Kompatibilität herangezogen werden.
Schritt 4 - Dokumentation
- Es ist erforderlich dein Import-Projekt und die zugeteilten Berechtigungen in diese Tabelle eintragen.
- Es ist erforderlich einen Plan für den Import im OpenStreetMap-Wiki zu dokumentieren. Erstelle eine Wiki-Seite dazu. Viele lokale OSM Gruppen in deutschen Städten haben eine eigene Wiki-Seite und listen dort ihre Projekte auf. Dies wäre vielleicht ein guter Platz, um deine Aktion zu publizieren. Wie soll die technische Umsetzung passieren? Beschreibe, welches Datenformat vorliegt und wie es in OSM XML konvertiert wird. Das ist auch für andere hilfreich. Vielleicht muss die Arbeit unter mehreren aktiven OSM'lern aufgeteilt werden; weise Verantwortungsbereiche zu. Berührungspunkte (conflation), Umwandlung von tags bzw. fremden Attributen, Vereinfachung von Daten, Umfang von Changesets, Qualitätssicherung (DE:quality assurance) sind je nach Größe des Import-Projekts weitere wichtige Stichpunkte. Beispiele finden sich hier.
- Falls eine explizite Nennung erforderlich sein sollte, musst du ihn in Contributors eintragen.
Schritt 5 - Import prüfen
- Du musst die Import Mailingliste abonnieren und eine Zusammenfassung an imports@openstreetmap.org senden. Lade keine Daten hoch, solange das Projekt nicht begutachtet wurde. Beachte, dass lokale Import-Listen nicht als autoritativ betrachtet werden und entsprechend keine Alternative zur Zustimmung von imports@openstreetmap.org darstellen.
- Wenn möglich, solltest du die Daten vorbereiten und für eine Prüfung zur Verfügung stellen.
Schritt 6 - Hochladen
- Befolge deinen Plan.
- Dokumentiere deinen Fortschritt.
- Halte die Community über die Ereignisse auf dem Laufenden.
- Gib bekannt, wenn dein Projekt beendet ist.
- Es ist erforderlich, einen für dieses Projekt vorgesehenen Account zu nutzen.
Grundüberlegungen
Besprich dich mit der Community
Es ist wichtig und vorteilhaft, deinen Vorschlag eines Imports in jedem Schritt mit der Community abzustimmen. Zunächst trägst du dein Vorhaben in Potential Datasources ein. Dort beschreibst du deinen bisherigen Kenntnisstand zur Lizenz und die Genauigkeit und Aktualität der Daten im Vergleich zu den vorhandenen Daten. Falls nötig, verlinke eine neue Seite für diese Daten.
Besprich deinen Import auf der imports@openstreetmap.org Mailingliste und der lokalen Community. Viele regionale OpenStreetMap-Gruppen haben eine eigene Wiki Seite und/oder eine Mailingliste. Koordiniere dich mit anderen, die ähnliche Vorhaben planen.
Auch wenn ein ein identischer oder ähnlicher Import bereits besprochen wurde, solltest du dein Vorhaben mit der Community absprechen. Auf diese Weise kann sich jeder informieren und auf Probleme hinweisen, bevor ein Schaden entsteht. Das ist besonders wichtig, wenn die Daten bereits seit langem zur Verfügung stehen, aber noch nicht importiert wurden – dies ist kein Hinweis daraus, dass es akzeptabel wäre, ohne Absprache mit der Community fortzufahren.
Beginne deine Arbeit immer mit der Frage nach den Lizenzbestimmungen und der Genauigkeit der Daten. Wenn der Konsens lautet, dass die Daten nicht unsere Kriterien gerecht werden, lasse dich nicht entmutigen. Markiere die Daten auf der Potential Datasources Seite als abgelehnt und beschreibe den Grund. Diese Entscheidung zu dokumentieren ist auch ein hilfreicher Beitrag. Falls der Vorschlag akzeptiert wird, fahre mit der besprich die konkrete Umsetzung von Import-Skripten etc.
Importe, die im Zuge von humanitären Problemen, Katastrophenhilfe oder Entwicklung stattfinden, sollten mit dem HOT (idealerweise über die HOT Mailingliste) beraten werden.
Beschreibe deinen Import im Wiki
Den Fortschritt deines Imports solltest du unbedingt im Wiki dokumentieren. Das hilft nicht nur anderen Usern sondern auch dir selbst. Du wirst dir auf Dauer nicht alle Details, die zum Erfolg geführt haben, merken können. Kopiere Skripte, Dateinamen, Screenshots, alles was jemand braucht, um das nachzuvollziehen, ins Wiki. Erstelle einen eigenen Eintrag in Import/Catalogue und verlinke von dort auf deine eigene Wiki Seite. Falls du eine lokale OSM Gruppe in deiner Gegend hast, verlinke auch von dort auf deine Wiki Seite. Diese sollte folgende Punkte beinhalten:
- Datenquelle - Lizenz und Genauigkeit, Aktualität (wie schon in Potential Datasources eingetragen)
- Software die Du benutzt (Name/Autor/Website) oder selbst geschrieben hast (teile deinen Quelltext!)
- Wie werden die Daten konvertiert? Je nach Quelle gibt es ein anderes Tagging Schema ein anderes Koordinatensystem.
- Wie werden/sollen die extrahierten Daten aussehen? Welche tags werden generiert? Können beispielsweise redunante Punkte auf geraden Linien vereinfacht werden?
- Liefere Beispieldaten. Fertige einen Screenshot von Vorher- Nachher Bildern aus deinem Lieblingseditor an.
- Beschreibe den User-Account, unter dem der Import durchgeführt wird. Das sollte nicht dein eigener sein, ihr könnt ihn euch auch teilen. Beim Hochladen auf ein einheitliches Tagging-Schema und commit-Kommentare achten.
- Und mit dem Verlauf des Hochladens auf den Server: Links auf die betroffenen Stellen; auch hier sind Vorher- Nachher Bilder schön.
- Die Sprache in OSM ist Englisch. Beschreibe deshalb dein Vorhaben auf den internationalen Seiten auch in Englisch oder zweisprachig. Je nach Region des Imports kannst du aber natürlich auf deiner lokalen Wiki Seite auch detailierte Beschreibungen in Deutsch verfassen. Eine kurze Zusammenfassung am Anfang in Englisch hilft anderssprachigen Nutzern, mit dir in Kontakt zu treten und stört die deutschsprachigen Leser nicht weiter.
Versichere dich der Lizenzvereinbarungen
OSM lebt von 'freien' Daten. OSM muss seine Daten unter der OpenStreetMap-Lizenz zur Verfügung stellen. Selbstverständlich dürfen wir 'Public Domain' Daten verwenden; davon gibt es zwar ein paar, jedoch: alles weitere wird ein wenig kompliziert.
OpenStreetMap hat sich im September 2012 der Open Database License verschrieben. Demzufolge muss deine Datenquelle kompatibel dazu sein. Des weiteren musst du mit deinem Import den (Teilnehmerveinbarungen - contributor terms) zustimmen. Dies schließt die Möglichkeit ein, dass auf Wunsch der OSM community diese Daten unter anderen freien und offenen Lizenz neu lizenziert werden.
Als Importer hast Du kein Recht darauf, zusätzliches Copyright auf die Daten zu erheben. Wenn du beispielsweise Public Domain daten importierst, darfst Du die Nutzung der Daten nicht weiter beschneiden. Weiterhin darfst du keine Freigabebestimmungen des ursprünglichen Autors entfernen oder diese verbieten.
Bitte achte auch auf die Bedingungen der Quellennennung (attribution). OSM kann ein paar Angebote dazu machen: Eine Erwähnung auf der Webseite (nicht auf der Hauptseite, sondern auf der Contributors Seite im Wiki), oder auf www.openstreetmap.org/copyright für großflächige Datenzuwendungen. Weiter besteht die Möglichkeit, auf dem zum Import benutzten User-Account weiterführende Informationen zu verlinken. Dies hat einen großen Vorteil: Der ursprüngliche Autor eines OSM-Objektes bleibt für immer erhalten. Anders verhält es sich bei Attributen wie 'source=', die durch nachfolgende Edits entfernt werden können und unter Umständen auch die Größe der Datenbank unnötig wachsen lassen. Auch eine entsprechende Nennung der Quelle als Kommentar des changesets ist angebracht. Unter keinen Umständen möglich ist jedoch die Quellen-Nennung auf Ebene des Rendering, sprich alle Karten, die als slippy map eingebettet sind (oder vergleichbare Produkte aus OSM) können selbstverständlich nicht die Liste aller Datenquellen beinhalten. Sollte dies ein lizenzrechtliches Problem mit dem Autor sein, dürfen diese Daten eben leider nicht verwendet werden.
Ein weiteres Beispiel von Daten, die scheinbar frei (im Sinne von OSM), jedoch in der Quelle als unsicher einzustufen sind: In Wikipedia finden sich etliche Geodaten unter der 'Creative Commons' Lizenz. Jedoch hat sich bei OSM die Meinung etabliert, dass viele dieser Daten einfach von Google Maps kopiert wurden. Genau lässt sich das im Detail natürlich nie sagen. Sicherer ist es in diesen Fällen, sich nicht auf die Authentizität der Quelle zu verlassen. 'Better safe than sorry' - das lässt sich aus dem englischen Original nicht besser übersetzen.
Verwende einen eigenen User-Account
Erstelle für den Import einen eigenen User-Account. Verwende unter keinen Umständen deinen eigenen Account. Das hat folgende Gründe: Der neue User Account mag beispielsweise andere Weitergaberechte haben als du persönlich (vgl. Odbl Akzeptanz). Auf der 'Homepage' des generierten Accounts können Informationen hinterlegt werden, die nur den Import betreffen. Dein eigener Account liefert weiterhin die persönlichen Daten. Beides kann man verlinken. Ihr könnt euch einen Import-Account teilen, oder bei mehreren Mitarbeitern verteilte Accounts nach einem Namens-Schema erstellen, z.B. 'hansdampf_lummerland_import' und 'ericheifrig_lummerland_import'. Der Ersteller eines OSM Objektes bleibt an selbigem sein Leben lang haften, anders als das 'source=' Tag. Durch massenhafte Verwendung von 'source=' Tags wird unnötig die Kapazität der Datenbank beansprucht.
Du solltest diese Vereinbarung unbedingt einhalten. Im schlimmsten Fall kann dein eigener User-Account zeitweilig durch die DWG blockiert werden. Hast du aus Versehen beim Import einen kapitalen Fehler begangen, kann das Changeset des Import-Users rückgängig gemacht werden, während du weiterhin privat Waldwege vor der Haustüre mappen kannst. Die Trennung des User-Accounts entbindet dich also gewissermaßen einer gewissen Verantwortung, die sonst kapitale Konsequenzen hätte ;)
Definiere eigene tag Präfixe
Möglicherweise bietet deine Datenquelle weitere Informationen an, die nicht in das bisher etablierte OSM Tagging Schema passen. Möglicherweise gibt es ein 'Id' Feld, mittels dem man von OSM wieder zurück auf die Original-Daten kommen kann. Der TIGER Import in den USA beispielsweise nutzt dafür ein 'tiger:' Präfix und die originale Id eines Objekts wird mit 'tiger:tlid=0815' versehen.
Überlade den Import nicht mit Meta-Daten, die zwar vorliegen, aber für OSM nicht notwendig oder unbrauchbar sind. Je nach Anwendung erzeugen viele unterschiedliche Tags einen erheblichen Mehraufwand der verarbeitenden Datenbanken. Im Zweifelsfall möchtest du dich auch gerne an die hilfsbereite community wenden, um Grenzfälle auszudiskutieren.
Keine gestapelten Objektdaten
Anders als traditionelle GIS (Geografische Informations-Systeme) kennt OSM keine 'Layer' (Ebenen). Daten, die (geographisch) über anderen Daten liegen, sorgen nur für Chaos. Klassisches Beispiel: zwei Knoten, die an exakt der gleichen Stelle liegen. Unerfahrene Benutzer bekommen graue Haare, wenn sie vor solch einem Konstrukt stehen. Die Karte Duplicate nodes map zeigt solche Fälle, wie sie auch der TIGER Import in den USA produziert hat. Jedoch existieren auch aus jüngeren Importen vergleichbare Probleme.
Andere Quellen beherrschen keine Polygone mit Löchern, so wie sie in OSM oft bei Häuserblocks mit Innenhof verwendet werden (Multipolygon Relationen). Stattdessen werden zwei 'building' Elemente übereinandergelegt. Auch hier ist entweder Handarbeit verlangt oder ein cleveres Postprocessing, das solche Fälle erkennt und optimalerweise selber lösen kann.
Wenn deine Daten in einem traditionellen GIS Format vorliegen, das mehrere Layer beinhaltet, sollte eine andere Herangehensweise gewählt werden. Beispielsweise das Zusammenfügen mehrerer Layer zu einem, wobei dann die Tags entsprechend ihrer Gewichtung aufgesammelt werden müssen. Oder aber du setzt einen WMS-Server auf, von dem dann mehrere Benutzer die Daten manuell übertragen, so wie es in Kanada gemacht wurde: Natural Resources Canada -Toporama.
Vereinfachung
Oft beinhalten deine Datenquellen zu viele Informationen: Zu viele Punkte um eine Kurve darzustellen oder mehr als zwei Knoten, um eine gerade Linie darzustellen. Bei großen Flächen wie 'shape=landuse' kann man das oft beobachten. Alle paar Meter sind Knotenpunkte entlang einer praktisch geraden Linie, die jedoch immer um vielleicht einen Meter hin- und her springen. Sei es, weil das GPS zur Aufzeichnung zu ungenau, oder aber auch zu genau war. Das erzeugt bei Rendering unschöne Zacken und ist generell nicht von inhaltlicher Sinnhaftigkeit geprägt. Es gibt Werkzeuge wie z.B. Map Shaper die helfen, zu detaillierte Flächenbeschreibungen zu vereinfachen. JOSM bietet ebenfalls zur manuellen Nachbearbeitung eine Menge Werkzeuge, die sich auch auf größere Flächen anwenden lassen. Denke immer daran, wie sich deine importierten Daten dem nächsten OSM Bearbeiter zeigen werden.
Respektiere die Server Resourcen
OSM ist nicht Google. Stelle sicher, dass dein Import den Server nicht zu sehr belastet. Er dient auch anderen OSM Kollegen. Der TIGER Import aus den USA beispielsweise wurde über mehrere Monate verteilt, um den zentralen Server nicht ausser Gefecht zu setzen. Importiere große Datenmengen in kleinen Stücken oder baue Pausen in dein Import-Skript ein. Bei Fragen wendest du dich an die System Administratoren.
Mach nix kaputt!
Das muss eigentlich nicht explizit gesagt werden. Wie schon eingangs beschrieben, stammt der Großteil der OSM Daten von manuell eingepflegten Daten. Von Leuten, die mit dem GPS herumlaufen oder fahren, und anschließend die Daten in Potlatch oder JOSM editieren. Wenn Du großflächig Daten importierst an Stellen, die schon andere Leute editiert haben, brauchst du nicht davon ausgehen, dass diese Leute deinen eventuellen Mist wieder richten. Im Vergleich zwischen Potlatch und JOSM bietet JOSM noch ein paar Hilfestellungen, die unbeabsichtigte Falschimporte erkennen können, jedoch darf man sich nicht darauf verlassen. Sollte sich dein Import mit existieren OSM Daten überschneiden, ist extreme Vorsicht geboten. Leicht werden andere OSM'ler dadurch gekränkt und das ist nicht, was wir wollen.
Ein Import, sei er auch von einer 'vertrauenswürdigen' Quelle wie einem Vermessungsamt, ist nicht der Weisheit letzter Schluß. Viele OSM Daten sind mit extremer Hingabe zu Detail und Genauigkeit erfasst worden oder aus einem jüngeren Zeitraum. Deshalb: respektiere existierende OSM Daten und entscheide im Zweifelsfall bei einzelnen Objekten von Hand, ob der Import tatsächlich eine Verbesserung bringt. Letztlich übernimmst du mit diesem Schritt die Verantwortung der ersetzten Objekte.
Falls dein Import schief gegangen ist:
Du hast aus Versehen eine ganze detaillierte Siedlung ausradiert und mit Klötzchengrafik ersetzt: Keine Panik, das kann dir nicht passieren, denn du hast ja die ganze Anleitung durchgelesen, oder?
Falls nicht: revert ist das Stichwort. Melde dich so rasch wie möglich bei Imports, Talk oder deiner lokalen Gruppe (talk-de beispielsweise). Hier wirst du geholfen, aber nicht zu oft.
Bilde eine community
OpenStreetMap lebt davon, eine Weltkarte zu erstellen, die durch zahllose ehrenamtliche Helfer - größtenteils in ihrem Heimatgebiet - erschaffen wird. Datenimporte können zwar einen schlagartigen Zuwachs an relevanten Daten generieren, jedoch behindern sie auch die Bildung der communities, wie Simulationen gezeigt haben. Die community, die Gemeinschaft, lebt vom gemeinsammen Schaffen, vom sich Treffen und reden, dem Kontakt mit der Materie (=der Fußweg vor der Haustüre). Importierte Objekte unterliegen keinem 'Besitzverhältnis' mehr. Niemand kann mehr behaupten, 'das ist MEIN Weg' und niemand kümmert sich um dessen Pflege oder Aktualisierung. Wenn Du Mapper in deiner Gegend kennst, kann ein Import aber auch ein spannendes gemeinsames Projekt werden, bei dem jeder einen Beitrag aus einem Fachgebiet beitragen kann.
Siehe auch
Seiten zum Thema Import:
Mailinglisten - unbedingt abonnieren! Geringe Frequenz, nette Leute:
- Mailingliste 'Imports'
- Mailingliste 'Talk-de'
- Mailingliste 'Bayern' (beispielhaft, wähle deine Liste aus der Übersicht unten aus!)
Übersicht weiterer Listen: