WikiProject France/Cadastre/Import semi-automatique des bâtiments

From OpenStreetMap Wiki
Jump to: navigation, search

Avertissement

Ambox warning pn.svg

ATTENTION !! L'import du cadastre n'est pas une procédure anodine. Mal réalisée, elle peut générer des milliers d'erreurs. Ce n'est pas non plus une procédure rapide, il peut être nécessaire de passer plusieurs heures à corriger les chevauchements avant d'envoyer le tout dans la base de donnée.

Si un des mots relation, validateur, JOSM, osmose, riverbank, multipolygon ou revert ne vous évoque rien, ça veut très certainement dire que vous feriez mieux de continuer à progresser dans la maîtrise d'OSM avant de vous y mettre.

Voir FR:Import/Guidelines et FR:Automated Edits/Code of Conduct pour plus d'informations.

Présentation

Le site du cadastre permet d'exporter une zone au format pdf. En réalisant cet export sur une zone suffisamment grande, on obtient la carte entière des bâtiments d'une ville dans un format vectoriel.

Le script dont il est question sur cette page va utiliser cet export au format pdf pour le convertir en un fichier .osm contenant tous les bâtiments. Il est ainsi possible d'importer tout le bâti d'une ville d'un coup, avec seulement des corrections à faire plutôt que le traçage complet.

Ces erreurs de chevauchement ne sont pas toujours faciles à corriger lorsqu'on n'y est pas habitué. Un test simple est d'aller sur une zone comportant des erreurs signalées par osmose [1] et de tenter de les corriger. Vous serez prêt à commencer une intégration du cadastre lorsque cela ne vous posera aucun problème.

Outre cette méthode d'import semi-automatique, il existe une réflexion non aboutie sur un import beaucoup plus global et homogène 100 % automatique : WikiProject France/Cadastre/Import automatique des bâtiments.

Télécharger les fichiers OSM

Le script peut être lancé en ligne depuis le site http://cadastre.openstreetmap.fr qui est une interface de génération de fichiers .osm à partir du cadastre.

Le résultat est disponible dans les dossiers des départements sur http://cadastre.openstreetmap.fr/data/ (ou en cliquant sur Accès aux données en haut à droite de l'interface de génération).

Outre les bâtiments, il est généré un fichier .osm pour les contours administratifs, les surfaces d'eau, les cimetières et les voies ferrées.

Il est possible de voir la liste des communes pouvant être importées ici

Le code source des logiciels (IHM Web, Qadastre2OSM, bati-fusion, ...) du site cadastre.openstreetmap.fr sont sur https://github.com/osm-fr/export-cadastre.

Traitements des bâtiments avec JOSM avant envoi vers serveur OSM

Vérification de la validité du fichier généré

Pour cette étape il est nécessaire d'utiliser JOSM.

  1. Avec le plug-in Cadastre charger un extrait du cadastre sur la zone pour contrôler qu'il n'y a pas de décalage
  2. Afficher le calque Bing afin de vérifier l'éventuel décalage entre le cadastre et l'image projetée
  3. En cas de décalage, combiner les informations du Cadastre, de Bing, des repères géodésiques (qui eux sont une référence) et des éventuelles traces Gps pour retrouver qui est le plus proche de la réalité, et corriger en fonction.

Vérification des erreurs

  1. Grace à l'outil de validation, corriger :
    1. les erreurs : ways et noeuds en double
    2. les avertissements : superpositions de bâtiments, points isolés...
  2. Simplifier les lignes contenant trop de points. Une valeur entre 0.03 et 0.08 est conseillée (la plus haute simplifiera plus) :
    1. Ajuster le coefficient de simplification dans les préférences avancées (dernier onglet des préférences) en ajustant la propriété "simplify-way.max-error" (Attention à utiliser un point comme séparateur décimal). Si la propriété n'est pas présente, exécuter une première fois l'outil de simplification, cela la créera.
    2. Sélectionner les chemins à simplifier (Ctrl+A pour tout sélectionner), et utiliser l'action "Outils->Simplifier le chemin" (raccourci clavier Maj+Y).
  3. Fusionner les parties de bâtiments fractionnés. Sur certaines communes, ces bâtiments fractionnés sont nombreux. Il n'y a pas d'outil pour les repérer, sinon le flair. Recherche avec josm:
    1. "nodes:3 building" ou "nodes:3 building -wall" permet de trouver des triangles et souvent des fractionnements.
    2. "nodes:100-" permet de trouver les ways formés de plus de 100 nodes. Souvent morcelés ou de type reconnaissable (building=church par exemple)

Incorporer les données existantes

  1. Télécharger dans un nouveau calque (option à cocher) les données d'OSM de la zone
  2. S'il y a déjà des bâtiments dans OSM (rechercher avec le motif "building=*"), vérifier s'il faut les remplacer, modifier ou non (cette phase n'est pas automatisée, il faut regarder un à un les bâtiments déjà dans OSM.
    • Importer toute une commune ne vous donne pas le droit d'effacer le travail déjà réalisé sur des bâtiments par d'autres contributeurs !
      • Si l'existant est de qualité équivalente à ce qui est importé (la superposition des calques permet de le voir facilement) il est préférable de garder l'existant par respect de ceux qui vous ont précédé.
      • Sinon vous pouvez utiliser la fonction "copier" sur les données déjà dans OSM et "coller les attributs" dans votre nouveau calque d'import. Plus il y en a et plus c'est long : une commune où rien n'a encore été fait sera d'autant plus facile)
    • La fonction filtre peut se révéler très utile dans cet étape : activer l'outil de filtrage (entonnoir dans la barre d'outils à gauche) et ajouter un filtre sur "building=*", inverser le filtre et activer le à l'aide des cases à cocher.
  3. Ajouter les attributs d'adresses, amenity, etc.
    • Sur une zone peu mappée, on peut découvrir facilement une église grâce aux repères géodésiques (rechercher avec le motif "man_made=*") et à la forme du bâti

Envoi au serveur

Méthode 1

  1. Au moment de l'envoi des données, il faut spécifier dans l'onglet "Avancé" d'envoyer en plusieurs parties, par morceau de 500 ou 1000 pour faciliter l'envoi (cela permet d'éviter des erreurs de transferts qui produisent des doublons).
  2. Envoyer d'abord les modifications sur le calque des données de la base OSM (principalement bâtiments supprimés)
  3. Envoyer ensuite le calque des données importées
  4. Enfin, récupérer les nouvelles données de la base OSM pour les derniers raccords (relations à mettre à jour par exemple)

Méthode 2

  1. Fusionner les deux calques
  2. Avec l'outil de validation, on vérifie les collisions éventuelles issues de la fusion (bâtiment-bâtiment, bâtiment-route, bâtiment-rivière, etc.)
  3. Envoyer par morceaux de 500 ou 1000

Vérification post-upload

Télécharger de nouveau toute la zone dans laquelle on a incorporé les batiments

Si la zone est grande ou très dense, utiliser l' api.openstreetmap.fr à la place de l'api osm.org

Contrôle d'assurance qualité

Attention !! Ces outils afficheront les erreurs seulement après leur nouveau passage sur la zone, ce qui peut prendre plusieurs jours. Pensez à recontrôler vos imports 3 ou 4 jours après.

  1. Contrôler avec les outils classiques de contrôle qualité
    1. DupeNodes [2] pour les nodes orphelins
    2. Osmose [3]) qu'il n'y a pas de doublons sur la zone traitée ou d'erreurs manifestes
    3. Pour les chevauchements, on pourra également utiliser le module dédié d'Osmose [4]

Demande du DWG d'utiliser un compte spécial pour le transfert dans OSM

Depuis août 2012, le DWG (Data Working Group) envoie régulièrement des messages à ceux qui importent le bâti cadastral dans la base de données pour leur demander (en anglais) d'utiliser un compte séparé pour les imports. Ces messages sont envoyés suite à une détection des gros changesets. Le DWG fait référence au guide des imports qui a décidé fin 2011 (d'une manière peu transparente) que cette façon de faire devenait obligatoire (alors qu'auparavant, elle était juste 'recommandée').

La communauté osm-fr juge dans son ensemble que cette exigence est superflue dans le cadre de l'import du bâti cadastral tel qu'il est organisé en France : décentralisé (tout le monde participe), limité en surface (commune), limité en types d'éléments concernés (building), limité en nombres d'éléments concernés (quelques milliers) et semi-automatique (intégration et vérification manuelles). De plus, celui-ci se fait toujours depuis JOSM et la création et le changement continuel de nom d'utilisateur n'est pas anodin (chaque nouveau compte OSM nécessite un nouveau courriel). Cette exigence a été longuement discutée sur la liste de diffusion principale d'OSM avec l'ensemble de la communauté OSM, des membres de la fondation et du DWG (ici et ). La conclusion en serait que le DWG serait prêt à déléguer cette tâche de surveillance des imports pour la France à un membre de la communauté française (à définir).

Ceux qui veulent suivre cette recommandation du compte séparé peuvent bien-sûr le faire s'ils le souhaitent. Les autres sont invités à répondre à l'auteur du message d'alerte qu'ils jugent cette exigence inutile avec, par exemple, le message type suivant (en attendant la résolution du conflit avec le DWG) soit en français, soit en anglais (ou les deux):

I thank the DWG for the great work you are doing to solve conflicts, vandalism and copyright infringements worldwide. But I'm strictly following the import guidelines defined by the French community and documented here on the wiki ([1]).
I've contacted the local community to verify that the rules didn't change recently. Since building strong local communities is always a high priority for the OSMF, I chose the rules defined and approved locally by the whole French community where a separate account is not required to watch, identify and fix French cadastre import issues, something that the local community is able to manage itself. As Frederik Ramm said ([2]), the rule has been defined only if the DWG has to "clean-up the mess" which is not the case here.
That's why I decline your offer to create a seperate account and invite you to discuss it again on the talk-fr@openstreetmap.org or talk@openstreetmap.org list.
Best regards,
"votre pseudo OSM"

[1] http://wiki.openstreetmap.org/wiki/WikiProject_France/Cadastre/Import_semi-automatique_des_b%C3%A2timents
[2] http://lists.openstreetmap.org/pipermail/talk/2012-September/064412.html

Je remercie le DWG pour le travail fantastique qu'il fournit pour résoudre les conflits, actes de vandalismes et violations du droit d'auteur pour l'ensemble du monde. Mais je respecte scrupuleusement les instructions pour l'import du bâti cadastral défini par la communauté française et documenté sur le wiki à cette adresse ([1]).
J'ai contacté la communauté locale pour vérifier que les règles n'ont pas changé récemment. Comme la mise en place de communautés locales fortes a toujours été une priorité pour l'OSMF, je choisi de suivre les règles définies et approuvées localement par la communauté française dans son ensemble qui a décidé que l'utilisation d'un compte séparé n'était pas nécessaire pour surveiller, détecter et corriger les possibles problèmes liés à l'import cadastral français, choses que la communauté prend en charge elle-même. Comme l'a dit Frederik Ramm ([2]), cette règle a été définie au départ pour que le DWG puisse nettoyer les imports mal réalisés ce qui n'est pas le cas ici.
C'est pourquoi je décline votre offre de créer un compte séparé et vous invite à en discuter à nouveau sur la liste de diffusion talk-fr@openstreetmap.org ou talk@openstreetmap.org.
Meilleures salutations,
"votre pseudo OSM"

[1] http://wiki.openstreetmap.org/wiki/WikiProject_France/Cadastre/Import_semi-automatique_des_b%C3%A2timents
[2] http://lists.openstreetmap.org/pipermail/talk/2012-September/064412.html

Traitements des cours d'eau avec JOSM avant envoi vers serveur OSM

Cette génération a été coupée jusqu'a nouvel ordre suite à un nombre trop important d'imports bâclés, une solution alternative est toujours en débat pour soit limiter l'accès à des contributeurs expérimentés ou utiliser une meilleure source de donnée

Attention, les données contenues dans ces fichiers (lié aux données au départ) sont à analyser manuellement avec une extrêmement attention car de nombreux problème tant techniques de que véracité sur le terrain ont été remarqué dans la plupart d'entre eux. (Des coupures aux ponts, aux frontières de communes, des ruisseaux qui n'en sont pas, etc.) La plus grande prudence, une confrontation avec d'autres sources et une connaissance du terrain sont vivement recommandées pour éviter d'importer dans OSM des données farfelues.

Le script en version 0.1 et 0.2 génère un fichier communal des cours d'eau nommé [n°INSEE]-[Commune]-water.osm. Lorsqu'il s'agit d'un réseau hydrographique maillé - typiquement un ensemble de canaux - ce fichier comporte de nombreux objets dupliqués (chemins et relations).

Pour corriger ces anomalies :

  1. Charger les données générées par le script (.osm) dans un calque vide (ne pas charger de données depuis le serveur au préalable).
  2. Enregistrer le fichier, puis le fermer. Recharger le fichier osm dans un calque vide. Un certain nombre d'erreurs détectées dans la Validation auront disparu.
  3. Supprimer toutes les relations
  4. Exécuter une validation
  5. Dans la liste des erreurs, sélectionner "erreur" puis "chemins dupliqués" et exécuter "Réparer".
  6. Dans la liste des erreurs de validation, sélectionner "avertissements" puis "Chemins superposés".
    1. Pour chaque chemin de la liste, cliquer sur le chemin et observer les chemins présentés dans la boite "Sélection".
    2. Si deux chemins apparaissent en "voie fluviale" avec le même nombre de nœuds, en sélectionner un, cliquer sur "sélectionner" et le supprimer (touche Suppr du clavier).
  7. Sélectionner successivement les chemins fermés englobant un ou plusieurs autres chemins fermés et créer une relation de type "multipolygon" constituée d'un membre "outer" et de membres "inner".
  8. Scinder les chemins fermés de plus de 2000 nœuds : JOSM empêche l'envoi vers le serveur tant qu'un chemin dépasse cette limite.
  9. Ouvrir un nouveau calque et y télécharger la carte OSM
  10. Repérer les cours d'eau présents sur la carte. Si un cours d'eau figure également sur la couche du script, supprimer celui de la carte.
  11. Envoyer les modifications effectuées sur la carte vers le serveur
  12. Envoyer la couche du script vers le serveur OSM en plusieurs parties. Il faut le spécifier dans l'onglet "Avancé" en mettant une taille de 500 ou 1000. Cela permet d'éviter des erreurs de transfert qui produisent des doublons.

Quelques remarques :

  • Certains fichiers OSM générés par les scripts sont volumineux et ralentissent considérablement les opérations dans JOSM. Il est alors préférable de constituer plusieurs fichiers, chacun portant sur une partie de la zone couverte. On obtient un tel fichier en partant du fichier complet chargé dans JOSM et en supprimant les objets en dehors de la zone visée. C'est aussi valable pour les fichiers de bâti.
  • Le tag waterway=riverbank manque parfois sur le chemin extérieur d'un polygone. Il faut alors l'ajouter.
  • Le tag waterway=riverbank figure parfois sur un chemin intérieur d'un polygone. Il faut le supprimer.
  • Le polygone importé du cadastre avec tag waterway=riverbank doit obligatoirement être accompagné d'une entité way (dans le sens d'écoulement du cours d'eau) avec le tag waterway=river et le nom éventuellement connu du cours d'eau. Il faudra en général le tracer, car il est inexistant dans le cadastre.
  • Il peut être intéressant d'appliquer une opération "simplifier le chemin" pour certains cours d'eau très détaillés.
  • La densité élevée de points sur le tracé des cours d'eau laisserait présager une grande précision en position géographique. Il n'en est rien : les cours d'eau en limite de communes se chevauchent souvent.
  • Certains contributeurs s'interrogent sur l'opportunité d'importer les cours d'eau du cadastre en raison du volume de données généré sur la carte OSM. C'est préjuger de l'usage qui peut en être fait. Un randonneur perdu au milieu du marais breton évitera de se mouiller à l'aide de la carte OSM sur son géonavigateur ("GPS").
  • Les objets et règles d'usage des cours d'eau

Coordination

Le tableau suivant liste les pages de coordination des efforts par département

Département Page de suivi
01
02
03 Allier
04 Alpes-de-Haute-Provence
05 Hautes-Alpes
06 Alpes-Maritimes
07 Ardèche
08
09 Ariège
10 Aube
11 Aude
12 Aveyron
13 Bouches-du-Rhône
14 Calvados
15 Cantal
16 Charente
17 Charente-Maritime
18 Cher
19 Corrèze
2A Corse-du-Sud
2B
21 Côte-d'Or
22 Côtes-d'Armor
23 Creuse
24 Dordogne
25 Communes du Doubs
26 Drôme
27
28 Eure-et-Loir
29 Finistère
30 Gard
31 Haute-Garonne
32 Gers
33 Gironde
34 Hérault
35 Ille-et-Vilaine
36 Indre
37 Indre-et-Loire
38 Isère
39 Communes du Jura
40 Landes
41 Loir-et-Cher
42 Loire
43 Haute-Loire
44 Loire-Atlantique
45 Loiret
46 Lot
47
48 Lozère
49 Maine-et-Loire
50 Manche
51 Marne
52 Haute-Marne
53 Mayenne
54
55
56 Morbihan
57
58
59 Nord
60
61 Orne
62 Pas-de-Calais
63 Puy-de-Dôme
64 Pyrénées-Atlantiques
65 Hautes-Pyrénées
66
67 Bas-Rhin
68 Haut-Rhin
69 Rhône
70 Communes de la Haute-Saône
71 Saône-et-Loire
72 Sarthe
73 Savoie
74 Haute-Savoie
75 Paris, Buildings progress
76 Seine-Maritime
77 Seine-et-Marne
78 Yvelines
79 Deux-Sèvres
80 Somme
81 Tarn
82 Tarn-et-Garonne
83 Var
84 Vaucluse
85 Vendée
86 Vienne
87 Haute-Vienne
88
89 Yonne
90
91 Essonne
92 Hauts-de-Seine
93 Seine-Saint-Denis
94 Val-de-Marne
95 Val-d'Oise
971 http://ratzillas.com/bati/971.tar.bz2 bâti+rivière+piscine
972 http://ratzillas.com/bati/972.tar.bz2 bâti+rivière+piscine
973 http://ratzillas.com/bati/973.tar.bz2 bâti+rivière+piscine (Cayenne / Matoury / Rémire-MontJoly)
974 http://ratzillas.com/bati/974.tar.bz2 MAJ bâti+rivière+piscine

Le modèle Template:Fr:Zone Status peut être utilisé dans les pages de référence. Exemple : France:Haut-Rhin