France/Limites administratives/Tracer les limites administratives/Import automatique code insee et code postal
Cette page décrit l'import automatique que j'ai (sletuffe 11:18, 16 October 2009 (UTC)) réalisé autour du 15->30 octobre 2009 concernant les communes de France.
Cet import a pour objectif de placer automatiquement le code INSEE et le code postal de chaque commune sur la relation qui la décrit.
Pour un peu plus de détail on pourra lire : ça [1] et ça [2]
La page du robot qui a fait le travail est ici User:Sletuffe/sly_bot
Tags utilisés au final
- ref:INSEE=* contient le code INSEE de la commune
- addr:postcode=* contient le code postal supposé de la commune (cette donnée est peu fiable dans les cas de communes à plusieurs codes postaux)
- source:addr:postcode=* Une explication d'où provient la source des codes postaux
- source:ref:INSEE=* Une explication d'où provient la source des codes INSEE
Dans les grandes lignes (4 phases)
Phase 1
OpenStreetMap dispose déjà en partie de cette information, celle-ci se situe sur les tags place=* qui représente la commune et contiennent code_INSEE=* et postal_code=*. La donnée est de bonne qualité car a été affinée au fur et à mesure par la communauté.
La phase consiste en une "simple" copie de cette information vers la relation qui représente la commune (si celle-ci contient déjà ref et/ou addr:postcode rien n'est fait).
- code_INSEE=* est copié vers ref=*
- postal_code=* est copié vers addr:postcode=*
Durant cette phase sont ajouté pour garder une trace de la source de la donnée :
- addr:postcode_source=source of postcode is from osm nodes
- ref_source=source of ref is from osm nodes
Il est recommandé, si vous modifiez le code postal ou la ref, de retirer (ou mettre à jour) ces tags.
Fin le : sletuffe 16:15, 16 October 2009 (UTC)
- Statistiques :
- 1 pas de modification car cette relation n'a pas de nom c'est anormal
- 75 pas de modification car cette relation avait déjà une ref et un code postal, donc rien a faire
- 975 communes ayant déjà une ref, on ne fait rien
- 7740 communes pas trouvées dans la base
- 10425 mise à jour de commune
- Bilan
- 10425/36606 = 28,4 % du nombre total de communes en France mises à jour
- 10425/16668 = 62,5 % du nombre total de communes dans OSM mises à jour
Phase 2
La phase 2 consiste à combler au mieux les trous avec une autre source libre de droit. J'ai choisi la source http://www.galichon.com/codesgeo/, qui, bien qu'assez médiocre, n'est pas un dérivé d'une source sous droit d'auteur interdisant cet import
Durant cette phase sont ajouté pour garder une trace de la source de la donnée :
Il est recommandé, si vous modifiez le code postal ou la ref, de retirer (ou mettre à jour) ces tags.
- lancement le sletuffe 21:37, 16 October 2009 (UTC)
- Fin le : sletuffe 23:48, 16 October 2009 (UTC)
- Statistiques :
- 439 pas de modification car cette relation avait déjà une ref et un code postal, donc rien a faire
- 1491 Commune ayant déjà une ref , on ne fait rien
- 3432 mise à jour de commune
- 12037 Communes pas trouvée dans la base
- bilan
- 3432/36606 = 9.3% du nombre total de communes en france mises à jour
- 3432/16668 = 20.5% du nombre total de communes dans osm mises à jour
Phase 2bis
J'ai découvert que certains utilisateurs avait utilisé le tag ref_INSEE directement dans la relation pour stocker le code INSEE ; j'en fais une copie vers ref pour éviter la copie à la main, et elle remplace la source galichon si présente et si créée par sly_bot
- Lancement le sletuffe 13:12, 19 October 2009 (UTC)
- Statistiques : 764 communes mises à jour
Phase 2ter
J'ai découvert que certains utilisateurs avait utilisé le tag code_INSEE directement dans la relation pour stocker le code INSEE ; j'en fais une copie vers ref pour éviter la copie à la main, et elle remplace la source galichon si présente et si créée par sly_bot
- Lancement le : sletuffe 13:18, 19 October 2009 (UTC)
- Statistiques : 437 communes mises à jour
Phase 3
Suite à un consensus sur la liste de diffusion, c'est le tag ref:INSEE=* qui a été retenu pour contenir le code INSEE, je relance mon robot pour convertir tous les tags ref=* des communes précédemment utilisés en ref:INSEE=*
Je convertis également les tags qui indiquaient la provenance de la source pour être compatible avec le format source:<nom du tag>=explication de la source
- Fini le : sletuffe 10:57, 30 October 2009 (UTC)
- Bilan : 16079 communes mises à jour.
- Approximativement 600 n'ont pu être mises à jour car elles n'avaient pas de tag ref, car elles n'étaient pas dans un département valide à l'heure du lancement. (Un nouveau lancement sera effectué ultérieurement sur les restes)
Phase 4
La phase 4.... c'est vous !
Cette phase consiste à affiner, combler les trous manuellement... si vous vous en sentez le courage et l'envie ;-)
Afin tout de même de rendre ça un peu plus facile, j'ai (sletuffe) développé un outil permettant de lister les communes d'un département qui :
- ne sont pas présentes dans OpenStreetMap
- n'ont pas de ref dans OpenStreetMap
(je ne peux distinguer les deux cas car je base l'analyse sur la présence du tag ref)
Liste d'état mise à jour chaque nuit
- À noter que l'outil Osmose dispose d'une détection de ce type d'erreur également.