Import/All the Places FR data

Introduction

Il s'agit d'une importation de données All the Places (ATP) en France sur des objets OSM existants. Les données de All the Places proviennent des sites internet respectifs des chaines de magasins.

La méthode de collecte d'informations de All The Places a reçu un feu vert conditionnel pour une utilisation dans OSM par le Licensing Working Group.

Pour l'instant, on ajoute uniquement des tags manquants dans OSM mais présents dans All The Places. Si cet import se déroule correctement, on pourra potentiellement envisager de mettre à jour des tags avec les données mises à jour dans All The Places.

L'importation est actuellement en discussion avec la communauté.

But

L'objectif est d'importer les sites internet, numéros de téléphone et horaires d'ouverture de magasins à partir de All The Places.

Seuls les magasins sans information sur ces tags seront modifiés, toute information existante sera préservée (même si les données OSM sont incorrectes ou obsolètes).

Données Importées

Licence

Site de la source de donnée: https://www.alltheplaces.xyz/
Licence: https://creativecommons.org/publicdomain/zero/1.0/
Type de Licence: Creative Commons’ CC0-1.0
Compatibilité avec la licence ODbL: oui, voir cette recommandation

Type d'Import

Le concept est d'exécuter une importation par chaine de magasin (tag brand:wikidata). Les jeux de modifications sont préparés au niveau de la France entière.

Afin de permettre une vérification accrue au début, l'import se fait de manière progressive en commençant par les plus petites chaines de magasins.

Toute non-correspondance est écartée (elle pourra être traitée séparément et manuellement).

Changements Spécifiques

• Seuls les objets OSM existants sont visés.
• Aucune valeur d'attribut n'est retirée, seul un ajout d'information est fait si non présente dans OSM.
• Seuls les attributs website, phone et opening_hours sont ajoutés (si les tags website/contact:website, phone/contact:phone et opening_hours sont vides)

Déroulement

Les données All The Places sont sous forme de fichier CSV. Afin de rapprocher ces données avec OSM le plus efficacement possible, elles sont importées dans PostgreSQL/PostGIS.

Conflation

Le rapprochement OSM/ATP se fait sur le tag brand:wikidata et dans un rayon spécifique grâce aux latitude/longitude (pour l'instant 500 mètres)

Filtrages des données :

• Tous les objets ATP sans site web défini sont ignorés (afin de pouvoir vérifier à postériori).
• Un seul objet ATP par objet OSM (le reste est ignoré).
• Seuls les objets OSM node/way sont traité pour l'instant.
• Les objets OSM amenity=‹gas›, ‹fuel› ou ‹atm› sont ignorés (également lorsqu'un point virgule est présent - par exemple tobacco;newspaper).

Attributs Importés

Tag ATP	Exemple de donnée ATP	Traitement	Tag OSM	Exemple de donnée OSM importée	Commentaires
ogc_fid	4410	ignoré
id	QZcgDYYF3UUGruagQcZ_lUPsDzo=	ignoré
ref	0519	ignoré
@spider	carrefour_fr	ignoré
shop	convenience	ignoré
addr:street_address	15 boulevard Du General Delfino	ignoré
addr:city	Nice	pour filtrage seulement			pour ne pas inclure Monaco
addr:postcode	06300	ignoré
addr:country	FR	pour filtrage seulement			seulement en France
name	Carrefour Nice Tnl	ignoré
phone	+33 4 92 17 74 79	importé	phone	+33 4 92 17 74 79
website	https://www.carrefour.fr/magasin/nice-tnl	importé	website	https://www.carrefour.fr/magasin/nice-tnl	vérifie si le site web existe
contact:facebook	NULL	ignoré
opening_hours	Mo-Sa 08:30-22:00; Su 08:30-12:30	importé	opening_hours	Mo-Sa 08:30-22:00; Su 08:30-12:30
brand	Carrefour	ignoré
brand:wikidata	Q217599	pour filtrage seulement			union des données ATP/OSM
nsi_id	carrefour-4d6b4b	ignoré
wkb_geometry	0101000020E6100000D4EFC2D66C251D400917F2086EDA4540	pour filtrage seulement			rapprochement des lat/lon

Préparation des Données

Toutes ces étapes sont faites automatiquement avec un script pour un brand:wikidata spécifique (gitlab/atp-import-fr) :

1. Téléchargement des objets OSM existants avec Overpass (format .osm)
2. Export de la conflation ATP/OSM (format .json)
3. Fusion des données avec ajout des attributs manquants au fichier d'Overpass (.osm au format JOSM avec des action=modify pour les objets à téléverser)

Téléversement

Ces opérations sont manuelles :

1. Ouverture du fichier .osm dans JOSM
2. Validation des données avec JOSM Validator (Attention: seuls les erreurs/warnings liés à l'import des données ATP sont traités)
3. Upload des changements

Attributs du groupe de modifications

Chaque groupe de modifications (changeset) sera uploadé depuis le compte OSM meryl_atpfr_bot avec les attributs suivants :

created_by	atp-import-fr
comment	Import website/phone/opening_hours manquants pour [brand name]
import	yes
source	alltheplaces.xyz
url	https://wiki.openstreetmap.org/wiki/Import/All_the_Places_FR_data

Avancement

• 2024-06-13: Page wiki créée et début de discussion sur le forum OSM-FR
• 2024-06-14: Script mis en ligne sur gitlab
• 2024-06-20: Création du compte OSM meryl_atpfr_bot

Suivi des changements

Afin de suivre l'état d'avancement et de pouvoir vérifier les modifications, le numéro de changeset sera complété avec sa date dans le tableau ci-dessous.

Pour chaque changement, le résultat du script ainsi que les différents fichiers générés sont ajouter sur le gitlab du projet (dossier /data) pour permettre une analyse a posteriori en cas d'erreur.

Chaque numéro de changeset renvoie vers OSMCha pour une vérification rapide et efficace.

Chaine	Date
	25/06/2024
Autour de Bébé
KPMG
Popeyes
Natalys

Étapes Suivantes

À déterminer