Friuli-Venezia Giulia/Import Farmacie FVG
Introduzione
Questa pagina descrive la procedura in corso per l'importazione del dataset farmacie (amenity=pharmacy) fornito in licenza ODBl dalla Regione Autonoma Friuli Venezia Giulia (RAFVG), Italia. Il dataset dovrà essere adattato per generare un file .osm compatibile con l'importazione in planet.osm. Non sarà un importa automatico, in quanto i dati sorgente saranno controllati da mappatori e sottoposto a pubblica revisione tramite mappa di audit. L'import sarà anche frutto del consenso raggiunto tramite discussione sulla mailing list regionale OSM.
Scopi
L'importazione mira ad ottenere un insieme di PDI aggiornati, aggiornabili e certificati sul territorio regionale RAFVG (OSM admin_level=4).
Calendario
L'importazione sarà eseguita dopo revisione effettuata su un file json preliminare condiviso, il cui avanzamento sarà tracciabile alla pagina di audit. Considerando le dimensioni del dataset sorgente, l'importazione richiederà 30-60 giorni.
Dati sorgente
Il dataset in formato csv è reperibile a questo link.
Considerazioni
Ad ottobre 2018 il dataset sorgente contieneva 44227 linee, alcune provviste di coordinate geografiche; tali coordinate sono dichiarate "reperite tramite "© OpenStreetMap contributors".
Metadata
Come definito nella pagina dati sorgente, nel momento della compilazione di questa pagina il dataset ha le seguenti caratteristiche:
- Frequenza di aggiornamento: Settimanale
- Data caricamento: 11 maggio 2012
- Data ultimo aggiornamento: 27 novembre 2018
- Data ultima modifica metadato: 11 maggio 2012
- Fonte: Ministero della Salute
- Pubblicato attraverso: http://www.dati.salute.gov.it/
- Unità organizzativa: Direzione generale della digitalizzazione, del sistema informativo sanitario e della statistica - Ufficio IV
Note legali
Come citato nella pagina dati sorgente, la Licenza è "Italian Open Data Licence v2.0", come definito dall'Agenzia per l'Italia Digitale
Formato record e piano di tagging
La truttura della tabella del dataset sarà adattata e filtrata via OpenRefine. I campi saranno mappati facendo riferimento alla pagina wiki amenity=pharmacy.
| Campo | Name | Description:it | Description:en | sample | tagged as |
|---|---|---|---|---|---|
| 1 | CODICEIDENTIFICATIVOFARMACIA | codice univoco farmacia | unique pharmacy code | 5478 | ref:mds |
| 2 | INDIRIZZO | osonimo, numero cvoco | streetname, housenumber | Piazza San Giovanni, 5 | used for geocoding |
| 3 | DESCRIZIONEFARMACIA | nome e gestore/i | name and operator(s) | DEL CONSERVATORIO SNC DEI DR.I VECCO G. | name, operator |
| 4 | PARTITAIVA | partita IVA | VAT number | 03603780010 | ref:vatin |
| 5 | CAP | codice avviamento postale | postcode | 33100 | used for geocoding |
| 6 | DESCRIZIONECOMUNE | nome comune | city | TORINO | used for geocoding |
| 7 | DESCRIZIONEREGIONE | nome regione | region name | Piemonte | used as regional filter |
| 8 | DATAINIZIOVALIDITA | inizio validità | est. date | 01/01/2005 | start_date |
| 8 | DATAFINEVALIDITA | fine validità | expitration date | 01/01/2005 | used as filter |
Note: italian pharmacies are dispensing=yes by default.
Import Type
The dataset will be imported on a regional base (OSM admin_level=4). Prior to upload, osm candidate file will be published to be manually checked by local team.
Team Approach
Import will be managed by the following OSM users:
- Cascafico
Workflow
Step by step operations:
- dataset download
- OpenrRefine operations
- csvgeocode nominatim geocoding
- OpenRefine json export
- conflator run
- audit map announcement & publication
- wait for community validation
- conflation re-run
- support tags removed from .osm
- fixme removed where applicable
- osm file publication
In case of import problems, changeset involved will be reverted using proper reverter
Data Preparation
The data is presented as csv "comma separated values" file in a collection of punctual elements, one for each pharmacy.
Refining
Prior to OSM JSON conversion, some issues require refining operations, documented herein. Below, a summary of actions performed thru OpenRefine:
- Remove unuseful columns
- Standardization of TELEFONO, CELLULARE and FAX
- Conversion of column PERIODO_APERTURA to OSM opening_hours standard
- Split DENOMINAZIONE in name and operator
- Split column INDIRIZZO by separator ","
- Some INDIRIZZO 1 abbreviations expanded (ie: Loc. > Località, Fraz. > Frazione)
- Reconcile cells in column INDIRIZZO 1 to authorirative dataset
- Match each cell to its best recon candidate in column INDIRIZZO 1
Intermediate files
Here you can find all files used to set import: source dataset, refining operation, export template, conflation profile.
Conflation
Conflation is performed by OSM Conflator. Objects tagged ad tourism=guest_house will be extracted from OSM in a bounding box defined by source dataset. Existing OpenStreetMap data within a range is merged and tags will be added/replaced accordingly to conflator parameter file profile.py.
Conflator output example
pi@raspberrypi:~/OSM conflate -i FarmacieFVG-nominatim.json -v -c preview_PHARMA-FVG.json profile-farma.py
11:29:55 Loading profile <_io.TextIOWrapper name='profile-farma.py' mode='r' encoding='UTF-8'>
11:29:55 Read 288 items from the dataset
11:29:55 Splitting bbox [41.4677934, 12.4355536, 46.5861516, 13.8618298] at lats 41.4677934-45.6068374; area decrease 81%
11:29:55 Splitting bbox [45.6068374, 12.4355536, 46.5861516, 13.8618298] at lats 45.8133495-45.8173228; area decrease 4%
11:29:55 Overpass query: [out:xml][timeout:300];(node["amenity"="pharmacy"](41.4647934,12.9056519,41.4707934,12.9116519);way["amenity"="pharmacy"](41.4647934,12.9056519,41.4707934,12.9116519);relation["type"="multipolygon"]["amenity"="pharmacy"](46.175957,12.4325536,46.426923,13.3134965);); out meta qt center;
11:30:09 Downloaded 357 objects from OSM
11:30:09 Created 1 audit-overridden dataset points
11:30:10 Matched 194 points
11:30:10 Adding 93 unmatched dataset points
11:30:10 Deleted 0 and retagged 0 unmatched objects from OSM
pi@raspberrypi:~/OSM
Upload
Dedicated upload account
The account attilaimport will be used to upload community revised .osm file.
Changeset Tags
Changeset will be tagged with:
- source=Ministero della Salute (MDS)
- source:date=2018-11-10 (as defined in source dataset)
- source:license=IODL
- type=import
- url=https://wiki.openstreetmap.org/wiki/Friuli-Venezia_Giulia/Import_Farmacie_FVG
Upload candidate
Uploaded
| changeset | objects | notes |
|---|---|---|
| 65203274 |
QA
In case some problems will be detected after upload:
Widespread:
- TBD
Limited:
- TBD