ES:Mexico Road Name Import Project

From OpenStreetMap Wiki
Jump to navigation Jump to search

El Proyecto de Importación de Nombres de Vías en México corresponde a una importación de la base de datos del Marco_Geoestadístico_Nacional_(MGN) conformado por shapefiles de datos proporcionados por los conjuntos de datos INEGI que cubren la totalidad de México. Dicha importación (a la fecha (12/9/18)) se encuentra en su fase de planeación.

Acerca de

Kaart hará una fusión de mapas [conflate] de los datos proporcionados por el Instituto Nacional de Estadística y Geografía de México (INEGI) con los datos de OSM. El equipo de trabajo que se dedicará a esta importación utilizará Cygnus para fusionar la base datos del Marco_Geoestadístico_Nacional_(MGN).
Kaart está siguiendo las directrices para importaciones y durante la ejecución del proyecto se esforzará para asegurar una comunicación abierta y eficiente con la comunidad local de OSM en México.



Procedimiento del Plan de Importación

  1. Determinar qué conjunto de datos del INEGI es el más efectivo para realizar la importación → MGN
  2. Desarrollar las herramientas para que los archivos .shp puedan ser convertidos a archivos .osm.pbf y que sean convertidos de forma eficiente y certera para obtener atributos del mapa precisos
  3. Desarrollar los procesos para editar y validar los datos utilizando JOSM (incluyendo los custom paint styles y validators
  4. Fusionar [conflate] los datos MGN con los datos de OSM utilizando Cygnus de Estado en Estado
  5. Crear proyectos para cada Estado con el uso de una versión del Gestor_de_Tareas_de_OSM

Metas

Contribuir con datos actualizados para la red vial de México actualizando geometría faltante y nombres de las vías.

Itinerario

  • Discusión con la comunidad OSM de México - Septiembre 2018
  • Anunciar por medio del Imports mailing list - Septiembre 2018
  • Desarrollo de herramientas de procesamiento de datos - Septiembre 2018
  • MGN data conflation - October 2018 → Conclusión(Por Discutir)
  • Ediciones y validaciones manuales utilizando JOSM - Octubre 2018 → Conclusión(Por Discutir)

Datos de la Importación

Antecedentes

States and their id's

Los datos nos fueron entregados en un archivo .zip (~2.6GB) que conforma el país de México en su totalidad, que consta de un archivo .zip para cada Estado. Cada Estado cuenta con un número (id) propio que es ingresado como un prefijo determinado para cada estado (ej. 01_aguascalientes) como se muestra en el archivo PDF a la derecha.

El archivo .zip para los Estados contiene 3 directorios:

Directorio Contenido
catálogos achivos PDF and .txt describiendo los conjuntos de datos
conjunto de datos "Conjunto de datos" archivos .shp
metadatos información Metadata

Existen 13 conjuntos de datos comprendidos dentro de conjunto de datos para cada Estado (la información que los describe puede encontrarse en contenido.pdf in catálogos).
El conjunto de datos que contiene los datos de las vías es Ejes de vialidad que estará identificado por el id utilizando como prefijo la letra "e" (ej. 01e.shp).

Data source site: MGN data set
Data license: Terms of Use
Type of license (if applicable): LIBRE_USO_MX
OSM attribution (if required): INEGI
ODbL Compliance verified: yes

Archivos de datos de OSM

Los datos de OSM serán procesados y entregados por Estado. Si hubiese alguna pregunta o inquietud acerca de los datos de OSM utilizados, por favor contactar a User:Zlavergne (se podrán poner a disposición ejemplos de los datos).

Tipo de Importación

Ésta será una importación única utilizando una combinación de herramientas automatizadas para el procesamiento/fusión de los datos y una edición/validación manual previo a cargar los datos.

Métodos de Importación

  • Herramienta automatizada para preparar los datos a fusionar
  • Herramienta automatizada para la fusión de datos y la obtención de los archivos OSM_XML
  • El seguimiento del progreso se hará utilizando una versión a la medida del Gestor_de_Tareas_de_OSM
  • Procesos manuales para edición y la validación de datos utilizando JOSM

Preparación de los Datos

Reducción y Simplificación de Datos

La importación se enfoca en los nombres de las vías y la geometría de vías faltantes (agregaremos adicionalmente información acerca de la dirección de circulación de las vías en las vías faltantes). Tal como se indica en la sección #Antecedentes del capítulo de Datos de la Importación, se estará utilizando el conjunto de datos Ejes de vialidad.
Para hacer uso de la herramienta para fusionar Cygnus, primero se deberán convertir los archivos .shp en archivos .osm.pbf que sean <20MB y en areas no superiores los 50 km x 50 km.
Nuestro equipo desarrolló una herramienta para automatizar el proceso de separación y conversión. Esto se explica de forma sencilla a continuación:

Argumentos

  • Shapefile
  • Archivo para traducir (compatible con ogr2osm)
  • Tamaño del area (en metros)

Herramientas/Módulos

Procesos

  1. Crear una cuadrícula cubriendo la extensión completa del Shapefile
  2. Ejecutar un análisis espacial para extraer los datos del Shapefile de la cuadrícula, para su conversión en Shapefiles individuales
  3. Convertir los Shapefile en .osm y traducir las características de las etiquetas de OSM
  4. Convertir los archivos .osm file en .osm.pbf


Luego se procesa cada archivo .osm.pbf dos veces en el Cygnus:

  • Una vez utilizando la etiqueta de interés nombre (name) sin la geometría faltante
  • Otra vez para generar la geometría faltante sin las etiquetas de interés

Como resultado obtendremos 2 archivos OSM_XML por cada cuadro. Utilizaremos JOSM para unir todos los archivos de nombre para el conjunto de los cuadrados que forman el Estado obteniendo un solo archivo OSM_XML y otro archivo con la geometría faltante.
Al obtener los dos archivos OSM_XML, ya fusionados (uno con los nombres y el otro con la geometría faltante), se puede crear un proyecto por Estado con el Gestor_de_Tareas_de_OSM, que será asignado según el area dentro del cuadro delimitador de los archivos fusionados como distintas capas en JOSM.

Todos estos procesos han sido extensamente probados y los resultados obtenidos serán monitoreados de cerca durante todo el proceso de la importación. All of these processes have been extensively tested and their outputs will be closely monitored throughout the import process.

Tabla para Etiquetado

MNG Field OSM Tag Description (Sp) Description (En)
NOMVIAL name NOMBRE DE VIALIDAD Name of Road
TIPOVIAL highway TIPO DE VIALIDAD Type of Road
SENTIDO oneway SENTIDO DE LA VIALIDAD Sense of the Road
CVE_SEG CLAVE DEL SEGMENTO DE VIALIDAD CONFORME A LAS MANZANAS Key of road segment according to blocks
CVE_VIAL inegi:road_key CLAVE DE LA VIALIDAD Road Key
CVE_LOC CLAVE DE LOCALIDAD Locality Key
CVE_MUN CLAVE DE MUNICIPIO Municipality Key
CVE_ENT CLAVE DE ENTIDAD FEDERATIVA Federal Entity Key

Etiqueta del Conjunto de Cambios

Utilizaremos como el comentario para el Conjunto de Cambios: Importé geometría faltante utilizando datos de INEGI. #Kaart y Actualicé nombres de vías utilizando datos de INEGI. #Kaart etiquetando además la fuente del conjunto de cambios como source=INEGI:MGN:06-2018

Transformación de Datos

Previo a utilizar la herramienta (tool) descrita anteriormente, confirmamos que los datos se encuentren codificados utilizando ISO-8859-1 que es proyectado a WGS84 utilizando QGIS.

Resultados de la Transformación de Datos

Se crearán los archivos OSM XML por Estado para que los datos se mantengan lo más precisos posible.

Flujo de Trabajo para la Fusión de Datos

Enfoque del Equipo

El desarrollo de las herramientas y la importación de los datos en sí, será manejado directamente por el Equipo de Kaart (Kaart Team) en colaboración constante con la comunidad local de México.

Referencias

Flujo del Trabajo

Todo este proceso está siendo afinado y estará concluido previo a iniciar la importación

Al ser elegida una tarea por el usuario se deberá seguir el siguiente flujo de trabajo:

Geometría Faltante

  1. Descargar los datos de OSM correspondientes al area de la tarea utilizando un (Overpass query)
  2. Unir la capa de geometría-faltante con la capa de datos de OSM
  3. Verificar manualmente las conexiones
  4. Correr el JOSM/Validador junto con el validador hecho a la medida
  5. Cargar el conjunto de cambios utilizando el comentario: Importación de Nombres de Vías en México #Kaart

Nombre de las Vías

  1. Utilizar la capa de nombre para verificar manualmente los nombres de las vías
  2. Correr el JOSM/Validador junto con el validador hecho a la medida
  3. Cargar el conjunto de cambios utilizando el comentario: Importación de Nombres de Vías en México #Kaart

Todo dato que requiera ser revertido será hecho utilizando el JOSM Complemento Reverter.

Fusión

La fusión será manejada por Cygnus y verificada manualmente por nuestro equipo de trabajo.

QA - Control de Calidad

El QA - Control de Calidad será integrado a la validación del Gestor de Tareas de OSM. Adicionalmente será utilizado un validador hecho a la medida.

Véase También

El correo electrónico para el listado de Importaciones (Imports mailing list) enviado el AAAA-MM-DD que puede encontrarse en los archivos del listado de correspondencia en [1].