ES:Catastro español/Importación de edificios/Conversión de datos/Programa

From OpenStreetMap Wiki
Jump to navigation Jump to search
Guía de importación Gestión de proyectos Resultados Documentación
Para la interfaz en línea que evita el uso directo de esta herramienta, véase ES:Catastro español/Importación de edificios/Gestión de proyectos.

exclamation mark

Las importaciones y ediciones automatizadas deben ser llevadas a cabo por personas con experiencia y suficiente conocimiento de la forma en que la comunidad OpenStreetMap crea mapas y con una cuidada planificación y consulta con la comunidad local correspondiente.
Véanse nuestras directrices de importación y nuestro código de conducta de ediciones automatizadas para más información. Las importaciones o ediciones automatizadas que no sigan estas directrices ¡se pueden revertir!
Spanish Cadastre Buildings Import.svg

CatAtom2Osm es la herramienta desarrollada para la conversión de datos de esta importación.

Instalación

Los pasos a seguir para instalar el programa se detallan aquí.

Guía de uso

Uso básico (edificios)

El programa se ejecuta en la consola de comandos, desde la carpeta que queremos dedicar a descargar los datos.

Obtén ayuda ejecutando el programa sin opciones

   catatom2osm
   Uso: catatom2osm [OPCIÓN]... [PATHS]
   ...

Para descargar un municipio necesitamos su código en Catastro. Primero averigua el código de dos dígitos de la provincia.

   catatom2osm -l
   Oficina territorial
   ===================
   02 Albacete
   ...
   56 Melilla

Para ver los múnicipios de una provincia.

   catatom2osm -l 02
   Oficina territorial 02 - Albacete
   =================================
    02001-ABENGIBRE 
    02002-ALATOZ 
    02900-ALBACETE 
    ...
    02069-LA RODA 
    ...
    02086-YESTE 

Una vez que sabemos el código, podemos probar con las opciones por defecto:

   catatom2osm 02069

El programa crea la carpeta '02069', descarga los archivos zip necesarios desde Catastro y genera algunos archivos.

La primera ejecución termina indicando que se ha generado un archivo de conversión de los nombres de viales 'highway_names.csv' y es necesario que lo revises como parte del proceso de revisión de nombres de calles.

Después de revisar el archivo de conversiones, repetimos la ejecución anterior para continuar el proceso. Como resultado, se generan en 'tasks' archivos OSM con los edificios y direcciones para cada tarea. Después de revisar los 'fixmes', el contenido de esta carpeta está listo para publicar.

Procesar sólamente edificios o direcciones

Es posible generar un proyecto sólamente con direcciones, sin edificios.

   catatom2osm -b 02069

O sólamente con edificios.

   catatom2osm -d 02069

Esto permite realizar la importación en dos fases.

Dividir municipios

Para generar un proyecto de una parte de un municipio (un distrito o barrio) utiliza un archivo que contenga los límites administrativos.

   catatom2osm -s atocha.geojson 28900

Más información aquí.

Otras opciones

  • -z: Para generar el archivo de definición de proyecto de forma anticipada.
  • -w: Para descargar los archivos
  • -c: Para recuperar los comentarios de las tareas después de editarlas.
  • -m: Para desactivar la combinación con datos OSM.

Configuración

Idioma

El idioma que el programa utiliza para traducir los tipos de nombres de viales es importante. Seleccionar el adecuado al municipio ayuda a emparejar mejor los nombres de las calles con los existentes en OSM y reducirá el trabajo para corregir los fallos y detectar calles sin mombre. Se puede comprobar el idioma utilizado por el programa en el archivo report.txt. El programa utiliza las configuraciones regionales del sistema para seleccionar el idioma, para usar otro en una ejecución concreta, pasa al programa la variable de entorno LANG. Por ejemplo, en Linux:

  • Fuerza a utilizar el español:
 LANG=es_ES.UTF-8; catatom2osm
  • Fuerza a utilizar el catalán:
 LANG=ca_ES.UTF-8; catatom2osm
  • Fuerza a utilizar el gallego:
 LANG=gl_ES.UTF-8; catatom2osm

En la ventana de comandos de Windows (CMD):

   set LANG=ca_ES.UTF-8 && catatom2osm

En PowerShell:

   ${LANG}="ca_ES.UTF-8"; catatom2osm

Si deseas realizar un cambio permante, usa el archivo de configuración.

Archivo de configuración

Se pueden modificar algunas opciones del programa mediante un archivo de configuración en formato YAML. Crea una plantilla del archivo con

   catatom2osm -g

Edita el archivo config.yaml. Estos son los parámetros a modificar:

  • language: Idioma para traducir los nombres de viales: es_ES ca_ES gl_ES
  • highway_types: Diccionario para traducir los tipos de vias.
  • place_types: lista de tipos de vía que se traducen a direcciones de lugar (addr:place).
  • remove_place_from_name: Lista de tipos de vía a eliminar del nombre.
  • excluded_types: Lista de tipos de vía que no se analizarán.
  • warning_min_area: Área en m² para el aviso de área pequeña.
  • warning_max_area: Área en m² para el aviso de área grande.
  • parcel_parts: Número de partes de edificio para agregar parcelas.
  • parcel_dist: Distancia en metros para agregar parcelas.

En las siguientes ejecuciones, el programa lee el archivo config.yml existente en la carpeta actual. Si por algún motivo quieres tener distintos archivos o situarlos en una carpeta distinta, usa la opción -f para indicar la ruta a un archivo de configuración:

   catatom2osm -f <archivo de configuración> <resto de opciones>

Especificaciones

Para entender mejor el funcionamiento interno del programa puedes consultar sus especificaciones o su documentación.

Archivos generados

Nombre Descripción
A.ES.SDGC.AD.02001.zip Conjunto de datos de direcciones descargado de Catastro.
A.ES.SDGC.BU.02001.zip Conjunto de datos de edificios descargado de Catastro.
A.ES.SDGC.CP.02001.zip Conjunto de datos de parcelas descargado de Catastro.
address.osm Utilizado para revisar las direcciones. No importar.
boundary.poly Utilizado en caso de ser necesaria la descarga manual de datos para combinación.
catatom2osm.log Archivo de registro del programa, se crea en la carpeta actual.
current_address.osm Direcciones OSM.
current_building.osm Edificios OSM con conflicto (se superponen a algún edificio de Catastro).
current_highway.osm Viales OSM.
highway_names.csv Tabla con los nombres de las calles en Catastro y su conversión propuesta para la combinación de nombres de viales
report.txt Es importante revisar este archivo siguiendo la sección informe de resultados.
rustic_zoning.geojson Para definir un proyecto sólo de rústica en el gestor de tareas.
urban_zoning.geojson Para definir un proyecto sólo de urbana en el gestor de tareas.
zoning.geojson Delimitación conjunta de polígonos de rústica y manzanas de urbana para usar en el gestor de tareas.
tasks Carpeta conteniendo los archivos OSM a importar.

Informe de resultados

El archivo 'report.txt' contiene las siguientes secciones:

Información general

Contiene datos obtenidos a partir de la relación del límite administrativo del municipio. El programa intenta localizar esta relación a partir del nombre en OSM más aproximado al nombre en Catastro. Es importante por que el límite administrativo se utiliza para limitar los datos descargados de OSM para combinación. En la mayor parte de los casos la correlación es correcta, pero se indican ambos nombres para confirmar que no hay error. Si el nombre obtenido de OSM no es correcto, ver error al localizar el municipio. Si en el nombre del municipio pone 'None' ver No se pudo obtener el límite administrativo, se usará el recuadro delimitador. Si están disponibles, aparece el dato de población y los enlaces a Wikipedia/Wikidata. Podemos aprovechar para confirmarlos y/o actualizarlos.

   Municipio: La Roda
   Nombre en Catastro: LA RODA
   Código: 02069

Información del sistema

Contiene datos sobre las versiones de los programas, del sistema operativo, la memoria y procesador del sistema, tiempo y recursos empleados.

   Versión de la aplicación: CatAtom2Osm 2017-11-14
   Plataforma: Linux 4.4.0-96-generic #119-Ubuntu SMP Tue Sep 12 14:59:54 UTC 2017 x86_64 x86_64
   Versión de QGIS: 2.14.11-Essen
   Número de CPUs: 4
   Frecuencia de CPU: 3600.0 Mhz
   Tiempo de ejecución: 153.54 segundos
   Memoria total: 7928.30 GB
   Memoria física usada: 251.81 GB
   Memoria virtual usada: 1014.31 GB

Direcciones

Contiene información acerca de direcciones con los siguientes apartados:

Datos de entrada

Fecha de publicación y número de características en los datos de Catastro.

   Fecha de origen: 2017-09-05
   Número de características: 6016
     Tipo entrada: 4710
     Tipo parcela: 1306
   Códigos postales: 2
   Nombres de viales: 237

Procesado

Características eliminadas/transformadas por el programa.

   Direcciones sin número de portal eliminadas: 547
   Direcciones sin edificio asociado eliminadas: 537
   Direcciones correspondientes a edificios múltiples eliminadas: 1165
   Direcciones tipo parcela no únicas para su edificio eliminadas: 2

Combinación

Elementos existentes en OSM y conflictos.

   Direcciones OSM: 882
   Direcciones rechazadas por existir en OSM: 471

Datos de salida

Elementos resultantes en los archivos de salida.

   Direcciones: 3294
     En nodos de entrada: 2316
     En edificios: 978
     Tipo addr:street: 3290
     Tipo addr:place: 4

Edificios

Datos de entrada

   Fecha de origen: 2017-09-05
   Número de características: 22685
     Edificios: 6103
     Partes de edificios: 16265
     Piscinas: 317

Procesado

   Partes fuera de contorno eliminadas: 512
   Partes bajo rasante eliminadas: 265
   Contornos de edificios creados: 5
   Edificios con geometrías multiparte: 1689
   Edificios resultantes de dividir multipartes: 4065
   Partes fusionadas al contorno: 10000
   Partes adyacentes fusionadas: 497
   Vértices en punta eliminados: 4
   Vértices próximos fusionados: 324
   Puntos topológicos creados: 7494
   Vértices simplificados 18122

Combinación

   Edificios/piscinas en OSM: 748
     Con conflicto: 606

Datos de salida

   Nodos: 72292
   Vías: 14247
   Relaciones: 451
   Número de características: 13792
     Edificios: 8484
     Partes de edificios: 4991
     Piscinas: 317
   Recuento de tipos de edificios: industrial: 814, office: 10, residential: 4216, yes: 2434, retail: 78, ruins: 64, public: 90, barn: 778
   Plantas sobre rasante (nivel: nº de edificios): 1: 2629, 2: 2634, 3: 492, 4: 135, 5: 94, 6: 46, 7: 16, 8: 1, 9: 1, 10: 1, 101: 1
   Plantas bajo rasante (nivel: nº de edificios): 1: 397, 2: 12, 3: 1
   Archivos de tareas de rústica: 114
   Archivos de tareas de urbana: 326

Problemas

La parte más importante del informe, detalla incidencias que pueden requerir nuestra intervención. Los problemas detallados deben revisarse según la guía de gestión de proyectos.

Correcciones (fixmes)

Número de correcciones indicadas en los archivos OSM. Deben revisarse y eliminar la etiqueta 'fixme' antes de subir los datos. Podemos encontrar:

  • Área demasiado grande: Edificio con área menor que la indicada en el archivo 'setup.py' opción 'warning_min_area'.
  • Área demasiado pequeña: Edificio con área mayor que la indicada en el archivo 'setup.py' opción 'warning_max_area'.
  • Esta parte es mayor que su edificio: Una parte de un edificio no puede ser más grande que el edificio que la contiene.
  • Validación GEOS: La geometría no ha superado las pruebas de validación de la librería GEOS.

Avisos

  • No se pudo obtener el límite administrativo, se usará el recuadro delimitador: Al intentar obtener de OSM la relación con los límites administrativos del municipio ha ocurrido un problema (posiblemente de comunicación) y se ha continuado utilizando el rectángulo que engloba al municipio para descargar los datos para combinación. Los archivos resultantes serán más grandes pero no se trata de un problema grave.
  • No se obtuvieron datos OSM de '%s': La descarga de datos de OSM ha producido un resultado vacío. Puede deberse a que no haya datos o sobrecarga de la API de Overpass (ver Descarga manual de datos para combinación.
  • El edificio de OSM con id %s no es válido: Se ha encontrado un edificio con geometría no válida en OSM.
  • Existen %d direcciones sin número de portal en OSM: Al descargar automáticamente los datos de combinación sólo se descargan direcciones que contengan número de portal. Si hemos descargado los datos manualmente puede aparecer este aviso.
  • Detectada una geometría %s en la capa '%s': Muy improbable, avisa al desarrollador.

Validación del informe

El programa realiza algunas comprobaciones sumando los valores obtenidos en el informe. Si los resultados no cuadran se indica el problema. No es habitual que suceda, avisa al desarrollador.

Las comprobaciones realizadas son:

  • La suma de tipos de direcciones debe ser igual a las direcciones de entrada.
  • La suma de las direcciones de salida y las eliminadas debe ser igual a las direcciones de entrada.
  • La suma de las direcciones en entradas y edificios debe ser igual a las direcciones de salida.
  • La suma de las direcciones tipo calle y lugar debe ser igual a las direcciones de salida.
  • La suma de edificios, partes y piscinas debe ser igual al número de características.
  • La suma de las características de edificios de salida y las eliminadas menos las creadas debe ser igual a las características de entrada.
  • La suma de los tipos de edificios debe ser igual al número de edificios.

Posibles problemas

Usando el programa nos podemos encontrar con los siguientes problemas.

Descarga manual de datos para combinación

En ocasiones, sobre todo con los municipios más grandes, los servidores de Overpass pueden estar sobrecargados. Si el programa no consigue descargar los datos para combinación puedes probar usando la opción --log=DEBUG. De esta forma se visualiza la url con la consulta realizada a Overpass. Cópiala, pégala en tu navegador y guarda los resultados con el nombre 'current_highway.osm', 'current_address.osm' o 'current_building.osm' según el caso.

Si de esta forma tampoco se obtienen datos, prueba a descargar un archivo PBF usando Hot Export Tool o Geofabrik y ejecutar el guión extract (.sh o .bat) en la carpeta bin.

Véase también