ES:Catastro español/Importación de edificios/Conversión de datos/Programa

From OpenStreetMap Wiki
Jump to: navigation, search
Idiomas disponibles — Spanish Cadastre/Buildings Import/Data Conversion/Software
· Afrikaans · Alemannisch · aragonés · asturianu · Aymar aru · azərbaycanca · Bahasa Indonesia · Bahasa Melayu · bamanankan · Bân-lâm-gú · Basa Jawa · Basa Sunda · Baso Minangkabau · bosanski · brezhoneg · català · čeština · corsu · dansk · Deutsch · eesti · English · español · Esperanto · estremeñu · euskara · français · Frysk · Gaeilge · Gàidhlig · galego · Hausa · hrvatski · Igbo · interlingua · Interlingue · isiXhosa · isiZulu · íslenska · italiano · Kiswahili · Kreyòl ayisyen · kréyòl gwadloupéyen · kurdî · Latina · latviešu · Lëtzebuergesch · lietuvių · Limburgs · magyar · Malagasy · Malti · Nederlands · Nedersaksies · norsk · norsk nynorsk · occitan · Oromoo · oʻzbekcha/ўзбекча · Plattdüütsch · polski · português · română · shqip · slovenčina · slovenščina · Soomaaliga · suomi · svenska · Tagalog · Tiếng Việt · Türkçe · Türkmençe · Vahcuengh · vèneto · walon · Wolof · Yorùbá · Zazaki · isiZulu · српски / srpski · авар · Аҧсшәа · башҡортса · беларуская · български · қазақша · Кыргызча · македонски · монгол · русский · тоҷикӣ · українська · Ελληνικά · Հայերեն · ქართული · नेपाली · भोजपुरी · मराठी · संस्कृतम् · हिन्दी · অসমীয়া · বাংলা · ਪੰਜਾਬੀ · ગુજરાતી · ଓଡ଼ିଆ · தமிழ் · తెలుగు · ಕನ್ನಡ · മലയാളം · සිංහල · བོད་ཡིག · ไทย · မြန်မာဘာသာ · ລາວ · ភាសាខ្មែរ · ⵜⴰⵎⴰⵣⵉⵖⵜ · አማርኛ · 한국어 · 日本語 · 中文(简体)‎ · 中文(繁體)‎ · 吴语 · 粵語 · ייִדיש · עברית · اردو · العربية · پښتو · سنڌي · فارسی · ދިވެހިބަސް
Propuesta de importación Guía de importación Correcciones Gestión de proyectos Programa de conversión
Spanish Cadastre Buildings Import.svg

CatAtom2Osm es la herramienta desarrollada para la conversión de datos de esta Importación de Edificios.

Instalación

Los pasos a seguir para instalar el programa se detallan aquí.

Configuración

El programa viene configurado por defecto para usar castellano en la traducción de los tipos de nombres de viales. Si quieres usar otro idioma tienes que configurarlo en el archivo 'setup.py'. Sustituye 'es' por 'cat' para configurar el idioma catalán, o por 'gl' para gallego, en estas líneas del código:

   # Dictionary for default 'highway_types.csv'
   highway_types = highway_types_es
   # List of highway types to translate as place addresses
   place_types = place_types_es
   # List of place types to remove from the name
   remove_place_from_name = [place_types_es[26]]

Guía de uso

Uso básico (edificios)

El programa se ejecuta en la consola de comandos, desde la carpeta que queremos dedicar a descargar los datos.

Para descargar un municipio necesitamos su código en Catastro. Si no lo sabemos, es útil ejecutar el programa con la opción -l y el código (2 dígitos) de la provincia.

   catatom2osm -l 02
   Oficina territorial 02 - Albacete
   =================================
    02001-ABENGIBRE 
    02002-ALATOZ 
    02900-ALBACETE 
    ...
    02069-LA RODA 
    ...
    02086-YESTE 

Una vez que sabemos el código, podemos probar la opción más simple:

   catatom2osm -tm 02069

El programa crea la carpeta '02069', descarga los archivos zip necesarios desde Catastro y genera algunos archivos. Puedes revisar el archivo 'report.txt' y darle un vistazo a los archivos OSM en la carpeta 'tasks'.

Conversión de direcciones y combinación

Si usamos el programa con las opciones por defecto, se intentan convertir los datos de direcciones además de los edificios y se combina con los datos OSM:

   catatom2osm 02069

El programa termina indicando que se ha generado un archivo de conversión de los nombres de viales 'highway_names.csv' y es necesario que lo revises como parte del proceso de revisión de nombres de calles.

Después de revisar el archivo de conversiones, repetimos la ejecución anterior para continuar el proceso. Como resultado, ahora los archivos OSM en 'tasks' contendrán las direcciones resultantes además de los edificios.

Acceso a fotos de fachada

La opción -d convierte las direcciones en un archivo independiente 'address.osm' separadas de los edificios. Puedes usarlo como fuente para obtener direcciones que falten en OSM y colocarlas en el sitio apropiado de forma manual.

   catatom2osm -d 02069

Este archivo contiene los enlaces a las fotos de fachada de cada parcela y sirven para comprobar los números de portal e información adicional sobre los edificios. Por eso también es generado con las opciones -b y -t. Para visualizar las fotos es necesario tener activado el complemento Tag2Link. Con el archivo abierto en JOSM, selecciona un nodo y en el Diálogo Lista de Selección haz clic con el botón derecho del ratón sobre la entrada de la lista que representa a ese nodo. Selecciona la opción Ver imagen del menú contextual y se abrirá la foto en tu navegador.

La etiqueta image=* no debe subirse a OSM.

Este no es el único método para acceder a las fotos de fachada, el complemento de Josm pointinfo permite hacerlo más cómodamente.

Otras opciones

-b: Se genera un único archivo 'building.osm' con todos los edificios. No lo importes a OSM, pero puedes usarlo para inspeccionar/validar conjuntamente los resultados para el municipio. Hay que tener en cuenta en los municipios más grandes, que esta opción consume más memoria que -t.

-z: Para generar sólo los límites de polígonos y manzanas para el gestor de tareas. No lo importes a OSM, pero puede servir de guía para dibujar muros y áreas usando una imagen aérea de fondo.

-p: Se genera un archivo 'parcel.osm' con las parcelas catastrales. No se debe importar.

Especificaciones

Para entender mejor el funcionamiento interno del programa puedes consultar sus especificaciones o su documentación.

Archivos generados

Nombre Opción Descripción
A.ES.SDGC.AD.02001.zip -d (por defecto) Conjunto de datos de direcciones descargado de Catastro.
A.ES.SDGC.BU.02001.zip -t (por defecto) o -b Conjunto de datos de edificios descargado de Catastro.
A.ES.SDGC.CP.02001.zip siempre Conjunto de datos de parcelas descargado de Catastro.
address.osm -d, -t, -b Utilizado para acceder a las fotos de fachada. No importar.
boundary.poly siempre Utilizado en caso de ser necesaria la descarga manual de datos para combinación.
building.osm -b Conversión de edificios en un archivo único en lugar de por tareas. No importar.
catatom2osm.log siempre Archivo de registro del programa, se crea en la carpeta actual.
current_address.osm -d sin -m Direcciones OSM.
current_building.bak.osm -t o -b sin -m Edificios OSM.
current_building.osm -t o -b sin -m Edificios OSM con conflicto (se superponen a algún edificio de Catastro).
current_highway.osm -d sin -m Viales OSM.
highway_names.csv -d (por defecto) Tabla con los nombres de las calles en Catastro y su conversión propuesta para la combinación de nombres de viales
highway_types.csv -d (por defecto) Tabla con las siglas empleadas por Catastro para designar tipos de viales y su designación completa. Se crea en la primera ejecución del programa en la carpeta de instalación y se usa cuando no se localiza en OSM el nombre de la calle.
parcel.osm -p Conversión de parcelas catastrales. No importar.
report.txt -t, -d, -b Es importante revisar este archivo siguiendo la sección informe de resultados.
rustic_zoning.geojson siempre Delimitación de los polígonos de rústica para usar en el gestor de tareas.
urban_zoning.geojson siempre Delimitación de las manzanas de urbana para usar en el gestor de tareas.
zoning.geojson siempre Delimitación conjunta de polígonos de rústica y manzanas de urbana para usar en el gestor de tareas.
tasks -t (por defecto) Carpeta conteniendo los archivos OSM a importar. Los que comienzan por la letra 'r' se corresponden con polígonos de rústica, los que comienzan por la letra 'u' con manzanas de urbana.
*.shp --log=DEBUG Archivos de depuración del programa.

Información adicional sobre la transformación de nombres de viales

Cuando el programa no localiza el nombre de una vía en OSM, utiliza el de Catastro transformándolo. Aquí se explican algunos detalles de cómo se realiza esta transformación, pero no son demasiado importantes ya que la idea es que en OSM estén introducidos previamente los nombres correctos y que el programa los tome de allí.

  • Todos los nombres de calle van precedidos por un código de dos letras que indica la designación genérica del tipo de vía. La relación de valores posibles se especifica en este documento, pero en los datos pueden aparecer algunos adicionales como AD=Aldea (en lugar de AL), PC=Placeta/Plaça, PG=Polígono (en lugar de PL), SB=Subida (en lugar de SU), SC=Sector y otros.
    • Para algunos tipos de vía existe más de una traducción posible, como AL=Aldea/Alameda, CJ=Calleja/Callejón, CR=Carretera/Carrera, etc.
    • Algunos tipos de vía no se refieren a ningún vial, sino a un lugar o zona territorial. En estos casos el texto debe ir en la etiqueta addr:place=* en lugar de addr:street=*.
  • Pueden aparecer artículos desplazados del comienzo al final del nombre, separados por coma o paréntesis. El programa no lo corrige.
  • Tampoco corrige errores ortográficos, tildes y caracteres especiales.
  • Puede aparecer después del nombre de la vía texto adicional. Generalmente se tratará del nombre de una o varias localidades donde está ubicada la vía. Las localidades pueden estar entre paréntesis, o separadas por un guión. Se trata de información que no forma parte del nombre y no debe estar en la etiqueta name. El programa no lo corrige.

Los valores para la traducción de los tipos de vía se leen del archivo 'highway_types.csv' que opcionalmente puedes completar o adaptar.

Otros aspectos de la traducción de nombres que se pueden configurar en el archivo 'setup.py' son los siguientes:

  • highway_types: El archivo 'highway_types.csv' no va incorporado en la descarga del programa, se genera en la carpeta de instalación tras la primera ejecución del mismo a partir del diccionario indicado por esta variable.
  • highway_types_cat: Diccionario que sirve de plantilla para crear un archivo 'highway_types.csv' para Catalán.
  • highway_types_es: Diccionario que sirve de plantilla para crear un archivo 'highway_types.csv' para Castellano.
  • place_types: Al generar los archivos de salida en formato OSM, se colocará el nombre de la vía en una etiqueta addr:place=* en lugar de addr:street=* si el tipo de vía empleado en el archivo de conversión está en la lista indicada por esta variable.
  • place_types_cat: Lista con tipos de vía en Catalán que se trasladarán a addr:place.
  • place_types_es: Lista con tipos de vía en Castellano que se trasladarán a addr:place.
  • remove_place_from_name: Tipos de vía que serán eliminados al trasladar a addr:place. Por ejemplo "Lugar Villa Arriba" -> "Villa Arriba"
  • lowcase_words: Lista de palabras que deben ir siempre en minúsculas.
  • excluded_highways: Lista de tipos de vía cuyas direcciones serán excluidas de la importación. Incluye el tipo 'Diseminados'.

Informe de resultados

El archivo 'report.txt' contiene las siguientes secciones:

Información general

Contiene datos obtenidos a partir de la relación del límite administrativo del municipio. El programa intenta localizar esta relación a partir del nombre en OSM más aproximado al nombre en Catastro. Es importante por que el límite administrativo se utiliza para limitar los datos descargados de OSM para combinación. En la mayor parte de los casos la correlación es correcta, pero se indican ambos nombres para confirmar que no hay error. Si el nombre obtenido de OSM no es correcto, ver error al localizar el municipio. Si en el nombre del municipio pone 'None' ver No se pudo obtener el límite administrativo, se usará el recuadro delimitador. Si están disponibles, aparece el dato de población y los enlaces a Wikipedia/Wikidata. Podemos aprovechar para confirmarlos y/o actualizarlos.

   Municipio: La Roda
   Nombre en Catastro: LA RODA
   Código: 02069
   Superficie: 397.8 km²
   Población: 16299 hab. (2009)
   Wikipedia: https://www.wikipedia.org/wiki/es:La Roda (Albacete)
   Wikidata: https://www.wikidata.org/wiki/Q630706
   Fecha: 15/11/17

Información del sistema

Contiene datos sobre las versiones de los programas, del sistema operativo, la memoria y procesador del sistema, tiempo y recursos empleados.

   Versión de la aplicación: CatAtom2Osm 2017-11-14
   Plataforma: Linux 4.4.0-96-generic #119-Ubuntu SMP Tue Sep 12 14:59:54 UTC 2017 x86_64 x86_64
   Versión de QGIS: 2.14.11-Essen
   Número de CPUs: 4
   Frecuencia de CPU: 3600.0 Mhz
   Tiempo de ejecución: 153.54 segundos
   Memoria total: 7928.30 GB
   Memoria física usada: 251.81 GB
   Memoria virtual usada: 1014.31 GB

Direcciones

Contiene información acerca de direcciones con los siguientes apartados:

Datos de entrada

Fecha de publicación y número de características en los datos de Catastro.

   Fecha de origen: 2017-09-05
   Número de características: 6016
     Tipo entrada: 4710
     Tipo parcela: 1306
   Códigos postales: 2
   Nombres de viales: 237

Procesado

Características eliminadas/transformadas por el programa.

   Direcciones sin número de portal eliminadas: 547
   Direcciones sin edificio asociado eliminadas: 537
   Direcciones correspondientes a edificios múltiples eliminadas: 1165
   Direcciones tipo parcela no únicas para su edificio eliminadas: 2

Combinación

Elementos existentes en OSM y conflictos.

   Direcciones OSM: 882
   Direcciones rechazadas por existir en OSM: 471

Datos de salida

Elementos resultantes en los archivos de salida.

   Direcciones: 3294
     En nodos de entrada: 2316
     En edificios: 978
     Tipo addr:street: 3290
     Tipo addr:place: 4

Edificios

Datos de entrada

   Fecha de origen: 2017-09-05
   Número de características: 22685
     Edificios: 6103
     Partes de edificios: 16265
     Piscinas: 317

Procesado

   Partes fuera de contorno eliminadas: 512
   Partes bajo rasante eliminadas: 265
   Contornos de edificios creados: 5
   Edificios con geometrías multiparte: 1689
   Edificios resultantes de dividir multipartes: 4065
   Partes fusionadas al contorno: 10000
   Partes adyacentes fusionadas: 497
   Vértices en punta eliminados: 4
   Vértices próximos fusionados: 324
   Puntos topológicos creados: 7494
   Vértices simplificados 18122

Combinación

   Edificios/piscinas en OSM: 748
     Con conflicto: 606

Datos de salida

   Nodos: 72292
   Vías: 14247
   Relaciones: 451
   Número de características: 13792
     Edificios: 8484
     Partes de edificios: 4991
     Piscinas: 317
   Recuento de tipos de edificios: industrial: 814, office: 10, residential: 4216, yes: 2434, retail: 78, ruins: 64, public: 90, barn: 778
   Plantas sobre rasante (nivel: nº de edificios): 1: 2629, 2: 2634, 3: 492, 4: 135, 5: 94, 6: 46, 7: 16, 8: 1, 9: 1, 10: 1, 101: 1
   Plantas bajo rasante (nivel: nº de edificios): 1: 397, 2: 12, 3: 1
   Archivos de tareas de rústica: 114
   Archivos de tareas de urbana: 326

Problemas

La parte más importante del informe, detalla incidencias que pueden requerir nuestra intervención. Los problemas detallados deben revisarse según la guía de gestión de proyectos.

Correcciones (fixmes)

Número de correcciones indicadas en los archivos OSM. Deben revisarse y eliminar la etiqueta 'fixme' antes de subir los datos. Podemos encontrar:

  • Área demasiado grande: Edificio con área menor que la indicada en el archivo 'setup.py' opción 'warning_min_area'.
  • Área demasiado pequeña: Edificio con área mayor que la indicada en el archivo 'setup.py' opción 'warning_max_area'.
  • Esta parte es mayor que su edificio: Una parte de un edificio no puede ser más grande que el edificio que la contiene.
  • Falta el contorno del edificio para esta parte: El contorno del edificio no ha superado las pruebas de validación, se ha eliminado y han quedado partes aisladas.
  • Validación GEOS: La geometría no ha superado las pruebas de validación de la librería GEOS.

Avisos

  • No se pudo obtener el límite administrativo, se usará el recuadro delimitador: Al intentar obtener de OSM la relación con los límites administrativos del municipio ha ocurrido un problema (posiblemente de comunicación) y se ha continuado utilizando el rectángulo que engloba al municipio para descargar los datos para combinación. Los archivos resultantes serán más grandes pero no se trata de un problema grave.
  • No se obtuvieron datos OSM de '%s': La descarga de datos de OSM ha producido un resultado vacío. Puede deberse a que no haya datos o sobrecarga de la API de Overpass (ver Descarga manual de datos para combinación.
  • El edificio de OSM con id %s no es váido: Se ha encontrado un edificio con geometría no válida en OSM.
  • Existen %d direcciones sin número de portal en OSM: Al descargar automáticamente los datos de combinación sólo se descargan direcciones que contengan número de portal. Si hemos descargado los datos manualmente puede aparecer este aviso.
  • Detectada una geometría %s en la capa '%s': Muy improbable, avisa al desarrollador.

Validación del informe

El programa realiza algunas comprobaciones sumando los valores obtenidos en el informe. Si los resultados no cuadran se indica el problema. No es habitual que suceda, avisa al desarrollador.

Las comprobaciones realizadas son:

  • La suma de tipos de direcciones debe ser igual a las direcciones de entrada.
  • La suma de las direcciones de salida y las eliminadas debe ser igual a las direcciones de entrada.
  • La suma de las direcciones en entradas y edificios debe ser igual a las direcciones de salida.
  • La suma de las direcciones tipo calle y lugar debe ser igual a las direcciones de salida.
  • La suma de edificios, partes y piscinas debe ser igual al número de características.
  • La suma de las características de edificios de salida y las eliminadas menos las creadas debe ser igual a las características de entrada.
  • La suma de los tipos de edificios debe ser igual al número de edificios.

Posibles problemas

Usando el programa nos podemos encontrar con los siguientes problemas.

Descarga manual de datos para combinación

En ocasiones, sobre todo con los municipios más grandes, los servidores de Overpass pueden estar sobrecargados. Si el programa no consigue descargar los datos para combinación puedes probar usando la opción --log=DEBUG. De esta forma se visualiza la url con la consulta realizada a Overpass. Cópiala, pégala en tu navegador y guarda los resultados con el nombre 'current_highway.osm', 'current_address.osm' o 'current_building.osm' según el caso.

Si de esta forma tampoco se obtienen datos, prueba a descargar un archivo PBF usando Hot Export Tool o Geofabrik y ejecutar el guión extract (.sh o .bat) en la carpeta de instalación del programa.

Error al localizar el municipio

El nombre que figura en el apartado 'Municipio' del informe 'report.txt' no se corresponde con el municipio correcto. Esto significa que el programa ha fallado al encontrar el nombre con mayor similitud y proximidad en OSM al nombre en Catastro. Para corregirlo, localiza en OSM el identificador de la relación con los límites administrativos del municipio e indícaselos al programa en el archivo 'setup.py', opción 'mun_fails' (al final). Se ha comprobado el algoritmo de búsqueda para todos los municipios, por lo que esta situación debería tratarse de algo excepcional.

Veáse también