RU:Импорт/Рекомендации

From OpenStreetMap Wiki
Jump to navigation Jump to search

При импорте данных из внешних источников в базу данных OpenStreetMap следует руководствоваться Импортом данных, а также Соглашением об автоматизированных правках, поскольку они отражают многие уроки, извлеченные на протяжении всей истории OpenStreetMap. Импорт должен планироваться и выполняться с бо́льшей тщательностью и осторожностью, чем другие изменения, поскольку плохой импорт может оказать значительное влияние как на существующие данные, так и на местное картографическое сообщество. Рабочей группе по данным (DWG) OSMF поручено выявлять и пресекать импорт, который не соответствует принципам сообщества. Таким образом, несоблюдение этих рекомендаций может привести к тому, что ваш аккаунт будет заблокирован.

Импорт не следует рассматривать как альтернативу созданию картографического сообщества, организации картографических групп и созданию рекламы для привлечения большего числа участников. Конечно, все это открыто для обсуждения, например, в списке рассылки импорта и на этой странице обсуждения(en).

Процесс

Если вы считаете, что правительство вашего города/округа/штата/страны, некоммерческая организация или какая-либо другая организация или лицо имеет хорошие данные, которые можно использовать для улучшения качества OpenStreetMap, вот что вам нужно знать, начиная с быстрого обзора процесса. Большинство из этих областей раскрыто в следующих разделах этой страницы и на связанных страницах.

Шаг 1 — Предварительные требования

  1. Познакомьтесь с основами OpenStreetMap, включая редактирование, например, добавление информации про ваш район.
  2. Узнайте, что может пойти не так с импортом.
  3. Определите данные, которые вы хотите импортировать. Это могут быть улицы, очертания зданий, водные пути, адреса и так далее.
  4. Учитывайте требования к лицензии на передачу данных.

Шаг 2 — участие сообщества

  1. Перед выполнением какой-либо фактической работы по импорту рекомендуется установить контакт с сообществом, чтобы узнать, есть ли интерес в импорте данных. Различные географические регионы в OSM имеют разные уровни приемлемости для импорта. Тот же самый набор данных может приветствоваться в одной области и отвергнут в другой.
  2. Обсудите свой план. Отправьте электронное письмо сообществу OSM, чтобы сообщить им о своих планах, включая ссылку на вашу вики-страницу. Вы можете сделать это, отправив электронное письмо на адрес (как минимум) imports@openstreetmap.org, talk-(ваша страна)@openstreetmap.org и группу OSM, относящуюся к области, на которую напрямую влияет импорт (обратите внимание, что вы должны присоединиться к спискам по адресу https://lists.openstreetmap.org/ перед отправкой им по почте). Это поможет извлечь пользу из прошлого опыта, который может включать в себя уже просмотренные данные, которые вы собираетесь импортировать. Проверьте наличие локальных групп пользователей, местных отделений и списков рассылки для конкретной страны. Вы можете использовать OSM Community Index (en), чтобы не пропустить активные сообщества, используя форум, Telegram, Slack или другие методы для обсуждения.
  3. Будьте готовы ответить на вопросы сообщества. Обсудите с сообществом пригодность каждого слоя для импорта. Некоторые данные можно легко импортировать без особого труда, в то время как другие гораздо сложнее (например, центральные линии улиц). Также некоторые из них широко принимаются для импорта, в то время как другие не достигли консенсуса (например, границы участков).
  4. Более сложный и крупномасштабный импорт следует рассматривать с помощью более технически ориентированных и опытных добровольцев OSM.
  5. Вы не должны импортировать данные без одобрения местным сообществом.

Шаг 3 — Утверждение лицензии

Вы должны получить соответствующие разрешения и лицензии на использование данных в OSM от владельца данных. Если лицензия данных несовместима с лицензией OpenStreetMap Open Database License, вы не можете использовать эти данные. Во многих регионах уже действуют прогрессивные политики открытых данных. У других есть политики в отношении данных, которые почти открыты, но конфликтуют с такими проблемами, как запрет на коммерческое использование или требования к ссылкам на источники. Иногда получить разрешение на использование данных (даже если существующая лицензия может показаться запретительной) так же просто, как спросить соответствующий орган, готовы ли они соблюдать условия лицензии OpenStreetMap Open Database License. Смотри в разделе «Import/GettingPermission» примеры электронных писем, затрагивающих важные вопросы. Смотри также Import/ODbL_Compatibility для быстрого просмотра некоторых совместимых и несовместимых лицензий данных для импорта.

Шаг 4 — Документация

  1. Вы должны зарегистрировать свои разрешения и проект, добавив строку в таблицу в Import/Catalogue (en).
  2. Вы должны написать план своего импорта в вики OSM. Создайте вики-страницу с подробным описанием вашего плана. Этот план должен включать в себя такую информацию, как планы того, как преобразовать данные в OSM XML, разделить работу, как обработать объединение, как сопоставить атрибуты ГИС с тегами OSM, как потенциально упростить любые данные, как вы планируете разделить работу, планы отмены, политики размера набора изменений и планы обеспечения качества. Пример этого можно найти на странице Import/Plan Outline.
  3. Если этого требуют владельцы данных, вы должны добавить источник в список участников.

Шаг 5 — Обзор импорта

  1. Вы должны подписаться на список рассылки импорта и опубликовать обзор вашего импорта по адресу imports@openstreetmap.org. Не загружайте никаких данных, пока проект не будет предварительно рассмотрен. Обратите внимание, что список imports-ru@openstreetmap.org (или любой другой список локального импорта) не считается авторитетным и не заменяет одобрение от imports@openstreetmap.org.
  2. Если возможно, подготовьте данные и сделайте их доступными для просмотра.

Шаг 6 — Загрузка

  1. Следуй своему плану.
  2. Отслеживайте прогресс импорта.
  3. Расскажите сообществу о своих усилиях.
  4. Сообщите всем, когда закончите.
  5. Вы должны использовать специальную учетную запись пользователя.

Ключевые соображения

Обсудите предлагаемый импорт

Важно обсуждать предлагаемый импорт с сообществом на каждом этапе. Прежде всего, добавьте запись в потенциальные источники данных. Здесь вы можете кратко описать, что вы узнали о лицензировании данных, и о точности данных по отношению к уже имеющимся у нас данным. Если вам нужно больше места (для подробного описания), перейдите на новую вики-страницу об источнике данных.

Обсудите свой импорт в списке рассылки imports@openstreetmap.org и в соответствующих местных сообществах. Многие местные сообщества имеют свои собственные вики-страницы и/или списки рассылки. Согласуйте с другими людьми с похожими планами.

Даже если такой же или подобный импорт уже обсуждался ранее, вам все равно следует обсудить его с местным сообществом. Это означает, что они знают о ваших планах и могут поднять любые проблемы или конфликты до того, как будет нанесен какой-либо ущерб. Это особенно верно, если данные были доступны в течение длительного времени и еще не были импортированы — это не означает, что допустимо действовать без обсуждения с местным сообществом.

Всегда начинайте с обсуждения проведенного вами расследования в отношении лицензирования и точности. Если консенсус состоит в том, что данные не соответствуют нашим критериям, не разочаровывайтесь. Отметьте его как отклонённое на странице Возможные источники данных и укажите причины. Документирование таких решений само по себе является полезным вкладом. Если людей это устраивает, переходите к обсуждению реализации скриптов импорта и так далее.

Импорт, связанный с гуманитарными проблемами, реагированием на стихийные бедствия или развитием, должен консультироваться с HOT (в идеале в списке рассылки HOT) в качестве дополнительной меры.

Задокументируйте свой импорт

Если вы собираетесь продолжить импорт, пожалуйста, создайте страницу об этом в вики со всеми подробностями. Создайте запись на странице Import/Catalogue (en) и оставьте ссылку на свою страницу. Также сделайте ссылку на свою страницу в любых местных страницах в вашем городе или стране. На странице должна быть следующая информация:

  • Точность источников данных и лицензирование (также кратко описаны в потенциальных источниках данных)
  • Программное обеспечение, которое вы планируете использовать. Поделитесь исходным кодом, который вы используете.
  • Как именно данные будут переведены из другого формата в формат OSM
  • Как будут выглядеть полученные данные. Укажите используемые теги.
  • Ссылка на образец данных, импортированный в тестовую базу данных.
  • Имя пользователя учетной записи, выполняющей импорт, и другие сведения о том, как будут помечены наборы изменений.

А также ходе импорта:

  • Ссылка на пример данных, импортированных в действующую базу данных.

Обратите внимание, что изменение объема импорта после обсуждения аннулирует обсуждение. Вы не можете заставить людей согласиться на импорт набора данных X, а затем импортировать X+Y.

Убедитесь, что разрешение на использование данных в порядке

Нас интересуют только «бесплатные» данные. Мы должны иметь возможность публиковать данные с нашей лицензией OpenStreetMap License. Очевидно, нам разрешено использовать источники данных, которые являются общественным достоянием (которых довольно много), но, помимо этого, всё становится сложнее.

OpenStreetMap перешел на лицензию Open Database License в сентябре 2012 года. Следовательно, ваши данные должны быть совместимы с этим. Кроме того, вы должны быть в состоянии согласиться с Условиями участия для вашей учетной записи импорта, которые включают положения о перелицензировании в соответствии с другой бесплатной и открытой лицензией, если сообщество пожелает этого.

Вы не должны требовать дополнительных авторских прав для себя как импортёра. Например, если вы импортируете данные из общественного достояния, вы не должны пытаться ограничить использование ваших импортированных данных. Ваша учетная запись импорта не должна отказываться от каких-либо разрешений, предоставленных первоначальными создателями импортируемых данных.

Также обратите внимание на подробности требования по указанию источников. Мы можем предложить некоторое указание: мы можем указать их на нашем веб-сайте (не на главной странице, а в списке участников здесь, в вики, и на www.openstreetmap.org/copyright для очень крупных источников). Мы можем связать информацию о них в связи с учетной записью пользователя, выполняющей редактирование импорта, что означает, что история редактирования позволит людям отследить источник передачи данных. Мы также можем указать их имя в тегах «source» наших базовых данных. Это, возможно, более заметно, но может быть удалено редакторами, выполняющими дальнейшую картографическую работу. Возможности для «авторов» данных на этом заканчивается. Чего мы определенно не можем сделать, так это потребовать от конечных пользователей наших данных или визуализаций отдать должное конкретному источнику данных. Имея это в виду, наши ссылки могут быть недостаточны с юридической точки зрения и может фактически считаться неудовлетворительными для первоначальных «авторов» данных.

Мы часто обнаруживаем, что данные, которые якобы доступны под совместимой лицензией, в конечном счете были получены из источников, которые мы считаем несвободными. Например, хотя некоторые геоданные доступны из Википедии по лицензии Creative Commons, В OSM широко распространено мнение, что некоторые данные просто получены из Google Maps и поэтому фактически недоступны по этой заявленной лицензии. В таких случаях общепринятой нормой является запрет на импорт данных, происхождение которых неизвестно, независимо от заявленной лицензии. Лучше перестраховаться, чем потом жалеть.

Используйте отдельную учетную запись пользователя

Создайте нового пользователя для импорта. Вы не должны использовать свою стандартную учетную запись пользователя OSM. Страница пользователя учетной записи должна использоваться для сопоставления данных, относящихся к источнику, и контактных данных для импорта. Кроме того, это означает, что информация об источниках часто может быть указана в отображаемом имени учетной записи или на странице пользователя учетной записи, что лучше, чем размещение ее в виде тега, поскольку история правок пользователя постоянно сохраняет источник данных и не мешает с другими тегами или сильно увеличивает размер базы данных. По этим причинам создание выделенной учетной записи пользователя предпочтительнее использования тега source=*. Для распределенного или объединённого импорта попросите каждого человека создать свою собственную учетную запись импорта, например "ваше имя пользователя osm" _import. Необязательно, чтобы каждый импорт выполнялся под одной и той же учетной записью.

Отличный совет от пользователя: user:Aaron Lidman: если у вас есть существующая учетная запись Gmail, вы можете использовать псевдоним электронной почты и подписаться на новую учетную запись OSM для импорта, используя youremail+something@gmail.com. Например, johnsmith+anytownimport@gmail.com Gmail будет перенаправлять электронные письма OSM на ваш обычный адрес электронной почты. Это позволит вам создать несколько учетных записей импорта OSM для одного адреса электронной почты.

Несоблюдение этого правила является одной из причин, по которым ваша учетная запись может быть временно заблокирована DWG.

Используйте правильные теги

При импорте следует использовать теги, которые используются сообществом OSM, а не изобретать собственный набор тегов.

У вас могут быть некоторые метаданные, например идентификаторы, используемые для ваших исходных данных. Если эти метаданные будут полезны для OSM, определите свой собственный префикс и используйте его в этих тегах метаданных. Например, при импорте из системы TIGER используется префикс "tiger:". Исходный идентификатор объекта TIGER помечен как "tiger:tlid".

Однако не переусердствуйте с метаданными. OSM интересует только то, что может быть проверено. Сюда не входят, например, внешние ключи из другой базы данных, если только они не являются абсолютно необходимыми для сохранения данных в будущем. В вашем источнике данных может быть много полей, но с элементами данных OSM с большим количеством тегов может быть сложно работать. Найдите баланс. Узнайте (обсудите!), какие области интересуют сообщество OSM.

Не помещайте данные поверх других данных

В отличие от традиционных систем ГИС, OpenStreetMap не имеет понятия слоев. Данные поверх данных — это просто беспорядок. Это своего рода путаница, из-за которого реальным пользователям очень сложно работать в обычных редакторах OpenStreetMap. Карта повторяющихся точек показывает, что при импорте не соблюдались эти правила (во многом это вызвали импортеры TIGER, но, к сожалению, есть еще много недавних ошибок импорта)

Если ваши данные представлены в многоуровневом традиционном формате ГИС, вам потребуется другой подход. Возможно, объедините слои и вычислите лучшие агрегированные теги, но вы всегда можете избежать прямого импорта данных и вместо этого настроить источник, из которого пользователи будут вручную и выборочно импортировать, или использовать систему WMS для отслеживания.

Если вы импортируете данные там, где уже есть некоторые данные в OSM, вам необходимо объединить эти данные соответствующим образом или запретить импорт функций, которые перекрываются с существующими данными. Только если у вас есть явная поддержка, что очень необычно, вы можете заменять текущие данные импортированными данными.

Рассмотрите возможность упрощения

Шейп-файлы часто содержат слишком много подробностей, то есть больше точек, чем необходимо для представления кривых, или более двух точек, представляющих идеально прямую линию. Это особенно заметно на больших участках землепользования, точки которых расположены на расстоянии нескольких метров друг от друга или кажутся неровными из-за недостаточного или слишком высокого разрешения. Такие инструменты, как Map Shaper, можно использовать для упрощения шейп-файлов со слишком большим количеством деталей. Не забудьте подумать о том, как данные выглядят и с ними можно работать в стандартных редакторах сообщества (например, iD в браузере)

Помните о мощностях сервера

Убедитесь, что вы не перегружаете сервер при импорте больших объемов данных. Импорт из системы TIGER пришлось растянуть на несколько месяцев, чтобы не убить центральный сервер! Импортируйте данные небольшими частями или иным образом замедляйте выполнение сценариев импорта. В случае сомнений обратитесь к системным администраторам.

Будьте очень осторожны, чтобы не повредить базу данных

Будьте очень осторожны, чтобы не повредить базу данных, не оставляйте беспорядочный импорт и не предполагайте, что безымянные участники OpenStreetMap, работающие в iD и Potlatch, завершат вашу работу. JOSM лучше справляется с распутыванием беспорядочных данных, но это по-прежнему сложно, и при необходимости вы должны выполнить эту работу самостоятельно.

Если ваш импорт «идет не так» или вам нужно было прервать загрузку на полпути, то следует немедленно откатить правку. Если вам нужна помощь, свяжитесь с imports@openstreetmap.org и/или talk@openstreetmap.org. Если вы не знаете, как откатить правку, не выполняйте импорт.

Смотрите также