Uk:Import/Guidelines

From OpenStreetMap Wiki
Jump to: navigation, search
Доступні мови — Import/Guidelines
· Afrikaans · Alemannisch · aragonés · asturianu · azərbaycanca · Bahasa Indonesia · Bahasa Melayu · Bân-lâm-gú · Basa Jawa · Baso Minangkabau · bosanski · brezhoneg · català · čeština · dansk · Deutsch · eesti · English · español · Esperanto · estremeñu · euskara · français · Frysk · Gaeilge · Gàidhlig · galego · Hausa · hrvatski · Igbo · interlingua · Interlingue · isiXhosa · isiZulu · íslenska · italiano · Kiswahili · Kreyòl ayisyen · kréyòl gwadloupéyen · Kurdî · latviešu · Lëtzebuergesch · lietuvių · magyar · Malagasy · Malti · Nederlands · Nedersaksies · norsk bokmål · norsk nynorsk · occitan · Oromoo · oʻzbekcha/ўзбекча · Plattdüütsch · polski · português · português do Brasil · română · shqip · slovenčina · slovenščina · Soomaaliga · suomi · svenska · Tiếng Việt · Türkçe · Vahcuengh · vèneto · Wolof · Yorùbá · Zazaki · српски / srpski · беларуская · български · қазақша · македонски · монгол · русский · тоҷикӣ · українська · Ελληνικά · Հայերեն · ქართული · नेपाली · मराठी · हिन्दी · অসমীয়া · বাংলা · ਪੰਜਾਬੀ · ગુજરાતી · ଓଡ଼ିଆ · தமிழ் · తెలుగు · ಕನ್ನಡ · മലയാളം · සිංහල · ไทย · မြန်မာဘာသာ · ລາວ · ភាសាខ្មែរ · ⵜⴰⵎⴰⵣⵉⵖⵜ · አማርኛ · 한국어 · 日本語 · 中文(简体)‎ · 吴语 · 粵語 · 中文(繁體)‎ · ייִדיש · עברית · اردو · العربية · پښتو · سنڌي · فارسی · ދިވެހިބަސް

Під час імпорту даних в базу даних OpenStreetMap ви повинні дотримуватись Настанов з імпорту, разом з Кодексом автоматизованих правок, через те, що вони містять багато засвоєних уроків імпорту з історії OpenStreetMap. Імпорт потрібно планувати та виконувати дуже ретельно ще уважніше і відповідальніше ніж інші правки, бо невдалий імпорт спричиняє значний вплив на наявні дані та на локальну спільноту. На Data Working Group Фундацією OSMF покладено завдання з виявлення та зупинення імпортів, що не відповідають цьому керівництву. Таким чином, не виконуючи ці рекомендації ви наражаєтесь на ризик блокування вашого облікового запису.

Не потрібно вважати Імпорт альтернативою розбудови спільноти, проведенню заходів з мапінгу та поширенню відомостей про проект для залучення нових учасників. Звісно, всі ці питання відкриті для обговорення, наприклад в списку розсилкиimports або на сторінці обговорення.

Процес

Якщо ви думаєте, що ваші місцеві/районі/обласні/державні органи влади, некомерційні, або будь-які інші організації чи особи мають чудові дані, які можуть бути використані для поліпшення якості OpenStreetMap, ось, що вам потрібно знати. Ми почнемо зі швидкого огляду процесу, щоб спрямувати вас правильним шляхом. Більшість з цих пунктів будуть розширені в наступних розділах на цій сторінці та на суміжних сторінках.

Крок 1 - Передумови

  1. Ознайомтесь з основами OpenStreetMap, включаючи редагування, наприклад додайте докладні відомості про об’єкти поруч з вами.
  2. Дізнайтесь, що може статись не так під час імпорту.
  3. Визначте дані, які ви хотіли б імпортувати та їх ліцензійні вимоги. Це можуть бути дороги, контури будинків, водні шляхи, адреси, й т.д.

Крок 2 - Залучення спільноти

  1. Рекомендується перед тим, як розпочати роботу з імпорту, зв’язатись зі спільнотою, щоб дізнатись чи є потреба в такому імпорті. В різних місцях OSM – різний рівень прийняття імпортів. Імпорт тих самих даних в одній місцевості отримає підтримку, в той час, як в інших – буде відхилений.
  2. Обговоріть ваш план. Сповістіть локальну спільноту OSM про ваші плани, додайте посилання на вашу вікі-сторінку. Ви можете зробити це надіславши листа на imports@openstreetmap.org, talk-(ваша країна)@openstreetmap.org, у групу OSM регіону, що до якого відбуватиметься імпорт. (В Україні найактивнішим майданчиком для спілкування спільноти є українська гілка форуму OSM). Це допоможе вам отримати допомогу з досвіду минулих років, який вже може містити оцінку даних, які ви збираєтесь імпортувати. Зв’яжіться з місцевою групою учасників, місцевим відділенням, та напишіть до списку розсилки.
  3. Будьте готові відповідати на запитання спільноти. Обговорюйте зі спільнотою придатність кожного шару даних. Частина даних може бути імпортована без якихось труднощів, в той час як інші дані імпортувати доволі складно (наприклад: дороги). Деякі дані отримують широке схвалення, щодо їх імпорту, тоді як імпорт інших не отримує єдиної думки (межі домоволодінь).
  4. До перевірки складніших та широкомасштабних імпортів потрібно залучати технічно-грамотних та досвідчених учасників OSM-спільноти.
  5. Ви не повинні імпортувати дані без залучення локальної спільноти.

Крок 3 - Узгодження ліцензійних вимог

  1. Ви повинні отримати відповідний дозвіл та ліцензію на використання даних в OSM від власника даних. Якщо ліцензія на дані несумісна з OSM Open Database License, ви не можете використовувати такі дані. Більшість місцевостей мають прогресивні правила щодо відкритих даних. Інші, мають правила, що є майже відкритими, але мають проблеми пов’язані з комерційним використанням даних або вимоги посилатись на правовласників даних. Іноді, для того щоб отримати дозвіл на використання даних, навіть коли наявна ліцензія здається забороняє їх використання, достатньо отримати відповідь на запит від відповідних владних органів, чи не заперечують вони використовувати дані на умовах OSM Open Database License. Ознайомтесь з Import/GettingPermission, щоб отримати зразок листа, що стосується важливих питань.

Крок 4 - Документація

  1. Ви повинні зареєструвати ваші дозволи та ваш проект додавши рядок в таблицю у Import/Catalogue.
  2. Ви повинні описати план імпорту в OSM-вікі. Створіть вікі-сторінку з описом деталей вашого плану. План повинен містити інформацію про те, як ви збираєтесь перетворити ваші дані в формат OSM XML, етапи виконання роботи, як відбуватиметься об’єднання даних, яким чином наявні параметри GIS будуть перенесені в теґи OSM, як дані потенційно можуть бути спрощені, як буде виконуватись кожен етап, план на випадок невдачі - як скасувати внесені зміни, правила, щодо розміру наборів змін, та плани що до перевірки якості. З прикладом такого пану можна ознайомитись у Import/Plan Outline
  3. У разі вимоги від власника даних, ви повинні додати відомості про нього в перелік Contributors.

Крок 5 - Огляд імпорту

  1. Ви повинні надіслати огляд вашого імпорту до списку розсилки imports@openstreetmap.org. Для цього потрібно підписатись. Не завантажуйте будь-які дані доки ваш проект не буде розглянуто.
  2. Якщо можливо, підготуйте дані та зробіть їх доступними для огляду.

Крок 6 - Завантаження

  1. Дотримуйтесь вашого плану.
  2. Сповіщайте про ваші досягнення.
  3. Надавайте спільноті свіжі дані щодо ваших зусиль.
  4. Сповістіть всіх, коли ви закінчите.
  5. Для імпорту потрібно використовувати окремий обліковий запис.

Key considerations

Discuss your proposed import

It is important to discuss your proposed import with the community at every step. First of all add an entry to Potential Datasources. Here you can briefly describe what you have found out about the licensing of the data, and the data's accuracy with respect to data we already have. If you need more space, link through to a new wiki page about the data source.

Discuss your import on the imports@openstreetmap.org mailing list and with appropriate local communities. Many local communities have their own wiki pages and/or a Mailing lists. Coordinate with other people with similar plans.

Even if the same or similar import has been discussed before, you should still discuss it with the local community. This means that they are aware of your plans and can raise any issues or clashes before any damage occurs. This is especially true if the data has been available for a long time and has not yet been imported - this does not mean it is acceptable to proceed without discussion with the local community.

Always start by discussing the investigation you have done into licensing and accuracy. If the consensus is that the data doesn't meet our criteria, don't be disappointed. Label it as rejected on the Potential Datasources page, and give the reasons. Documenting such decisions is a helpful contribution in itself. If people are happy with it, move on to discussing implementation of import scripts etc.

Imports related to humanitarian issues, disaster response, or development should consult the HOT (ideally on the HOT Mailing list).

Document your import

If you are going ahead with your import, please create a page about it on the wiki, with all the details. Create an entry on the Import/Catalogue page and link from there to your page. Also link to your page from local Mapping Projects pages. The page should have the following details:

  • Datasource accuracy and licensing (also summarised on Potential Datasources)
  • Import/Software you plan to use. Share the source code you are using.
  • Exactly how data will be translated from another format into OSM format
  • How the resulting data will look. Exact tags being used.
  • Link to sample data imported on the test database.
  • User name of the account performing the import, and other details of how the changesets will be tagged

And as the import progresses

  • Link to example data imported on the live database.

Ensure that the data license is OK

We are only interested in 'free' data. We must be able to release the data with our OpenStreetMap License. Obviously we are allowed to use public domain data sources, of which there are quite a few, but beyond that, it gets more complicated.

OpenStreetMap moved to the Open Database License in September 2012. Your data must therefore be compatible with that. In addition, you must be able to agree to the Contributor Terms for your import account, which includes provisions to relicense under another free and open license if the community wishes it.

You must not claim an additional copyright for yourself as the importer. For example, if you import public domain data, you must not seek to restrict the use of your imported data. Your import account must not refuse any permissions that were given by the original creators of the data you're importing.

Please also note the details of attribution requirement. We can offer some attribution: we can credit them on our website (not on the homepage, but in the Contributors page here on the wiki, and on www.openstreetmap.org/copyright for very large-scale contributions). We can link information about them in relation to the user account performing import edits, meaning the editing history will allow people to trace the source of the data donation. We can also set their name in the 'source' tags of our underlying data. This is perhaps more prominent, but may be removed by editors doing further mapping work. The credit to the "author" stops there. What we certainly cannot do is require end-users of our data/renderings to give credit to the particular data donor. With this in mind, our attribution may not be sufficient legally speaking and might actually be considered unsatisfactory by the original "authors" of the data.

We often find that data that purports to be available under a compatible license has been ultimately derived from sources that we consider to be non-free. For example, although some geodata is available from Wikipedia under a Creative Commons license it is a widely held belief in OSM that some of the data is simply derived from Google Maps, and therefore not actually available under that stated license. In such cases it is an established community norm to not import data whose provenance is uncertain, regardless of the stated license. Better safe than sorry.

Use a dedicated user account

Create a new user for the import. You must not use your standard OSM user account. The user page for the account should be used to collate data relating to the source and contact details for the import. Furthermore, it means that attribution can often be carried in the account's display name, or in the account's user page, which is better than putting it as a tag, as the user's editing history is a permanent record of the source and doesn't interfere with tags or increase the size of the database as much. For these reasons, creating a dedicated user account is preferable to using a source=* tag. For distributed/community imports, have each person make their own import account, for example "your osm user name"_import. It is not required that each import be done under the same user account.

A great tip from user:Aaron Lidman, if you have an existing gmail account, you can use a email alias and sign up for new OSM account for imports by using youremail+something@gmail.com. For example johnsmith+anytownimport@gmail.com. Gmail will route the OSM emails to your normal email. This will allow you to create multiple OSM import accounts for a singular email address.

Not complying to this rule is one of the reasons that could lead to your account be temporarily blocked by the DWG

Use the right tags

Your import should use tags which are familiar to the OSM community, rather than inventing its own set of tags.

You may have some metadata like the IDs used for your original data. If this metadata will be useful to OSM, then define your own prefix and use that on those metadata tags. The TIGER import for instance uses the "tiger:" prefix. The original ID of a TIGER object is tagged as "tiger:tlid".

However, don't go overboard with metadata. OSM is only interested in what is verifiable. This doesn't include (for example) foreign keys from another database, unless those are absolutely necessary for maintaining the data in future. Your data source may have many many fields, but OSM data elements with many many tags can be difficult to work with. Strike a balance. Figure out (discuss!) what fields the OSM community are interested in.

Don't put data on top of data

Unlike traditional GIS systems, OpenStreetMap has no concept of layers. Data on top of data is just a mess. It's a kind of mess which makes it very difficult for real users to work in the normal OpenStreetMap editors. The Duplicate nodes map reveals imports have not followed this guideline (Rogue TIGER importers caused a lot of this, but sadly there are many more recent messed up imports)

If your data is in a layered traditional GIS format, you'll need to take a different approach. Perhaps merge the layers and calculate the best aggregate tags, but you can always avoid directly importing data, and instead set up a source for users to manually and selectively import from, or a WMS to trace over (like Natural Resources Canada -Toporama)

If you are importing data where there is already some data in OSM, then you need to combine this data in an appropriate way or suppress the import of features with overlap with existing data. Only where you have explicit support, which is highly unusual, should you replace current data with your imported data.

Consider simplifying

Shapefiles often include too many details, i.e. more nodes than necessary to represent curves, or more than two nodes representing a perfectly straight line. You'll see this particularly with large landuse areas that have nodes a few meters apart or appear jagged because the resolution isn't fine enough or is too fine. Tools such as Map Shaper can be used to simplify shapefiles that have too many details. Remember to think about how the data looks and can be worked with in Potlatch.

Keep server resources in mind

Make sure you don't overload the server when importing large amounts of data. The TIGER import had to be spread out over several months to not kill the central server! Import the data in small installments or otherwise slow down your import scripts. If in doubt, talk to the System Administrators.

Take great care to avoid damaging the database

Take great care to avoid damaging the database and don't leave a messy import and assume that nameless OpenStreetMap contributors working in iD and Potlatch and will tirelessly complete your work. JOSM is better at for untangling messy data, but it's still difficult and you should do this work yourself if necessary.

If your import does 'go wrong', or you needed to interrupt an upload half way through, then this should be reverted promptly. If you need help then contact Imports and/or Talk. If you don't know how to revert an import, don't do the import in the first place.

See also