Данные OpenStreetMap в форматах XML и PBF

Обсуждение материалов сайта: вопросы, замечания, предложения
Ответить
Аватара пользователя
Aleksandr Dezhin
Активный участник
Сообщения: 244
Зарегистрирован: 03 фев 2010, 10:47
Статьи: 3
Проекты: 1
Репутация: 14
Откуда: Москва

Re: Данные OpenStreetMap в форматах XML и PBF

Сообщение Aleksandr Dezhin » 18 авг 2011, 00:56

igpblg писал(а):не скачать новые дифы
data.gis-lab.info/osm_dump/diff/RU/RU-110811-110812.osc.gz
не качается
403 - Forbidden
С завтрашнего дня вроде должно все нормально стать.

x893
Новоприбывший
Сообщения: 1
Зарегистрирован: 10 сен 2011, 03:50
Репутация: 0

Re: Данные OpenStreetMap в форматах XML и PBF

Сообщение x893 » 10 сен 2011, 04:02

Взял файл RU-MOW.osm.bz2
При импорте возникает ошибка, что нет Node с ID = 308269810 (line 2532126)
<way id="29569957" version="14" timestamp="2011-08-29T10:06:37Z" uid="397326" user="trolleway" changeset="9155694">
<nd ref="308269810"/>
и ещё таких же 30-40 ошибок после этой.

У Вас не делается проверка на косистентность данных ?
Если нет - какой совет совет Вы можете дать, что бы разрешить (resolve) эту ошибку ?

Аватара пользователя
Aleksandr Dezhin
Активный участник
Сообщения: 244
Зарегистрирован: 03 фев 2010, 10:47
Статьи: 3
Проекты: 1
Репутация: 14
Откуда: Москва

Re: Данные OpenStreetMap в форматах XML и PBF

Сообщение Aleksandr Dezhin » 11 сен 2011, 02:49

x893 писал(а):У Вас не делается проверка на косистентность данных ?
Если нет - какой совет совет Вы можете дать, что бы разрешить (resolve) эту ошибку ?
Нет, специальных проверок на целостность данных мы не делаем. Кое какие действия для этого предпринимаются, но обеспечить полную целостность внутри дампа довольно проблематично.

Конкретно в данном случае скорее всего произошло следующее: вначале вей находился за пределами области обрезки, потом в результате изменения стал в нее попадать. Такие ошибки исправляются при повторной обрезки из полного дампа, но его мы выполняем довольно редко.

Чтобы обойти эту проблему, можно попробовать повторно обрезать дамп по bbox c опцией clipIncompleteEntities=True. В результате из веев эти точки будут исключены. Приблизительно так (bbox можно не указывать):

Код: Выделить всё

osmosis --read-pbf RU-MOW.osm.pbf --bounding-box clipIncompleteEntities=True --write-pbf RU-MOW-clip.osm.pbf

borism346
Новоприбывший
Сообщения: 7
Зарегистрирован: 07 окт 2011, 12:30
Репутация: 0
Откуда: Минск

Re: Данные OpenStreetMap в форматах XML и PBF

Сообщение borism346 » 07 окт 2011, 12:37

dezhin писал(а):По идее эту проблему должен был решить флаг completeRelations=yes - но он похоже не меняет ровным счетом ничего, хотя пробовали это довольно давно - может быть сейчас чего-то и поменялось.
Я раньше резал Беларусь на области самим Liosha-ным конвертором. Потом, наконец-то, решил разобраться с osmosis. Слышал про completeWays, поэтому так и поставил. В итоге пропали леса мультиполигонные по границам областей. По совету Мэрфи - "Если ничего не помогает, прочтите, наконец, инструкцию". Пошел читать. Оказалось, нужно ставить completeRelation, который включает в себя и completeWays. В таком варианте все мультиполигонные леса на границах областей появились :wink: .

Аватара пользователя
Aleksandr Dezhin
Активный участник
Сообщения: 244
Зарегистрирован: 03 фев 2010, 10:47
Статьи: 3
Проекты: 1
Репутация: 14
Откуда: Москва

Re: Данные OpenStreetMap в форматах XML и PBF

Сообщение Aleksandr Dezhin » 07 окт 2011, 13:35

Вот я читаю уже не первый раз:
Include all available relations which are members of relations which have at least one member in the bounding box. Implies completeWays. Supersedes cascadingRelations.
То есть судя по документации ни на что кроме релейшнов оно влиять не должно. С другой стороны причем здесь тогда completeWays.

borism346
Новоприбывший
Сообщения: 7
Зарегистрирован: 07 окт 2011, 12:30
Репутация: 0
Откуда: Минск

Re: Данные OpenStreetMap в форматах XML и PBF

Сообщение borism346 » 07 окт 2011, 13:45

dezhin писал(а):То есть судя по документации ни на что кроме релейшнов оно влиять не должно. С другой стороны причем здесь тогда completeWays.
Ну я Implies перевел как "заключать в себе". Когда порезал Беларусь на области с этим ключом, то остались все леса на границах и с дорогами все нормально. Специально проверил, роутит насквозь через все области.

Аватара пользователя
Aleksandr Dezhin
Активный участник
Сообщения: 244
Зарегистрирован: 03 фев 2010, 10:47
Статьи: 3
Проекты: 1
Репутация: 14
Откуда: Москва

Re: Данные OpenStreetMap в форматах XML и PBF

Сообщение Aleksandr Dezhin » 15 ноя 2011, 01:20

У Новосибирской области изменился код с неправильного RU-NSK на правильный RU-NVS.
Для /latest/ работает редирект, для всего остального нет.

Marych73
Новоприбывший
Сообщения: 10
Зарегистрирован: 19 авг 2011, 08:20
Репутация: 3

Re: Данные OpenStreetMap в форматах XML и PBF

Сообщение Marych73 » 16 ноя 2011, 11:52

Ковертаци я в XML застряла на 14 ноября

Аватара пользователя
Aleksandr Dezhin
Активный участник
Сообщения: 244
Зарегистрирован: 03 фев 2010, 10:47
Статьи: 3
Проекты: 1
Репутация: 14
Откуда: Москва

Re: Данные OpenStreetMap в форматах XML и PBF

Сообщение Aleksandr Dezhin » 16 ноя 2011, 14:52

Marych73 писал(а):Ковертаци я в XML застряла на 14 ноября
Сейчас вроде все ок, они немного дольше считаются из-за ребилда raid-массива на сервере.

venomsoldier
Новоприбывший
Сообщения: 8
Зарегистрирован: 02 дек 2011, 02:19
Репутация: 0

Re: Данные OpenStreetMap в форматах XML и PBF

Сообщение venomsoldier » 02 дек 2011, 02:23

Входят ли данные по ссылке ниже в этот проект? Если да, то почему их обновление остановилось 27 ноября, и когда оно возобновится.
http://data.gis-lab.info/osm_shp/

Nikolka00
Активный участник
Сообщения: 101
Зарегистрирован: 01 авг 2010, 23:34
Репутация: 2

Re: Данные OpenStreetMap в форматах XML и PBF

Сообщение Nikolka00 » 31 мар 2012, 12:57

почему данные не обновляются? все регионы от 29 марта

Александр Мурый
Гуру
Сообщения: 5173
Зарегистрирован: 26 сен 2009, 16:26
Статьи: 3
Проекты: 5/1
Репутация: 787
Ваше звание: званий не имею
Откуда: Москва

Re: Данные OpenStreetMap в форматах XML и PBF

Сообщение Александр Мурый » 31 мар 2012, 13:06

Nikolka00 писал(а):почему данные не обновляются? все регионы от 29 марта
См. сюда
Редактор материалов, модератор форума

Nikolka00
Активный участник
Сообщения: 101
Зарегистрирован: 01 авг 2010, 23:34
Репутация: 2

Re: Данные OpenStreetMap в форматах XML и PBF

Сообщение Nikolka00 » 31 мар 2012, 14:03

ясненько. но там и вопрос здравый от пользователя
Bishop:
Март 30, 2012 в 8:00 пп
А в чем отличия лицензирования для конечного пользователя?
дампы то сливать можно, даже в режиме рид-онли

продолжайте разбивать по регионам. мы не отрисовывем, мы используем данные

Аватара пользователя
Aleksandr Dezhin
Активный участник
Сообщения: 244
Зарегистрирован: 03 фев 2010, 10:47
Статьи: 3
Проекты: 1
Репутация: 14
Откуда: Москва

Re: Данные OpenStreetMap в форматах XML и PBF

Сообщение Aleksandr Dezhin » 02 апр 2012, 00:27

Nikolka00 писал(а):все регионы от 29 марта
Сейчас вроде бы все как и должно быть, возможно обновление останавливалось из-за аппаратного сбоя на сервере.

Nikolka00
Активный участник
Сообщения: 101
Зарегистрирован: 01 авг 2010, 23:34
Репутация: 2

Re: Данные OpenStreetMap в форматах XML и PBF

Сообщение Nikolka00 » 19 апр 2012, 11:32

ходят слухи на планет осм данные уже свежие вылаживают
может стоит возобновить нарезку

Ответить

Вернуться в «Материалы сайта»

Кто сейчас на конференции

Сейчас этот форум просматривают: нет зарегистрированных пользователей и 2 гостя