Экспорт границ АТД OSM в Tableau через ArcMap и QGIS
-
- Новоприбывший
- Сообщения: 13
- Зарегистрирован: 07 авг 2012, 16:31
- Репутация: 0
Экспорт границ АТД OSM в Tableau через ArcMap и QGIS
Уважаемые Коллеги,
Остро встала задача до конца августа наладить отображение границ муниципальных образований первого уровня (городских округов, муниципальных районов) в Tableau Server.
Tableau не может напрямую читать shp файлы, поэтому существующие решения вопроса - обходные. Они используют в качестве посредника либо Quantum GIS либо ArcMap, а также MS Excel.
Проблема возникает в связи с тем, что Quantum GIS не способен корректно отображать кириллические символы в полях таблицы (перепробованы все доступные в нем кодировки), а ArcMap при переводе регионов в точки создает слишком большой файл (около 2 Гб для муниципальных образований России) и не включает в результирующую таблицу координаты точек. Если даже удастся решить проблему с ArcMap, возникнет проблема, связанная с тем, что при открытии соответствующего .dbf-файла в Excel для дальнейшего редактирования наименования муниципальных районов не отображаются корректно из-за проблем с кодировкой.
Очень прошу Вас помочь! Детали проблемы изложены ниже.
1) По умолчанию Tableau использует в качестве карты предзаданный набор тайлов, созданный на основе рендеринга ADC World Map 6.1. В результате, границы субъектов РФ отображаются только при значительном приближении, границы муниципальных районов отсутствуют как таковые.
2) Очевидным решением проблемы мне пока кажется подгрузка в Tableau слоев муниципальных районов и городских округов, доступных на сайте ГИС-Лаб. Эти слои предоставляются в формате shp.
3) О том, как данные из shp перенести в Tableau, есть в сети две инструкции: неофициальная и официальная (основная и дополнительная). Неофициальная предлагает использовать QGIS, официальная ArcMap.
4) Вначале была опробована неофициальная. Все застопорилось очень быстро. QuantumGIS не понимает кодировку (были перепробованы все доступные в QGIS кодировки):
При этом ArcMap распознает кодировку на ура:
5) Соответственно, была опробована официальная инструкция. Установлен ArcGis 10, установлен ET GeoWizards, использована конвертация полигонов в точки:
Размер полученного файла ужаснул: 1,9 Гб (и это представление в точках лишь всех муниципальных районов России без ниже- и вышестоящих делений и без остального мира). Но с этим еще можно смириться, взяв для начала только один регион (пилотный проект планируется по одному региону). Однако далее по инструкции требуется открыть полученный dbf-файл в табличном редакторе и изменить его. Был использован русифицированный MS Excel 2010 билд 14.0.6112.5000. Опять же, проблема с кодировкой, и я не знаю как ее решить. Кроме того, структура dbf-файла не соответствует той, которая нужна по инструкции: нет столбцов с широтой и долготой и с порядковыми номерами точек по каждому бывшему полигону:
Таким образом, в сухом остатке вопросов два:
1) Как заставить QGIS и Excel понимать кодировку файлов, содержащихся в архиве adm6_district_f.7z
2) Как заставить ArcGIS, разбив полигоны на точки, явно приписать каждой точке в таблице ее координаты и ее порядковый номер в бывшем полигоне.
Остро встала задача до конца августа наладить отображение границ муниципальных образований первого уровня (городских округов, муниципальных районов) в Tableau Server.
Tableau не может напрямую читать shp файлы, поэтому существующие решения вопроса - обходные. Они используют в качестве посредника либо Quantum GIS либо ArcMap, а также MS Excel.
Проблема возникает в связи с тем, что Quantum GIS не способен корректно отображать кириллические символы в полях таблицы (перепробованы все доступные в нем кодировки), а ArcMap при переводе регионов в точки создает слишком большой файл (около 2 Гб для муниципальных образований России) и не включает в результирующую таблицу координаты точек. Если даже удастся решить проблему с ArcMap, возникнет проблема, связанная с тем, что при открытии соответствующего .dbf-файла в Excel для дальнейшего редактирования наименования муниципальных районов не отображаются корректно из-за проблем с кодировкой.
Очень прошу Вас помочь! Детали проблемы изложены ниже.
1) По умолчанию Tableau использует в качестве карты предзаданный набор тайлов, созданный на основе рендеринга ADC World Map 6.1. В результате, границы субъектов РФ отображаются только при значительном приближении, границы муниципальных районов отсутствуют как таковые.
2) Очевидным решением проблемы мне пока кажется подгрузка в Tableau слоев муниципальных районов и городских округов, доступных на сайте ГИС-Лаб. Эти слои предоставляются в формате shp.
3) О том, как данные из shp перенести в Tableau, есть в сети две инструкции: неофициальная и официальная (основная и дополнительная). Неофициальная предлагает использовать QGIS, официальная ArcMap.
4) Вначале была опробована неофициальная. Все застопорилось очень быстро. QuantumGIS не понимает кодировку (были перепробованы все доступные в QGIS кодировки):
При этом ArcMap распознает кодировку на ура:
5) Соответственно, была опробована официальная инструкция. Установлен ArcGis 10, установлен ET GeoWizards, использована конвертация полигонов в точки:
Размер полученного файла ужаснул: 1,9 Гб (и это представление в точках лишь всех муниципальных районов России без ниже- и вышестоящих делений и без остального мира). Но с этим еще можно смириться, взяв для начала только один регион (пилотный проект планируется по одному региону). Однако далее по инструкции требуется открыть полученный dbf-файл в табличном редакторе и изменить его. Был использован русифицированный MS Excel 2010 билд 14.0.6112.5000. Опять же, проблема с кодировкой, и я не знаю как ее решить. Кроме того, структура dbf-файла не соответствует той, которая нужна по инструкции: нет столбцов с широтой и долготой и с порядковыми номерами точек по каждому бывшему полигону:
Таким образом, в сухом остатке вопросов два:
1) Как заставить QGIS и Excel понимать кодировку файлов, содержащихся в архиве adm6_district_f.7z
2) Как заставить ArcGIS, разбив полигоны на точки, явно приписать каждой точке в таблице ее координаты и ее порядковый номер в бывшем полигоне.
- rhot
- Гуру
- Сообщения: 1727
- Зарегистрирован: 25 янв 2011, 17:50
- Репутация: 194
- Ваше звание: доктор
- Откуда: Архангельск
Re: Экспорт границ АТД OSM в Tableau через ArcMap и QGIS
1) задавайте кодировку UTF-8
- Вложения
-
- Кодировка UTF-8
- Снимок.png (260.75 КБ) 12479 просмотров
___________(¯`·.¸(¯`·.¸ Scientia potentia est _/ {SILVA}:::{FOSS}:::{GIS} \_ Знание сила ¸.·´¯)¸.·´¯)___________
-
- Гуру
- Сообщения: 2627
- Зарегистрирован: 29 мар 2007, 14:12
- Репутация: 34
- Откуда: Ukraine
Re: Экспорт границ АТД OSM в Tableau через ArcMap и QGIS
тему не читай@сразу отвечайrhot писал(а):1) задавайте кодировку UTF-8
2ilya.kuzminov
Чтобы в QGIS была кириллица возьмите эту сборку
-
- Завсегдатай
- Сообщения: 302
- Зарегистрирован: 31 окт 2008, 10:39
- Репутация: 2
Re: Экспорт границ АТД OSM в Tableau через ArcMap и QGIS
2)Если в 2-х словах- инструмент Add XY (добавление в таблицу колонок с координатами) из ArcToolbox, потом проставить порядковые номера узлов в пределах каждого полигона (на форуме не раз подымается эта задача).
-
- Новоприбывший
- Сообщения: 13
- Зарегистрирован: 07 авг 2012, 16:31
- Репутация: 0
Re: Экспорт границ АТД OSM в Tableau через ArcMap и QGIS
Спасибо, указанная сборка при кодировке UTF-8 все отображает корректно.
Voltron писал(а):тему не читай@сразу отвечайrhot писал(а):1) задавайте кодировку UTF-8
2ilya.kuzminov
Чтобы в QGIS была кириллица возьмите эту сборку
-
- Новоприбывший
- Сообщения: 13
- Зарегистрирован: 07 авг 2012, 16:31
- Репутация: 0
Re: Экспорт границ АТД OSM в Tableau через ArcMap и QGIS
Спасибо за быстрый ответ! К сожалению, попытка применить Add XY выдала неспецифическую ошибку 999999 (xml-файл лога прилагается). Я подозреваю, что дело в размере файла (около 2 гб), т.е. в очень большом количестве точек, которым надо приписать координаты. Подскажите, если вы знаете, как автоматически сократить количество точек. Мне в данном случае не нужна сверхвысокая точность.ggis писал(а):2)Если в 2-х словах- инструмент Add XY (добавление в таблицу колонок с координатами) из ArcToolbox, потом проставить порядковые номера узлов в пределах каждого полигона (на форуме не раз подымается эта задача).
Как приписать инкрементные номера точкам, я на форуме не нашел. Нашел некоторые упоминания по запросу "points sequential number" на зарубежном форуме ESRI, но в этих сообщениях все сводиться к применению специально написанного скрипта на Питоне. Неужели для этой задачи нет стандартного инструмента в Toolbox-е?
-
- Завсегдатай
- Сообщения: 302
- Зарегистрирован: 31 окт 2008, 10:39
- Репутация: 2
Re: Экспорт границ АТД OSM в Tableau через ArcMap и QGIS
Панель инструментов-Advanced Editing (но думаю с таким файлом может "загнуться")ilya.kuzminov писал(а): Подскажите, если вы знаете, как автоматически сократить количество точек. Мне в данном случае не нужна сверхвысокая точность.
Стандартного инструмента нет, если можно- ссылку на скрипт.ilya.kuzminov писал(а): Нашел некоторые упоминания по запросу "points sequential number" на зарубежном форуме ESRI, но в этих сообщениях все сводиться к применению специально написанного скрипта на Питоне. Неужели для этой задачи нет стандартного инструмента в Toolbox-е?
-
- Новоприбывший
- Сообщения: 13
- Зарегистрирован: 07 авг 2012, 16:31
- Репутация: 0
Re: Экспорт границ АТД OSM в Tableau через ArcMap и QGIS
Стандартного инструмента нет, если можно- ссылку на скрипт.[/quote]
Ветка форума, посвященная этому, находится здесь, но она посвящена Field Calculator применительно, кажется, к ArcView, поэтому польза для ArcMap под вопросом.
По поводу открывания dbf в Excel, прочитал, что у Excel туго с кириллицей в dbf, поскольку он читает dbf в DOS-овской кодировке, и это его поведение изменить нельзя. Решил проблему редактором dbf с функцией экспорта в Excel. Скачал здесь.
В принципе, ничто не мешает в редакторе dbf-файла добавить колонку и сделать там инкрементные номера. Но позволит ли это восстановить по точкам векторы? Мне не ясно, в каком порядке ArcMap записывает созданные при конвертации из полигонов точки в dbf. С севера на юг, с запада на восток? Сначала все по одному полигону, потому по другому, потом по третьему? Или вперемешку?
Ветка форума, посвященная этому, находится здесь, но она посвящена Field Calculator применительно, кажется, к ArcView, поэтому польза для ArcMap под вопросом.
По поводу открывания dbf в Excel, прочитал, что у Excel туго с кириллицей в dbf, поскольку он читает dbf в DOS-овской кодировке, и это его поведение изменить нельзя. Решил проблему редактором dbf с функцией экспорта в Excel. Скачал здесь.
В принципе, ничто не мешает в редакторе dbf-файла добавить колонку и сделать там инкрементные номера. Но позволит ли это восстановить по точкам векторы? Мне не ясно, в каком порядке ArcMap записывает созданные при конвертации из полигонов точки в dbf. С севера на юг, с запада на восток? Сначала все по одному полигону, потому по другому, потом по третьему? Или вперемешку?
- Максим Дубинин
- MindingMyOwnBusiness
- Сообщения: 9128
- Зарегистрирован: 06 окт 2003, 20:20
- Репутация: 747
- Ваше звание: NextGIS
- Откуда: Москва
- Контактная информация:
Re: Экспорт границ АТД OSM в Tableau через ArcMap и QGIS
http://gis-lab.info/qa/rusbounds-rosreestr-gen.html
тут же есть и то, что вам нужно
тут же есть и то, что вам нужно
пристегивайтесь, турбулентность прямо по курсу
-
- Новоприбывший
- Сообщения: 13
- Зарегистрирован: 07 авг 2012, 16:31
- Репутация: 0
Re: Экспорт границ АТД OSM в Tableau через ArcMap и QGIS
Я обнаружил пост о самодельном инструменте, который загружает shp в Tableau:
http://community.tableausoftware.com/me ... 773#172773
Все работает просто замечательно, без каких либо модификаций слоев shp, доступных здесь:
http://gis-lab.info/qa/osm-adm.html
http://community.tableausoftware.com/me ... 773#172773
Все работает просто замечательно, без каких либо модификаций слоев shp, доступных здесь:
http://gis-lab.info/qa/osm-adm.html
Кто сейчас на конференции
Сейчас этот форум просматривают: нет зарегистрированных пользователей и 4 гостя