Экспорт границ АТД OSM в Tableau через ArcMap и QGIS

Вопросы по нескольким пакетам сразу, или вопросы, которые непонятно к какой ГИС отнести
Ответить
ilya.kuzminov
Новоприбывший
Сообщения: 13
Зарегистрирован: 07 авг 2012, 16:31
Репутация: 0

Экспорт границ АТД OSM в Tableau через ArcMap и QGIS

Сообщение ilya.kuzminov » 07 авг 2012, 17:31

Уважаемые Коллеги,

Остро встала задача до конца августа наладить отображение границ муниципальных образований первого уровня (городских округов, муниципальных районов) в Tableau Server.

Tableau не может напрямую читать shp файлы, поэтому существующие решения вопроса - обходные. Они используют в качестве посредника либо Quantum GIS либо ArcMap, а также MS Excel.

Проблема возникает в связи с тем, что Quantum GIS не способен корректно отображать кириллические символы в полях таблицы (перепробованы все доступные в нем кодировки), а ArcMap при переводе регионов в точки создает слишком большой файл (около 2 Гб для муниципальных образований России) и не включает в результирующую таблицу координаты точек. Если даже удастся решить проблему с ArcMap, возникнет проблема, связанная с тем, что при открытии соответствующего .dbf-файла в Excel для дальнейшего редактирования наименования муниципальных районов не отображаются корректно из-за проблем с кодировкой.

Очень прошу Вас помочь! Детали проблемы изложены ниже.

1) По умолчанию Tableau использует в качестве карты предзаданный набор тайлов, созданный на основе рендеринга ADC World Map 6.1. В результате, границы субъектов РФ отображаются только при значительном приближении, границы муниципальных районов отсутствуют как таковые.

2) Очевидным решением проблемы мне пока кажется подгрузка в Tableau слоев муниципальных районов и городских округов, доступных на сайте ГИС-Лаб. Эти слои предоставляются в формате shp.

3) О том, как данные из shp перенести в Tableau, есть в сети две инструкции: неофициальная и официальная (основная и дополнительная). Неофициальная предлагает использовать QGIS, официальная ArcMap.

4) Вначале была опробована неофициальная. Все застопорилось очень быстро. QuantumGIS не понимает кодировку (были перепробованы все доступные в QGIS кодировки):
Изображение
При этом ArcMap распознает кодировку на ура:
Изображение

5) Соответственно, была опробована официальная инструкция. Установлен ArcGis 10, установлен ET GeoWizards, использована конвертация полигонов в точки:
Изображение
Размер полученного файла ужаснул: 1,9 Гб (и это представление в точках лишь всех муниципальных районов России без ниже- и вышестоящих делений и без остального мира). Но с этим еще можно смириться, взяв для начала только один регион (пилотный проект планируется по одному региону). Однако далее по инструкции требуется открыть полученный dbf-файл в табличном редакторе и изменить его. Был использован русифицированный MS Excel 2010 билд 14.0.6112.5000. Опять же, проблема с кодировкой, и я не знаю как ее решить. Кроме того, структура dbf-файла не соответствует той, которая нужна по инструкции: нет столбцов с широтой и долготой и с порядковыми номерами точек по каждому бывшему полигону:
Изображение

Таким образом, в сухом остатке вопросов два:
1) Как заставить QGIS и Excel понимать кодировку файлов, содержащихся в архиве adm6_district_f.7z
2) Как заставить ArcGIS, разбив полигоны на точки, явно приписать каждой точке в таблице ее координаты и ее порядковый номер в бывшем полигоне.

Аватара пользователя
rhot
Гуру
Сообщения: 1727
Зарегистрирован: 25 янв 2011, 17:50
Репутация: 194
Ваше звание: доктор
Откуда: Архангельск

Re: Экспорт границ АТД OSM в Tableau через ArcMap и QGIS

Сообщение rhot » 07 авг 2012, 17:37

1) задавайте кодировку UTF-8
Вложения
Снимок.png
Кодировка UTF-8
Снимок.png (260.75 КБ) 12479 просмотров
___________(¯`·.¸(¯`·.¸ Scientia potentia est _/ {SILVA}:::{FOSS}:::{GIS} \_ Знание сила ¸.·´¯)¸.·´¯)___________

Voltron
Гуру
Сообщения: 2627
Зарегистрирован: 29 мар 2007, 14:12
Репутация: 34
Откуда: Ukraine

Re: Экспорт границ АТД OSM в Tableau через ArcMap и QGIS

Сообщение Voltron » 07 авг 2012, 18:14

rhot писал(а):1) задавайте кодировку UTF-8
тему не читай@сразу отвечай

2ilya.kuzminov
Чтобы в QGIS была кириллица возьмите эту сборку

ggis
Завсегдатай
Сообщения: 302
Зарегистрирован: 31 окт 2008, 10:39
Репутация: 2

Re: Экспорт границ АТД OSM в Tableau через ArcMap и QGIS

Сообщение ggis » 07 авг 2012, 18:16

2)Если в 2-х словах- инструмент Add XY (добавление в таблицу колонок с координатами) из ArcToolbox, потом проставить порядковые номера узлов в пределах каждого полигона (на форуме не раз подымается эта задача).

ilya.kuzminov
Новоприбывший
Сообщения: 13
Зарегистрирован: 07 авг 2012, 16:31
Репутация: 0

Re: Экспорт границ АТД OSM в Tableau через ArcMap и QGIS

Сообщение ilya.kuzminov » 08 авг 2012, 17:11

Спасибо, указанная сборка при кодировке UTF-8 все отображает корректно.
Voltron писал(а):
rhot писал(а):1) задавайте кодировку UTF-8
тему не читай@сразу отвечай

2ilya.kuzminov
Чтобы в QGIS была кириллица возьмите эту сборку

ilya.kuzminov
Новоприбывший
Сообщения: 13
Зарегистрирован: 07 авг 2012, 16:31
Репутация: 0

Re: Экспорт границ АТД OSM в Tableau через ArcMap и QGIS

Сообщение ilya.kuzminov » 08 авг 2012, 17:40

ggis писал(а):2)Если в 2-х словах- инструмент Add XY (добавление в таблицу колонок с координатами) из ArcToolbox, потом проставить порядковые номера узлов в пределах каждого полигона (на форуме не раз подымается эта задача).
Спасибо за быстрый ответ! К сожалению, попытка применить Add XY выдала неспецифическую ошибку 999999 (xml-файл лога прилагается). Я подозреваю, что дело в размере файла (около 2 гб), т.е. в очень большом количестве точек, которым надо приписать координаты. Подскажите, если вы знаете, как автоматически сократить количество точек. Мне в данном случае не нужна сверхвысокая точность.

Как приписать инкрементные номера точкам, я на форуме не нашел. Нашел некоторые упоминания по запросу "points sequential number" на зарубежном форуме ESRI, но в этих сообщениях все сводиться к применению специально написанного скрипта на Питоне. Неужели для этой задачи нет стандартного инструмента в Toolbox-е?

ggis
Завсегдатай
Сообщения: 302
Зарегистрирован: 31 окт 2008, 10:39
Репутация: 2

Re: Экспорт границ АТД OSM в Tableau через ArcMap и QGIS

Сообщение ggis » 08 авг 2012, 17:51

ilya.kuzminov писал(а): Подскажите, если вы знаете, как автоматически сократить количество точек. Мне в данном случае не нужна сверхвысокая точность.
Панель инструментов-Advanced Editing (но думаю с таким файлом может "загнуться")
ilya.kuzminov писал(а): Нашел некоторые упоминания по запросу "points sequential number" на зарубежном форуме ESRI, но в этих сообщениях все сводиться к применению специально написанного скрипта на Питоне. Неужели для этой задачи нет стандартного инструмента в Toolbox-е?
Стандартного инструмента нет, если можно- ссылку на скрипт.

ilya.kuzminov
Новоприбывший
Сообщения: 13
Зарегистрирован: 07 авг 2012, 16:31
Репутация: 0

Re: Экспорт границ АТД OSM в Tableau через ArcMap и QGIS

Сообщение ilya.kuzminov » 08 авг 2012, 18:31

Стандартного инструмента нет, если можно- ссылку на скрипт.[/quote]

Ветка форума, посвященная этому, находится здесь, но она посвящена Field Calculator применительно, кажется, к ArcView, поэтому польза для ArcMap под вопросом.

По поводу открывания dbf в Excel, прочитал, что у Excel туго с кириллицей в dbf, поскольку он читает dbf в DOS-овской кодировке, и это его поведение изменить нельзя. Решил проблему редактором dbf с функцией экспорта в Excel. Скачал здесь.

В принципе, ничто не мешает в редакторе dbf-файла добавить колонку и сделать там инкрементные номера. Но позволит ли это восстановить по точкам векторы? Мне не ясно, в каком порядке ArcMap записывает созданные при конвертации из полигонов точки в dbf. С севера на юг, с запада на восток? Сначала все по одному полигону, потому по другому, потом по третьему? Или вперемешку?

Аватара пользователя
Максим Дубинин
MindingMyOwnBusiness
Сообщения: 9128
Зарегистрирован: 06 окт 2003, 20:20
Репутация: 747
Ваше звание: NextGIS
Откуда: Москва
Контактная информация:

Re: Экспорт границ АТД OSM в Tableau через ArcMap и QGIS

Сообщение Максим Дубинин » 08 авг 2012, 18:36

http://gis-lab.info/qa/rusbounds-rosreestr-gen.html
тут же есть и то, что вам нужно
пристегивайтесь, турбулентность прямо по курсу

ilya.kuzminov
Новоприбывший
Сообщения: 13
Зарегистрирован: 07 авг 2012, 16:31
Репутация: 0

Re: Экспорт границ АТД OSM в Tableau через ArcMap и QGIS

Сообщение ilya.kuzminov » 01 сен 2012, 13:02

Я обнаружил пост о самодельном инструменте, который загружает shp в Tableau:
http://community.tableausoftware.com/me ... 773#172773

Все работает просто замечательно, без каких либо модификаций слоев shp, доступных здесь:
http://gis-lab.info/qa/osm-adm.html

Ответить

Вернуться в «Общий - ПО»

Кто сейчас на конференции

Сейчас этот форум просматривают: нет зарегистрированных пользователей и 4 гостя