Обсуждение формата SXF в качестве стандарта геоданных

[nadiopt]

мелкие придирки

15. Вид исходного мaтеpиaлa (1 байт):
1 - кapтмaтеpиaл,
2 - фотоплaн,
3 - фотоснимок

.
брутально. космические сканерные снимки отсутствуют, а вид картматериала (слово-то какое, прям как виноматериал) не уточняется.

насчет графических примитивов (п. 2.1.5). такой же подход реализован в древнем ВинГис, т.е. прописывается путь к картинке, а сама картинка может находиться где угодно. Да еще и толщина линии, обводящей эту виртуальную картинку, заложена в описание. есть ли такое в шейпах и мифах?

зачем нужен отдельный раздел для рамки листа, действительно непонятно...

[Максим Дубинин]

Аня - спасибо что иннициировала обсуждение. ГИС-ассоциация просила меня высказаться по формату, но так я его ни разу не видел, то экспертного мнения у меня нет, только общие слова.

С сайта ГИСы, выделение моё.

Для проведения экспертизы мы обращаемся ко всем заинтересованным специалистам, имеющим опыт использования формата SXF и решения вопросов конвертации данных с просьбой высказать свое мнение по поставленным вопросам.

Могу прибавить голосование к этой теме, у меня ощущение, что формат практически неизвестен в нашей среде.

Не нравится отсутствие подготовительной работы, четкого перечня требований к конечному продукту, сравнения с другими форматами, нормально оформленной документации. Перед выносом вопроса на суд общественности, мне кажется, ФКЦ должно было заказать кому-то анализ ситуации.

[metaclass]

Я работал с этим форматом. Нужно было данные из него конвертировать в растровую картинку, софта подходящего не нашлось тогда, поэтому написал рендерер из него в bmp, отрендерил по кускам и сшил.

В общем, формат странный. Бинарная проприетарщина, заточенная под один endianess, в которой перепутаны боб с горохом, и данные и метаданные и отображение. Проектировалась явно в времена, когда памяти и места на дисках не хватало, поэтому ориентирована не на простоту работы, а на максимально сжатое представление информации.

По своей сути представляет собой объектную базу данных, но совершенно не пригодную для прямой работы - ее обработать можно только полным сканированием - никаких spatial индексов и тому подобного не предусмотрено. Семантика хранящихся данных неполная - кроме файла sxf нужен классификатор (у "Панорамы" это rsc-файл, формат не документирован), без него это просто набор объектов с пространственными данными. Классификатор тоже внутри себя представляет вариацию на тему объектной базы, с представлением объектов примерно таким же как в sxf.

С другой стороны, формат слишком навороченный. Т.е. одну и ту же информацию можно сохранить в нем несколькими способами. Например, в том файле, что я обрабатывал, объекты и подписи к ним были в двух вариантах: либо подпись в данных самого объекта, либо отдельно тут же расположенный объект "надпись". Конечно, это недоработка тех, кто оцифровывал карту, но тем не менее, формат должен енфорсить "правильный" подход.

Формат лично мне кажется неудобным, но это следствие того, что я занимаюсь базами данных и системами со строгой типизацией, поэтому формат, где один и тот же набор байт может иметь в зависимости от предыдущих данных смысл набора байт, word, dword или double - сильно режет глаза.

[Voltron]

Описание формата SXF сконвертированное в ODT

Sxf4bin.odt.bz2

(65.95 КБ) 672 скачивания

[Komяpa]

Зaпись Относительнaя высотa объектa 127,3 м может иметь вид :

0x0001 0x02 0xFF 0x04F9 ,

где 0x0001 - код высоты по одному из клaссификaтоpов (зaдaется в фaйле пaспоpте),
0x02 - код цифpового поля длиной 2 бaйтa,

0xFF - знaчение степени - минус один,

0x04F9 - число 1273 (системa измеpения зaдaется в пaспоpте);

или 0x0001 0x00 0x07 0x31 0x32 0x37 0x2C 0x33 0x20 0xAC 0x00,

то есть в виде символьной стpоки "127,3 м".

Как говорится, no comments. И это пример не из забитых ленивой секретаршей, а из документации формата.

И это ещё не касаясь мешанины однобайтных кодировок, там присутствующих, многие из которых даже не названы полностью (что такое кодировка UNICODE? что именно ANSI - тот, в котором нет кириллицы? какая из koi-8 - r или u? да и вообще, 2010 год на дворе, какой ещё однобайт...)

Ну и упаковка множества полей способом "если тут 1, то 10000, если 2 - 15000, если 3 - 150000, а если вооон в том поле 1, то берём другую таблицу" совсем не радует.

Реквестирую открытую референс-реализацию конвертора в шейпы / osmxml и обратно, который бы после прогона туда-обратно не потерял информацию. Если формат действительно удобный, и никто просто этого не понял, то написание такого примера не займёт у разработчиков формата много времени и сил.

[metaclass]

Реквестирую открытую референс-реализацию конвертора в шейпы / osmxml и обратно, который бы после прогона туда-обратно не потерял информацию. Если формат действительно удобный, и никто просто этого не понял, то написание такого примера не займёт у разработчиков формата много времени и сил.

osmxml в чистом виде не потянет. Он гораздо проще, поэтому придется всю доп. информацию запиливать в тэги, получится такой же бардак, как в изначальном файле.

Насчет shp не знаю, не сталкивался с их внутренним устройством.

[AkMeR]

osmxml в чистом виде не потянет. Он гораздо проще, поэтому придется всю доп. информацию запиливать в тэги, получится такой же бардак, как в изначальном файле.

Интересно, а куда же еще можно записать информацию в osmxml, кроме как не в теги... А еще в osmxml есть такая удобная штука, как relation, аналог которой я в sxf не нашел.

[AlexanderNV]

Всем доброго времени суток!
Хотелось бы высказаться насчет открытости формата SXF. Сам по себе-то он открытый, да... Ну, положим, вы сконвертили данные sxf в формат shape (mif/mid, gdb, mdb ...). Ну пусть вы не потеряли при этом ни бита данных. Но ведь данные sxf сами по себе, без классификатора rsc - это инвалид без глаз, рук, ног, языка, ушей и т.д.! Что это значит? Это значит следующее. Каким образом редактируются географические данные в любом формате? А редактируются они в редакторе карты, в виде документа, который в общем случае содержит огромное количество свойств отображения, символики и т.п. Итак, подготовили вы данные, подготовили свойства их отображения в виде карты. Данные вы сконвертировали. А что с картой, символикой, отображением? Как работать-то дальше с этими данными? Думаете, эту информацию несет в себе sxf? Как бы не так, ее содержит rsc классификатор, а формат rsc - ЗАКРЫТЫЙ!!! А это значит, что у вас два пути:
1. После конвертации данных заново ручками настраивать свойства их (данных )отображения на карте.
2. Купить ГИС "Карта 2008" и сконвертировать также и классификатор в нужный вам формат отображения, ибо по-другому сделать это нельзя, т. к. формат rsc закрытый, читается только с использованием панорамовских библиотек, а права на него принадлежат КБ "Панорама"!!!
Приведенные рассуждения касаются конвертации данных в обоих направлениях - "из" и "в" формат sxf.
А в пункте 2. четко выделено, продажи какого продукта резко возрастут в случае принятия sxf в качестве стандарта, ибо выполнение пункта 1. в случае большого количества данных не уступит по затратам стоимости ГИС "Карта". Вот так вот...

[mamont80]

Это уже обсуждалось. В принципе достаточно иметь справочник кодов классификаторов и строить в каждой конкретной ГИС собственные правила отрисовки, в соответсвии с возможностями данной ГИС.
У меня вот другие мысли.
1) Все говорят о конвертации "из" SXF. Но я не видел обсуждения конвертации "в" SXF. Судя по замороченности описания, я бы не стал полагаться на то что сформированый мной, как программистом, SXF файл откроется в любой версии Панорамы (как в родной среде) или другим сторонним конвертером "из" SXF. Просто там есть определенные поля и описания которых у меня может не быть, а кому-то может позарез нужны. Получается что де-факто карты делать собираются исключительно в Панораме.
2) В Панораме есть определенные типы геометрий которых нет в других ГИС. С ними то что делать, если в Панормае их нарисуют? Например векторная точка, надпись, "шаблон" (что-то типа составного точечного объекта). Корме того есть ещё понятие автофигуры. Честно признаюсь описание SXF формата я не осилил, но саму Панораму видел. Наверняка там всё это отражено.

[bim2010]

а формат rsc - ЗАКРЫТЫЙ!!

Формат цифрового классификатора RSC и библиотеки условных знаков
http://gistoolkit.ru/download/classifiers/formatrsc.zip

Классификатор цифровых навигационных карт масштабов 1:25 000, 1:50 000, 1:100 000
http://gistoolkit.ru/download/classifiers/navmaprsc.zip
и
http://www.gisinfo.ru/classifiers/classifiers.htm
Немного про конвертацию SXF и "Цифровые векторные географические карты России" КБ Панорама
viewtopic.php?f=3&t=3841#p22874
Если задатся целью то в интернете можно найти исходные тексты конверторов SXF

Ликбез по "Условные знаки, образцы шрифтов и сокращения для топографических карт"
http://gis-lab.info/docs.html в разделе "Условные обозначения"

Обсуждение темы началось не вчера http://www.dataplus.ru/ARCREV/Number_37/6_CMM.html
Т.е. подобные разработки классификаторов ведутся давно и не только КБ Панорама.
Например у Mapinfo тоже есть КЛАССИФИКАТОР масштабы 1:200000 и 1:500000:

КЛАССИФИКАТОР масштабы 1:200000 и 1:500000
В настоящем документе описываются библиотеки условных знаков для точечных и линейных объектов, знаки-заполнители для площадных объектов и топографические шрифты. Библиотеки созданы на основе документа «Условные знаки для топографических карт масштабов 1:200000 и 1:500000», /Военно-топографическое управление Генерального штаба, Москва, 1983г. и предназначены для использования при формирования цифровых топографических карт в геоинформационной системе MapInfo.
* Библиотека точечных условных знаков и знаков-заполнителей для площадных объектов представляет собой TrueType шрифт UZ200000.ttf, который инсталлируется в среде Windows.
Библиотека линейных условных знаков находится в файле стилей линий MapInfo - mapinfow.pen.

А что разве в OSM нет классификаторов? Вот только информация из классификатора фактически продублирована в тегах XML данных. И что в этом хорошего?
Возьмем "Данные OpenStreetMap по регионам РФ в форматах shape и OSM XML"
http://gis-lab.info/projects/osm-export.html загрузим их в QGIS - то что я вижу меня лично не вдохновляет ...
Разве это можно назвать картой? Сколько еще надо потратить времени и усилий чтобы эти данные довести до состояния карты? А ведь формат OSM и его классификаторов открыт. Формат проекта в QGIS тоже XML. Что мешает выполнить трансляцию OSM классификатора в .qgs? Чтоб реки были голубого цвета, подписи улиц и домов были видны сразу и на определенном масштабе и т.п. ....

Ищите и обрящете ...

[AkMeR]

А что разве в OSM нет классификаторов?

Нет.

[Максим Дубинин]

Возьмем "Данные OpenStreetMap по регионам РФ в форматах shape и OSM XML"
http://gis-lab.info/projects/osm-export.html загрузим их в QGIS - то что я вижу меня лично не вдохновляет ...

Вы путаете принципиальный вопрос организации формата и вопрос сделал ли кто-то важную (но не обязательную) работу.
Я уже про это писал. Дело не в наличие или отсутствие классификатора, а том что люди упорно продолжают думать, что кто-то проделает всю работу за них, разработают классификатор или придумают условные обозначения. В случае наших экспортов все кристально ясно, пока этого кто-то не сделал, это не сделано. Хотите чтобы было - сделайте.
1. Загружаете данные
2. Делаете легенды
3. Присылаете легенды нам
4. Мы их распространяем на весь проект.
5. Все, включая люркеров, счастливы.

[bim2010]

В эту пару с детства влюблены
Мамы, папы и, конечно, мы!
Очень сильный дедушка танцор,
Ну, а бабушка поёт, как сводный хор!

The words of the hymn Mapinfo & Arcgis

[Boris]

я долго терпел. поэтому прощу прощения, если обижу многих. Есть классическое высказывание "не путайте зеленое с мягким". Это про обменный формат SFX. Он и не обменный и практически не формат. Обменный - это когда кто-то с кем-то им обменивается. Если им обмениваются пользователи Панорамы, то это внутри видовое "опыление". Оно к обмену никакого отношения не имеет.
Изобретение государственных обменных форматов "местечкового" разлива, равно как их навязывание всем и везде, является либо прерогативой государства, которое своим гражданам дает что-то кроме "указивок", либо, как в нашем случае, желанием потреблять все в одну рожу. Я понимаю, что в стране и мире - голодный год, но приличия надо соблюдать даже при скудности пищевой ниши.
---
Вопрос обменных форматов решен давно и прочно.
Хотите 100% подобия - используйте растровые данные. Tiff 300 (или 600) dpi без сжатия с привязкой и метаданными.
Хотите обмена данными, и тогда все оформление - это дело тонкого эстетического вкуса, который остается в стороне, - то обменивайтесь СТАНДАРТНЫМИ и желательно открытыми форматами. Их в мире есть и немало.
Свой особый российского разлива обменный формат нужен пользователям геоданных, так же как свой особый российский ГОСТ на метаданные. Тот, в котором кодировка Win1251 имеет код №1, что бы "враг боялся и запутался".
---
В вопросе обмена данными формат, если он описан и содержит минимально потребный набор примитивов, проблемой не является. В обмене данными точность МЕТАданных и классификаторов важнее самого формата - в разы.
---
Жаль, что не была развернута дискуссия, о том стоит ли использовать бинарный формат чисел, как основу обменного формата. Я бы считал достойным использовать не двоичное, 13-ричное счисление.

[Boris]

В эту пару с детства влюблены
...

The words of the hymn Mapinfo & Arcgis

Не знаю, что вы хотели этим сказать.
Но это продукты, которые люди выбирают, и что гораздо важнее ПОКУПАЮТ за свои кровные коммерческие деньги. Для своих коммерческих и не очень проектов.
Людей, которые просто так для бизнеса пошли и купили Панораму встретить трудно. В нашей стране - трудно. За ее пределами - просто невозможно.