Мультивременные слои в GeoMixer WEB-GIS

[parshin]

Создал черновик статьи "Мультивременные слои в GeoMixer WEB-GIS".

Замечания/предложения/дополнения?

[paleogis]

Александр!Прекрасная сатья. Есть пожелание, но это не обязательно. Было бы хорошо в раздел примеры, вставить карту с таймлайном.

[andreygeo]

Ребят, а вот данные с рыболовными судами у вас совсем закорпоративлены? Интересны любые ваши открытые данные, которые можно по wms использовать на установленном у нас Миксере или же на условиях неразглашения использовать для образовательных целей. Профиль - экономика, бизнес, менеджмент, поэтому пожары не очень интересны.

[parshin]

Было бы хорошо в раздел примеры, вставить карту с таймлайном.

Да, про таймлайн я что-то совсем забыл... Вообще-то, наверное, было бы интересно добавить про визуализацию временнОй составляющей данных, но не в этот раз... Про таймлайн добавил, спасибо!

[parshin]

Ребят, а вот данные с рыболовными судами у вас совсем закорпоративлены? Интересны любые ваши открытые данные, которые можно по wms использовать на установленном у нас Миксере или же на условиях неразглашения использовать для образовательных целей. Профиль - экономика, бизнес, менеджмент, поэтому пожары не очень интересны.

В ГеоМиксере есть возможность подключать данные на карту с любого внешнего WMS/WFS сервера (из верхнего меню "Сервисы" -> "Загрузить данные"). Что касается наших данных, напиши нам лучше письмо на help@kosmosnimki.ru.

Данные по судам есть, например, на http://www.marinetraffic.com/, но я не знаю, на каких условиях они предоставляют доступ к этим данные через API...

[Denis Rykov]

Спасибо за статью, есть вопросы, но буду спрашивать постепенно, может по ходу ответов какие-то отпадут сами собой. На первом изображении в техническом разделе тайлы промаркированы координатами xyz, что такое z - временная или масштабная координата? И почему она разная на разных тайлах.

[ Сообщение с мобильного устройства ]

[parshin]

Денис, привет!

Меня всё-таки не покидала надежда, что кто-нибудь прочитает этот раздел!

На первом рисунке изображены наши векторные тайлы, пока что без временной компоненты. Z-компонента - просто "размер" тайла. То есть, мы весь мир разбиваем на квадраты разного размера так, чтобы в каждом квадрате было примерно одинаковое количество исходных данных. (X, Y, Z) - просто один из способов описать эти квадраты. Можно было бы какое-нибудь R-tree построить, но привычное квадродерево и так неплохо работает...

Тайлы в мультивременных слоях, кстати говоря, описываются 5 числами - (X, Y, Z, T, TZ). TZ - индекс "набора тайлов" (насколько большой временной промежуток данных в этом тайле), T - собственно временная координата тайла. Но это уже какие-то совсем внутренние технические подробности, не уверен, что они сильно помогают понять идею...

[Denis Rykov]

Привет! Может стоит добавить описание этого в статью, а то на рисунках фигурируют xyz, а в статье про них ничего не сказано? Следующий вопрос по второй картинке технического раздела - что означают три прямоугольника в последнем ряду, выделенные красной рамкой - там подписано, что это "тайлы за один день", но тайлов за этот день судя по картинке справа гораздо больше. Еще в подписи к рисунку написано "размер тайла в пространстве" - что это за мера?

Еще по первому рисунку вопрос - в подписи написано "Размер тайла определяется количеством попавших в него данных" - имеется в виду количество объектов? или, например, количество узлов в объекте?

Тайлы в мультивременных слоях, кстати говоря, описываются 5 числами - (X, Y, Z, T, TZ). TZ - индекс "набора тайлов" (насколько большой временной промежуток данных в этом тайле), T - собственно временная координата тайла.

А в чем измеряется T и для чего введен TZ, зная Т разве нельзя вычислить "насколько большой временной промежуток данных в этом тайле"?

[parshin]

Может стоит добавить описание этого в статью, а то на рисунках фигурируют xyz, а в статье про них ничего не сказано?

Ок, добавлю.

Следующий вопрос по второй картинке технического раздела - что означают три прямоугольника в последнем ряду, выделенные красной рамкой - там подписано, что это "тайлы за один день", но тайлов за этот день судя по картинке справа гораздо больше. Еще в подписи к рисунку написано "размер тайла в пространстве" - что это за мера?

Три прямоугольника - это просто упрощение. В левой части рисунка все тайлы за один день упрощённо нарисованы в виде одного ряда, так как нарисовать понятную 3D картинку я не смог. Ну заодно количество уменьшено до 3, чтобы не рябило от прямоугольников. Может быть, лучше там вставить какое-нибудь многоточие вместо одного из прямоугольников, чтобы было понятно, что это просто упрощение? Ну или вообще какой-нибудь другой способ изобразить 3-x мерный массив тайлов разного размера...

Еще по первому рисунку вопрос - в подписи написано "Размер тайла определяется количеством попавших в него данных" - имеется в виду количество объектов? или, например, количество узлов в объекте?

Нет, там некоторая формула, включающая в себя и количество вершин геометрии и размер атрибутики (она тоже передаётся). В идеале критерием должен быть размер передаваемого файла (gzipped JSON), но по честному вычислять затратно, поэтому мы используем всякие приближения...

Тайлы в мультивременных слоях, кстати говоря, описываются 5 числами - (X, Y, Z, T, TZ). TZ - индекс "набора тайлов" (насколько большой временной промежуток данных в этом тайле), T - собственно временная координата тайла.

А в чем измеряется T и для чего введен TZ, зная Т разве нельзя вычислить "насколько большой временной промежуток данных в этом тайле"?

T - unix timestamp. Каждый тайл мультивременного слоя покрывает некоторый промежуток времени. T задаёт один из концов этого промежутка, TZ - длина промежутка, по нему можно вычислить второй конец. Можно провести аналогию с нумерацией тайлов в обычной пирамиде тайлов - X и Y компоненты задают координаты тайла в пространстве (аналог T), Z - размер тайла (аналог TZ).

[Denis Rykov]

Может быть, лучше там вставить какое-нибудь многоточие вместо одного из прямоугольников, чтобы было понятно, что это просто упрощение?

Да, многоточия мне кажется будет вполне достаточно.

Еще из статьи:

Решаем мы эту проблему хранением сразу нескольких наборов тайлов различной формы.

Если я правильно понял суть метода, то речь идет не о форме, а о данных, принадлежащих к разным временным отметкам.

Еще вопрос насчет векторных тайлов, понятно что их использование снижает нагрузку на сервер, но на клиент, например, в случае данных по тем же пожарам за год попадает очень большое количество точек, при котором клиент может не справиться с их отрисовкой, как вы поступаете в таких случаях?

[parshin]

Еще из статьи:

Решаем мы эту проблему хранением сразу нескольких наборов тайлов различной формы.

Если я правильно понял суть метода, то речь идет не о форме, а о данных, принадлежащих к разным временным отметкам.

Неа, речь именно о форме хранения! Каждый объект внутри слоя имеет только одну точку во времени (об этом кстати, тоже забыл написать), но при этом хранится в нескольких тайлах. Тайлы отличаются "длиной во времени", а какой из этих тайлов запросить решает сам клиент по форме запроса пользователя.

--------------

Короче, попробую сегодня ещё раз над этим разделом поработать. Мне всё-таки хочется, чтобы его можно было бы осилить без дополнительных комментариев...

[parshin]

Обновил технический раздел в статье:

• Немного поменял картинки
• Убрал с картинки "x,y,z"-номера тайлов. Используемый способ нумерации тайлов не слишком важен для понимания идеи формирования тайлов, так что лучше вообще не путать людей...
• Дописал два абзаца с описанием процесса построения мультивременных тайлов по набору объектов. Думаю, это должно несколько прояснить ситуацию...

Денис, что скажешь?

[Denis Rykov]

Спасибо, стало понятнее на мой взгляд. Я бы еще добавил описание случая, когда пользователь запрашивает интервал не кратный ни одному из временных отрезков тайлов. Например, что будет происходить когда у нас есть дневные и недельные тайлы, а пользователь запросит период в 12 дней - будут запрошены тайлы из одного недельного набора и из 5 дневных?

[parshin]

Ну, кроме этого варианта можно ещё запрашивать за 12 дней по отдельности или за две недели. Иногда последний вариант лучше из-за меньшего количества запросов. Ещё нужно не забывать про пространственную область просмотра: тайлы за один день более протяжённые в пространстве, чем тайлы за неделю. Из-за этого количество переданных данных в варианте "неделя + 5 дней" может оказаться больше, чем в варианте "за две недели".

Дописал в статью ещё немного про выбор тайлов на клиенте.

[Denis Rykov]

Я на свои вопросы ответы получил, может у кого еще есть что спросить? Если нет, то думаю можно публиковать.