Страница 1 из 1

Тайлирование большого объема данных

Добавлено: 23 фев 2016, 21:42
Vladimir_R
Добрый вечер!

Есть задача - получить тайловый кэш из большого количества ортофотопланов.
Каждый ортофотоплан имеет размер 8557, 8575 и средний размер файла в 50 Мб.
Общее количество файлов ~10 000 файлов

Я собрал все файлы в vrt файл и попробовал тайлировать его через gdal2tiles, но результат не утешительный - медленно работает даже в мультипроцессорном режиме.
Была утопичная идея опубликовать мозаику как wms сервис и "дергать" картинку по координатам углов тайловой плитки или воспользоваться mapproxy, чтобы он занимался этим.

Может быть у кого-то есть опыт работы с большим объемом растровых данных? Как это заставить работать?

Re: Тайлирование большого объема данных

Добавлено: 24 фев 2016, 09:06
Denis Rykov
А если сначала построить пирамиды для вашего огромного растра?

Re: Тайлирование большого объема данных

Добавлено: 24 фев 2016, 09:31
Vladimir_R
Суммарный объем данных очень большой ~850 Гб.
Пробовал строить пирамиды через gdaladdo, но процесс "упал" из-за нехватки места.

Возможно если делать пирамиды для каждого ортофотоплана отдельно результат будет другим.
Какая разница в пирамиде для всего массива (читай vrt файла) и для отбельных растров объединенных vrt файлом?
Если я пережму данные из tiff в jpeg, то сильно потеряю в качестве картинки (для тайлов это критично)?

Re: Тайлирование большого объема данных

Добавлено: 24 фев 2016, 11:13
HasT
Я имел дело с растром порядка 10Гб, использовал для генерации тайлов gdal2tiles, но также медленно выполнялась генерация тайлов. Попробовал через generate_tiles.py (Mapnik, https://github.com/openstreetmap/mapnik-stylesheets) - файл Mapnik XML сделал через TileMill (добавлял geotiff, vrt возможно тоже понимает https://www.mapbox.com/tilemill/docs/gu ... ster-data/) - тайлы генерировались значительно быстрее.
Еще ссылка на использование generate_tiles.py viewtopic.php?f=19&t=13076

Re: Тайлирование большого объема данных

Добавлено: 17 апр 2016, 12:30
Vladimir_R
Я решил задачу следующим образом: для каждого тайлового уровня "загрубил" растры до нужного разрешения. Это уменьшило объем тайлируемых данных на определенном зуме и обеспечило приемлемое время тайлирования.

Re: Тайлирование большого объема данных

Добавлено: 15 авг 2018, 20:23
geodesist.ru
bVladimir_R, та же самая задача - вы ее решили с использованием mapnik?

Re: Тайлирование большого объема данных

Добавлено: 10 окт 2018, 16:25
Vladimir_R
geodesist.ru, да. Как писал выше рассчитал для нескольких масштабов разрешение, продублировал входные данные с этим разрешением и создал тайлы через gdal2tiles. Подход занял больше места на диске, так как пришлось дублировать данные, но тайлирование прошло нормально. Результат удовлетворяет требованиям.