Какой растровый формат самый лучший?

Вопросы по нескольким пакетам сразу, или вопросы, которые непонятно к какой ГИС отнести
Ответить
Аватара пользователя
rhot
Гуру
Сообщения: 1727
Зарегистрирован: 25 янв 2011, 17:50
Репутация: 194
Ваше звание: доктор
Откуда: Архангельск

Какой растровый формат самый лучший?

Сообщение rhot » 22 янв 2018, 20:41

Не хочу разводить холивар, но очень интересно, задавался ли кто вопросом.

Какой растровый формат самый лучший?

Параметры (при прочих равных условиях):
- скорость обработки,
- эффективность хранения данных,
- не SQL.

Контекст:
- гипотетически имеется всё ПО, поэтому ответ типа - смотря каким софтом пользуетесь - не катит.
- формат ищется для внутреннего пользования; понятное дело, что заказчику отдаётся такой продукт, который описан в ТЗ.
___________(¯`·.¸(¯`·.¸ Scientia potentia est _/ {SILVA}:::{FOSS}:::{GIS} \_ Знание сила ¸.·´¯)¸.·´¯)___________

gamm
Гуру
Сообщения: 4044
Зарегистрирован: 15 окт 2010, 08:33
Репутация: 1049
Ваше звание: программист
Откуда: Казань

Re: Какой растровый формат самый лучший?

Сообщение gamm » 22 янв 2018, 20:51

GeoTIFF
- наличие проекции
- двоичный, все формы представления данных (целые разной размерности, вещественные)
- сжатие - часть формата
- наличие тайловой структуры для оптимизации доступа
- наличие библиотеки GDAL, которая со всем этим умеет работать
- тэговый формат, позволяет добавлять собственные данные, которые пропускаются остальными программами

Аватара пользователя
antonv
Активный участник
Сообщения: 229
Зарегистрирован: 29 ноя 2016, 10:44
Репутация: 114
Откуда: Санкт-Петербург

Re: Какой растровый формат самый лучший?

Сообщение antonv » 22 янв 2018, 23:06

Есть еще здоровский формат ECW, он тоже хранит данные о привязке в самом файле и очень хорошо жмёт изображения вроде мозаик космических или аэроснимков. Жмёт лучше, чем GeoTIFF. С большим динамическим диапазоном проблем тоже нет, ничего не теряется. Лично я использовал этот формат для хранения мозаик космоснимков из SAS Planet, когда надо взять куда-то далеко с собой "в поле" побольше снимков, но при этом не хочется брать жесткий диск на терабайт:)
Вот только одна проблема - я, честно говоря, не знаю, проприетарный ли это формат или свободный. Более того, я не знаю, поддерживает ли GDAL этот формат. Нашлась такая инфа, но я что-то в сомнениях.

ericsson
Гуру
Сообщения: 3321
Зарегистрирован: 27 июл 2009, 19:26
Репутация: 748
Ваше звание: Вредитель полей

Re: Какой растровый формат самый лучший?

Сообщение ericsson » 22 янв 2018, 23:34

Какой растровый формат самый лучший?
Лучший для чего? Половину критериев вы перечислили, а половину (характер данных) - забыли.
antonv писал(а):
22 янв 2018, 23:06
Жмёт лучше, чем GeoTIFF
Дальше можно было не говорить вообще ничего.
GeoTIFF - это формат контейнера данных, который подразумевает разную компрессию, см. http://www.gdal.org/frmt_gtiff.html . ECW, в свою очередь, тоже контейнер, использующий компрессию JPEG2000.

Аватара пользователя
antonv
Активный участник
Сообщения: 229
Зарегистрирован: 29 ноя 2016, 10:44
Репутация: 114
Откуда: Санкт-Петербург

Re: Какой растровый формат самый лучший?

Сообщение antonv » 22 янв 2018, 23:54

ericsson писал(а):
22 янв 2018, 23:34
Дальше можно было не говорить вообще ничего.
GeoTIFF - это формат контейнера данных, который подразумевает разную компрессию, см. http://www.gdal.org/frmt_gtiff.html . ECW, в свою очередь, тоже контейнер, использующий компрессию JPEG2000.
То есть если использовать компрессию JPEG при сохранении в GeoTIFF, результат получится одинаковым?

Аватара пользователя
rhot
Гуру
Сообщения: 1727
Зарегистрирован: 25 янв 2011, 17:50
Репутация: 194
Ваше звание: доктор
Откуда: Архангельск

Re: Какой растровый формат самый лучший?

Сообщение rhot » 23 янв 2018, 00:06

ericsson писал(а):
22 янв 2018, 23:34
Лучший для чего? Половину критериев вы перечислили, а половину (характер данных) - забыли.
Вторым параграфом перечислил для чего. Мне всё равно, что конкретно за данные. Главное, я знаю, что такое растр (матрица, у которой есть информация о проекции и собственно метаданные самой матрицы - размер и разрешение).
___________(¯`·.¸(¯`·.¸ Scientia potentia est _/ {SILVA}:::{FOSS}:::{GIS} \_ Знание сила ¸.·´¯)¸.·´¯)___________

ericsson
Гуру
Сообщения: 3321
Зарегистрирован: 27 июл 2009, 19:26
Репутация: 748
Ваше звание: Вредитель полей

Re: Какой растровый формат самый лучший?

Сообщение ericsson » 23 янв 2018, 00:43

antonv писал(а):
22 янв 2018, 23:54
То есть если использовать компрессию JPEG при сохранении в GeoTIFF, результат получится одинаковым?
То есть вы не знаете, в чем разница между JPEG и JPEG2000.

ericsson
Гуру
Сообщения: 3321
Зарегистрирован: 27 июл 2009, 19:26
Репутация: 748
Ваше звание: Вредитель полей

Re: Какой растровый формат самый лучший?

Сообщение ericsson » 23 янв 2018, 00:49

rhot писал(а):
23 янв 2018, 00:06
Мне всё равно, что конкретно за данные.
Вам все равно - алгоритму компрессии не все равно. Потому что растровая карта или результат применения какого-то алгоритма дешифровки - одно, снимок - другое. И для последующего использования - не все равно. Пожмете что-нибудь компрессором с потерями - кирдык последующей возможности обработки. Ну и так далее. GeoTIFF выглядит в этом смысле наиболее универсальным контейнером, потому что в него можно почти что угодно положить. Пусть даже доступные алгоритмы сжатия с потерями в нем немного недотягивают до топовых, а режим произвольного чтения обеспечивается только тайлами, а не вейвлетами.

trir
Гуру
Сообщения: 5271
Зарегистрирован: 09 апр 2010, 19:30
Репутация: 1013
Ваше звание: просто мимо прохожу
Откуда: Ё-бург

Re: Какой растровый формат самый лучший?

Сообщение trir » 23 янв 2018, 05:17

Вот только одна проблема - я, честно говоря, не знаю, проприетарный ли это формат или свободный. Более того, я не знаю, поддерживает ли GDAL этот формат.
проприетарный
For those still using the ECW 3.3 SDK, images less than 500MB may be compressed for free, while larger images require licensing from ERDAS.
LARGE_OK=YES: When built with the ECW 3.x SDK this option can be set to allow compressing files larger than 500MB. It is the users responsibility to ensure that the licensing requirments for large file compression are being adhered to.
Для других применений пользователям требуется выплатить вознаграждение, если объём данных превышает 500 МБ
https://ru.wikipedia.org/wiki/Enhanced_ ... on_Wavelet

Boris
Гуру
Сообщения: 4205
Зарегистрирован: 10 апр 2006, 22:34
Репутация: 433
Откуда: Париж

Re: Какой растровый формат самый лучший?

Сообщение Boris » 23 янв 2018, 23:39

Уровень сжатия и удобство+скорость обработки могут оказать обратно пропорциональны в качестве критериев. К тому же они могут зависеть от ПО используемого для отображения/обработки растра. Чем сильнее сжат растр, сжатие с потерями - это вообще мимо 98% приложений в ДЗЗ, кроме разглядывания, тем больше времени может потребоваться для его распаковки. И как верно указано выше, умные ГИС программы "достают" растр из файла прямым доступом к ограниченной области файла.
Чем больше операций необходимо выполнить для того, что бы
а) узнать эту область
б) распаковать эту область
в) загрузить минимально необходимую часть растр в память
г) не нарваться на ограничение по памяти необходимой для распакованного файла, при которой часть растра из оперативной памяти будет "выдавливаться" в swap на диск, а потом обратно,
тем больше времени будет уходить на обработку такого растра, и тем меньше выгода от использования выбранного формата. Это если отбросить такие мелочи как время сжатия, а оно может оказаться очень-очень большим для ECW и JPEG2000 - не все ГИС поддерживают распаковку из тех вариантов формата, что реализованы в GDAL, а тем более в менее популярных пакетах.
В моей практике, когда надо было работать с растрами, которые просто копировались с диска на диск двое суток, был эксперимент со всякими алгоритмами TIF, ECW, JPEG2000:
1. geoTiff (LZW) для спутниковой съемки оказался оптимальным для работы, потому как ECW и JPEG2000, хотя и ужались один в 10 раза лучше, а другой в 4 - открывали область в Mapinfo и Geomedia по полчаса вместо 2-3 минут против geoTiff.
2. Двигать ECW и JPEG2000 в тех же пакетах не задалось вовсе - 10-30 минут на каждое движение "лапкой".
3. Большинство алгоритма сжатия ECW, JPEG2000 не открылись в этих пакетах вовсе. Половина оставшихся - открылись совершенно черным прямоугольником.
4. Даже у geoTiff из GDAL есть параметры упаковки, которые ни один из доступных мне пакетов, включая PhotoShop - не смог опознать.
Так что на мой взгляд- сперва задача, а уж потом обсуждение алгоритмов и форматов. Если упаковать и выкинуть, то лучший - это ECW с разделением на тайлы в GlobalMapper'е, по моему 14-м. Он не только "нагадил" в некоторые изображения странными артефактами, но еще привязку записал на свой вкус, а не ту, что была задана изначально.

Ответить

Вернуться в «Общий - ПО»

Кто сейчас на конференции

Сейчас этот форум просматривают: нет зарегистрированных пользователей и 3 гостя