Какой растровый формат самый лучший?
- rhot
- Гуру
- Сообщения: 1727
- Зарегистрирован: 25 янв 2011, 17:50
- Репутация: 194
- Ваше звание: доктор
- Откуда: Архангельск
Какой растровый формат самый лучший?
Не хочу разводить холивар, но очень интересно, задавался ли кто вопросом.
Какой растровый формат самый лучший?
Параметры (при прочих равных условиях):
- скорость обработки,
- эффективность хранения данных,
- не SQL.
Контекст:
- гипотетически имеется всё ПО, поэтому ответ типа - смотря каким софтом пользуетесь - не катит.
- формат ищется для внутреннего пользования; понятное дело, что заказчику отдаётся такой продукт, который описан в ТЗ.
Какой растровый формат самый лучший?
Параметры (при прочих равных условиях):
- скорость обработки,
- эффективность хранения данных,
- не SQL.
Контекст:
- гипотетически имеется всё ПО, поэтому ответ типа - смотря каким софтом пользуетесь - не катит.
- формат ищется для внутреннего пользования; понятное дело, что заказчику отдаётся такой продукт, который описан в ТЗ.
___________(¯`·.¸(¯`·.¸ Scientia potentia est _/ {SILVA}:::{FOSS}:::{GIS} \_ Знание сила ¸.·´¯)¸.·´¯)___________
-
- Гуру
- Сообщения: 4057
- Зарегистрирован: 15 окт 2010, 08:33
- Репутация: 1054
- Ваше звание: программист
- Откуда: Казань
Re: Какой растровый формат самый лучший?
GeoTIFF
- наличие проекции
- двоичный, все формы представления данных (целые разной размерности, вещественные)
- сжатие - часть формата
- наличие тайловой структуры для оптимизации доступа
- наличие библиотеки GDAL, которая со всем этим умеет работать
- тэговый формат, позволяет добавлять собственные данные, которые пропускаются остальными программами
- наличие проекции
- двоичный, все формы представления данных (целые разной размерности, вещественные)
- сжатие - часть формата
- наличие тайловой структуры для оптимизации доступа
- наличие библиотеки GDAL, которая со всем этим умеет работать
- тэговый формат, позволяет добавлять собственные данные, которые пропускаются остальными программами
- antonv
- Активный участник
- Сообщения: 229
- Зарегистрирован: 29 ноя 2016, 10:44
- Репутация: 114
- Откуда: Санкт-Петербург
Re: Какой растровый формат самый лучший?
Есть еще здоровский формат ECW, он тоже хранит данные о привязке в самом файле и очень хорошо жмёт изображения вроде мозаик космических или аэроснимков. Жмёт лучше, чем GeoTIFF. С большим динамическим диапазоном проблем тоже нет, ничего не теряется. Лично я использовал этот формат для хранения мозаик космоснимков из SAS Planet, когда надо взять куда-то далеко с собой "в поле" побольше снимков, но при этом не хочется брать жесткий диск на терабайт:)
Вот только одна проблема - я, честно говоря, не знаю, проприетарный ли это формат или свободный. Более того, я не знаю, поддерживает ли GDAL этот формат. Нашлась такая инфа, но я что-то в сомнениях.
Вот только одна проблема - я, честно говоря, не знаю, проприетарный ли это формат или свободный. Более того, я не знаю, поддерживает ли GDAL этот формат. Нашлась такая инфа, но я что-то в сомнениях.
-
- Гуру
- Сообщения: 3321
- Зарегистрирован: 27 июл 2009, 19:26
- Репутация: 748
- Ваше звание: Вредитель полей
Re: Какой растровый формат самый лучший?
Лучший для чего? Половину критериев вы перечислили, а половину (характер данных) - забыли.Какой растровый формат самый лучший?
Дальше можно было не говорить вообще ничего.
GeoTIFF - это формат контейнера данных, который подразумевает разную компрессию, см. http://www.gdal.org/frmt_gtiff.html . ECW, в свою очередь, тоже контейнер, использующий компрессию JPEG2000.
- antonv
- Активный участник
- Сообщения: 229
- Зарегистрирован: 29 ноя 2016, 10:44
- Репутация: 114
- Откуда: Санкт-Петербург
Re: Какой растровый формат самый лучший?
То есть если использовать компрессию JPEG при сохранении в GeoTIFF, результат получится одинаковым?ericsson писал(а): ↑22 янв 2018, 23:34Дальше можно было не говорить вообще ничего.
GeoTIFF - это формат контейнера данных, который подразумевает разную компрессию, см. http://www.gdal.org/frmt_gtiff.html . ECW, в свою очередь, тоже контейнер, использующий компрессию JPEG2000.
- rhot
- Гуру
- Сообщения: 1727
- Зарегистрирован: 25 янв 2011, 17:50
- Репутация: 194
- Ваше звание: доктор
- Откуда: Архангельск
Re: Какой растровый формат самый лучший?
Вторым параграфом перечислил для чего. Мне всё равно, что конкретно за данные. Главное, я знаю, что такое растр (матрица, у которой есть информация о проекции и собственно метаданные самой матрицы - размер и разрешение).
___________(¯`·.¸(¯`·.¸ Scientia potentia est _/ {SILVA}:::{FOSS}:::{GIS} \_ Знание сила ¸.·´¯)¸.·´¯)___________
-
- Гуру
- Сообщения: 3321
- Зарегистрирован: 27 июл 2009, 19:26
- Репутация: 748
- Ваше звание: Вредитель полей
-
- Гуру
- Сообщения: 3321
- Зарегистрирован: 27 июл 2009, 19:26
- Репутация: 748
- Ваше звание: Вредитель полей
Re: Какой растровый формат самый лучший?
Вам все равно - алгоритму компрессии не все равно. Потому что растровая карта или результат применения какого-то алгоритма дешифровки - одно, снимок - другое. И для последующего использования - не все равно. Пожмете что-нибудь компрессором с потерями - кирдык последующей возможности обработки. Ну и так далее. GeoTIFF выглядит в этом смысле наиболее универсальным контейнером, потому что в него можно почти что угодно положить. Пусть даже доступные алгоритмы сжатия с потерями в нем немного недотягивают до топовых, а режим произвольного чтения обеспечивается только тайлами, а не вейвлетами.
-
- Гуру
- Сообщения: 5292
- Зарегистрирован: 09 апр 2010, 19:30
- Репутация: 1015
- Ваше звание: просто мимо прохожу
- Откуда: Ё-бург
Re: Какой растровый формат самый лучший?
проприетарныйВот только одна проблема - я, честно говоря, не знаю, проприетарный ли это формат или свободный. Более того, я не знаю, поддерживает ли GDAL этот формат.
For those still using the ECW 3.3 SDK, images less than 500MB may be compressed for free, while larger images require licensing from ERDAS.
LARGE_OK=YES: When built with the ECW 3.x SDK this option can be set to allow compressing files larger than 500MB. It is the users responsibility to ensure that the licensing requirments for large file compression are being adhered to.
https://ru.wikipedia.org/wiki/Enhanced_ ... on_WaveletДля других применений пользователям требуется выплатить вознаграждение, если объём данных превышает 500 МБ
-
- Гуру
- Сообщения: 4205
- Зарегистрирован: 10 апр 2006, 22:34
- Репутация: 433
- Откуда: Париж
Re: Какой растровый формат самый лучший?
Уровень сжатия и удобство+скорость обработки могут оказать обратно пропорциональны в качестве критериев. К тому же они могут зависеть от ПО используемого для отображения/обработки растра. Чем сильнее сжат растр, сжатие с потерями - это вообще мимо 98% приложений в ДЗЗ, кроме разглядывания, тем больше времени может потребоваться для его распаковки. И как верно указано выше, умные ГИС программы "достают" растр из файла прямым доступом к ограниченной области файла.
Чем больше операций необходимо выполнить для того, что бы
а) узнать эту область
б) распаковать эту область
в) загрузить минимально необходимую часть растр в память
г) не нарваться на ограничение по памяти необходимой для распакованного файла, при которой часть растра из оперативной памяти будет "выдавливаться" в swap на диск, а потом обратно,
тем больше времени будет уходить на обработку такого растра, и тем меньше выгода от использования выбранного формата. Это если отбросить такие мелочи как время сжатия, а оно может оказаться очень-очень большим для ECW и JPEG2000 - не все ГИС поддерживают распаковку из тех вариантов формата, что реализованы в GDAL, а тем более в менее популярных пакетах.
В моей практике, когда надо было работать с растрами, которые просто копировались с диска на диск двое суток, был эксперимент со всякими алгоритмами TIF, ECW, JPEG2000:
1. geoTiff (LZW) для спутниковой съемки оказался оптимальным для работы, потому как ECW и JPEG2000, хотя и ужались один в 10 раза лучше, а другой в 4 - открывали область в Mapinfo и Geomedia по полчаса вместо 2-3 минут против geoTiff.
2. Двигать ECW и JPEG2000 в тех же пакетах не задалось вовсе - 10-30 минут на каждое движение "лапкой".
3. Большинство алгоритма сжатия ECW, JPEG2000 не открылись в этих пакетах вовсе. Половина оставшихся - открылись совершенно черным прямоугольником.
4. Даже у geoTiff из GDAL есть параметры упаковки, которые ни один из доступных мне пакетов, включая PhotoShop - не смог опознать.
Так что на мой взгляд- сперва задача, а уж потом обсуждение алгоритмов и форматов. Если упаковать и выкинуть, то лучший - это ECW с разделением на тайлы в GlobalMapper'е, по моему 14-м. Он не только "нагадил" в некоторые изображения странными артефактами, но еще привязку записал на свой вкус, а не ту, что была задана изначально.
Чем больше операций необходимо выполнить для того, что бы
а) узнать эту область
б) распаковать эту область
в) загрузить минимально необходимую часть растр в память
г) не нарваться на ограничение по памяти необходимой для распакованного файла, при которой часть растра из оперативной памяти будет "выдавливаться" в swap на диск, а потом обратно,
тем больше времени будет уходить на обработку такого растра, и тем меньше выгода от использования выбранного формата. Это если отбросить такие мелочи как время сжатия, а оно может оказаться очень-очень большим для ECW и JPEG2000 - не все ГИС поддерживают распаковку из тех вариантов формата, что реализованы в GDAL, а тем более в менее популярных пакетах.
В моей практике, когда надо было работать с растрами, которые просто копировались с диска на диск двое суток, был эксперимент со всякими алгоритмами TIF, ECW, JPEG2000:
1. geoTiff (LZW) для спутниковой съемки оказался оптимальным для работы, потому как ECW и JPEG2000, хотя и ужались один в 10 раза лучше, а другой в 4 - открывали область в Mapinfo и Geomedia по полчаса вместо 2-3 минут против geoTiff.
2. Двигать ECW и JPEG2000 в тех же пакетах не задалось вовсе - 10-30 минут на каждое движение "лапкой".
3. Большинство алгоритма сжатия ECW, JPEG2000 не открылись в этих пакетах вовсе. Половина оставшихся - открылись совершенно черным прямоугольником.
4. Даже у geoTiff из GDAL есть параметры упаковки, которые ни один из доступных мне пакетов, включая PhotoShop - не смог опознать.
Так что на мой взгляд- сперва задача, а уж потом обсуждение алгоритмов и форматов. Если упаковать и выкинуть, то лучший - это ECW с разделением на тайлы в GlobalMapper'е, по моему 14-м. Он не только "нагадил" в некоторые изображения странными артефактами, но еще привязку записал на свой вкус, а не ту, что была задана изначально.
Кто сейчас на конференции
Сейчас этот форум просматривают: нет зарегистрированных пользователей и 30 гостей