формат для сжатия растров

Вопросы общего характера по ГИС и дистанционному зондированию, не связанные с конкретным ПО.
Syllion
Активный участник
Сообщения: 167
Зарегистрирован: 23 сен 2009, 16:09
Репутация: 0

формат для сжатия растров

Сообщение Syllion » 08 фев 2012, 09:23

Есть очень большой (140GB) растр в формате img. Grayscale. Нужно его сконвертировать во что-то более компактное т.к. явно что в img он получается неимоверно распухшим. Проблема в том, что я слышал, что многие другие форматы типа jp2 и тд имеют ограничения на размер максимального файла т.е. есть шанс в них не вписаться при выполнении этого сжатия.

Прошу посоветуйте формат в который бы стоило все это дело сконвертировать.

ggis
Завсегдатай
Сообщения: 302
Зарегистрирован: 31 окт 2008, 10:39
Репутация: 2

Re: формат для сжатия растров

Сообщение ggis » 08 фев 2012, 09:24

MrSid как вариант

Александр Мурый
Гуру
Сообщения: 5173
Зарегистрирован: 26 сен 2009, 16:26
Репутация: 792
Ваше звание: званий не имею
Откуда: Москва

Re: формат для сжатия растров

Сообщение Александр Мурый » 08 фев 2012, 11:40

Можно попробовать и GeoTiff со сжатием примерно так:

Код: Выделить всё

gdal_translate -of GTiff -co "BIGTIFF=YES" -co "COMPRESS=выбрать_тип_сжатия исходный.img конечный.tif
Там ещё есть некоторые тонкости (параметры и т.п.), в которых надо разбираться по ходу..
Последний раз редактировалось Александр Мурый 09 фев 2012, 07:48, всего редактировалось 1 раз.
Редактор материалов, модератор форума

Boris
Гуру
Сообщения: 4231
Зарегистрирован: 10 апр 2006, 22:34
Репутация: -344969098
Откуда: Париж

Re: формат для сжатия растров

Сообщение Boris » 09 фев 2012, 01:54

Уверен, что даже если конвертация удастся, то это будет путь в один конец.Ни одна ГИС такой файл не откроет. Если к НЕсжатому файлу многие умеют обращаться по-месту, то сжатый файл надо будет сперва разжать. Большинство ГИС делает это в оперативной памяти. Тут ей и смерть придет. :(
Человеки НЕ зря придумали тайловый формат - решает очень много проблем.

Аватара пользователя
Дмитрий Барышников
Гуру
Сообщения: 2572
Зарегистрирован: 17 ноя 2009, 19:17
Репутация: 261
Откуда: Москва

Re: формат для сжатия растров

Сообщение Дмитрий Барышников » 09 фев 2012, 07:32

GeoTIFF c JPEG внутри будет весить около 5-6 Гб и открываться всеми ГИС (MapInfo тоже). Но нужно делать 8бит. Присмотритесь к совету amuriy. Единственное что 8бит, что JPEG ухудшают качество изображения. Если это не приемлемо - тогда тайлы по гигу каждый.

ericsson
Гуру
Сообщения: 3321
Зарегистрирован: 27 июл 2009, 19:26
Репутация: 748
Ваше звание: Вредитель полей

Re: формат для сжатия растров

Сообщение ericsson » 09 фев 2012, 08:52

Гхм, а нельзя, случайно, воспользоваться одновременно опциями сжатия BIGTIFF=YES TILED=YES COMPRESS=LZW (или DEFLATE) - не будут ли тайлы внутри пожаты отдельно?

yellow-sky
Гуру
Сообщения: 588
Зарегистрирован: 30 мар 2009, 21:53
Репутация: 55
Откуда: Королев

Re: формат для сжатия растров

Сообщение yellow-sky » 09 фев 2012, 09:35

Если мне не изменяет склероз, LZW - сжатие без потерь.
Если будет jpeg сжатие, то вопрос действительно становится интересным, что происходит раньше - сжатие или талирование :)

yellow-sky
Гуру
Сообщения: 588
Зарегистрирован: 30 мар 2009, 21:53
Репутация: 55
Откуда: Королев

Re: формат для сжатия растров

Сообщение yellow-sky » 09 фев 2012, 09:45

Bishop писал(а):Единственное что 8бит, что JPEG ухудшают качество изображения. Если это не приемлемо - тогда тайлы по гигу каждый.
Можно использовать 12 битовое jpeg сжатие. Качество значительно возрастет. Правда многие ГИС могут тихо выпасть в осадок :)

ericsson
Гуру
Сообщения: 3321
Зарегистрирован: 27 июл 2009, 19:26
Репутация: 748
Ваше звание: Вредитель полей

Re: формат для сжатия растров

Сообщение ericsson » 09 фев 2012, 10:30

yellow-sky писал(а):Если мне не изменяет склероз, LZW - сжатие без потерь.
А потери обязательны? Если там grayscale 16-битное, то 8 бит вполне можно из них получить.
yellow-sky писал(а):Если будет jpeg сжатие, то вопрос действительно становится интересным, что происходит раньше - сжатие или тайлирование :)
Из общих соображений - не важно, какое сжатие будет, но вопрос открытый (для меня, по крайней мере).

yellow-sky
Гуру
Сообщения: 588
Зарегистрирован: 30 мар 2009, 21:53
Репутация: 55
Откуда: Королев

Re: формат для сжатия растров

Сообщение yellow-sky » 09 фев 2012, 15:11

ericsson писал(а):Из общих соображений - не важно, какое сжатие будет, но вопрос открытый (для меня, по крайней мере).
[/quote]
ИМХО большая разница какой сжатие будет использовано, если оно происходит после талирования. Потому как jpeg сжатие будет разным для каждой границы соседних тайлов, что вызовет, хотя и малозаметный, эффект сетки.
Если же сжатие с потерями будет происходить до талирования - то этого эффекта не будет, так как граница не будет влиять на блоки сжатия.
Для сжатия без потерь без разницы, производите вы его до или после - данные остаются неизменными.

ericsson
Гуру
Сообщения: 3321
Зарегистрирован: 27 июл 2009, 19:26
Репутация: 748
Ваше звание: Вредитель полей

Re: формат для сжатия растров

Сообщение ericsson » 09 фев 2012, 15:44

Учитывая, что jpeg вообще "условно-тайловый" (8х8) формат, при кратности тайла восьми (а типовые 128, 256, 512 этому условию соответствуют) должно быть пофигу.

Syllion
Активный участник
Сообщения: 167
Зарегистрирован: 23 сен 2009, 16:09
Репутация: 0

Re: формат для сжатия растров

Сообщение Syllion » 12 фев 2012, 11:57

Так... был немного занят.
А каким лучше програмным продуктом выполнить конвертацию? Ради интереса решил попробовать jp2, хотя не нашел информации о максимальном поддерживаемом размере разрешении\размере выходного файла данным форматом. Делаю экспорт посрдеством ArcGIS - приращение файла идет по несколько килобайт в секунду... такими темпами месяцы уйдут... да и не факт что вообще сконвертирует.

GeoExpress при попытке создать jp2 падает с ошибкой. При Попытке в MrSid начинает что-то делать ... пишет, что часов через 8 что-то сделает. Надеюсь не выпадет.

Какие есть еще варианты? Какое ПО с такими объемами данных нормально работает?

ericsson
Гуру
Сообщения: 3321
Зарегистрирован: 27 июл 2009, 19:26
Репутация: 748
Ваше звание: Вредитель полей

Re: формат для сжатия растров

Сообщение ericsson » 12 фев 2012, 18:13

Можно попробовать GeoJasper, на входе он ест tiff.

Аватара пользователя
Aleksandr Dezhin
Активный участник
Сообщения: 244
Зарегистрирован: 03 фев 2010, 10:47
Репутация: 14
Откуда: Москва

Re: формат для сжатия растров

Сообщение Aleksandr Dezhin » 12 фев 2012, 18:45

ericsson писал(а):
yellow-sky писал(а):Если будет jpeg сжатие, то вопрос действительно становится интересным, что происходит раньше - сжатие или тайлирование :)
Из общих соображений - не важно, какое сжатие будет, но вопрос открытый (для меня, по крайней мере).
Мне почему-то всегда казалось что тайлирование до сжатия происходит, т.е. каждый тайл отдельно сжимается. О каком тайлировании может идти речь после сжатия вообще не очень понятно, ведь после сжатия есть только поток байтов и нет никакого изображения, которое можно было бы порезать.

ericsson
Гуру
Сообщения: 3321
Зарегистрирован: 27 июл 2009, 19:26
Репутация: 748
Ваше звание: Вредитель полей

Re: формат для сжатия растров

Сообщение ericsson » 12 фев 2012, 19:24

Aleksandr Dezhin писал(а): Мне почему-то всегда казалось что тайлирование до сжатия происходит, т.е. каждый тайл отдельно сжимается. О каком тайлировании может идти речь после сжатия вообще не очень понятно, ведь после сжатия есть только поток байтов и нет никакого изображения, которое можно было бы порезать.
На первый взгляд - да. Но существуют же способы резки jpeg-файлов на части, кратные блокам 8х8 без повторного сжатия. Я не утверждаю, что так делается, но мои представления (возможно, не полностью верные) не дают мне это исключить.

Ответить

Вернуться в «Общие вопросы»

Кто сейчас на конференции

Сейчас этот форум просматривают: нет зарегистрированных пользователей и 1 гость