qgis сохраняет растр гигабайтами

Вопросы по свободной ГИС QGIS. Сообщения об ошибках, предложения по улучшению, локализация.
Ответить
artterrm
Гуру
Сообщения: 506
Зарегистрирован: 09 янв 2011, 09:11
Репутация: 7
Откуда: Хабаровский край

qgis сохраняет растр гигабайтами

Сообщение artterrm » 03 окт 2023, 04:54

Здравствуйте.
Почему qgis сохраняет такие тяжелые растры и как сделать их легче?
Например если три канала Sentinel 2 в сумме дают 200 мб, то сделав композит и сохранив через экспорт-сохранить как получается уже 400 мб или более
Если привязать набор карт jpeg которые в сумме тянут на 50-100 мб то qgis сохранит их как geo tiff с компрессией jpeg как 3гб, а если сохранять как данные а не как картинку то 12 гб.
При этом GlobalMapper сохраняет geo tiff эти же карты после привязки с лучшим качеством картинки намного меньшим вестом

Дополнение по картам:
Сами карты после привязки даже без сохранения становятся тяжелыми
до привязки файл jpeg весит 6 мб после привязки файл modified.tiff весит уже 193 mb
получается что 10 карт по 6 мб уже будут весить после привязки 2гб
Это какая то особенность tiff?

AlexRomantsov
Завсегдатай
Сообщения: 316
Зарегистрирован: 24 мар 2022, 05:54
Репутация: 137
Ваше звание: хм, сам не знал
Откуда: Томск

Re: qgis сохраняет растр гигабайтами

Сообщение AlexRomantsov » 03 окт 2023, 05:18

artterrm писал(а):
03 окт 2023, 04:54
и сохранив через экспорт
Экспорт чего: экрана (карты), макета, слоя, конкретного растра?
Размер в пикселях экспортированного растра не сравнивали с исходными? При экспорте: охват, разрешение как вычисляете? Пирамиды в выходном растре создаются? Систему координат меняете? Нюансов много, каждый из которых может влиять.

AlexRomantsov
Завсегдатай
Сообщения: 316
Зарегистрирован: 24 мар 2022, 05:54
Репутация: 137
Ваше звание: хм, сам не знал
Откуда: Томск

Re: qgis сохраняет растр гигабайтами

Сообщение AlexRomantsov » 03 окт 2023, 05:33

artterrm писал(а):
03 окт 2023, 04:54
Это какая то особенность tiff?
JPEG - зло (в картографии):
- исходное изображение меняется-искажается (важные детали могут теряться, размываться, исходное изображение не возможно восстановить, каждое следующее сохранение в jpeg еще более ухудшает);
- нет альфа-канала, прозрачные области уже не прозрачные, а белые (или заданного цвета);
- на этих уже не прозрачных областях появляются не белые артефакты, муар, и попытка установить растры в ГИС прозрачным по выбранному цвету не очень красива.
GeoTIFF не любит этот метод, вынужден применять JPEG сжатие не к изображению целиком, а к каждому каналу (что бы сохранить альфа канал) (предположение), а это увеличивает размер (уменьшает эффективность сжатия). Смиритесь с размером файла, используйте лучше PACKBITS. И помните, jpeg весом 50Mb в оперативной памяти все равно становится 3Gb, и вашему ГИС/компу в общем фиолетово, что на входе - jpeg или качественный GeoTIFF.

gamm
Гуру
Сообщения: 4057
Зарегистрирован: 15 окт 2010, 08:33
Репутация: 1053
Ваше звание: программист
Откуда: Казань

Re: qgis сохраняет растр гигабайтами

Сообщение gamm » 03 окт 2023, 08:04

AlexRomantsov писал(а):
03 окт 2023, 05:33
JPEG - зло (в картографии):
не совсем так. Кроме того, что для jpeg есть возможность регулировать степень сжатия, был придуман jpeg2000, который имеет совсем другую схему кодирования (это вейвлеты), там потери данных пракически нет. Тем более, если речь идет о картинках, как у ТС.

Что касается исходного вопроса - для начала нужно посмотреть, что пишется в GeoTIFF - формат данных (byte, uint16, uint32, float32, float64), нарезка на блоки, способ сжатия, и т.д.

Для картинок, возможно, есть смысл кроме jpeg с разным сжатием посмотреть одноканальный Tiff (256 цветов с палитрой), большими блоками и сильным сжатием.

artterrm
Гуру
Сообщения: 506
Зарегистрирован: 09 янв 2011, 09:11
Репутация: 7
Откуда: Хабаровский край

Re: qgis сохраняет растр гигабайтами

Сообщение artterrm » 03 окт 2023, 08:33

291930.8008000000263564,5485257.7835999997332692 : 347276.4564999999711290,5524112.2286000000312924
Толщина 30748
Высота 21586
Тип данных Byte — 8-битное беззнаковое целое
Описание драйвера GDAL GTiff
Метаданные драйвера GDAL GeoTIFF
Описание набора данных C:\Users\artte\Рабочая\
Сжатие LZW
Канал 1
STATISTICS_APPROXIMATE=YES
STATISTICS_MAXIMUM=255
STATISTICS_MEAN=137.99579691406
STATISTICS_MINIMUM=0
STATISTICS_STDDEV=92.583095947573
STATISTICS_VALID_PERCENT=100
Масштабирование: 1
Смещение: 0
Канал 2
STATISTICS_APPROXIMATE=YES
STATISTICS_MAXIMUM=253
STATISTICS_MEAN=142.33500750653
STATISTICS_MINIMUM=0
STATISTICS_STDDEV=96.958590121791
STATISTICS_VALID_PERCENT=100
Масштабирование: 1
Смещение: 0
Канал 3
STATISTICS_APPROXIMATE=YES
STATISTICS_MAXIMUM=255
STATISTICS_MEAN=103.69959263446
STATISTICS_MINIMUM=0
STATISTICS_STDDEV=72.958081012648
STATISTICS_VALID_PERCENT=100
Масштабирование: 1
Смещение: 0
Канал 4
STATISTICS_APPROXIMATE=YES
STATISTICS_MAXIMUM=255
STATISTICS_MEAN=178.28830989667
STATISTICS_MINIMUM=0
STATISTICS_STDDEV=116.94784127054
STATISTICS_VALID_PERCENT=100
Масштабирование: 1
Смещение: 0
Подробнее
AREA_OR_POINT=Area
Режим привязки X: 30748 Y: 21586 Каналы: 4
Источник 291930.8008000000263564,5524112.2286000000312924
Размер пикселя 1.799975793547545999,-1.799983554155484944
Последний раз редактировалось artterrm 03 окт 2023, 08:37, всего редактировалось 1 раз.

artterrm
Гуру
Сообщения: 506
Зарегистрирован: 09 янв 2011, 09:11
Репутация: 7
Откуда: Хабаровский край

Re: qgis сохраняет растр гигабайтами

Сообщение artterrm » 03 окт 2023, 08:34

вес 1,5 Гигабайт

artterrm
Гуру
Сообщения: 506
Зарегистрирован: 09 янв 2011, 09:11
Репутация: 7
Откуда: Хабаровский край

Re: qgis сохраняет растр гигабайтами

Сообщение artterrm » 03 окт 2023, 08:35

А это sentinel B8,B3,B2 композит

131.9142757064004741,49.4810923113998911 : 133.1331098838938374,50.3618006159506706
Толщина 13568
Высота 9804
Тип данных Float64 — 64-битное с плавающей точкой
Описание драйвера GDAL GTiff
Метаданные драйвера GDAL GeoTIFF
Описание набора данных C:/Users/artte/Рабочая/
Сжатие LZW
Канал 1
STATISTICS_APPROXIMATE=YES
STATISTICS_MAXIMUM=5153
STATISTICS_MEAN=2628.9286651799
STATISTICS_MINIMUM=343.5
STATISTICS_STDDEV=461.58627240801
STATISTICS_VALID_PERCENT=72.4
Масштабирование: 1
Смещение: 0
Канал 2
STATISTICS_APPROXIMATE=YES
STATISTICS_MAXIMUM=2468
STATISTICS_MEAN=851.4520157696
STATISTICS_MINIMUM=549.5
STATISTICS_STDDEV=75.664147045869
STATISTICS_VALID_PERCENT=72.37
Масштабирование: 1
Смещение: 0
Канал 3
STATISTICS_APPROXIMATE=YES
STATISTICS_MAXIMUM=2385
STATISTICS_MEAN=890.11882920674
STATISTICS_MINIMUM=776
STATISTICS_STDDEV=61.632632396652
STATISTICS_VALID_PERCENT=72.43
Масштабирование: 1
Смещение: 0
Подробнее
AREA_OR_POINT=Area
Режим привязки X: 13568 Y: 9804 Каналы: 3
Источник 131.9142757064004741,50.3618006159506706
Размер пикселя 8.983152841195214829e-05,-8.983152841195214829e-05


Система координат
Имя EPSG:4326 - WGS 84
Единицы измерения Географическая (использует в качестве координат широту и долготу)
Проекция Lat/long (Geodetic alias)
Небесное тело Earth
Точность На основе World Geodetic System 1984 ensemble (EPSG:6326), ограниченной точности в лучшем случае 2 метра .
Тип Динамическая (основана на датуме, не привязанном к опорной сети)
Последний раз редактировалось artterrm 03 окт 2023, 08:38, всего редактировалось 1 раз.

artterrm
Гуру
Сообщения: 506
Зарегистрирован: 09 янв 2011, 09:11
Репутация: 7
Откуда: Хабаровский край

Re: qgis сохраняет растр гигабайтами

Сообщение artterrm » 03 окт 2023, 08:36

600мб

artterrm
Гуру
Сообщения: 506
Зарегистрирован: 09 янв 2011, 09:11
Репутация: 7
Откуда: Хабаровский край

Re: qgis сохраняет растр гигабайтами

Сообщение artterrm » 03 окт 2023, 08:45

пока получилось самый низкий вес сделать с параметром deflate 1 Гб

AlexRomantsov
Завсегдатай
Сообщения: 316
Зарегистрирован: 24 мар 2022, 05:54
Репутация: 137
Ваше звание: хм, сам не знал
Откуда: Томск

Re: qgis сохраняет растр гигабайтами

Сообщение AlexRomantsov » 03 окт 2023, 09:54

sentinel по точкам в 4 раза легче (13568x9804 против 30748x21586). Дальше можно не сравнивать по весу (даже с учетом типа данных)

AlexRomantsov
Завсегдатай
Сообщения: 316
Зарегистрирован: 24 мар 2022, 05:54
Репутация: 137
Ваше звание: хм, сам не знал
Откуда: Томск

Re: qgis сохраняет растр гигабайтами

Сообщение AlexRomantsov » 03 окт 2023, 10:05

При экспорте, в диалоге уменьшите разрешение в два раза относительно предложенных (и сделайте одинаковым по x y). Качество картинки не должно просесть, а вес файла сильно уменьшится

artterrm
Гуру
Сообщения: 506
Зарегистрирован: 09 янв 2011, 09:11
Репутация: 7
Откуда: Хабаровский край

Re: qgis сохраняет растр гигабайтами

Сообщение artterrm » 03 окт 2023, 10:57

попробую. всем спасибо

Ответить

Вернуться в «QGIS»

Кто сейчас на конференции

Сейчас этот форум просматривают: Semrush [Bot] и 12 гостей