Страница 1 из 1
					
				Тайлирование большого объема данных
				Добавлено: 23 фев 2016, 21:42
				 Vladimir_R
				Добрый вечер!
Есть задача - получить тайловый кэш из большого количества ортофотопланов.
Каждый ортофотоплан имеет размер 8557, 8575 и средний размер файла в 50 Мб.
Общее количество файлов ~10 000 файлов
Я собрал все файлы в vrt файл и попробовал тайлировать его через gdal2tiles, но результат не утешительный - медленно работает даже в мультипроцессорном режиме.
Была утопичная идея опубликовать мозаику как wms сервис и "дергать" картинку по координатам углов тайловой плитки или воспользоваться mapproxy, чтобы он занимался этим.
Может быть у кого-то есть опыт работы с большим объемом растровых данных? Как это заставить работать?
			 
			
					
				Re: Тайлирование большого объема данных
				Добавлено: 24 фев 2016, 09:06
				 Denis Rykov
				А если сначала построить пирамиды для вашего огромного растра?
			 
			
					
				Re: Тайлирование большого объема данных
				Добавлено: 24 фев 2016, 09:31
				 Vladimir_R
				Суммарный объем данных очень большой ~850 Гб.
Пробовал строить пирамиды через gdaladdo, но процесс "упал" из-за нехватки места.
Возможно если делать пирамиды для каждого ортофотоплана отдельно результат будет другим.
Какая разница в пирамиде для всего массива (читай vrt файла) и для отбельных растров объединенных vrt файлом?
Если я пережму данные из tiff в jpeg, то сильно потеряю в качестве картинки (для тайлов это критично)?
			 
			
					
				Re: Тайлирование большого объема данных
				Добавлено: 24 фев 2016, 11:13
				 HasT
				Я имел дело с растром порядка 10Гб, использовал для генерации тайлов gdal2tiles, но также медленно выполнялась генерация тайлов. Попробовал через generate_tiles.py (Mapnik, 
https://github.com/openstreetmap/mapnik-stylesheets) - файл Mapnik XML сделал через TileMill (добавлял geotiff, vrt возможно тоже понимает 
https://www.mapbox.com/tilemill/docs/gu ... ster-data/) - тайлы генерировались значительно быстрее.
Еще ссылка на использование generate_tiles.py 
viewtopic.php?f=19&t=13076 
			 
			
					
				Re: Тайлирование большого объема данных
				Добавлено: 17 апр 2016, 12:30
				 Vladimir_R
				Я решил задачу следующим образом: для каждого тайлового уровня "загрубил" растры до нужного разрешения. Это уменьшило объем тайлируемых данных на определенном зуме и обеспечило приемлемое время тайлирования.
			 
			
					
				Re: Тайлирование большого объема данных
				Добавлено: 15 авг 2018, 20:23
				 geodesist.ru
				bVladimir_R, та же самая задача - вы ее решили с использованием mapnik?
			 
			
					
				Re: Тайлирование большого объема данных
				Добавлено: 10 окт 2018, 16:25
				 Vladimir_R
				geodesist.ru, да. Как писал выше рассчитал для нескольких масштабов разрешение, продублировал входные данные с этим разрешением и создал тайлы через gdal2tiles. Подход занял больше места на диске, так как пришлось дублировать данные, но тайлирование прошло нормально. Результат удовлетворяет требованиям.