GIS-LAB

Географические информационные системы и дистанционное зондирование


Форумы GIS-Lab.info

Геоинформационные системы (ГИС) и Дистанционное зондирование Земли


Помощь в закачке MOD14

Обсуждение материалов сайта: вопросы, замечания, предложения

Помощь в закачке MOD14

Сообщение Denis Rykov » 28 май 2011, 22:18

Всем привет, хочу экстрагировать очаги с полной информацией по всем полям из MOD14 с WIST. Получившаяся штука будет полезна сама по себе для многих задач, в частности для сравнения и может пригодится на конкурс.

Нужна помощь со скачкой данных. Дело в том, что получаю данные я через WIST, а он не дает заказать и скачать более 2000 сцен за раз. Соответственно, приходится заказывать блоками по 2 недели. В аттаче набор сгенерированных query файлов для заказа на WIST.

Закачанными материалы, я надеюсь, можно будет обменяться через гислабовский FTP.

Если можете взять кусок, сообщите, пожалуйста, я запишу в список. Нужно закачать данные, используя query-файлы из обоих каталогов - terra и aqua. Просьба сообщать о случаях, когда на представленный query будет отобрано максимальное (2000) количество сцен.

Участники процесса и их куски (курсивом готовое):
Максим Дубинин: 2000, 2001, 2008
Voltron: 2002
bolotoved: 2003, 2006, 2007, 2009, 2011
amuriy: 2004
aesapronov: 2005
_DR_: 2010

Проект завершен, все результаты можно найти по адресу: http://gis-lab.info/qa/mod14-data.html
Большое спасибо за участие.
  • 0

Вложения
mod14-gen-query.7z
Набор query-файлов
(6.48 КБ) Скачиваний: 1218
Spatial is now, more than ever, just another column- The Geometry Column.
Аватара пользователя
Denis Rykov
Author
 
Зарегистрирован: 11 апр 2008
 
Сообщения: 3256
Репутация: 477
Статьи: 33
Проекты: 9

Re: Помощь в закачке MOD14

Сообщение Максим Дубинин » 28 май 2011, 22:23

использовать фтп - без проблем

2000 и 2001 год полностью можно записать на меня

будет интересно сравнить с FIRMS и скановскими очагами.
  • 0

пристегивайтесь, турбулентность прямо по курсу
Аватара пользователя
Максим Дубинин
NextGIS
 
Зарегистрирован: 06 окт 2003
Откуда: Москва (на карте)
 
Сообщения: 8863
Репутация: 627
Статьи: 231
Проекты: 12/6

Re: Помощь в закачке MOD14

Сообщение Voltron » 29 май 2011, 23:37

Как я понимаю, процесс сводится к регистрации на WIST'е, получении ссылки на закачку и собственно закачке. С WIST еще не работал, поэтому пока возьму только один год — 2002. А потом посмотрим.
  • 0

Voltron
Гуру
 
Зарегистрирован: 29 мар 2007
Откуда: Ukraine (на карте)
 
Сообщения: 2627
Репутация: 32
Статьи: 31
Проекты: 4/1

Re: Помощь в закачке MOD14

Сообщение Максим Дубинин » 30 май 2011, 00:13

да, только не ссылки, а ссылок, на 1 год получается 24 query-файла*2 спутника итого 48 раз придется сделать заказ, год это довольно много, можно брать и меньше.

Имей также в виду, что для Aqua 2002 год не полный, начинается с 2002_07_1, так что всего получится 24+24-12=36 заказов.
  • 0

пристегивайтесь, турбулентность прямо по курсу
Аватара пользователя
Максим Дубинин
NextGIS
 
Зарегистрирован: 06 окт 2003
Откуда: Москва (на карте)
 
Сообщения: 8863
Репутация: 627
Статьи: 231
Проекты: 12/6

Re: Помощь в закачке MOD14

Сообщение gis » 30 май 2011, 23:25

Ссылку не открывает. Это только у моего провайдера или вообще?
  • 0

gis
Гуру
 
Зарегистрирован: 24 янв 2007
Откуда: Липецк (на карте)
 
Сообщения: 515
Репутация: 16

Re: Помощь в закачке MOD14

Сообщение Максим Дубинин » 30 май 2011, 23:32

на WIST? у меня открывается
вот еще инструкция как им пользоваться: http://gis-lab.info/qa/wist.html
  • 0

пристегивайтесь, турбулентность прямо по курсу
Аватара пользователя
Максим Дубинин
NextGIS
 
Зарегистрирован: 06 окт 2003
Откуда: Москва (на карте)
 
Сообщения: 8863
Репутация: 627
Статьи: 231
Проекты: 12/6

Re: Помощь в закачке MOD14

Сообщение bolotoved » 31 май 2011, 01:19

Беру 2003
Я так понял, после заказа нужно ждать ссылок на скачивание? Нужно присылать сами ссылки или скачанный архив?
  • 0

bolotoved
Гуру
 
Зарегистрирован: 30 дек 2008
Откуда: Ханты-Мансийск (на карте)
 
Сообщения: 913
Репутация: 230
Статьи: 4
Проекты: 1

Re: Помощь в закачке MOD14

Сообщение Александр Мурый » 31 май 2011, 02:20

Интересно, а нельзя ли использовать ftp, описанный здесь: ftp://ba1.geog.umd.edu/ ? Я глянул, но не понял, там лежат все данные MOD14 или отдельные части..
  • 0

Редактор материалов, модератор форума
Александр Мурый
званий не имею
 
Зарегистрирован: 26 сен 2009
Откуда: Москва (на карте)
 
Сообщения: 4863
Репутация: 662
Статьи: 3
Проекты: 5/1

Re: Помощь в закачке MOD14

Сообщение Denis Rykov » 31 май 2011, 03:33

bolotoved писал(а):Беру 2003
Я так понял, после заказа нужно ждать ссылок на скачивание? Нужно присылать сами ссылки или скачанный архив?

Лучше конечно если архивом.

amuriy писал(а):Интересно, а нельзя ли использовать ftp, описанный здесь: ftp://ba1.geog.umd.edu/ ? Я глянул, но не понял, там лежат все данные MOD14 или отдельные части..

Можно, но там весь MOD14 - нам же нужно именно на территорию РФ.
  • 0

Spatial is now, more than ever, just another column- The Geometry Column.
Аватара пользователя
Denis Rykov
Author
 
Зарегистрирован: 11 апр 2008
 
Сообщения: 3256
Репутация: 477
Статьи: 33
Проекты: 9

Re: Помощь в закачке MOD14

Сообщение bolotoved » 31 май 2011, 08:43

Попробовал сделать несколько заказов. Подтверждение об окончании обработки и ссылка на готовый архив приходит примерно через 10 минут после заказа. Но один архив, включающий 900 сцен весит порядка 185 mb.
Скорость пересылки данных у меня порядка 100 Kb/сек целесообразно ли пересылать архивы или все-таки ограничиться ссылками?
  • 0

bolotoved
Гуру
 
Зарегистрирован: 30 дек 2008
Откуда: Ханты-Мансийск (на карте)
 
Сообщения: 913
Репутация: 230
Статьи: 4
Проекты: 1

Re: Помощь в закачке MOD14

Сообщение Александр Мурый » 31 май 2011, 09:18

Беру 2004
  • 0

Редактор материалов, модератор форума
Александр Мурый
званий не имею
 
Зарегистрирован: 26 сен 2009
Откуда: Москва (на карте)
 
Сообщения: 4863
Репутация: 662
Статьи: 3
Проекты: 5/1

Re: Помощь в закачке MOD14

Сообщение Максим Дубинин » 31 май 2011, 13:55

amuriy писал(а):Интересно, а нельзя ли использовать ftp, описанный здесь: ftp://ba1.geog.umd.edu/ ? Я глянул, но не понял, там лежат все данные MOD14 или отдельные части..

Это другие данные - MCD45, они уже на гислабе есть. Помимо того, что данные на фтп лежат на мир целиком и не имеют номенклатуры, по которой можно было бы определить территориальную принадлежность, проблема еще и в том, что фтп для этих данных то есть, но скорость скачивания с него очень медленная, гораздо быстрее запросами, которые можно запускать пачками.

bolotoved писал(а):Попробовал сделать несколько заказов. Подтверждение об окончании обработки и ссылка на готовый архив приходит примерно через 10 минут после заказа. Но один архив, включающий 900 сцен весит порядка 185 mb.

Это нормально. Один год выходит где-то 5-7 гигабайт.

bolotoved писал(а):Скорость пересылки данных у меня порядка 100 Kb/сек целесообразно ли пересылать архивы или все-таки ограничиться ссылками?

Скорость загрузки лучше чем у меня. Загружать результат (год целиком сжатый 7z) довольно долго, но все равно сильно облегчает дело в целом.
  • 0

пристегивайтесь, турбулентность прямо по курсу
Аватара пользователя
Максим Дубинин
NextGIS
 
Зарегистрирован: 06 окт 2003
Откуда: Москва (на карте)
 
Сообщения: 8863
Репутация: 627
Статьи: 231
Проекты: 12/6

Re: Помощь в закачке MOD14

Сообщение Voltron » 31 май 2011, 14:01

Где вы там возможность скачки архива нашли? Мне только отдельными файлами качать предлагает :-(
P.S.: WIST вроде как на профилактику закрыли.
  • 0

Voltron
Гуру
 
Зарегистрирован: 29 мар 2007
Откуда: Ukraine (на карте)
 
Сообщения: 2627
Репутация: 32
Статьи: 31
Проекты: 4/1

Re: Помощь в закачке MOD14

Сообщение Максим Дубинин » 31 май 2011, 14:06

насколько я помню в письме кроме ссылки на папку есть еще ссылка на нее же - архивированную в единый файл
но их лучше не качать, у меня часто получались битые

а профилактика у них раз в неделю, т.е. часто
  • 0

пристегивайтесь, турбулентность прямо по курсу
Аватара пользователя
Максим Дубинин
NextGIS
 
Зарегистрирован: 06 окт 2003
Откуда: Москва (на карте)
 
Сообщения: 8863
Репутация: 627
Статьи: 231
Проекты: 12/6

Re: Помощь в закачке MOD14

Сообщение bolotoved » 31 май 2011, 17:36

А что такое ошибка "OrderItem is required and must have at least 1 entries..." на стадии добавления на shopping cart, и как с ней бороться? Иногда помогает очистка кэша браузера, иногда нет. Из-за этой ошибки приходится делать один и тот же заказ по нескольку раз.
  • 0

bolotoved
Гуру
 
Зарегистрирован: 30 дек 2008
Откуда: Ханты-Мансийск (на карте)
 
Сообщения: 913
Репутация: 230
Статьи: 4
Проекты: 1

След.

Вернуться в Материалы сайта

Кто сейчас на конференции

Сейчас этот форум просматривают: нет зарегистрированных пользователей и гости: 3


(Геокруг)

© GIS-Lab и авторы, 2002-2013. При использовании материалов сайта, ссылка на GIS-Lab и авторов обязательна. Содержание материалов - ответственность авторов (подробнее).