Помощь в закачке MOD14

[Denis Rykov]

Всем привет, хочу экстрагировать очаги с полной информацией по всем полям из MOD14 с WIST. Получившаяся штука будет полезна сама по себе для многих задач, в частности для сравнения и может пригодится на конкурс.

Нужна помощь со скачкой данных. Дело в том, что получаю данные я через WIST, а он не дает заказать и скачать более 2000 сцен за раз. Соответственно, приходится заказывать блоками по 2 недели. В аттаче набор сгенерированных query файлов для заказа на WIST.

Закачанными материалы, я надеюсь, можно будет обменяться через гислабовский FTP.

Если можете взять кусок, сообщите, пожалуйста, я запишу в список. Нужно закачать данные, используя query-файлы из обоих каталогов - terra и aqua. Просьба сообщать о случаях, когда на представленный query будет отобрано максимальное (2000) количество сцен.

Участники процесса и их куски (курсивом готовое):
Максим Дубинин: 2000, 2001, 2008
Voltron: 2002
bolotoved: 2003, 2006, 2007, 2009, 2011
amuriy: 2004
aesapronov: 2005
_DR_: 2010

Проект завершен, все результаты можно найти по адресу: http://gis-lab.info/qa/mod14-data.html
Большое спасибо за участие.

[Максим Дубинин]

использовать фтп - без проблем

2000 и 2001 год полностью можно записать на меня

будет интересно сравнить с FIRMS и скановскими очагами.

[Voltron]

Как я понимаю, процесс сводится к регистрации на WIST'е, получении ссылки на закачку и собственно закачке. С WIST еще не работал, поэтому пока возьму только один год — 2002. А потом посмотрим.

[Максим Дубинин]

да, только не ссылки, а ссылок, на 1 год получается 24 query-файла*2 спутника итого 48 раз придется сделать заказ, год это довольно много, можно брать и меньше.

Имей также в виду, что для Aqua 2002 год не полный, начинается с 2002_07_1, так что всего получится 24+24-12=36 заказов.

[gis]

Ссылку не открывает. Это только у моего провайдера или вообще?

[Максим Дубинин]

на WIST? у меня открывается
вот еще инструкция как им пользоваться: http://gis-lab.info/qa/wist.html

[bolotoved]

Беру 2003
Я так понял, после заказа нужно ждать ссылок на скачивание? Нужно присылать сами ссылки или скачанный архив?

[Александр Мурый]

Интересно, а нельзя ли использовать ftp, описанный здесь: ftp://ba1.geog.umd.edu/ ? Я глянул, но не понял, там лежат все данные MOD14 или отдельные части..

[Denis Rykov]

Беру 2003
Я так понял, после заказа нужно ждать ссылок на скачивание? Нужно присылать сами ссылки или скачанный архив?

Лучше конечно если архивом.

Интересно, а нельзя ли использовать ftp, описанный здесь: ftp://ba1.geog.umd.edu/ ? Я глянул, но не понял, там лежат все данные MOD14 или отдельные части..

Можно, но там весь MOD14 - нам же нужно именно на территорию РФ.

[bolotoved]

Попробовал сделать несколько заказов. Подтверждение об окончании обработки и ссылка на готовый архив приходит примерно через 10 минут после заказа. Но один архив, включающий 900 сцен весит порядка 185 mb.
Скорость пересылки данных у меня порядка 100 Kb/сек целесообразно ли пересылать архивы или все-таки ограничиться ссылками?

[Александр Мурый]

Беру 2004

[Максим Дубинин]

Интересно, а нельзя ли использовать ftp, описанный здесь: ftp://ba1.geog.umd.edu/ ? Я глянул, но не понял, там лежат все данные MOD14 или отдельные части..

Это другие данные - MCD45, они уже на гислабе есть. Помимо того, что данные на фтп лежат на мир целиком и не имеют номенклатуры, по которой можно было бы определить территориальную принадлежность, проблема еще и в том, что фтп для этих данных то есть, но скорость скачивания с него очень медленная, гораздо быстрее запросами, которые можно запускать пачками.

Попробовал сделать несколько заказов. Подтверждение об окончании обработки и ссылка на готовый архив приходит примерно через 10 минут после заказа. Но один архив, включающий 900 сцен весит порядка 185 mb.

Это нормально. Один год выходит где-то 5-7 гигабайт.

Скорость пересылки данных у меня порядка 100 Kb/сек целесообразно ли пересылать архивы или все-таки ограничиться ссылками?

Скорость загрузки лучше чем у меня. Загружать результат (год целиком сжатый 7z) довольно долго, но все равно сильно облегчает дело в целом.

[Voltron]

Где вы там возможность скачки архива нашли? Мне только отдельными файлами качать предлагает
P.S.: WIST вроде как на профилактику закрыли.

[Максим Дубинин]

насколько я помню в письме кроме ссылки на папку есть еще ссылка на нее же - архивированную в единый файл
но их лучше не качать, у меня часто получались битые

а профилактика у них раз в неделю, т.е. часто

[bolotoved]

А что такое ошибка "OrderItem is required and must have at least 1 entries..." на стадии добавления на shopping cart, и как с ней бороться? Иногда помогает очистка кэша браузера, иногда нет. Из-за этой ошибки приходится делать один и тот же заказ по нескольку раз.