Помощь в закачке MOD14

Обсуждение материалов сайта: вопросы, замечания, предложения
Аватара пользователя
Denis Rykov
Гуру
Сообщения: 3376
Зарегистрирован: 11 апр 2008, 21:09
Репутация: 529
Ваше звание: Author
Контактная информация:

Помощь в закачке MOD14

Сообщение Denis Rykov » 28 май 2011, 21:18

Всем привет, хочу экстрагировать очаги с полной информацией по всем полям из MOD14 с WIST. Получившаяся штука будет полезна сама по себе для многих задач, в частности для сравнения и может пригодится на конкурс.

Нужна помощь со скачкой данных. Дело в том, что получаю данные я через WIST, а он не дает заказать и скачать более 2000 сцен за раз. Соответственно, приходится заказывать блоками по 2 недели. В аттаче набор сгенерированных query файлов для заказа на WIST.

Закачанными материалы, я надеюсь, можно будет обменяться через гислабовский FTP.

Если можете взять кусок, сообщите, пожалуйста, я запишу в список. Нужно закачать данные, используя query-файлы из обоих каталогов - terra и aqua. Просьба сообщать о случаях, когда на представленный query будет отобрано максимальное (2000) количество сцен.

Участники процесса и их куски (курсивом готовое):
Максим Дубинин: 2000, 2001, 2008
Voltron: 2002
bolotoved: 2003, 2006, 2007, 2009, 2011
amuriy: 2004
aesapronov: 2005
_DR_: 2010

Проект завершен, все результаты можно найти по адресу: http://gis-lab.info/qa/mod14-data.html
Большое спасибо за участие.
Вложения
mod14-gen-query.7z
Набор query-файлов
(6.48 КБ) 1868 скачиваний
Spatial is now, more than ever, just another column- The Geometry Column.

Аватара пользователя
Максим Дубинин
MindingMyOwnBusiness
Сообщения: 9128
Зарегистрирован: 06 окт 2003, 20:20
Репутация: 747
Ваше звание: NextGIS
Откуда: Москва
Контактная информация:

Re: Помощь в закачке MOD14

Сообщение Максим Дубинин » 28 май 2011, 21:23

использовать фтп - без проблем

2000 и 2001 год полностью можно записать на меня

будет интересно сравнить с FIRMS и скановскими очагами.
пристегивайтесь, турбулентность прямо по курсу

Voltron
Гуру
Сообщения: 2627
Зарегистрирован: 29 мар 2007, 14:12
Репутация: 34
Откуда: Ukraine

Re: Помощь в закачке MOD14

Сообщение Voltron » 29 май 2011, 22:37

Как я понимаю, процесс сводится к регистрации на WIST'е, получении ссылки на закачку и собственно закачке. С WIST еще не работал, поэтому пока возьму только один год — 2002. А потом посмотрим.

Аватара пользователя
Максим Дубинин
MindingMyOwnBusiness
Сообщения: 9128
Зарегистрирован: 06 окт 2003, 20:20
Репутация: 747
Ваше звание: NextGIS
Откуда: Москва
Контактная информация:

Re: Помощь в закачке MOD14

Сообщение Максим Дубинин » 29 май 2011, 23:13

да, только не ссылки, а ссылок, на 1 год получается 24 query-файла*2 спутника итого 48 раз придется сделать заказ, год это довольно много, можно брать и меньше.

Имей также в виду, что для Aqua 2002 год не полный, начинается с 2002_07_1, так что всего получится 24+24-12=36 заказов.
пристегивайтесь, турбулентность прямо по курсу

gis
Гуру
Сообщения: 515
Зарегистрирован: 24 янв 2007, 15:46
Репутация: 17
Откуда: Липецк
Контактная информация:

Re: Помощь в закачке MOD14

Сообщение gis » 30 май 2011, 22:25

Ссылку не открывает. Это только у моего провайдера или вообще?

Аватара пользователя
Максим Дубинин
MindingMyOwnBusiness
Сообщения: 9128
Зарегистрирован: 06 окт 2003, 20:20
Репутация: 747
Ваше звание: NextGIS
Откуда: Москва
Контактная информация:

Re: Помощь в закачке MOD14

Сообщение Максим Дубинин » 30 май 2011, 22:32

на WIST? у меня открывается
вот еще инструкция как им пользоваться: http://gis-lab.info/qa/wist.html
пристегивайтесь, турбулентность прямо по курсу

bolotoved
Гуру
Сообщения: 920
Зарегистрирован: 30 дек 2008, 14:11
Репутация: 236
Откуда: Ханты-Мансийск
Контактная информация:

Re: Помощь в закачке MOD14

Сообщение bolotoved » 31 май 2011, 00:19

Беру 2003
Я так понял, после заказа нужно ждать ссылок на скачивание? Нужно присылать сами ссылки или скачанный архив?

Александр Мурый
Гуру
Сообщения: 5173
Зарегистрирован: 26 сен 2009, 16:26
Репутация: 793
Ваше звание: званий не имею
Откуда: Москва

Re: Помощь в закачке MOD14

Сообщение Александр Мурый » 31 май 2011, 01:20

Интересно, а нельзя ли использовать ftp, описанный здесь: ftp://ba1.geog.umd.edu/ ? Я глянул, но не понял, там лежат все данные MOD14 или отдельные части..
Редактор материалов, модератор форума

Аватара пользователя
Denis Rykov
Гуру
Сообщения: 3376
Зарегистрирован: 11 апр 2008, 21:09
Репутация: 529
Ваше звание: Author
Контактная информация:

Re: Помощь в закачке MOD14

Сообщение Denis Rykov » 31 май 2011, 02:33

bolotoved писал(а):Беру 2003
Я так понял, после заказа нужно ждать ссылок на скачивание? Нужно присылать сами ссылки или скачанный архив?
Лучше конечно если архивом.
amuriy писал(а):Интересно, а нельзя ли использовать ftp, описанный здесь: ftp://ba1.geog.umd.edu/ ? Я глянул, но не понял, там лежат все данные MOD14 или отдельные части..
Можно, но там весь MOD14 - нам же нужно именно на территорию РФ.
Spatial is now, more than ever, just another column- The Geometry Column.

bolotoved
Гуру
Сообщения: 920
Зарегистрирован: 30 дек 2008, 14:11
Репутация: 236
Откуда: Ханты-Мансийск
Контактная информация:

Re: Помощь в закачке MOD14

Сообщение bolotoved » 31 май 2011, 07:43

Попробовал сделать несколько заказов. Подтверждение об окончании обработки и ссылка на готовый архив приходит примерно через 10 минут после заказа. Но один архив, включающий 900 сцен весит порядка 185 mb.
Скорость пересылки данных у меня порядка 100 Kb/сек целесообразно ли пересылать архивы или все-таки ограничиться ссылками?

Александр Мурый
Гуру
Сообщения: 5173
Зарегистрирован: 26 сен 2009, 16:26
Репутация: 793
Ваше звание: званий не имею
Откуда: Москва

Re: Помощь в закачке MOD14

Сообщение Александр Мурый » 31 май 2011, 08:18

Беру 2004
Редактор материалов, модератор форума

Аватара пользователя
Максим Дубинин
MindingMyOwnBusiness
Сообщения: 9128
Зарегистрирован: 06 окт 2003, 20:20
Репутация: 747
Ваше звание: NextGIS
Откуда: Москва
Контактная информация:

Re: Помощь в закачке MOD14

Сообщение Максим Дубинин » 31 май 2011, 12:55

amuriy писал(а):Интересно, а нельзя ли использовать ftp, описанный здесь: ftp://ba1.geog.umd.edu/ ? Я глянул, но не понял, там лежат все данные MOD14 или отдельные части..
Это другие данные - MCD45, они уже на гислабе есть. Помимо того, что данные на фтп лежат на мир целиком и не имеют номенклатуры, по которой можно было бы определить территориальную принадлежность, проблема еще и в том, что фтп для этих данных то есть, но скорость скачивания с него очень медленная, гораздо быстрее запросами, которые можно запускать пачками.
bolotoved писал(а):Попробовал сделать несколько заказов. Подтверждение об окончании обработки и ссылка на готовый архив приходит примерно через 10 минут после заказа. Но один архив, включающий 900 сцен весит порядка 185 mb.
Это нормально. Один год выходит где-то 5-7 гигабайт.
bolotoved писал(а):Скорость пересылки данных у меня порядка 100 Kb/сек целесообразно ли пересылать архивы или все-таки ограничиться ссылками?
Скорость загрузки лучше чем у меня. Загружать результат (год целиком сжатый 7z) довольно долго, но все равно сильно облегчает дело в целом.
пристегивайтесь, турбулентность прямо по курсу

Voltron
Гуру
Сообщения: 2627
Зарегистрирован: 29 мар 2007, 14:12
Репутация: 34
Откуда: Ukraine

Re: Помощь в закачке MOD14

Сообщение Voltron » 31 май 2011, 13:01

Где вы там возможность скачки архива нашли? Мне только отдельными файлами качать предлагает :-(
P.S.: WIST вроде как на профилактику закрыли.

Аватара пользователя
Максим Дубинин
MindingMyOwnBusiness
Сообщения: 9128
Зарегистрирован: 06 окт 2003, 20:20
Репутация: 747
Ваше звание: NextGIS
Откуда: Москва
Контактная информация:

Re: Помощь в закачке MOD14

Сообщение Максим Дубинин » 31 май 2011, 13:06

насколько я помню в письме кроме ссылки на папку есть еще ссылка на нее же - архивированную в единый файл
но их лучше не качать, у меня часто получались битые

а профилактика у них раз в неделю, т.е. часто
пристегивайтесь, турбулентность прямо по курсу

bolotoved
Гуру
Сообщения: 920
Зарегистрирован: 30 дек 2008, 14:11
Репутация: 236
Откуда: Ханты-Мансийск
Контактная информация:

Re: Помощь в закачке MOD14

Сообщение bolotoved » 31 май 2011, 16:36

А что такое ошибка "OrderItem is required and must have at least 1 entries..." на стадии добавления на shopping cart, и как с ней бороться? Иногда помогает очистка кэша браузера, иногда нет. Из-за этой ошибки приходится делать один и тот же заказ по нескольку раз.

Ответить

Вернуться в «Материалы сайта»

Кто сейчас на конференции

Сейчас этот форум просматривают: нет зарегистрированных пользователей и 10 гостей