Форумы GIS-Lab.info

Эдравствуйте. В чем лучше скриптовать скачивание больших объемов данных? Поделитесь опытом, пожалуйста. Сделал это в Python'е и WGETе - но как-то корявенько все это... М.б. сейчас есть что-то новое и специально предназначенное? С автозапуском, скажем, ежедневным в фоновом режиме?

wget/curl/aria2 + cron
Что значит "корявенько"? Приведите ваши скрипты. Чем они вас не устраивают?

Александр, сам вызов wget в Python'-скрипте через os мне не нравится... Т.е. хотелось бы "в одном флаконе"...

.. а м.б. pycurl?

Если хочется чистого Питона, попробуйте поиграться с питоновскими модулями wget + crontab/APScheduler.

Спасибо, Александр!

... а как оригинальные атрибуты времени создания скачанного с ftp-сервера файла сохранить? есть какие-то ключи в wget?..

nickleb писал(а):... а как оригинальные атрибуты времени создания скачанного с ftp-сервера файла сохранить? есть какие-то ключи в wget?..

Вроде как атрибуты создания и изменения файла сохраняются wget'ом по умолчанию.

Александр Мурый писал(а):Вроде как атрибуты создания и изменения файла сохраняются wget'ом по умолчанию.

уиндовс любит показывать не дату создания, а дату последнего обращения ...

...и это так... надо читать и менять атрибуты времени скачанных файлов на атрибуты оригинала...