В чем лучше скриптовать скачивание больших объемов данных

[nickleb]

Эдравствуйте. В чем лучше скриптовать скачивание больших объемов данных? Поделитесь опытом, пожалуйста. Сделал это в Python'е и WGETе - но как-то корявенько все это... М.б. сейчас есть что-то новое и специально предназначенное? С автозапуском, скажем, ежедневным в фоновом режиме?

[Александр Мурый]

wget/curl/aria2 + cron
Что значит "корявенько"? Приведите ваши скрипты. Чем они вас не устраивают?

[nickleb]

Александр, сам вызов wget в Python'-скрипте через os мне не нравится... Т.е. хотелось бы "в одном флаконе"...

[nickleb]

.. а м.б. pycurl?

[Александр Мурый]

Если хочется чистого Питона, попробуйте поиграться с питоновскими модулями wget + crontab/APScheduler.

[nickleb]

Спасибо, Александр!

[nickleb]

... а как оригинальные атрибуты времени создания скачанного с ftp-сервера файла сохранить? есть какие-то ключи в wget?..

[Александр Мурый]

... а как оригинальные атрибуты времени создания скачанного с ftp-сервера файла сохранить? есть какие-то ключи в wget?..

Вроде как атрибуты создания и изменения файла сохраняются wget'ом по умолчанию.

[gamm]

Вроде как атрибуты создания и изменения файла сохраняются wget'ом по умолчанию.

уиндовс любит показывать не дату создания, а дату последнего обращения ...

[nickleb]

...и это так... надо читать и менять атрибуты времени скачанных файлов на атрибуты оригинала...