LSID - индекс для привязки биологических БД

[bolotoved]

Я правильно выбрал версию curl? если у меня XP: http://curl.haxx.se/dlwiz/?type=bin&os= ... =2000%2FXP
---
При запуске *.bat, он начинает перебирать виды из списка, но папку почему-то не создает, или он создает папку в каком-то странном месте. (Но у меня даже есть подозрение, что он не связывается с сервером).

[ericsson]

Да, версия правильная.

Bat-файл должен лежать в уже созданной папке, где также лежит текстовый файлик в правильной кодировке со списком. Там же и будут сохраняться html-файлы с ответами.

Проверьте, доступен ли cURL из командной строки (и положен ли он целиком в папку Windows, например). Для этого нужно запустить (через меню Start/Run) cmd.exe и в командной строке набрать curl --version.

[bolotoved]

Так и есть. Папку создал, кодировку текста поменял. Запускаю батник, он начинает перебирать названия из текстового файла -- это видно в появляющемся окне. Но никаких файлов в итоге не создается...

[ericsson]

Скорее всего, недоступен curl. Проверьте, я выше дописал, как. Должен ответить версией, а не ошибкой.

[bolotoved]

да, пишет, что curl "не является внутренней или внешней командой"
содержимое папки, лежавшей в скачанном архиве curl положил в папку windows

[ericsson]

Очень странно. Если оно действительно туда скопировалось (а то мало ли, защита какая..), все должно работать.
Я подумаю над тем, как решить вопрос с инсталляцией...
Пока добавил проверку, правильно ли установлен cURL
grab_names.bat:

Код: Выделить всё

@echo off
curl --version
if not errorlevel 9009 goto grab
echo cURL is not installed or not placed in folder listed in search path
goto end
:grab
echo on
for /F "tokens=1,2" %%i in (sib_bird.txt) do curl "http://www.ubio.org/browser/search.php?search_all=%%i+%%j" -o "%%i %%j.html"
:end
pause

В случае, если проблемы с инсталляцией, выдаст ошибку и закроется. Если нет, пойдет таскать файлики.

[bolotoved]

все исходных 12 файлов скопированы, но работать не хотят. Новый батник тоже говорит, что нету курла.

[ericsson]

Тогда так:
- В рабочей папке создаете подкаталог curl
- Кладете туда те самые файлы из архива (непосредственно, без папки с длинным названием)
- Обновляете свой grab_names.bat:

Код: Выделить всё

@echo off
set path=.\curl;%%path%%
curl --version
if not errorlevel 9009 goto grab
echo cURL is not installed in "curl" subfolder of current folder or not placed in folder listed in search path
goto end
:grab
echo on
for /F "tokens=1,2" %%i in (sib_bird.txt) do curl "http://www.ubio.org/browser/search.php?search_all=%%i+%%j" -o "%%i %%j.html"
:end
pause

[Voltron]

Не усложняйте без необходимости, положите curl в ту же папку, где и батник.

[ericsson]

Voltron Не согласен. Помойка будет, а не рабочий каталог.
bolotoved
Структура папок должна получиться типа такой:
\work_folder: grab_names.bat, sib_birds.txt
\work_folder\curl: curl.exe, libcurl.dll, libeay32.dll, libssl32.dll

[bolotoved]

Пошел процесс! Спасибо. Будем дальше двигаться.

[ericsson]

Ну дальше остается определиться с тем, что же из содержимого этих файлов представляет интерес. А тут уже мячик на вашей биологической стороне.

Вроде нашел и средство для вытаскивания содержимого по xpath - XMLStarlet http://xmlstar.sourceforge.net/ . Из присутствующих технарей есть у кого что сказать про него?

[bolotoved]

А проверьте сейчас запрос к сайту Помойму он банит.
Или виснет по независящим от нас причинам.

[ericsson]

У меня - качает вполне.
Бан и прочее проверить просто - зайти туда же browser'ом.
Но это причина для того, чтобы подумать над error log'ом для данного процесса.

[bolotoved]

У меня 3/4 птичек скачалось, потом что-то у них там на сайте подвисло. Поскольку процесс достаточно длительный, можно сократить список птиц штук до 10 для отладки процесса.
Выяснилась удивительная штука: если задать запрос bubo+bubo (филин), то результатом будет список видов у которых в названии упоминается bubo. А это далеко не только интересующий нас филин, но и еще сотня видов нам не интересных, например Tipula bubo (комар-долгоножка).
А поскольку такое дело, то во все html кто-то да попал, но необязательно тот кто надо.
---
А если в браузере в форме http://www.ubio.org/browser/search.php набирать bubo bubo, то нам предлагают (в выпадающем списке) сразу ссылку на внутренний ID http://www.ubio.org/browser/details.php ... [b]3852555[/b] и именно тут содержится необходимая нам информация, вплоть до русского названия (что неожиданно и приятно). Ну и LSID первым делом стоит со всей прочей атрибутикой.
---
как бы научиться связывать заданную латынь с их ID...