Формат файла геоданных с расширением .abl и .abf

[Natalia Novoselova]

В базе даны геоданные в виде файлов с расширением .abl и abf
Об этой базе здесь: viewtopic.php?f=33&t=12607
Вот пример одного файла (ссылка на скачивание, 9 mb):
http://nasanex.s3.amazonaws.com/AVHRR/G ... 11sepa.abl

Как открывать файлы с таким расширением?
База глобальная, а объем данных за один месяц весит всего 9 мб. Возможно, это не файл, а тип архива?

В Интернете по наводкам не дает ответы, ассоциированные с геоданными. Что-то общее и туманное.
Может быть здесь знают этот формат в ассоциации с ГИС и подскажут, как его открыть?

Утилита gdalinfo его также не считывает.

[ericsson]

http://nasanex.s3.amazonaws.com/AVHRR/G ... ME_V01.pdf
Это сырые данные, 2160x4320 восьмибитных беззнаковых отсчетов в географической проекции.

[Natalia Novoselova]

http://nasanex.s3.amazonaws.com/AVHRR/G ... ME_V01.pdf
Это сырые данные, 2160x4320 восьмибитных беззнаковых отсчетов в географической проекции.

Да, и вот та статья о которой говорят в тексте по вашей ссылке (там она битая), описывающая эту базу:
http://www.mdpi.com/journal/remotesensi ... ing_global

нет, нельзя дать прямую ссылку на статью. приложила файл здесь, т.к. она open access: viewtopic.php?f=33&t=12607

Понятно, что в деталях быстро, скорее всего, не разобраться. Сложная вещь.
Но в целом вывод, как понимаю, что только Matlab оба типа файлов базы (.abl, .abf) можно открыть, так, как описано в инструкции по вашему линку.


Например, в netCDF - другом сложном формате геоданных, Matlab тоже упоминался, но только как один из способов. Есть свои ГИС инструменты, которые открывают netCDF и конвертируют его в известные простые форматы ГИС приложений. Может быть, и здесь есть подобное?

[ericsson]

Вывод, естественно, неправильный.
Сырые данные - это то, что иначе называется binary grid. GDAL поддерживает так называемый Generic Binary Grid - http://www.gdal.org/frmt_various.html#GenBin
Сам файл данных метаданные не содержит. Для каждого ABL, соответственно, должен быть свой HDR-файл с содержимым в духе

Код: Выделить всё

{{{
BANDS:      1
ROWS:    2160
COLS:    4320
DATATYPE:   U8
}}}

.. и с таким же именем. Подробности - в https://svn.osgeo.org/gdal/trunk/gdal/f ... ataset.cpp
(я там сходу вижу возможность указать привязку, но проекцию тоже придется отдельным файлом PRJ прикладывать).

[Natalia Novoselova]

Авторы в приложенной инструкции (http://nasanex.s3.amazonaws.com/AVHRR/G ... ME_V01.pdf) дают какой-никакой, но алгоритм открытия файлов в Matlab. Его еще не пробовала повторить. Но по описанию я как-то не увидела в нем реализации открытия файла как геопривязанного слоя. Только какой-то масштаб, который указывается при открытии.
Потому, хотелось бы добиться ГИС решений.

Но из ваших объяснений я даже примерно не могу понять алгоритм того, как оба типа файлов .abl и .abf можно открыть. А вы можете определить этот алгоритм?

Сырые данные - это то, что иначе называется binary grid. GDAL поддерживает так называемый Generic Binary Grid - http://www.gdal.org/frmt_various.html#GenBin
Сам файл данных метаданные не содержит. Для каждого ABL, соответственно, должен быть свой HDR-файл с содержимым в духе

.. и с таким же именем. Подробности - в https://svn.osgeo.org/gdal/trunk/gdal/f ... ataset.cpp
(я там сходу вижу возможность указать привязку, но проекцию тоже придется отдельным файлом PRJ прикладывать).

Сделать HDR файл по этой утилите gdal один из шагов этого алгоритма?


Про метаданные - что-то похожее в инструкции названо "subset" (Table 3. Description of subset)

Но конечно, в целом как-то пока не слишком ясной видется их инструкция даже для Matlab. Так, в текстовом файле со всеми ссылками для скачивания базы есть массив каких-то файлов "geo12sep15b.n19-VI3g". Например:
http://nasanex.s3.amazonaws.com/AVHRR/G ... b.n19-VI3g

Судя по названию, они даются за 15 число каждого месяца между 1981 и 2011.
Судя по "geo" в названии - это может быть связано с проекцией. Но ничего не объяснено. Что это такое, что с этим делать для открытия файлов.

[Natalia Novoselova]

Сложное описание. Интересно, у многих ли людей, желающих использовать эту базу для своих задач, хватает знаний или упорства, чтобы разобраться с тем, как с ней работать..

Но буду пытаться разобраться. Включить эти параметры - наложить их на карту и проанализировать со всем прочим, что связано с уровнем здоровья\деградации тропических лесов - будет очень важно. MODIS имеет аналогичный продукт "10+ Years of MODIS LAI and FPAR Data Sets" (вроде здесь), но на более мелкий масштаб (500 м в 1 пикселе). Не очень поняла, вроде там есть какая-то связь между ним и этими данными.
У этих данных масштаб указан в 1/12 градуса (это 111/12 = 9.25 км, если я это правильно понимаю).
Еще есть один похожий продукт из проекта GEOCARBON: FPAR monthly time-series for the period 1982-2011
Но там авторы не отзываются, и данные на запрос не присылают (с их форматом NetCDF я уже как-то немного освоилась). Итого, надо пытаться открыть это, как единственный или лучший источник.

[ericsson]

Алгоритм - простой:
- глядя на сишный исходник драйвера для чтения GenBin из GDAL (где даже не владеющий программированием может найти названия полей в файле), написать вручную .hdr-файл с метаданными (пиксельные размеры, битность отсчетов, координаты углов), присвоить ему имя, аналогичное имени .abl-файла
- скачать где-нибудь файл .prj, описывающий географическую проекцию, тоже переименовать
- сложить их в одном месте и воспользоваться gdal_translate (согласно документации GDAL) для того, чтобы сконвертировать .abl, например, в GeoTIFF
Готово, пользуйтесь.

Все остальные ваши рассуждения к теме не относятся.

Что касается наличия желающих использовать данные - не сомневайтесь, они есть. Не все же, занимающиеся науками о природе, "удачно" избежали получения базовых знаний по информационным технологиям. Потому для решения этой простой задачи нужно не упорство, а просто некоторое количество знаний. Вам постоянно говорят, что вы беретесь за задачи, не владея инструментарием и не будучи готовой учиться владеть им. Это просто еще один такой же случай, потому вам все и непонятно. Если вы решили заниматься ГИС, то знать только про "Г" вам будет всегда недостаточно. Сначала нужно разобраться с "ИС".

[Natalia Novoselova]

Алгоритм - простой:
- глядя на сишный исходник драйвера для чтения GenBin из GDAL (где даже не владеющий программированием может найти названия полей в файле), написать вручную .hdr-файл с метаданными (пиксельные размеры, битность отсчетов, координаты углов), присвоить ему имя, аналогичное имени .abl-файла
- скачать где-нибудь файл .prj, описывающий географическую проекцию, тоже переименовать
- сложить их в одном месте и воспользоваться gdal_translate (согласно документации GDAL) для того, чтобы сконвертировать .abl, например, в GeoTIFF
Готово, пользуйтесь. .

Спасибо, попытаюсь.
Но ведь странно, вам не кажется, что над готовым продуктом нужно столько колдовать? Файлы делать, и т.п.

Ведь того же автора (Ranga Myneni - сам дает ссылку) продукт MODIS: 10+ Years of MODIS LAI and FPAR Data Sets"
например: MCD15A2H https://lpdaac.usgs.gov/dataset_discove ... 15A2H_v006
Открывается легко и просто, все понятно объяснено.
Показывает те же параметры (LAI, FPAR)

Возможно, в этой базе специально усложняют процедуру открытия данных, чтобы отсеивать... не знаю. Что мешало подготовить ее аналогичным образом, как продукты MODIS?

Я не так давно занимаюсь изучением разных геоданных. Поскольку задача эта появилась только с началом нового проекта. Но уже вижу явную разницу в уровне сложности. Данные, которые в LP DAAC, Reverb и т.п. размещены - там все просто и понятно. А вот "частные" базы и проекты - все бывает очень сложно.
В общем, демагогия, конечно. Просто наблюдение. Как есть, так уж есть. Знаний ИТ мне правда не хватает для этой работы, но я не отказываюсь учиться, наоборот, появляется задача - всеми силами страюсь освоить новые знания, чтобы продвинуться.

[ericsson]

Нет, мне не кажется, что это странно.
Попробую объяснить. В любой отрасли прикладных специальных знаний есть множество вещей, которые, с одной стороны, нельзя просто так предусмотреть, а с другой - они не являются проблемой ни для кого, кто в этой области является профессионалом. При том, что для непрофессионалов это не просто проблема, а нечто совершенно загадочное, к чему непонятно, как подступиться. Вот и тут - кому-то эти данные нужны в Matlab, кому-то - в R, кому-то - в ArcGIS. Если люди владеют этими инструментами - они даже не задумаются, как это открывать - достаточно прочесть описание. Если нет - то вопрос, а нафига им эти данные, что они вообще из них смогут выжать?

Что касается государственных данных США (NASA, USGS) - у них просто есть своеобразный внутренний стандарт. Но и то: SRTM изначально поставлялся тоже в формате сырых данных, тот же Landsat 8 куча народу пытаеся победить из-за того, что он 16-битный (содержит больше информации, которую нужно понимать, как обработать), уровни обработки тоже у этих данных бывают разные (радиометрическая, атмосферная коррекция и т.п.). Так что то, что одни данные вы называете доступными, а другие - нет, это всего лишь результат того, что ваши знания в этой области весьма ограничены. Пока я вижу, что вы всегда просите готовое частное решение, которое вам никак не помогает решить другие задачи.