Импорт данных в формате HDF

В следствие развития программы NASA Earth Observing System, широким распространением данных получаемых ее инструментами (ASTER, MODIS, CERES и др.), встает вопрос, что же с ними делать, так как распространяются они в большинстве своем в формате HDF, который не отличается простотой.

Данная заметка не ставит перед собой целью осветить все средства работы с форматом HDF, а скорее только наиболее распространенные и, как кажется авторам, наиболее удобные.

HDF - Hierarchical Data Format (Иерархический формат данных) разрабатываемый The National Center for Supercomputing Applications (http://www.ncsa.uiuc.edu) с 1987г. и довольно широко используемый в настоящее время научным сообществом. Более широкое использование формата ограничено его достаточно большой сложностью. В настоящее время поддержка и развитие формата осуществляется некоммерческой организацией The HDF Group, сайт которой является официальной страницей формата >>>

Формат HDF существует в двух основных версиях 4 и 5, на момент последнего обновления статьи версия HDF5 5 - 1.6.5, HDF4 - 4.2r1. Для данных дистанционного зондирования (вообще этот формат позиционируется как формат для любых сложных составных данных, включающих разнотипные типы данных, такие как текст, растры, таблицы и т.д.) используются расширения формата адаптированные NASA: например расширение HDF-EOS (HDF-Earth Observing System) - это специальная надстройка для формата HDF, позволяющая более эффективно хранить данные получаемые со спутников системы EOS (Terra, Aqua и другие, планируемые). Программное обеспечение для обработки этого формата распространяется через специальный сайт созданный и поддерживаемый HDF Group.

HDF-EOS дополнен следующими форматами данных: grid, swath, point, отличие этих данных от других заключается в наличие пространственной привязки. С точки зрения программирования, программные библиотеки HDF при обращению к HDF-EOS будут вести себя с ними как с обычными HDF данными, игнорируя привязку, поэтому для правильной работы с этим расширением формата HDF, необходимы специальные библиотеки, "понимающие" географическую привязку.

HDF-EOS существует в двух основных версиях: v2.x является расширением к HDF v4, v5.x является расширением HDF v5. Эти версии плохо совместимы из-за сильных изменений введенных в формат HDF начиная с версии 5.

Программное обеспечение для работы с данными в формате HDF:

• NOeSYS - разработка компании RSINC (автора ENVI). Дает пожалуй самый полный визуальный контроль на данными HDF, иерархически представляет их структуру, позволяет экспортировать любую из компонентов файла (растр, таблицы и т.д.). К сожалению небесплатна, но, кроме собственно демо-версии, по запросу авторам, они предоставляют файл лицензии делающей программу полностью работоспособной на несколько дней.

• HDF Explorer - Программное обеспечение португальского производства, так же позволяющее визуализировать иерархическую структуру HDF в удобной для восприятия форме и работать с ней. Имеется бесплатная версия.
  • HDF Explorer v1.1, 7Mb, загрузка через GIS-Lab)
  • HDF Explorer v1.4.014, 14Mb, загрузка через домашнюю страницу программы)
• HDFView - программное обеспечение от создателей формата HDF, NCSA и Университета Иллинойса. Написана на языке Java, поэтому требует также установки виртуальной машины Java. К сожалению, не позволяет просматривать метаданные (CoreMetadata.0, StructMetadata.0, archiveMetadata.0).
• Multispec - Учебная программа, позволяющая импортировать растровые данные из формата HDF, не визуализирует иерархическую структуру, не позволяет импортировать текстовые и табличные данные. Бесплатна.
• HDF2Bin - Пожалуй наиболее распространенная утилита для конвертирования растров, содержащихся в HDF файле (если они там есть) в простой бинарный растр. В результате работы программы, запустить ее можно так (содержание командной строки):

  hdf2bin aster.hdf > logfile.txt

  Программа создаст бинарные файлы для каждого из входящего в HDF набора данных, размерность растров по осям записывается в лог-файл. (Wenli Yang, George Mason University)
• HDP - Утилита, входящая в состав набора инструментов NCSA. Для работы с утилитами входящими в этот набор надо также установить набор библиотек ZLIBи SZIP. Результат использования утилиты HDP в принципе должен совпадать с результатом импорта с помощью HDF2Bin. Для работы с HDP, необходимо определить название импортируемого набора данных (это можно сделать с помощью HDF Explorer. Пример импорта слоя влажности почв из данных AMSR-E (содержание командной строки):
  

  hdp dumpsds -n A_Soil_Moisture -o new -b A20040831.hdf

Особенности использования этого формата для разных данных дистанционного зондирования, таких как например MODIS, IRS, ASTER несколько различаются и в данной заметке не рассматриваются.

Обсудить в форуме (Комментариев - 3)

Последнее обновление: October 25 2007
(Наверх)