Описание данных дистанционного зондирования Corona и процедуры их получения

[править] Введение

Данные дистанционного зондирования Corona - источник исторической спутниковой информации среднего и высокого разрешения в свое время рассекреченной Министерством Обороны США и находящиеся в открытом доступе (отвечающие определению открытых данных OKFN).

Оригиналы плёнок хранятся в Службе архивов и записей США (National Archives and Records Administration (NARA)), копии плёнок хранятся в USGS EROS Data Center, который и занимается сканированием и продажей данных. Снимок продается один раз и после этого становится общедоступным.

Данные этого типа собирались по всему миру в рамках военных разведывательных миссий CORONA, ARGON, LANYARD осуществляемых спутниками KH-1, KH-2, KH-3, KH-4, KH-4a, KH-4b (CORONA), KH-5 (ARGON), KH-6 (LANYARD), KH-7, KH-9.

Всего в рамках программы было получено более 900 тысяч изображений земной поверхности. Данные были рассекречены и стали общественным достоянием (public domain) двумя порциями в 1996 (DECLASS 1: KH-1,2,3,4,4a,4b,5,6) и 2002 (DECLASS 2: KH-7,9) (согласно распоряжению Билла Клинтона Executive Order 12951).

Каталоги данных DECLASS (в том числе уже доступных для скачивания) можно найти на отдельной странице.

[править] Описание данных

Описание данных в основном зашифровано в идентификаторе сцены, некоторое дополнительное количество информации также содержится в метаданных.

Для данных DECLASS1:

• Идентификатор сцены. Формат идентификатора: DSMMMMMMRRRRCFFF (16 символов). Примеры: DS009009009DV008, DS1016-1010DF029
  1. DS = Название набора данных (2 символа)
  2. MMMMMM = Миссия (6 символов, дополняется нулями спереди)
  3. RRRR = Виток (4 символа), включая 1 символ для типа витка: A = Ascending (восходящий), D = Descending (нисходящий), M = Mapping (картирование).
  4. C = тип камеры (1 символ), A = Aft (назадсмотрящая,стерео), C = Cartographic, F = Forward (впередсмотрящая,стерео), V = Vertical (надирная). Ранние системы (KH-1, KH-2, KH-3, KH-6) несли только одну панорамную или рамочную камеру (KH-5). Более поздние системы (KH-4, KH-4A, KH-4B) несли две панорамных камеры каждая под углом 30° смотрящие вперед и назад.
  5. FFF = номер кадра в рулоне пленки (3 символа)

Типы разрешений: Stereo Medium, Stereo High, Unknown, Vertical Low, Vertical Medium, Vertical High (см. таблицу)

Типы пленок: 70мм панорамная (примерный размер 70мм x 29.8 дюймов), 5 дюймовая панорамная (примерный размер 5 дюймов x 25 дюймов), 5 дюймовая кадровая пленка (примерный размер 5 дюймов x 5 дюймов)

Для данных DECLASS2:

• Идентификатор сцены. Формат идентификатора: DZIMMMMMMOOOOOCFFFSSS (21 символов). Примеры: DZC1206-500145L001001,DZB1214-500347L001001
  1. DZ = Название набора данных (2 символа)
  2. I = Тип изображения (1 символ) B (черно-белое) или C (цветное)
  3. MMMMMM = Номер миссии и кассеты (6 символов, дополняется нулями спереди, номер кассеты отделен тире)
  4. OOOOO = Номер операции, фотосессии в рамках миссии (5 символов).
  5. C = тип камеры (1 символ), L = Low (низкое разрешение), H = High (высокое разрешение).
  6. FFF = номер кадра в рулоне пленки (3 символа)
  7. SSS = количество 30-дюймовых сегментов на изображении (3 символа)

Типы разрешений: KH-7, KH-9 (см. таблицу)

Типы пленок: 9 дюймов x 18 дюймов, 9 дюймов на переменную

[править] Разрешение съемки

Таблица для определения примерного разрешения съемки:

[править] Примеры данных

Примеры кадров в полном разрешении и оригинальной комплектации. Без привязки.

[править] AFT, Stereo High

Пример сцены полученной камерой AFT: скачать (670 Мб)

Файловая комплектация:

description.txt
DS1111-2180DA027_27_a.tif
DS1111-2180DA027_27_b.tif 
DS1111-2180DA027_27_c.tif 
DS1111-2180DA027_27_d.tif
README.txt

Описание примера сцены (идентификатор+метаданные):

• Идентификатор сцены: DS1111-2180DA027
• Дата съемки: 1970/08/03
• Миссия: 1111-2 (CORONA, KH-4B)
• Виток: 180D, нисходящий
• Номер кадра: 27
• Тип камеры: AFT (назадсмотрящая)
• Тип съемки: Stereo High, максимальное разрешение: 1.8 метра
• Цветность, например: BW (black and white - черно-белая)

Каждая полоса сцены этого типа разбита вертикально на 4 накладывающихся фрагмента размером 24 см (9.5 дюймов) каждый. Фрагменты обозначаются суффиксами a, b, c, d (например: DS1111-2180DA027_27_a.tif) каждый фрагмент имеет размер 33568x10563 пикселей (354 Мб), включая закадровое оформление: поля, логотипы, служебную информацию. Формат данных - обычный TIF (тегов GeoTIFF нет).

a	b	c	d

Крайний правый фрагмент (d) сцены

[править] Cartographic, Vertical Low

Пример сцены полученной камерой Cartographic: скачать (177 Мб)

Файловая комплектация:

description.txt
DS09058A024MC028_28_a.tif 
DS09058A024MC028_28_Newton_rings.txt 
README.txt

Описание примера сцены (идентификатор+метаданные):

• Идентификатор: DS09058A024MC028
• Дата съемки: 1963/08/29
• Миссия: 9058A (ARGON, KH-5)
• Виток: 024M
• Номер сцены: 28
• Тип камеры: Cartographic
• Разрешение: Vertical Low, низкое 140 метров, не стерео.
• Цветность, например: BW (black and white - черно-белая)
• Пленка: 5х5 дюймов

Сцены этого типа на фрагменты не разбиваются. Сцена имеет размер 17240x18535 пикселей (354 Мб), формат - обычный TIF (не GeoTIFF).

Пример снимка низкого разрешения, камера Cartographic, Костромская область

[править] Forward, Stereo Medium

Пример сцены полученной камерой Forward: скачать (670 Мб)

Файловая комплектация:

DS1040-1056DF113_a.tif
DS1040-1056DF113_b.tif 
DS1040-1056DF113_c.tif
DS1040-1056DF113_d.tif

Описание примера сцены (идентификатор+метаданные):

• Идентификатор: DS1040-1056DF113
• Дата съемки: 1967/04/03
• Миссия: 1040-1 (KH-4A,J-1)
• Виток: 056D
• Номер сцены: 113
• Тип камеры: Forward
• Разрешение: Stereo Medium, высокое 2.7 метров, стерео.
• Цветность: BW (black and white - черно-белая)
• Пленка: 70 мм панорамная

Каждая полоса сцены этого типа разбита вертикально на 4 фрагмента с суффиксами a, b, c, d (например: DS1040-1056DF113_a.tif) каждый фрагмент имеет размер 31423x10992 пикселей (354 Мб), формат - обычный TIF (не GeoTIFF). То есть размеры практически такие же, как и у Stereo High, несмотря на то что у последнего выше разрешение.

Пример снимка высокого разрешения, камера Forward, Дельта р. Волги

Пример снимка высокого разрешения, камера Forward, г. Астрахань

[править] Получение

[править] Поиск

Поиск и отбор данных CORONA осуществляется используя интерфейс EarthExplorer. Чтобы найти данные нужно:

1. Выбрать географическую область по которой нужно найти данные
2. Выбрать временной диапазон

Переключиться на закладку Data Sets (наборы данных) и выбрать две коллекции данных в группе Declassified data:

• Declass 1 (1996)
• Declass 2 (2002)

Год в названии коллекции соответствует дате, когда данные стали общедоступными, а не году съемки.

Для перехода к просмотру данных необходимо нажать кнопку Results.

После некоторого времени, будет получен результат. Отметьте, что количество найденных сцен сразу не показывается, нужно некоторое время, чтобы оно было рассчитано.

Примечание: Если отдельно не указано обратное, будут найдены все подходящие сцены, независимо от того, есть ли для них изображение предварительного просмотра (preview) или нет. Если нужно найти изображения только с превью, то на закладке Additional Criteria нужно выбрать Image Preview Availability: Yes

[править] Отбор

Для отбора данных удобно также воспользоваться готовыми каталогами данных DECLASS (в том числе уже доступных для скачивания).

Отбор можно осуществлять по значениям следующих атрибутивных полей:

• Entity ID - внутренний идентификационный номер сцены;
• Acquisition Date - дата съемки;
• Mission Number - номер миссии;
• Frame Number - номер кадра;
• Revolution - виток орбиты [только для declass I]
• NW Corner - северо-западный угол (формат: DD°MM'SS.SS"N, DD°MM'SS.SS"E , например: 45°03'28.80"N, 43°50'20.40"E);
• NE Corner - северо-восточный угол;
• SW Corner - юго-западный угол;
• SE Corner - юго-восточный угол;
• Operations Number - номер фотосессии в миссии [только для declass II]
• Data Source - источник данных;
• Segment Count - количество 30 дюймовых сегментов в кадре [только для declass II]
• Camera Resolution - разрешение;
• Camera Type - тип камеры;
• Image Type - тип изображения;
• Film Type - тип пленки;
• Generation - поколение;
• Polarity - поляризация;
• Download - no если данные нельзя скачать, yes - если можно;

[править] Точность привязки абрисов снимков

Необходимо отметить, что точность привязки абрисов сцен по всей видимости очень низка и может составлять первые десятки километров.

Фрагмент абриса снимка DS009013038DV130 - зеленым, синяя граница - характерный изгиб реки, который, судя по привязке абриса - вообще не попадает на снимок.

Фрагмент снимка DS009013038DV130, синяя граница - этот же характерный изгиб реки, на снимке.

[править] Размер изображений предварительного просмотра (preview)

По неведомой причине, после изменения интерфейса отбора результатов поиска, EarthExplorer стал давать уменьшенные версии изображений предварительного просмотра (preview). Размер текущих превью (для 70 мм пленок) составляет всего 300 пикселей по широте, что совершенно не помогает определить, хотя бы ориентировочно, содержание снимка.

Превью снимка DS009013038DV130 в разрешении предоставляемом системой отбора EarthExplorer по-умолчанию.

Превью этого же снимка в полном разрешении после редактирования адреса.

Чтобы обойти это ограничение, нужно:

1. Получить url изображения, в браузере - щелкнуть правой кнопкой мыши по изображению и выбрать Копировать ссылку на изображение.
2. Вставить url в строку адреса браузера и удалить все до знака =, включительно и удалить все после ".jpg"

Пример для DECLASS I:
Было:

http://earthexplorer.usgs.gov/form/metadataimage/?img=http://earthexplorer.usgs.gov/browse/DIT/9013/038D/V/DS009013038DV130.jpg&angle=0&size=300

Стало:

http://earthexplorer.usgs.gov/browse/DIT/9013/038D/V/DS009013038DV130.jpg

Пример для DECLASS II:
Было:

http://earthexplorer.usgs.gov/form/metadataimage/?img=http://earthexplorer.usgs.gov/browse/declassii/004001/00008/40010000008006-00101164.jpg&angle=0&size=300

Стало:

http://earthexplorer.usgs.gov/browse/declassii/004001/00008/40010000008006-00101164.jpg

[править] Скачивание

Для скачивания данных необходимо зарегистрироваться в системе EarthExplorer (страница регистрации).

Примерные размеры файлов результатов:

9in x 18in BW film source = 117 MB - 1.3GB
9in x 18in Color/CIR film source = 350 MB - 787 MB
70mm BW film source = 15 MB - 105 MB
70mm Color/CIR film source = 45 MB - 90 MB
5in x 5in BW film source = 40 MB - 325 MB
5in x 5in Color/CIR film source = 120 MB - 240 MB
70mm x 29.8in BW film source = 36 MB - 319 MB
9in x variable BW film source = 95 MB - 854 MB
9in x variable Color/CIR film source = 283 MB - 854 MB

[править] Заказ

Стоимость одной сцены: 30 USD, независимо от ее типа. К любому заказу добавляется сбор 5$ за обработку независимо от количества сцен.

Иногда попадаются сцены, которые можно скачать сразу (это сцены, которые кто-то уже купил). Чтобы видеть только сцены, которые можно скачать, то на закладке Additional Criteria нужно выбрать Download Available: Yes. Снимки можно скачать только получив учетную запись и войдя в систему EarthExplorer. Файлы передаются в архиве TGZ.

При заказе, за дополнительные 10$ можно заказать так называемый сертификат. Он представляет из себя подтверждение официальности копии данных (скачать пример), красивую бумажку с ленточкой и позолоченной "печатью" со следующим содержанием:

[править] Автоматизация процесса скачивания и привязки превью

После получения списка результатов, сохраните его как list-full.csv

Затем используйте скрипт для автоматического скачивания полных превью и их автоматической привязки по углам. Скрипт работает пока только для данных DECLASS I.

Скачать скрипт (Python, GDAL)

Note: Было бы здорово, если бы кто-то разобрался как генерируется название файла превью для DECLASS II

[править] Покупка

Процесс покупки данных выглядит следующим образом.

1. Вы заказываете необходимые сцены, заказ отправляется через систему менеджеру.
2. На адрес электронной почты указанный вами при регистрации через 1-2 дня приходит письмо от менеджера.
3. Вам предлагается на выбор - оплатить заказ переводом (wire transfer) или картой, других способов на данный момент (февраль 2013) нет. PayPal оплатить нельзя.
4. Если вы хотите оплатить картой, нужно отправить ее номер, срок действия и имя менеджеру, он снимет сумму заказа и пришлет уведомление о том, что транзакция прошла успешно и что отправлен заказ на сканирование.
5. Через 1-2 дня он также пришлет чек.
6. Через 5-7 дней с адреса: lta@usgs.gov также придет ссылка на сайт, с которого можно скачать результаты. На скачивание дается 10 дней. После их истечения придется заново делать заказ!

[править] Покупка через PayPal (ноябрь 2019)

Опыт покупки снимка с оплатой через PayPal (Статья в Google Docs)
https://docs.google.com/document/d/1BhsGKs97WOH4mywh-Nxu60bhfHAsLeukr-d88uSN5Rw/edit?usp=sharing

[править] Ссылки

• Eye in the sky: the story of the Corona spy satellites//edited by Dwayne A. Day, John M. Longdon, and Brian Latell. Smithonian history of aviation series. 1998
• Declassified Satellite Imagery - 1 Guide