Создание отказоустойчивого сетевого хранилища ГИС данных

[Дмитрий Барышников]

Железо, как я понял, не серверное...

Да, наверное название не совсем корректное. Скорее, хранилища с резервированием или что-то подобное. Voltron правильно заметил, что я таким образом обозначил RAID.

[old_Bibigon]

Как альтернативу готовых NAS есть смысл рассматривать HP ProLiant MicroServer - до 4х хардов, гигабитный лан, цена 12000-15000 без винтов (комплектный 250Гб не очень солиден сейчас), камень не особо мощный.
По-крайней мере это выглядит получше чем однодисковый NAS + DAS.

Да и с самосбором ещё надо учитывать, что сейчас ATX матери имеют обычно 6 SATAII разъёмов и если хочется больше то надо искать либо всякие Deluxe серии (с дополнительным контролером, цена >5000р) либо дополнительные SATAII контролеры (в pci-e - 2х портовый по 1000, 4х портовые тупые от 4000).

зы. Сеть iperf'ом или аналогом не тестил? может 20МБ/с это заслуга samb'ы.

[Дмитрий Барышников]

зы. Сеть iperf'ом или аналогом не тестил? может 20МБ/с это заслуга samb'ы.

Именно им и тестил. Samba наверное не причем. Скорее всего качество кабеля и наводки всякие. Может еще гигабитный хаб DGS1008D. Кто его знает. Я просто долго с этим боролся (сетке лет 7, хабу ~ 4). Тестил и т.д. в конце концов смирился и принял для себя, что для данной конкретной конфигурации сети 250 - потолок.

Еще для моего NAS может быть узким местом хреновенькая встроенная сетевая. Но для проверки нужна сетка с гарантированно проверенной скоростью передачи больше чем у меня сейчас.

P.S. Я тут собираюсь (через пол года) гигабитный хаб брать на 16 портов. Есть предложения?

[aryndin99]

Ну вообще дешевле купить вот такую коробку (-секс, +большая надежность, +функциональность).
http://www.fcenter.ru/products.shtml?es ... per=103644::::

P.S. Вообще удивительно читать о сетевых хранилищах на сайте про ГИС. Это как если бы сисадмины начали привязкой космоснимков заниматься.

[rhot]

Вообще удивительно читать о сетевых хранилищах на сайте про ГИС. Это как если бы сисадмины начали привязкой космоснимков заниматься.

Ну, зачастую бывает так, что тем, кто занимается ГИС, приходится решать и такие задачи. Чем меньше оборот предприятия, тем меньше штат работников, соответственно один человек, отвечающий за ГИС, может иметь дело и серверами геоданных.

[jerry-maori]

спасибо за статью.
если есть возможность, то не могли бы провести замеры производительности по следующим сценариям:
1. Одновременный доступ 3-4 пользователей к разным (локализованным на разных участках дискового массива) наборам мелких файлов?
2. Одновременный доступ 3-4 пользователей к разным (локализованным на разных участках дискового массива) наборам больших по объёму файлов (типа растр и т.п.)?

И ОЧЕНЬ интересует температурный режим винчестеров при работе.

[Дмитрий Барышников]

Прежде чем писать комментарии, огромная просьба, внимательно (!) прочитать статью.

Ну вообще дешевле купить вот такую коробку (-секс, +большая надежность, +функциональность).
http://www.fcenter.ru/products.shtml?es ... per=103644::::

P.S. Вообще удивительно читать о сетевых хранилищах на сайте про ГИС. Это как если бы сисадмины начали привязкой космоснимков заниматься.

1) В марте 2012 предложенный вами вариант стоил больше 20 тыс. р. - не дешевле!
2) Нужно 8 посадочных мест, а не 4!
3) Нужно расширение файловой системы на добавляемые в RAID диски!
4) Нужно возможность установки своих ГИС программ и сервисов.

[Дмитрий Барышников]

спасибо за статью.
если есть возможность, то не могли бы провести замеры производительности по следующим сценариям:
1. Одновременный доступ 3-4 пользователей к разным (локализованным на разных участках дискового массива) наборам мелких файлов?
2. Одновременный доступ 3-4 пользователей к разным (локализованным на разных участках дискового массива) наборам больших по объёму файлов (типа растр и т.п.)?

И ОЧЕНЬ интересует температурный режим винчестеров при работе.

Судя по вопросам, сценарий использования не совсем соответствует первоначальной задаче. Задача была в организации хранилища без необходимости быстрого доступа нескольких пользователей для совместной работы. Поэтому и диски "зеленые" и подключение SATA2.
Я попробую померить скорость, но только для 2-х компов. Больше компов у меня нет. Но точно знаю, что на мелких файлах (порядка 1-2 Мб) при записи сильно проседает скорость. Хотя может и сетка виновата.

bishop@ubuntu-nas:~$ sudo hddtemp /dev/sd?
/dev/sda: ST250DM000-1BD141: 26°C
/dev/sdb: Hitachi HDS5C3030ALA630: 25°C
/dev/sdc: Hitachi HDS5C3030ALA630: 25°C
/dev/sdd: Hitachi HDS5C3030ALA630: 25°C

[jerry-maori]

спс. каюсь- не обратил на пометку про назначение внимания.

[novia]

не лучше ли было отделить "мух от котлет" и сделать энергоэффективное хранилище для данных (тем более редко используемых) и усилить основной сервер (или сделать новый) для обработки данных и веба?

а то в целом получился очень средненький десктоп с модным, но избыточным, блоком питания на 750вт при используемых макс 300вт, корпусом за 4000 и BD-ROM (зачем??) которые "съели" 30% стоимости решения.

[Дмитрий Барышников]

не лучше ли было отделить "мух от котлет" и сделать энергоэффективное хранилище для данных (тем более редко используемых) и усилить основной сервер (или сделать новый) для обработки данных и веба?

В моем конкретном случае - нет. Это попытка создать дешевое хранилище, которое будет просто расширить еще на 6-8Тб. Цена на аппаратные NAS на 8-12 дисков до сих пор заоблачны - 40-60 тыс. без дисков, у меня 17,5 тыс. без дисков, - вдвое дешевле. Да, пока дисков 3, но уже забито 60%. Скоро, видимо буду докупать.

[Konstantin Tokar]

не лучше ли было отделить "мух от котлет" и сделать энергоэффективное хранилище для данных (тем более редко используемых) и усилить основной сервер (или сделать новый) для обработки данных и веба?

В моем конкретном случае - нет. Это попытка создать дешевое хранилище, которое будет просто расширить еще на 6-8Тб. Цена на аппаратные NAS на 8-12 дисков до сих пор заоблачны - 40-60 тыс. без дисков, у меня 17,5 тыс. без дисков, - вдвое дешевле. Да, пока дисков 3, но уже забито 60%. Скоро, видимо буду докупать.

А кстати. Вам зачем NAS, если, как я понял, доступ только с одного компьютера??? Тривиальное решение - к одному из рабочих компьютеров прикрепить DAS, и расшарить его стандартными средствами, если нужно изредка по сети раздавать.

[novia]

все таки не соглашусь что NAS в системном блоке с обычным железом это дешевле...

Это попытка создать дешевое хранилище, которое будет просто расширить еще на 6-8Тб.
Цена на аппаратные NAS на 8-12 дисков до сих пор заоблачны - 40-60 тыс. без дисков, у меня 17,5 тыс. без дисков, - вдвое дешевле. Да, пока дисков 3, но уже забито 60%. Скоро, видимо буду докупать.

то есть мы исходим из максимального объема в 12-14ТБ (ваши 3 диска 6ТБ (RAID 5) + 6-8ТБ)
но эта коробка с удовольствием кушает пусть даже 250 Вт/час что получается в год 0,25*24*365 = 2190 квт.ч. (в ценах для гражданских около 8-9 тыр за электричество в год, думаю юр. лица платят больше)

такой объем достижим простым 5-ти дисковым накопителем (нет нужды в 8-12 дисковом решении) (5-1)*3ТБ = 12 ТБ
такая готовая "коробка" стоит около 20тыр (QNAP вроде называется)
но, эта коробка будет кушать максимум 50-100 ватт
стоимость эксплуатации будет в 3-5 раз ниже в год - 1,6- 3тыр в год.

то есть энергоэффективное решение для такого числа дисков окупит себя довольно быстро.
пусть срок эксплуатации этого решения 3-5 лет - за это время только на разницу в электричестве можно будет докупить еще одну такую энергоэффективную коробку для еще 5ти дисков.


з.ы. в свое время выбирая средство организации "файлопомойки" для дома с исходным объемом 3ТБ (2 диска RAID 1) с возможностью расширения (например коробкой без процессора на 5 дисков) выбрал именно "готовый NAS" с процессором ARM из-за энергопотребления. несколько десятков статей за и против готового решения и оценка реального использования - убедили, что так будет удобнее и лучше. "сервер отдельно" - "хранилище отдельно".

[yellow-sky]

Подобная коробка не кушает 250вт, даже при максимальной нагрузке. Проц -65 (а чаще до 20) + плита -20 (после оптимизации на уровне биос - 10-15). Разница с арм решениями есть но не в сотнях вт.

[ Сообщение с мобильного устройства ]

[Дмитрий Барышников]

Еще добавлю, что более слабый процессор работает на выполнение такой же операции дольше и ест хоть и маленькими дозами, но больше или примерно столько же. А мой проц спит.
250 ватт может при старте кушать когда все запускается. Потом идет падение. Биос в мамке позволяет выставить "зеленый" режим. Более медленный, но экономный.

Да и QNAP с 8-12 отсеками под HDD за 20 тыс. ?