Создание отказоустойчивого сетевого хранилища ГИС данных

[updates-bot]

Обсуждение статьи "Создание отказоустойчивого сетевого хранилища ГИС данных"

http://gis-lab.info/qa/gis-dataserver.html

[Александр Мурый]

Познавательная статья, спасибо.
Вопрос от несообразительных: в чём заключается отказоустойчивость этого хранилища? В хороших дисках? Железо, как я понял, не серверное...

[rhot]

Спасибо, давно ждал подобной статьи.

[ericsson]

Что, всего 20 Мб/с на Gigabit ethernet? Как-то скромно. Помнится, на предпоследнем месте работы, где локальные накопители служили только как загрузочные, скорость работы с недорогими NAS-коробочками (двух- или четырехдисковые массивы, не помню, чьего производства - вроде synology или qnap) была в разы больше (т.е. мало отличалась от скорости чтения локального HDD).

[Voltron]

в чём заключается отказоустойчивость этого хранилища?

Она заключается в слове RAID

[Дмитрий Барышников]

Что, всего 20 Мб/с на Gigabit ethernet?

На скриншоте скорость в байтах! Т.е. умножаем на 8. Вот и на порядок выше. Конечно не 1000, но диски грины и больше 250 на моей локалке выжать не удавалось. Может провод плохой или изгибов много или планеты не так выстроились .

[Konstantin Tokar]

Я на скорую руку, не оптимизируя по ценам, прикинул сколько будет стоить другое решение.

Устройство Цена Кол Стоимость
Synology DS112+ 13000 1 13000
CFI-B8253JDGG 9000 1 9000
Жесткий диск 3000ГБ 5544.82 3 16634.46
Жесткий диск 250ГБ 2153.5 1 2153.5
Всего 40787.96

Стоимость близка к заявленной.

На хабре недавно была статья на эту тему, а именно как из дешёвого примитивного NAS от Synology собрать дисковый массив. Вся хитрость в CFI-B8253JDGG - который из себя представляет 5-дисковый DAS. Если надо именно 8, то есть CFI-B8283JDGG за ~14500, и общая стоимость будет 74000 из расчёта на 8 HDD и 8*7=56Тб RAID5.

[Konstantin Tokar]

Что, всего 20 Мб/с на Gigabit ethernet?

На скриншоте скорость в байтах! Т.е. умножаем на 8. Вот и на порядок выше. Конечно не 1000, но диски грины и больше 250 на моей локалке выжать не удавалось. Может провод плохой или изгибов много или планеты не так выстроились .

На последнем скриншоте скорость 20 мегабайт в секунду. Это не сильно много, скорее очень мало. В этом проблема самодельных решений - без напильника они дают плохую производительность. Я думаю, что можно раза в два-три поднять скорость настройками.

Плюс решения с отдельным компьютером - его можно ещё чем-то полезным нагрузить. Минус - как раз наколенность.

[ericsson]

Что, всего 20 Мб/с на Gigabit ethernet?

На скриншоте скорость в байтах! Т.е. умножаем на 8. Вот и на порядок выше. Конечно не 1000, но диски грины и больше 250 на моей локалке выжать не удавалось. Может провод плохой или изгибов много или планеты не так выстроились .

http://wiki.gis-lab.info/images/5/5a/Network_upload.png - 20 Mb/s - "малавата будет". Это скорость для FireWire, при том не при эксклюзивном использовании.

[Дмитрий Барышников]

На последнем скриншоте скорость 20 мегабайт в секунду. Это не сильно много, скорее очень мало. В этом проблема самодельных решений - без напильника они дают плохую производительность. Я думаю, что можно раза в два-три поднять скорость настройками.

Нельзя! Я же написал 250 - потолок. Причем проверенно на "оптимизированных" железных дорогих решениях.

Плюс решения с отдельным компьютером - его можно ещё чем-то полезным нагрузить. Минус - как раз наколенность.

Да-да. Именно нагрузить. Еще не забываем про удобный апгрейд в перспективе как железной так и софтовой части. И еще есть такая вещь как оптимизация энергопотребления. Дешевенькие NAS диски не стапорят вроде. Еще и несколько адаптеров питания.
Кстати, приведенная статься - реклама Synology. Не факт, что в реальных условиях получатся такие результаты. Причем, максимум по сети - 52,7 МБ\с (странно, что чтение всего 42 МБ\с). Вот обзорчик от iXBT (http://www.ixbt.com/storage/das-cfi-b8253jdgg.shtml) - читаем выводы. Еще есть подозрение, что DAS не позволяет расширить файловую систему на добавляемые в RAID диски. Для меня это существенно.

P.S. Дайте скриншот скорости в 400-600Мбит/с. Просто интересно посмотреть.

[Дмитрий Барышников]

Это скорость для FireWire, при том не при эксклюзивном использовании.

FireWire - это не сеть. По внутреннему интерфейсу скорость (повторяю для зеленых дисков по SATA2) 222 MB/c запись и 248 MB/c чтение. В статье есть результаты замера скорости. Да - не 300, но близко.

[ericsson]

Если речь идет только о shared mass-storage, а хостов, между которыми оно shared, сравнительно немного, то FW может вполне себе заменять сеть.

[Дмитрий Барышников]

Если речь идет только о shared mass-storage, а хостов, между которыми оно shared, сравнительно немного, то FW может вполне себе заменять сеть.

Это выходит за рамки обсуждения статьи. В статье речь идет о NAS. Не забываем о DAS и SAN. И только после этого FireWire.

[Konstantin Tokar]

Да-да. Именно нагрузить. Еще не забываем про удобный апгрейд в перспективе как железной так и софтовой части. И еще есть такая вещь как оптимизация энергопотребления. Дешевенькие NAS диски не стапорят вроде. Еще и несколько адаптеров питания.
Кстати, приведенная статься - реклама Synology. Не факт, что в реальных условиях получатся такие результаты. Причем, максимум по сети - 52,7 МБ\с (странно, что чтение всего 42 МБ\с).

P.S. Дайте скриншот скорости в 400-600Мбит/с. Просто интересно посмотреть.

Энергопотребление будет явно у synology ниже, апгрейт вообще не нужен дисковому массиву.
Скорость 400 Мбит (точнее 50 мегабайт в секунду) вполне реальна вообще без оптимизации, какой тут скриншот нужен я не понял? Чего куда откуда? О каких дешёвеньких NAS дисках идёт речь? Я писал о DAS и кого они должны стопорить? Мне не очень хочется холиварить на эту тему, я привёл информацию, дело разработчика в его условиях делать выбор, а не воспринимать как единственное верное решение.

[Дмитрий Барышников]

Энергопотребление будет явно у synology ниже, апгрейт вообще не нужен дисковому массиву.

Уверены что synology + DAS меньше ест электричества? Я нет.

Скорость 400 Мбит (точнее 50 мегабайт в секунду) вполне реальна вообще без оптимизации, какой тут скриншот нужен я не понял? Чего куда откуда?

Такой же (скриншот) как у меня передача по сети. Обращаю внимание, что в вашей же ссылке максимальная скорость на чтение 40МБ/с, а не 50.

О каких дешёвеньких NAS дисках идёт речь? Я писал о DAS и кого они должны стопорить?

Имелось в виду остановку HDD в простое. На iXBT пишут что останавливает. Так что сам разобрался.

Мне не очень хочется холиварить на эту тему, я привёл информацию, дело разработчика в его условиях делать выбор, а не воспринимать как единственное верное решение.

Хотелось подтверждения, а не отсылки к рекламе. Потому и спросил. Пока все очень голословно.

И еще, есть один момент. Если DAS накроется, то массив можно и не восстановить. Элементная база старая. DAS могут снять с производства и прощай данные.