Создание отказоустойчивого сетевого хранилища ГИС данных

Обсуждение материалов сайта: вопросы, замечания, предложения
updates-bot
Bot
Сообщения: 276
Зарегистрирован: 03 фев 2008, 23:13
Репутация: 3

Создание отказоустойчивого сетевого хранилища ГИС данных

Сообщение updates-bot » 23 сен 2012, 10:07

Обсуждение статьи "Создание отказоустойчивого сетевого хранилища ГИС данных"

http://gis-lab.info/qa/gis-dataserver.html

Александр Мурый
Гуру
Сообщения: 5039
Зарегистрирован: 26 сен 2009, 16:26
Статьи: 3
Проекты: 5/1
Репутация: 712
Ваше звание: званий не имею
Откуда: Москва

Re: Создание отказоустойчивого сетевого хранилища ГИС данных

Сообщение Александр Мурый » 23 сен 2012, 10:27

Познавательная статья, спасибо.
Вопрос от несообразительных: в чём заключается отказоустойчивость этого хранилища? В хороших дисках? Железо, как я понял, не серверное...
Редактор материалов, модератор форума

Аватара пользователя
rhot
Гуру
Сообщения: 1542
Зарегистрирован: 25 янв 2011, 17:50
Статьи: 1
Репутация: 115
Ваше звание: доктор
Откуда: Архангельск

Re: Создание отказоустойчивого сетевого хранилища ГИС данных

Сообщение rhot » 23 сен 2012, 10:28

Спасибо, давно ждал подобной статьи.
___________(¯`·.¸(¯`·.¸ Scientia potentia est _/ {SILVA}:::{FOSS}:::{GIS} \_ Знание сила ¸.·´¯)¸.·´¯)___________

ericsson
Гуру
Сообщения: 3190
Зарегистрирован: 27 июл 2009, 19:26
Репутация: 682
Ваше звание: Вредитель полей

Re: Создание отказоустойчивого сетевого хранилища ГИС данных

Сообщение ericsson » 23 сен 2012, 11:13

Что, всего 20 Мб/с на Gigabit ethernet? Как-то скромно. Помнится, на предпоследнем месте работы, где локальные накопители служили только как загрузочные, скорость работы с недорогими NAS-коробочками (двух- или четырехдисковые массивы, не помню, чьего производства - вроде synology или qnap) была в разы больше (т.е. мало отличалась от скорости чтения локального HDD).

Voltron
Гуру
Сообщения: 2627
Зарегистрирован: 29 мар 2007, 14:12
Статьи: 31
Проекты: 4/1
Репутация: 32
Откуда: Ukraine

Re: Создание отказоустойчивого сетевого хранилища ГИС данных

Сообщение Voltron » 23 сен 2012, 14:02

amuriy писал(а):в чём заключается отказоустойчивость этого хранилища?
Она заключается в слове RAID

Аватара пользователя
Дмитрий Барышников
Гуру
Сообщения: 2572
Зарегистрирован: 17 ноя 2009, 19:17
Статьи: 7
Проекты: 2
Репутация: 260
Откуда: Москва

Re: Создание отказоустойчивого сетевого хранилища ГИС данных

Сообщение Дмитрий Барышников » 23 сен 2012, 19:06

ericsson писал(а):Что, всего 20 Мб/с на Gigabit ethernet?
На скриншоте скорость в байтах! Т.е. умножаем на 8. Вот и на порядок выше. Конечно не 1000, но диски грины и больше 250 на моей локалке выжать не удавалось. Может провод плохой или изгибов много или планеты не так выстроились :).

Konstantin Tokar
Активный участник
Сообщения: 177
Зарегистрирован: 16 июл 2008, 09:56
Репутация: 0
Откуда: Москва

Re: Создание отказоустойчивого сетевого хранилища ГИС данных

Сообщение Konstantin Tokar » 23 сен 2012, 20:56

Я на скорую руку, не оптимизируя по ценам, прикинул сколько будет стоить другое решение.

Устройство Цена Кол Стоимость
Synology DS112+ 13000 1 13000
CFI-B8253JDGG 9000 1 9000
Жесткий диск 3000ГБ 5544.82 3 16634.46
Жесткий диск 250ГБ 2153.5 1 2153.5
Всего 40787.96

Стоимость близка к заявленной.

На хабре недавно была статья на эту тему, а именно как из дешёвого примитивного NAS от Synology собрать дисковый массив. Вся хитрость в CFI-B8253JDGG - который из себя представляет 5-дисковый DAS. Если надо именно 8, то есть CFI-B8283JDGG за ~14500, и общая стоимость будет 74000 из расчёта на 8 HDD и 8*7=56Тб RAID5.

Konstantin Tokar
Активный участник
Сообщения: 177
Зарегистрирован: 16 июл 2008, 09:56
Репутация: 0
Откуда: Москва

Re: Создание отказоустойчивого сетевого хранилища ГИС данных

Сообщение Konstantin Tokar » 23 сен 2012, 21:03

Bishop писал(а):
ericsson писал(а):Что, всего 20 Мб/с на Gigabit ethernet?
На скриншоте скорость в байтах! Т.е. умножаем на 8. Вот и на порядок выше. Конечно не 1000, но диски грины и больше 250 на моей локалке выжать не удавалось. Может провод плохой или изгибов много или планеты не так выстроились :).
На последнем скриншоте скорость 20 мегабайт в секунду. Это не сильно много, скорее очень мало. В этом проблема самодельных решений - без напильника они дают плохую производительность. Я думаю, что можно раза в два-три поднять скорость настройками.

Плюс решения с отдельным компьютером - его можно ещё чем-то полезным нагрузить. Минус - как раз наколенность.

ericsson
Гуру
Сообщения: 3190
Зарегистрирован: 27 июл 2009, 19:26
Репутация: 682
Ваше звание: Вредитель полей

Re: Создание отказоустойчивого сетевого хранилища ГИС данных

Сообщение ericsson » 23 сен 2012, 21:21

Bishop писал(а):
ericsson писал(а):Что, всего 20 Мб/с на Gigabit ethernet?
На скриншоте скорость в байтах! Т.е. умножаем на 8. Вот и на порядок выше. Конечно не 1000, но диски грины и больше 250 на моей локалке выжать не удавалось. Может провод плохой или изгибов много или планеты не так выстроились :).
http://wiki.gis-lab.info/images/5/5a/Network_upload.png - 20 Mb/s - "малавата будет". Это скорость для FireWire, при том не при эксклюзивном использовании.

Аватара пользователя
Дмитрий Барышников
Гуру
Сообщения: 2572
Зарегистрирован: 17 ноя 2009, 19:17
Статьи: 7
Проекты: 2
Репутация: 260
Откуда: Москва

Re: Создание отказоустойчивого сетевого хранилища ГИС данных

Сообщение Дмитрий Барышников » 23 сен 2012, 21:32

Konstantin Tokar писал(а): На последнем скриншоте скорость 20 мегабайт в секунду. Это не сильно много, скорее очень мало. В этом проблема самодельных решений - без напильника они дают плохую производительность. Я думаю, что можно раза в два-три поднять скорость настройками.
Нельзя! Я же написал 250 - потолок. Причем проверенно на "оптимизированных" железных дорогих решениях.
Konstantin Tokar писал(а): Плюс решения с отдельным компьютером - его можно ещё чем-то полезным нагрузить. Минус - как раз наколенность.
Да-да. Именно нагрузить. Еще не забываем про удобный апгрейд в перспективе как железной так и софтовой части. И еще есть такая вещь как оптимизация энергопотребления. Дешевенькие NAS диски не стапорят вроде. Еще и несколько адаптеров питания.
Кстати, приведенная статься - реклама Synology. Не факт, что в реальных условиях получатся такие результаты. Причем, максимум по сети - 52,7 МБ\с (странно, что чтение всего 42 МБ\с). Вот обзорчик от iXBT (http://www.ixbt.com/storage/das-cfi-b8253jdgg.shtml) - читаем выводы. Еще есть подозрение, что DAS не позволяет расширить файловую систему на добавляемые в RAID диски. Для меня это существенно.

P.S. Дайте скриншот скорости в 400-600Мбит/с. Просто интересно посмотреть.
Последний раз редактировалось Дмитрий Барышников 23 сен 2012, 22:09, всего редактировалось 2 раза.

Аватара пользователя
Дмитрий Барышников
Гуру
Сообщения: 2572
Зарегистрирован: 17 ноя 2009, 19:17
Статьи: 7
Проекты: 2
Репутация: 260
Откуда: Москва

Re: Создание отказоустойчивого сетевого хранилища ГИС данных

Сообщение Дмитрий Барышников » 23 сен 2012, 21:47

ericsson писал(а):Это скорость для FireWire, при том не при эксклюзивном использовании.
FireWire - это не сеть. По внутреннему интерфейсу скорость (повторяю для зеленых дисков по SATA2) 222 MB/c запись и 248 MB/c чтение. В статье есть результаты замера скорости. Да - не 300, но близко.

ericsson
Гуру
Сообщения: 3190
Зарегистрирован: 27 июл 2009, 19:26
Репутация: 682
Ваше звание: Вредитель полей

Re: Создание отказоустойчивого сетевого хранилища ГИС данных

Сообщение ericsson » 23 сен 2012, 21:57

Если речь идет только о shared mass-storage, а хостов, между которыми оно shared, сравнительно немного, то FW может вполне себе заменять сеть.

Аватара пользователя
Дмитрий Барышников
Гуру
Сообщения: 2572
Зарегистрирован: 17 ноя 2009, 19:17
Статьи: 7
Проекты: 2
Репутация: 260
Откуда: Москва

Re: Создание отказоустойчивого сетевого хранилища ГИС данных

Сообщение Дмитрий Барышников » 23 сен 2012, 22:01

ericsson писал(а):Если речь идет только о shared mass-storage, а хостов, между которыми оно shared, сравнительно немного, то FW может вполне себе заменять сеть.
Это выходит за рамки обсуждения статьи. В статье речь идет о NAS. Не забываем о DAS и SAN. И только после этого FireWire.

Konstantin Tokar
Активный участник
Сообщения: 177
Зарегистрирован: 16 июл 2008, 09:56
Репутация: 0
Откуда: Москва

Re: Создание отказоустойчивого сетевого хранилища ГИС данных

Сообщение Konstantin Tokar » 23 сен 2012, 22:08

Bishop писал(а):Да-да. Именно нагрузить. Еще не забываем про удобный апгрейд в перспективе как железной так и софтовой части. И еще есть такая вещь как оптимизация энергопотребления. Дешевенькие NAS диски не стапорят вроде. Еще и несколько адаптеров питания.
Кстати, приведенная статься - реклама Synology. Не факт, что в реальных условиях получатся такие результаты. Причем, максимум по сети - 52,7 МБ\с (странно, что чтение всего 42 МБ\с).

P.S. Дайте скриншот скорости в 400-600Мбит/с. Просто интересно посмотреть.
Энергопотребление будет явно у synology ниже, апгрейт вообще не нужен дисковому массиву.
Скорость 400 Мбит (точнее 50 мегабайт в секунду) вполне реальна вообще без оптимизации, какой тут скриншот нужен я не понял? Чего куда откуда? О каких дешёвеньких NAS дисках идёт речь? Я писал о DAS и кого они должны стопорить? Мне не очень хочется холиварить на эту тему, я привёл информацию, дело разработчика в его условиях делать выбор, а не воспринимать как единственное верное решение.

Аватара пользователя
Дмитрий Барышников
Гуру
Сообщения: 2572
Зарегистрирован: 17 ноя 2009, 19:17
Статьи: 7
Проекты: 2
Репутация: 260
Откуда: Москва

Re: Создание отказоустойчивого сетевого хранилища ГИС данных

Сообщение Дмитрий Барышников » 23 сен 2012, 22:15

Konstantin Tokar писал(а): Энергопотребление будет явно у synology ниже, апгрейт вообще не нужен дисковому массиву.
Уверены что synology + DAS меньше ест электричества? Я нет.
Konstantin Tokar писал(а): Скорость 400 Мбит (точнее 50 мегабайт в секунду) вполне реальна вообще без оптимизации, какой тут скриншот нужен я не понял? Чего куда откуда?
Такой же (скриншот) как у меня передача по сети. Обращаю внимание, что в вашей же ссылке максимальная скорость на чтение 40МБ/с, а не 50.
Konstantin Tokar писал(а): О каких дешёвеньких NAS дисках идёт речь? Я писал о DAS и кого они должны стопорить?
Имелось в виду остановку HDD в простое. На iXBT пишут что останавливает. Так что сам разобрался.
Konstantin Tokar писал(а): Мне не очень хочется холиварить на эту тему, я привёл информацию, дело разработчика в его условиях делать выбор, а не воспринимать как единственное верное решение.
Хотелось подтверждения, а не отсылки к рекламе. Потому и спросил. Пока все очень голословно.

И еще, есть один момент. Если DAS накроется, то массив можно и не восстановить. Элементная база старая. DAS могут снять с производства и прощай данные.

Ответить

Вернуться в «Материалы сайта»