GIS-LAB

Географические информационные системы и дистанционное зондирование


Форумы GIS-Lab.info

Геоинформационные системы (ГИС) и Дистанционное зондирование Земли


Создание отказоустойчивого сетевого хранилища ГИС данных

Обсуждение материалов сайта: вопросы, замечания, предложения

Создание отказоустойчивого сетевого хранилища ГИС данных

Сообщение updates-bot » 23 сен 2012, 11:07

Обсуждение статьи "Создание отказоустойчивого сетевого хранилища ГИС данных"

http://gis-lab.info/qa/gis-dataserver.html
  • 0

updates-bot
Bot
 
Зарегистрирован: 04 фев 2008
 
Сообщения: 276
Репутация: 2

Re: Создание отказоустойчивого сетевого хранилища ГИС данных

Сообщение Александр Мурый » 23 сен 2012, 11:27

Познавательная статья, спасибо.
Вопрос от несообразительных: в чём заключается отказоустойчивость этого хранилища? В хороших дисках? Железо, как я понял, не серверное...
  • 0

Редактор материалов, модератор форума
Александр Мурый
званий не имею
 
Зарегистрирован: 26 сен 2009
Откуда: Москва (на карте)
 
Сообщения: 4854
Репутация: 661
Статьи: 3
Проекты: 5/1

Re: Создание отказоустойчивого сетевого хранилища ГИС данных

Сообщение rhot » 23 сен 2012, 11:28

Спасибо, давно ждал подобной статьи.
  • 0

___________(¯`·.¸(¯`·.¸ Scientia potentia est _/ {SILVA}:::{FOSS}:::{GIS} \_ Знание сила ¸.·´¯)¸.·´¯)___________
Аватара пользователя
rhot
ВольныйИсследователь
 
Зарегистрирован: 25 янв 2011
Откуда: Архангельск (на карте)
 
Сообщения: 1514
Репутация: 110
Статьи: 1

Re: Создание отказоустойчивого сетевого хранилища ГИС данных

Сообщение ericsson » 23 сен 2012, 12:13

Что, всего 20 Мб/с на Gigabit ethernet? Как-то скромно. Помнится, на предпоследнем месте работы, где локальные накопители служили только как загрузочные, скорость работы с недорогими NAS-коробочками (двух- или четырехдисковые массивы, не помню, чьего производства - вроде synology или qnap) была в разы больше (т.е. мало отличалась от скорости чтения локального HDD).
  • 0

ericsson
Вредитель полей
 
Зарегистрирован: 27 июл 2009
 
Сообщения: 3071
Репутация: 628

Re: Создание отказоустойчивого сетевого хранилища ГИС данных

Сообщение Voltron » 23 сен 2012, 15:02

amuriy писал(а):в чём заключается отказоустойчивость этого хранилища?

Она заключается в слове RAID
  • 0

Voltron
Гуру
 
Зарегистрирован: 29 мар 2007
Откуда: Ukraine (на карте)
 
Сообщения: 2627
Репутация: 32
Статьи: 31
Проекты: 4/1

Re: Создание отказоустойчивого сетевого хранилища ГИС данных

Сообщение Дмитрий Барышников » 23 сен 2012, 20:06

ericsson писал(а):Что, всего 20 Мб/с на Gigabit ethernet?

На скриншоте скорость в байтах! Т.е. умножаем на 8. Вот и на порядок выше. Конечно не 1000, но диски грины и больше 250 на моей локалке выжать не удавалось. Может провод плохой или изгибов много или планеты не так выстроились :).
  • 0

Аватара пользователя
Дмитрий Барышников
Гуру
 
Зарегистрирован: 17 ноя 2009
Откуда: Москва (на карте)
 
Сообщения: 2571
Репутация: 258
Статьи: 7
Проекты: 2

Re: Создание отказоустойчивого сетевого хранилища ГИС данных

Сообщение Konstantin Tokar » 23 сен 2012, 21:56

Я на скорую руку, не оптимизируя по ценам, прикинул сколько будет стоить другое решение.

Устройство Цена Кол Стоимость
Synology DS112+ 13000 1 13000
CFI-B8253JDGG 9000 1 9000
Жесткий диск 3000ГБ 5544.82 3 16634.46
Жесткий диск 250ГБ 2153.5 1 2153.5
Всего 40787.96

Стоимость близка к заявленной.

На хабре недавно была статья на эту тему, а именно как из дешёвого примитивного NAS от Synology собрать дисковый массив. Вся хитрость в CFI-B8253JDGG - который из себя представляет 5-дисковый DAS. Если надо именно 8, то есть CFI-B8283JDGG за ~14500, и общая стоимость будет 74000 из расчёта на 8 HDD и 8*7=56Тб RAID5.
  • 0

Konstantin Tokar
Активный участник
 
Зарегистрирован: 16 июл 2008
Откуда: Москва (на карте)
 
Сообщения: 177
Репутация: 0

Re: Создание отказоустойчивого сетевого хранилища ГИС данных

Сообщение Konstantin Tokar » 23 сен 2012, 22:03

Bishop писал(а):
ericsson писал(а):Что, всего 20 Мб/с на Gigabit ethernet?

На скриншоте скорость в байтах! Т.е. умножаем на 8. Вот и на порядок выше. Конечно не 1000, но диски грины и больше 250 на моей локалке выжать не удавалось. Может провод плохой или изгибов много или планеты не так выстроились :).


На последнем скриншоте скорость 20 мегабайт в секунду. Это не сильно много, скорее очень мало. В этом проблема самодельных решений - без напильника они дают плохую производительность. Я думаю, что можно раза в два-три поднять скорость настройками.

Плюс решения с отдельным компьютером - его можно ещё чем-то полезным нагрузить. Минус - как раз наколенность.
  • 0

Konstantin Tokar
Активный участник
 
Зарегистрирован: 16 июл 2008
Откуда: Москва (на карте)
 
Сообщения: 177
Репутация: 0

Re: Создание отказоустойчивого сетевого хранилища ГИС данных

Сообщение ericsson » 23 сен 2012, 22:21

Bishop писал(а):
ericsson писал(а):Что, всего 20 Мб/с на Gigabit ethernet?

На скриншоте скорость в байтах! Т.е. умножаем на 8. Вот и на порядок выше. Конечно не 1000, но диски грины и больше 250 на моей локалке выжать не удавалось. Может провод плохой или изгибов много или планеты не так выстроились :).

http://wiki.gis-lab.info/images/5/5a/Network_upload.png - 20 Mb/s - "малавата будет". Это скорость для FireWire, при том не при эксклюзивном использовании.
  • 0

ericsson
Вредитель полей
 
Зарегистрирован: 27 июл 2009
 
Сообщения: 3071
Репутация: 628

Re: Создание отказоустойчивого сетевого хранилища ГИС данных

Сообщение Дмитрий Барышников » 23 сен 2012, 22:32

Konstantin Tokar писал(а):На последнем скриншоте скорость 20 мегабайт в секунду. Это не сильно много, скорее очень мало. В этом проблема самодельных решений - без напильника они дают плохую производительность. Я думаю, что можно раза в два-три поднять скорость настройками.

Нельзя! Я же написал 250 - потолок. Причем проверенно на "оптимизированных" железных дорогих решениях.
Konstantin Tokar писал(а):Плюс решения с отдельным компьютером - его можно ещё чем-то полезным нагрузить. Минус - как раз наколенность.

Да-да. Именно нагрузить. Еще не забываем про удобный апгрейд в перспективе как железной так и софтовой части. И еще есть такая вещь как оптимизация энергопотребления. Дешевенькие NAS диски не стапорят вроде. Еще и несколько адаптеров питания.
Кстати, приведенная статься - реклама Synology. Не факт, что в реальных условиях получатся такие результаты. Причем, максимум по сети - 52,7 МБ\с (странно, что чтение всего 42 МБ\с). Вот обзорчик от iXBT (http://www.ixbt.com/storage/das-cfi-b8253jdgg.shtml) - читаем выводы. Еще есть подозрение, что DAS не позволяет расширить файловую систему на добавляемые в RAID диски. Для меня это существенно.

P.S. Дайте скриншот скорости в 400-600Мбит/с. Просто интересно посмотреть.
  • 0

Последний раз редактировалось Дмитрий Барышников 23 сен 2012, 23:09, всего редактировалось 2 раз(а).
Аватара пользователя
Дмитрий Барышников
Гуру
 
Зарегистрирован: 17 ноя 2009
Откуда: Москва (на карте)
 
Сообщения: 2571
Репутация: 258
Статьи: 7
Проекты: 2

Re: Создание отказоустойчивого сетевого хранилища ГИС данных

Сообщение Дмитрий Барышников » 23 сен 2012, 22:47

ericsson писал(а):Это скорость для FireWire, при том не при эксклюзивном использовании.


FireWire - это не сеть. По внутреннему интерфейсу скорость (повторяю для зеленых дисков по SATA2) 222 MB/c запись и 248 MB/c чтение. В статье есть результаты замера скорости. Да - не 300, но близко.
  • 0

Аватара пользователя
Дмитрий Барышников
Гуру
 
Зарегистрирован: 17 ноя 2009
Откуда: Москва (на карте)
 
Сообщения: 2571
Репутация: 258
Статьи: 7
Проекты: 2

Re: Создание отказоустойчивого сетевого хранилища ГИС данных

Сообщение ericsson » 23 сен 2012, 22:57

Если речь идет только о shared mass-storage, а хостов, между которыми оно shared, сравнительно немного, то FW может вполне себе заменять сеть.
  • 0

ericsson
Вредитель полей
 
Зарегистрирован: 27 июл 2009
 
Сообщения: 3071
Репутация: 628

Re: Создание отказоустойчивого сетевого хранилища ГИС данных

Сообщение Дмитрий Барышников » 23 сен 2012, 23:01

ericsson писал(а):Если речь идет только о shared mass-storage, а хостов, между которыми оно shared, сравнительно немного, то FW может вполне себе заменять сеть.

Это выходит за рамки обсуждения статьи. В статье речь идет о NAS. Не забываем о DAS и SAN. И только после этого FireWire.
  • 0

Аватара пользователя
Дмитрий Барышников
Гуру
 
Зарегистрирован: 17 ноя 2009
Откуда: Москва (на карте)
 
Сообщения: 2571
Репутация: 258
Статьи: 7
Проекты: 2

Re: Создание отказоустойчивого сетевого хранилища ГИС данных

Сообщение Konstantin Tokar » 23 сен 2012, 23:08

Bishop писал(а):Да-да. Именно нагрузить. Еще не забываем про удобный апгрейд в перспективе как железной так и софтовой части. И еще есть такая вещь как оптимизация энергопотребления. Дешевенькие NAS диски не стапорят вроде. Еще и несколько адаптеров питания.
Кстати, приведенная статься - реклама Synology. Не факт, что в реальных условиях получатся такие результаты. Причем, максимум по сети - 52,7 МБ\с (странно, что чтение всего 42 МБ\с).

P.S. Дайте скриншот скорости в 400-600Мбит/с. Просто интересно посмотреть.


Энергопотребление будет явно у synology ниже, апгрейт вообще не нужен дисковому массиву.
Скорость 400 Мбит (точнее 50 мегабайт в секунду) вполне реальна вообще без оптимизации, какой тут скриншот нужен я не понял? Чего куда откуда? О каких дешёвеньких NAS дисках идёт речь? Я писал о DAS и кого они должны стопорить? Мне не очень хочется холиварить на эту тему, я привёл информацию, дело разработчика в его условиях делать выбор, а не воспринимать как единственное верное решение.
  • 0

Konstantin Tokar
Активный участник
 
Зарегистрирован: 16 июл 2008
Откуда: Москва (на карте)
 
Сообщения: 177
Репутация: 0

Re: Создание отказоустойчивого сетевого хранилища ГИС данных

Сообщение Дмитрий Барышников » 23 сен 2012, 23:15

Konstantin Tokar писал(а):Энергопотребление будет явно у synology ниже, апгрейт вообще не нужен дисковому массиву.

Уверены что synology + DAS меньше ест электричества? Я нет.
Konstantin Tokar писал(а):Скорость 400 Мбит (точнее 50 мегабайт в секунду) вполне реальна вообще без оптимизации, какой тут скриншот нужен я не понял? Чего куда откуда?

Такой же (скриншот) как у меня передача по сети. Обращаю внимание, что в вашей же ссылке максимальная скорость на чтение 40МБ/с, а не 50.
Konstantin Tokar писал(а):О каких дешёвеньких NAS дисках идёт речь? Я писал о DAS и кого они должны стопорить?

Имелось в виду остановку HDD в простое. На iXBT пишут что останавливает. Так что сам разобрался.
Konstantin Tokar писал(а):Мне не очень хочется холиварить на эту тему, я привёл информацию, дело разработчика в его условиях делать выбор, а не воспринимать как единственное верное решение.

Хотелось подтверждения, а не отсылки к рекламе. Потому и спросил. Пока все очень голословно.

И еще, есть один момент. Если DAS накроется, то массив можно и не восстановить. Элементная база старая. DAS могут снять с производства и прощай данные.
  • 0

Аватара пользователя
Дмитрий Барышников
Гуру
 
Зарегистрирован: 17 ноя 2009
Откуда: Москва (на карте)
 
Сообщения: 2571
Репутация: 258
Статьи: 7
Проекты: 2

След.

Вернуться в Материалы сайта

Кто сейчас на конференции

Сейчас этот форум просматривают: нет зарегистрированных пользователей и гости: 2


(Геокруг)

© GIS-Lab и авторы, 2002-2013. При использовании материалов сайта, ссылка на GIS-Lab и авторов обязательна. Содержание материалов - ответственность авторов (подробнее).