Создание отказоустойчивого сетевого хранилища ГИС данных
-
- Bot
- Сообщения: 276
- Зарегистрирован: 03 фев 2008, 23:13
- Репутация: 3
Создание отказоустойчивого сетевого хранилища ГИС данных
Обсуждение статьи "Создание отказоустойчивого сетевого хранилища ГИС данных"
http://gis-lab.info/qa/gis-dataserver.html
http://gis-lab.info/qa/gis-dataserver.html
-
- Гуру
- Сообщения: 5173
- Зарегистрирован: 26 сен 2009, 16:26
- Репутация: 792
- Ваше звание: званий не имею
- Откуда: Москва
Re: Создание отказоустойчивого сетевого хранилища ГИС данных
Познавательная статья, спасибо.
Вопрос от несообразительных: в чём заключается отказоустойчивость этого хранилища? В хороших дисках? Железо, как я понял, не серверное...
Вопрос от несообразительных: в чём заключается отказоустойчивость этого хранилища? В хороших дисках? Железо, как я понял, не серверное...
Редактор материалов, модератор форума
- rhot
- Гуру
- Сообщения: 1727
- Зарегистрирован: 25 янв 2011, 17:50
- Репутация: 194
- Ваше звание: доктор
- Откуда: Архангельск
Re: Создание отказоустойчивого сетевого хранилища ГИС данных
Спасибо, давно ждал подобной статьи.
___________(¯`·.¸(¯`·.¸ Scientia potentia est _/ {SILVA}:::{FOSS}:::{GIS} \_ Знание сила ¸.·´¯)¸.·´¯)___________
-
- Гуру
- Сообщения: 3321
- Зарегистрирован: 27 июл 2009, 19:26
- Репутация: 748
- Ваше звание: Вредитель полей
Re: Создание отказоустойчивого сетевого хранилища ГИС данных
Что, всего 20 Мб/с на Gigabit ethernet? Как-то скромно. Помнится, на предпоследнем месте работы, где локальные накопители служили только как загрузочные, скорость работы с недорогими NAS-коробочками (двух- или четырехдисковые массивы, не помню, чьего производства - вроде synology или qnap) была в разы больше (т.е. мало отличалась от скорости чтения локального HDD).
-
- Гуру
- Сообщения: 2627
- Зарегистрирован: 29 мар 2007, 14:12
- Репутация: 34
- Откуда: Ukraine
Re: Создание отказоустойчивого сетевого хранилища ГИС данных
Она заключается в слове RAIDamuriy писал(а):в чём заключается отказоустойчивость этого хранилища?
- Дмитрий Барышников
- Гуру
- Сообщения: 2572
- Зарегистрирован: 17 ноя 2009, 19:17
- Репутация: 261
- Откуда: Москва
Re: Создание отказоустойчивого сетевого хранилища ГИС данных
На скриншоте скорость в байтах! Т.е. умножаем на 8. Вот и на порядок выше. Конечно не 1000, но диски грины и больше 250 на моей локалке выжать не удавалось. Может провод плохой или изгибов много или планеты не так выстроилисьericsson писал(а):Что, всего 20 Мб/с на Gigabit ethernet?

-
- Активный участник
- Сообщения: 178
- Зарегистрирован: 16 июл 2008, 09:56
- Репутация: 1
- Откуда: Москва
Re: Создание отказоустойчивого сетевого хранилища ГИС данных
Я на скорую руку, не оптимизируя по ценам, прикинул сколько будет стоить другое решение.
Устройство Цена Кол Стоимость
Synology DS112+ 13000 1 13000
CFI-B8253JDGG 9000 1 9000
Жесткий диск 3000ГБ 5544.82 3 16634.46
Жесткий диск 250ГБ 2153.5 1 2153.5
Всего 40787.96
Стоимость близка к заявленной.
На хабре недавно была статья на эту тему, а именно как из дешёвого примитивного NAS от Synology собрать дисковый массив. Вся хитрость в CFI-B8253JDGG - который из себя представляет 5-дисковый DAS. Если надо именно 8, то есть CFI-B8283JDGG за ~14500, и общая стоимость будет 74000 из расчёта на 8 HDD и 8*7=56Тб RAID5.
Устройство Цена Кол Стоимость
Synology DS112+ 13000 1 13000
CFI-B8253JDGG 9000 1 9000
Жесткий диск 3000ГБ 5544.82 3 16634.46
Жесткий диск 250ГБ 2153.5 1 2153.5
Всего 40787.96
Стоимость близка к заявленной.
На хабре недавно была статья на эту тему, а именно как из дешёвого примитивного NAS от Synology собрать дисковый массив. Вся хитрость в CFI-B8253JDGG - который из себя представляет 5-дисковый DAS. Если надо именно 8, то есть CFI-B8283JDGG за ~14500, и общая стоимость будет 74000 из расчёта на 8 HDD и 8*7=56Тб RAID5.
-
- Активный участник
- Сообщения: 178
- Зарегистрирован: 16 июл 2008, 09:56
- Репутация: 1
- Откуда: Москва
Re: Создание отказоустойчивого сетевого хранилища ГИС данных
На последнем скриншоте скорость 20 мегабайт в секунду. Это не сильно много, скорее очень мало. В этом проблема самодельных решений - без напильника они дают плохую производительность. Я думаю, что можно раза в два-три поднять скорость настройками.Bishop писал(а):На скриншоте скорость в байтах! Т.е. умножаем на 8. Вот и на порядок выше. Конечно не 1000, но диски грины и больше 250 на моей локалке выжать не удавалось. Может провод плохой или изгибов много или планеты не так выстроилисьericsson писал(а):Что, всего 20 Мб/с на Gigabit ethernet?.
Плюс решения с отдельным компьютером - его можно ещё чем-то полезным нагрузить. Минус - как раз наколенность.
-
- Гуру
- Сообщения: 3321
- Зарегистрирован: 27 июл 2009, 19:26
- Репутация: 748
- Ваше звание: Вредитель полей
Re: Создание отказоустойчивого сетевого хранилища ГИС данных
http://wiki.gis-lab.info/images/5/5a/Network_upload.png - 20 Mb/s - "малавата будет". Это скорость для FireWire, при том не при эксклюзивном использовании.Bishop писал(а):На скриншоте скорость в байтах! Т.е. умножаем на 8. Вот и на порядок выше. Конечно не 1000, но диски грины и больше 250 на моей локалке выжать не удавалось. Может провод плохой или изгибов много или планеты не так выстроилисьericsson писал(а):Что, всего 20 Мб/с на Gigabit ethernet?.
- Дмитрий Барышников
- Гуру
- Сообщения: 2572
- Зарегистрирован: 17 ноя 2009, 19:17
- Репутация: 261
- Откуда: Москва
Re: Создание отказоустойчивого сетевого хранилища ГИС данных
Нельзя! Я же написал 250 - потолок. Причем проверенно на "оптимизированных" железных дорогих решениях.Konstantin Tokar писал(а): На последнем скриншоте скорость 20 мегабайт в секунду. Это не сильно много, скорее очень мало. В этом проблема самодельных решений - без напильника они дают плохую производительность. Я думаю, что можно раза в два-три поднять скорость настройками.
Да-да. Именно нагрузить. Еще не забываем про удобный апгрейд в перспективе как железной так и софтовой части. И еще есть такая вещь как оптимизация энергопотребления. Дешевенькие NAS диски не стапорят вроде. Еще и несколько адаптеров питания.Konstantin Tokar писал(а): Плюс решения с отдельным компьютером - его можно ещё чем-то полезным нагрузить. Минус - как раз наколенность.
Кстати, приведенная статься - реклама Synology. Не факт, что в реальных условиях получатся такие результаты. Причем, максимум по сети - 52,7 МБ\с (странно, что чтение всего 42 МБ\с). Вот обзорчик от iXBT (http://www.ixbt.com/storage/das-cfi-b8253jdgg.shtml) - читаем выводы. Еще есть подозрение, что DAS не позволяет расширить файловую систему на добавляемые в RAID диски. Для меня это существенно.
P.S. Дайте скриншот скорости в 400-600Мбит/с. Просто интересно посмотреть.
Последний раз редактировалось Дмитрий Барышников 23 сен 2012, 22:09, всего редактировалось 2 раза.
- Дмитрий Барышников
- Гуру
- Сообщения: 2572
- Зарегистрирован: 17 ноя 2009, 19:17
- Репутация: 261
- Откуда: Москва
Re: Создание отказоустойчивого сетевого хранилища ГИС данных
FireWire - это не сеть. По внутреннему интерфейсу скорость (повторяю для зеленых дисков по SATA2) 222 MB/c запись и 248 MB/c чтение. В статье есть результаты замера скорости. Да - не 300, но близко.ericsson писал(а):Это скорость для FireWire, при том не при эксклюзивном использовании.
-
- Гуру
- Сообщения: 3321
- Зарегистрирован: 27 июл 2009, 19:26
- Репутация: 748
- Ваше звание: Вредитель полей
Re: Создание отказоустойчивого сетевого хранилища ГИС данных
Если речь идет только о shared mass-storage, а хостов, между которыми оно shared, сравнительно немного, то FW может вполне себе заменять сеть.
- Дмитрий Барышников
- Гуру
- Сообщения: 2572
- Зарегистрирован: 17 ноя 2009, 19:17
- Репутация: 261
- Откуда: Москва
Re: Создание отказоустойчивого сетевого хранилища ГИС данных
Это выходит за рамки обсуждения статьи. В статье речь идет о NAS. Не забываем о DAS и SAN. И только после этого FireWire.ericsson писал(а):Если речь идет только о shared mass-storage, а хостов, между которыми оно shared, сравнительно немного, то FW может вполне себе заменять сеть.
-
- Активный участник
- Сообщения: 178
- Зарегистрирован: 16 июл 2008, 09:56
- Репутация: 1
- Откуда: Москва
Re: Создание отказоустойчивого сетевого хранилища ГИС данных
Энергопотребление будет явно у synology ниже, апгрейт вообще не нужен дисковому массиву.Bishop писал(а):Да-да. Именно нагрузить. Еще не забываем про удобный апгрейд в перспективе как железной так и софтовой части. И еще есть такая вещь как оптимизация энергопотребления. Дешевенькие NAS диски не стапорят вроде. Еще и несколько адаптеров питания.
Кстати, приведенная статься - реклама Synology. Не факт, что в реальных условиях получатся такие результаты. Причем, максимум по сети - 52,7 МБ\с (странно, что чтение всего 42 МБ\с).
P.S. Дайте скриншот скорости в 400-600Мбит/с. Просто интересно посмотреть.
Скорость 400 Мбит (точнее 50 мегабайт в секунду) вполне реальна вообще без оптимизации, какой тут скриншот нужен я не понял? Чего куда откуда? О каких дешёвеньких NAS дисках идёт речь? Я писал о DAS и кого они должны стопорить? Мне не очень хочется холиварить на эту тему, я привёл информацию, дело разработчика в его условиях делать выбор, а не воспринимать как единственное верное решение.
- Дмитрий Барышников
- Гуру
- Сообщения: 2572
- Зарегистрирован: 17 ноя 2009, 19:17
- Репутация: 261
- Откуда: Москва
Re: Создание отказоустойчивого сетевого хранилища ГИС данных
Уверены что synology + DAS меньше ест электричества? Я нет.Konstantin Tokar писал(а): Энергопотребление будет явно у synology ниже, апгрейт вообще не нужен дисковому массиву.
Такой же (скриншот) как у меня передача по сети. Обращаю внимание, что в вашей же ссылке максимальная скорость на чтение 40МБ/с, а не 50.Konstantin Tokar писал(а): Скорость 400 Мбит (точнее 50 мегабайт в секунду) вполне реальна вообще без оптимизации, какой тут скриншот нужен я не понял? Чего куда откуда?
Имелось в виду остановку HDD в простое. На iXBT пишут что останавливает. Так что сам разобрался.Konstantin Tokar писал(а): О каких дешёвеньких NAS дисках идёт речь? Я писал о DAS и кого они должны стопорить?
Хотелось подтверждения, а не отсылки к рекламе. Потому и спросил. Пока все очень голословно.Konstantin Tokar писал(а): Мне не очень хочется холиварить на эту тему, я привёл информацию, дело разработчика в его условиях делать выбор, а не воспринимать как единственное верное решение.
И еще, есть один момент. Если DAS накроется, то массив можно и не восстановить. Элементная база старая. DAS могут снять с производства и прощай данные.
Кто сейчас на конференции
Сейчас этот форум просматривают: нет зарегистрированных пользователей и 1 гость