Производительность аппаратного обеспечения с ПО ГИС

Обсуждение материалов сайта: вопросы, замечания, предложения
Аватара пользователя
taimyr
IT-моторист
Сообщения: 460
Зарегистрирован: 14 окт 2003, 12:36
Репутация: 17
Откуда: Москва
Контактная информация:

Re: Производительность аппаратного обеспечения с ПО ГИС

Сообщение taimyr » 08 ноя 2008, 01:10

Ну вот, доброе имя АМД частично восстановлено (см. тесты №№ 22-23 Erdas, заменена материнка с Asus M2N SLI Deluxe на Asus M3N WS) - хотя показатели и слегка уступают двухъядерному х2 6000 (а следующий за ним 6400-й мог бы наверно дать и больше, если б не был.... уже снят с производства - маркетинг однако :twisted: ). То есть на новых многоядерниках использование старого сокета - почти двукратное снижение производительности.
Интересен не вошедший в таблицу (отслеженный визуально в Task Manager) результат - я запустил тест на чистой не загаженной системе и только в середине вспомнил что не оптимизировал систему. Так вот , если в режиме приоритета работы служб работали 2 ядра из 4, а остальные включались в работу "на пиках" загрузки, то в режиме приоритета приложений работало 1 ядро... но скорость оказалась даже большей (незначительно, в пределах погрешности измерений). Windows считает процессы Erdas службами ? А использование файла подкачки , несмотря на 3-кратное увеличение размера, осталось прежним. Я его огромным правда ставлю совершенно для других целей.

P.S. Тест по буферизации не помещал, т.к. он увы, стал некорректен. Вероятно, в ArcGIS 9.3 существенно изменен алгоритм буферизации - тестовая задача выполняется за... 12 мин. с копейками, что абсолютно несравнимо с остальными показателями (1-5 мин).
И оставшиеся в живых позавидуют мёртвым....

Наташа
Новоприбывший
Сообщения: 13
Зарегистрирован: 17 июл 2008, 12:59
Репутация: 0
Откуда: Москва
Контактная информация:

Re: Производительность аппаратного обеспечения с ПО ГИС

Сообщение Наташа » 18 фев 2009, 16:52

у меня вопрос еще про изменение производительности в условиях батча. правильно ли я понимаю, что если первая задача в ряду аналогичных выполняется быстрее (раза в 3-4), чем все последующие - то дело в настройках, не-автоматическом-стирании каких-то темпов и проч? вы сталкивались с подобным? Erdas 9.1

Аватара пользователя
taimyr
IT-моторист
Сообщения: 460
Зарегистрирован: 14 окт 2003, 12:36
Репутация: 17
Откуда: Москва
Контактная информация:

Re: Производительность аппаратного обеспечения с ПО ГИС

Сообщение taimyr » 21 фев 2009, 14:45

Наташа писал(а):первая задача в ряду аналогичных выполняется быстрее (раза в 3-4)
.
С таким не сталкивался, в настройки Erdas залезаю, к сожалению, весьма эпизодически, практически все по умолчанию. Так что думаю, дело тут в системе, наиболее напрашивающаяся мысль - недостаток места на диске с системным TEMP, тогда действительно при батч-процессинге логично, что после выполнения первой задачи система начинает автоматически чистить TEMP, что тормозит выполнение последующих.
Новый тест нового камня Phenom II 940 - AMD рулит, пардон за пошлость :)
Пока что из тестов ясно, что для ГИС-задач процессоры AMD явно предпочтительнее, я не знаток сильный архитектурных особенностей, но знаю, что у AMD расширенный блок вычислений с плавающей запятой.
И оставшиеся в живых позавидуют мёртвым....

Neo
Интересующийся
Сообщения: 46
Зарегистрирован: 13 фев 2010, 21:41
Репутация: 0

Re: Производительность аппаратного обеспечения с ПО ГИС

Сообщение Neo » 28 фев 2010, 16:53

Замечания:
1 Кто придумал сравнивать производительность Аппаратного Обеспечения при разных версиях ПО?
В разных версиях программ разные модификации алгоритмов, следовательно разная затрата процессорного времени и других ресурсов компьютера. Нельзя такие результаты сравнивать между собой. Должна быть общая основа.
2 Аналогичное можно и сказать о разных ОС: они по разному уменьшают производительность ПК и без участия специального ПО!

3 Вот и аналог Вашему открытому исследованию "Производительность аппаратного обеспечения в операциях с пространственными данными":
"Анализ влияния на цену булочек стоимости муки при изменении начинки (варенье, мак, имбирь, корица и т.д)."
Такое вот у Вас исследование получается :)

Аватара пользователя
Максим Дубинин
MindingMyOwnBusiness
Сообщения: 9128
Зарегистрирован: 06 окт 2003, 20:20
Репутация: 747
Ваше звание: NextGIS
Откуда: Москва
Контактная информация:

Re: Производительность аппаратного обеспечения с ПО ГИС

Сообщение Максим Дубинин » 28 фев 2010, 21:16

1. придумал я, идея была в статистическом сравнении, поскольку у нас все в основном горазды трепаться на форуме, а не делать реальную работу, мы имеем то, что имеем.
2. да, можно
3. спасибо за аналогию.
пристегивайтесь, турбулентность прямо по курсу

kryl
Завсегдатай
Сообщения: 324
Зарегистрирован: 14 фев 2010, 20:42
Репутация: 0

Re: Производительность аппаратного обеспечения с ПО ГИС

Сообщение kryl » 08 ноя 2010, 08:59

Последние тенденции:
Erdas 10.1 на новом железе уходит в отрыв
а Арка как достигла потолка производительности так там и сидит.

Аватара пользователя
Дмитрий Барышников
Гуру
Сообщения: 2572
Зарегистрирован: 17 ноя 2009, 19:17
Репутация: 261
Откуда: Москва

Re: Производительность аппаратного обеспечения с ПО ГИС

Сообщение Дмитрий Барышников » 08 ноя 2010, 09:34

Меня тоже удивляет как в Google Earth так быстро растр панорамируется и масштабируется. И почему в Арке это гораздо медленнее (вернее, почему они не делают отрисовку как в Гугле, что мешает)? В планах разобраться "как они (Гугл) это сделали".

Аватара пользователя
taimyr
IT-моторист
Сообщения: 460
Зарегистрирован: 14 окт 2003, 12:36
Репутация: 17
Откуда: Москва
Контактная информация:

Re: Производительность аппаратного обеспечения с ПО ГИС

Сообщение taimyr » 08 ноя 2010, 10:33

Что-то я слегка сомневаюсь... Думаю там (в Erdas 10.1) есть некие тонкости в выполнении теста, это уже было в 9.2 по сравнению с 9.1 - по умолчанию ставился автоматический размер пиксела, что ускоряло операцию, хотя и при ручном выставлении значения, равного исходному, было значительно быстрее.
И оставшиеся в живых позавидуют мёртвым....

kryl
Завсегдатай
Сообщения: 324
Зарегистрирован: 14 фев 2010, 20:42
Репутация: 0

Re: Производительность аппаратного обеспечения с ПО ГИС

Сообщение kryl » 08 ноя 2010, 16:54

Да вроде тот же размер пикселя. Размер правда 1.5 Гб

Код: Выделить всё

			Erdas Imagine File Information
			------------------------------


File Name: 1.img
Last Modified: Sun Nov 07 12:18:48 2010
Number of Layers: 3

Layer Information:

	Name   : :Layer_1
	Width  : 33474
	Height : 19732
	Type   : Continuous
	Block Width  : 512
	Block Height : 512
	Pixel Depth  :Unsigned 8-bit
	Compression Type : Run-Length Encoding (ESRI)


	Statistics :

		Last Modified : Sun Nov 07 12:19:23 2010
		Maximum Value : 255.000000
		Minimum Value : 0.000000
		Mean   : 82.560460
		Median : 72.000000
		Mode   : 0.000000
		Standard Deviation : 57.391604
А в гугль работает не с монолитным изображением, а с тайлами. В ArcGIS 10 сделали такую же фишку. Можно слои сделать "базовыми" Арка порежет их на тайлы за полчасика и будет потом отображать их так же быстро как Гугл.
Вложения
info.png
info.png (16.95 КБ) 14025 просмотров

Аватара пользователя
taimyr
IT-моторист
Сообщения: 460
Зарегистрирован: 14 окт 2003, 12:36
Репутация: 17
Откуда: Москва
Контактная информация:

Re: Производительность аппаратного обеспечения с ПО ГИС

Сообщение taimyr » 08 ноя 2010, 17:00

kryl
А можете глянуть - может 10-й научился все ядра процессора задействовать ?
И оставшиеся в живых позавидуют мёртвым....

kryl
Завсегдатай
Сообщения: 324
Зарегистрирован: 14 фев 2010, 20:42
Репутация: 0

Re: Производительность аппаратного обеспечения с ПО ГИС

Сообщение kryl » 08 ноя 2010, 17:35

Научилась весьма специфическим образом: если отправляешь батч из кучи файлов, то он может задействовать для разных файлов разные процессоры. А для одного файла на большинстве операций вроде нет. Но для некоторых операций (например создание мозаик) многопоточность поддерживается полностью. На буржуйском сайте где-то наверное должен быть список операций которые уже переведены на моногопоточность. Кроме того через месяц 11 появится том еще что-нибудь под многопоточность переведут.
На практике субъективно ускорение чувствуются во многих операциях.

Saimon
Завсегдатай
Сообщения: 478
Зарегистрирован: 25 фев 2009, 09:00
Репутация: 14
Откуда: Новороссийск-Краснодар-Москва

Re: Производительность аппаратного обеспечения с ПО ГИС

Сообщение Saimon » 09 ноя 2010, 10:43

Скажем так в настройках ERDAS начиная с версии 10 точно есть пункт в котором Вы можете указать использовать многопоточную обработку на многоядерных процессорах или нет.
Кроме того не всякая задача может быть распараллелена.
Как такового списка в котором указано какая операция переведена на многопоточность нету. Для отдельных модулей или операций может быть указано что возможна работа в многопоточном режиме.
Что ожидается нового в версии 2011 можно узнать из этого документа
Что нового?

Аватара пользователя
novia
Гуру
Сообщения: 2261
Зарегистрирован: 29 апр 2011, 15:06
Репутация: 489
Откуда: Тель-Авив

Re: Производительность аппаратного обеспечения с ПО ГИС

Сообщение novia » 30 апр 2011, 16:45

Всем привет!

Попробовал погонять тесты на ноутбуке с i7 и SSD, но
так и не нашел указаний о том, куда направить результаты измерений.

вот ссылка на архив в скриншотами и тхт файлом из бенчмарка:
http://narod.yandex.ru/disk/11530515001 ... chmark.zip

выполнены тест А на ERDAS 9.1 и 2011, и тест B на ArcGIS 10 SP1.

позже (как будет переставляться система), возможно сделаю тесты на том же железе в ERDAS 9.2, 9.3 и в ArcGIS 9.3.
понравилось? жми палец вверх :!:

Аватара пользователя
gimran
Гуру
Сообщения: 1902
Зарегистрирован: 07 июл 2010, 15:43
Репутация: 242
Откуда: Уфа

Re: Производительность аппаратного обеспечения с ПО ГИС

Сообщение gimran » 30 апр 2011, 19:57

Немного оффтоп:
В своё время на Pentuim 133 лицензионная Арка 9.1 под десять минут открывалась (да, универ это вещь жестокая) :)

Matlab на нём вообще на лабах вис: можно было включить, неспешно с 4 этажа зайти в другой корпус, выстоять очередь, купить кофе, выйти на улицу, покурить, вернуться и к тому времени просчет заканчивался (лабы по интеллектуальным системам) :))

Аватара пользователя
taimyr
IT-моторист
Сообщения: 460
Зарегистрирован: 14 окт 2003, 12:36
Репутация: 17
Откуда: Москва
Контактная информация:

Re: Производительность аппаратного обеспечения с ПО ГИС

Сообщение taimyr » 01 май 2011, 11:00

novia
Спасибо, тесты добавлены.
gimran
Это ж где выжил 133 пень в 2006 г. (выход ArcGIS 9.1), то есть не только выжил а еще и использовался ? :) 166-е, да, доживали, т.к. гнались чуть ли не до 300, но 133-й.... :)
И оставшиеся в живых позавидуют мёртвым....

Ответить

Вернуться в «Материалы сайта»

Кто сейчас на конференции

Сейчас этот форум просматривают: нет зарегистрированных пользователей и 14 гостей