Увеличить число процессов для формирования кеша карты

ArcGIS 8.x,9.x,10.x (Arcview, ArcEditor, Arcinfo).
Ответить
DevGis
Участник
Сообщения: 78
Зарегистрирован: 29 авг 2013, 10:55
Репутация: 1

Увеличить число процессов для формирования кеша карты

Сообщение DevGis » 09 окт 2013, 12:52

Я знаю, что ArcMap использует только одно ядро(

Но про ArcGisServer не знаю. Можно ли его настроить таким образом, чтобы он шустро строил кеш по запросу (т.е. схема такова: базы gdb с кучей RasterDataset-ов и Mosaic Dataset-ов. Они опубликованы. Затем в ArcMap-е просматриваем эту карту путем перетаскивания ее в TOC). Когда перемещаемся по карте, то иногда приходится ждать до минуты пока кеш построится.

Т.е. на тех слоях где я строил RasterDataset с уровнем пирамид 8 - ждать приходится от 1 до 20 секунд.
На слоях, где используются предоставленные MosaicDataset ждать приходится от минуты, иногда две.

Можно ли где-то задать число ядер/процессов которые бы строили этот самы кеш по запросу?
Последний раз редактировалось DevGis 09 окт 2013, 13:44, всего редактировалось 2 раза.

Аватара пользователя
novia
Гуру
Сообщения: 2261
Зарегистрирован: 29 апр 2011, 15:06
Репутация: 489
Откуда: Тель-Авив

Re: Увеличить число процессов для формирования кеша карты

Сообщение novia » 09 окт 2013, 13:13

вы к данным на своем пк или по сети обращаетесь?

что вы подразумеваете под настройкой сервера?

вы пользуетесь слоем базовой карты в ArcMap 10.x?
понравилось? жми палец вверх :!:

DevGis
Участник
Сообщения: 78
Зарегистрирован: 29 авг 2013, 10:55
Репутация: 1

Re: Увеличить число процессов для формирования кеша карты

Сообщение DevGis » 09 окт 2013, 13:29

данные и сервер на одной машине

увеличил число экземпляров caching tools до n/2, где n количество ядер - это же и есть повышение быстродействия формирования кеша?

Update: проверял и на одной машине и по сети. Выставлял как рекомендуют на сайте http://geoatelie.ru/translations/uvelic ... ja-kjesha/ . Все равно у меня занрузка центрального процессора не превышает 10-15%

Подскажите, возможно ли загрузить процессор на 60-100% ?

DevGis
Участник
Сообщения: 78
Зарегистрирован: 29 авг 2013, 10:55
Репутация: 1

Re: Увеличить число процессов для формирования кеша карты

Сообщение DevGis » 09 окт 2013, 13:56

о какой 100% загрузке вообще идет речь??

у меня центральный процессор загружен максимум на 10-14%. Эта проблема кстати уже возикала три года назад

http://forums.arcgis.com/threads/71321- ... iple-cores

Update

http://resources.arcgis.com/ru/help/mai ... 03sp000000 - здесь говорится о том что один ArcGis Server может использовать всего 4 ядра. Тогда цифра в 10-14% действительно отражает реальное положение дел.

Соответственно вопрос: может ли ArcGis Server задействовать больше 4 ядер и какая лицензия для этого нужна?

Аватара пользователя
novia
Гуру
Сообщения: 2261
Зарегистрирован: 29 апр 2011, 15:06
Репутация: 489
Откуда: Тель-Авив

Re: Увеличить число процессов для формирования кеша карты

Сообщение novia » 09 окт 2013, 21:21

почему вы ставили количество экземпляров n/2, а не n+1, как написано в прочтенной вами статье?

какая у вас версия ArcGIS for Server?

тут еще понимаете какая вещь, серверу нет смысла использовать 32 ядра для построения кэша по запросу одного пользователя (ваш сценарий тестирования)
запустите кэширование для значительной области при указанной выше настройке и увидите, что ArcGIS Server использует более 15% доступных ресурсов.

насколько быстро вы видите картинку для произвольной области, если открыть ее на сервере в ArcMap?
понравилось? жми палец вверх :!:

DevGis
Участник
Сообщения: 78
Зарегистрирован: 29 авг 2013, 10:55
Репутация: 1

Re: Увеличить число процессов для формирования кеша карты

Сообщение DevGis » 09 окт 2013, 21:45

ставил и n+1 и n/2 чтобы сравнить загрузку ЦП. Больше 14% не поднималась.

Версия 10.1

ну, понимаете, могли бы написать это в документации. Тех. поддержка ESRI даже не потрудилась ответить человеку на этот вопрос на официальном форуме...

Скорость очень маленькая - для Raster Dataset приходится ждать от 1 секунды до 10 в зависимости от уровня приближения (иногда дольше). Для mosaic dataset секунд 30 где-то, завтра измерю

Аватара пользователя
novia
Гуру
Сообщения: 2261
Зарегистрирован: 29 апр 2011, 15:06
Репутация: 489
Откуда: Тель-Авив

Re: Увеличить число процессов для формирования кеша карты

Сообщение novia » 10 окт 2013, 00:15

какая-то у вас криминально низкая скорость, если данные на том же компьютере и вы утверждаете, что пирамиды построены.

нет желания перестроить их снова?

у вас растры в каком формате хранятся? в бд? в папках? с каким расширением?
понравилось? жми палец вверх :!:

DevGis
Участник
Сообщения: 78
Зарегистрирован: 29 авг 2013, 10:55
Репутация: 1

Re: Увеличить число процессов для формирования кеша карты

Сообщение DevGis » 10 окт 2013, 09:08

смысл, пирамиды изменятся?

пирамиды строил не я, а написанное мной ПО. Какой уровень пирамид надо выставлять при их постройки? Кроме того при выборе инструмента Build pyramids из контекстного меню Raster Dataset я получаю какую-то странную ошибку "This tool does not support mosaic datasets". Кликаю я же на Raster Dataset...

Данные хранятся в нескольких базах данных gdb. Mosaic dataset хранятся в одной базе данных gdb. Расширение стандартное аркгисовское.

Аватара пользователя
novia
Гуру
Сообщения: 2261
Зарегистрирован: 29 апр 2011, 15:06
Репутация: 489
Откуда: Тель-Авив

Re: Увеличить число процессов для формирования кеша карты

Сообщение novia » 10 окт 2013, 11:47

DevGis писал(а):смысл, пирамиды изменятся?
пирамиды строил не я, а написанное мной ПО. Какой уровень пирамид надо выставлять при их постройки?
вот тут то может и кроется бутылочное горлышко вашей системы. постройте пирамидные слои с настройками по умолчанию с помощью штатных средств ArcGIS.
Данные хранятся в нескольких базах данных gdb. Mosaic dataset хранятся в одной базе данных gdb. Расширение стандартное аркгисовское.
дополнительные настройки для баз данных не делались? то есть вы просто скопировали растры в базы данных и тянете их оттуда?
понравилось? жми палец вверх :!:

DevGis
Участник
Сообщения: 78
Зарегистрирован: 29 авг 2013, 10:55
Репутация: 1

Re: Увеличить число процессов для формирования кеша карты

Сообщение DevGis » 10 окт 2013, 12:17

В базе данных не хранятся тайлы. В них хранятся Raster Dataset которые сформированы из Mosaic Dataset которые в свою очередь сформированы из тайлов с привязкой. Строятся пирамиды с определяемыми ArcGis-ом настройками и обзорные изображение.

Какие настройки баз данных могут улучшить ситуацию? Медленнее всего строится кеш по Mosaic Dataset. Они построены на другой версии ПО, а доступа к исходным данным нет.

Аватара пользователя
novia
Гуру
Сообщения: 2261
Зарегистрирован: 29 апр 2011, 15:06
Репутация: 489
Откуда: Тель-Авив

Re: Увеличить число процессов для формирования кеша карты

Сообщение novia » 16 окт 2013, 06:16

вы путаетесь в показаниях
DevGis писал(а):пирамиды строил не я, а написанное мной ПО.
и потом пишете
DevGis писал(а):Строятся пирамиды с определяемыми ArcGis-ом настройками и обзорные изображение.
вы уж определитесь кто строил пирамиды и с какими настройками
Скорость очень маленькая - для Raster Dataset приходится ждать от 1 секунды до 10 в зависимости от уровня приближения (иногда дольше). Для mosaic dataset секунд 30 где-то, завтра измерю
многовато, если вы действительно тянете данные с того пк, где установлен и открыт ArcMap
кстати, что за железки используете? (не антиквариат, надеюсь)
В базе данных не хранятся тайлы. В них хранятся Raster Dataset которые сформированы из Mosaic Dataset которые в свою очередь сформированы из тайлов с привязкой.
то что тайлы после их создания работают шустро это понятно, как и то, что хранятся они не в бгд. у вас я так понял проблема не с уже созданным кэшем, а с вновь создаваемым
Какие настройки баз данных могут улучшить ситуацию? Медленнее всего строится кеш по Mosaic Dataset. Они построены на другой версии ПО, а доступа к исходным данным нет.
на какой версии по построены?
понравилось? жми палец вверх :!:

DevGis
Участник
Сообщения: 78
Зарегистрирован: 29 авг 2013, 10:55
Репутация: 1

Re: Увеличить число процессов для формирования кеша карты

Сообщение DevGis » 16 окт 2013, 08:41

вы путаетесь в показаниях

DevGis писал(а):пирамиды строил не я, а написанное мной ПО.
Я в том плане, что не копался в настройках и не писал тесты

Вот например построение обзорного изображения

Код: Выделить всё

                        #region Etc
                        // строим обзорные изображения -  чтобы слои на карте быстрее рисовались
                        if (MDParameters.buildOverviews)
                        {
                            #region Defining Overviews
                            testSB.AppendLine("building overviews");
                            IDefineOverviewsParameters defineOvArgs = new DefineOverviewsParametersClass();
                            ((IOverviewTileParameters)defineOvArgs).OverviewFactor = 3;
                            theMosaicDatasetOperation.DefineOverviews(defineOvArgs, null);
                            #endregion

                            #region Compute Pixel Size Ranges
                            theMosaicDatasetOperation.CalculateCellSizeRanges(computeArgs, null);
                            #endregion

                            #region Generating Overviews
                            IGenerateOverviewsParameters genPars = new GenerateOverviewsParametersClass();
                            IQueryFilter genQuery = new QueryFilterClass();
                            ((ISelectionParameters)genPars).QueryFilter = genQuery;
                            genPars.GenerateMissingImages = true;
                            genPars.GenerateStaleImages = true;

                            theMosaicDatasetOperation.GenerateOverviews(genPars, null);
                            #endregion
                        }
                        #end
Последний раз редактировалось DevGis 29 окт 2013, 21:00, всего редактировалось 1 раз.

DevGis
Участник
Сообщения: 78
Зарегистрирован: 29 авг 2013, 10:55
Репутация: 1

Re: Увеличить число процессов для формирования кеша карты

Сообщение DevGis » 16 окт 2013, 08:45

многовато, если вы действительно тянете данные с того пк, где установлен и открыт ArcMap
кстати, что за железки используете? (не антиквариат, надеюсь)
железо хорошее и мощное
вы уж определитесь кто строил пирамиды и с какими настройками
как я написал выше это далеко не самое узкое место системы
на какой версии по построены?
на 10.0, но в дальнейшем могут быть данные с еще более старого ПО

Ответить

Вернуться в «ArcGIS»

Кто сейчас на конференции

Сейчас этот форум просматривают: нет зарегистрированных пользователей и 7 гостей