При экспорте данных пропадают символы

[Воронин С.В.]

Господа.
У меня есть полигональный слой.
В таблице атрибутов забита как цифровая, так и символьная информация (латиницей).
При экспорте данных символы в новом шейпе в поле GRAN пропадают.
При этом в новом шейпе создаётся дополнительный файл с расширением cpg.
Если открыть dbf-файл нового шейпа, то там текст отражается странными кракозябрами, он есть и в поле GRAN
Я понимаю, что меняется кодировка - но почему, от куда берётся и как избежать подобного?
С другими то шейпами всё в порядке.

Я удалял cpg. Переправлял данные. При экспорте всё повторяется опять.

Прикрепил архив с нормальным шейпом и если с него сделать экспорт данных,
то в новом шейпе происходят эти изменения.

[lam]

При экспорте в ArcGis в новый шейп все происходит корректно, ничего не пропадает в полях.

[Воронин С.В.]

Господа.
Может это связано с версией 10.2.1?
Только что у себя дома, открыл выложенный шейп в ArcGIS 10.2.1.
Открываю таблицу атрибутов - всё в порядке.
Делаю экспорт данных.
Открываю таблицу атрибутов - данных в поле GRAN нет.
И опять, через проводник, вижу, что к шейпу добавился файл с расширением cpg.
Открываю dbf-файл нового шейпа, там текст отражается кракозябрами и в нормальном режиме и в режиме DOS,
при чём кракозябры каждый раз разные.
Если удалить файл с расширением cpg, то и в ArcGIS-е в таблице атрибутов всё будет в этих кракозябрах,
при чём эти кракозябры какие-то странные, нового вида - по крайней мере я такие не встречал.

[lam]

у меня версия 10.0

[Воронин С.В.]

у меня версия 10.0

Может Вы экспорт данных не сделали?
Выложенный шейп нормальный.
Всё происходит если с него сделать экспорт данных.
И именно с новым шейпом происходят эти непонятки.

[lam]

шейп

[Воронин С.В.]

Похоже это глюк версии 10.2.1.
При экспорте данных шейпа с кирилицей создаётся дополнительный файл с расширением cpg.
Если его открыть в блокноте, то там простая запись - UTF-8.
Всё бы ничего.
Но текстовка-то меняется.
В ArcGIS-e кирилица отображается, но в том же DBF-навигаторе одни кракозябры, что в стандартном режиме, что в режиме DOS.
А если ширина текстового поля равна одному знаку, то информация пропадает.
Но если ширину поля сделать равной двум, то первый знак сохраняется, но 2-й всё-равно пропадает.

Как пример я вложил архив.
В нём два шейпа созданные из архива от lam.
Очень интересно просматривать их в DBF-навигаторе.

[trir]

RTFM

[Воронин С.В.]

RTFM

Да с UTF-то всё понятно.
Не понятна эта пертурбация.
Зачем или почему этот файл cpg создаётся?
Он создаётся в момент экспорта данных, и при этом часть информации слетает.

А самое страшное в том, что я в последствии использую dbf-файл.
Попробуйте, ради интереса, открыть dbf-файл в последних выложенных архивах, тем же dbf-навигатором.
Там полная ахинея что в кодировке DOS, что в UTF.

[Игорь Лебедь]

RTFM

Да с UTF-то всё понятно.
Не понятна эта пертурбация.
Зачем или почему этот файл cpg создаётся?
Он создаётся в момент экспорта данных, и при этом часть информации слетает.

А самое страшное в том, что я в последствии использую dbf-файл.
Попробуйте, ради интереса, открыть dbf-файл в последних выложенных архивах, тем же dbf-навигатором.
Там полная ахинея что в кодировке DOS, что в UTF.

Подтверждаю ошибку в той же версии: во-первых, из исходного файла в системной кодировке получен при экспорте файл в кодировке UTF-8, во-вторых, колонка GRAN оказалась со значениями NULL (как показало открытие в QGIS).

rp.png (101.81 КБ) 15038 просмотров

Сам часто сталкивался с такими проблемами при работе в ArcGIS с Панорамой. У Вас в колонке этой величина поля 1 символ - увеличьте хотя бы до двух, потому что потом при экспорте UTF-8 сократит в два раза, а с величиной в один символ он, естественно, слопает единственный. Я создал в Вашем шейпе дополнительную колонку GRAN2 с величиной в 2 символа (значения перенёс калькулятором по колонке GRAN), и экспорт прошёл нормально.
А про dbf - открывайте его напрямую LibreOffice Calc'ом - он спросит при открытии кодировку, выберете нужную (обычно или UTF-8, или Win-1251), а затем пересохраните в ёксель или что Вам нужно дальше.

[Воронин С.В.]

У Вас в колонке этой величина поля 1 символ - увеличьте хотя бы до двух

Пробовал господа.
При этом первый символ остаётся, а пропадёт 2-й символ.
А с пятью символами, дак вообще интересно, первые 2 остаются - последние три исчезают.

Суть ограничения в один символ, в том что бы не допустить ошибки при заполнении таблицы атрибутов.
А подобных ограничений в таблице, достаточно много.

А дальше данные используются в FOXPRO for DOS, там то же кракозябры нового типа.

[Игорь Лебедь]

У Вас в колонке этой величина поля 1 символ - увеличьте хотя бы до двух

Пробовал господа.
При этом первый символ остаётся, а пропадёт 2-й символ.
А с пятью символами, дак вообще интересно, первые 2 остаются - последние три исчезают.

Суть ограничения в один символ, в том что бы не допустить ошибки при заполнении таблицы атрибутов.
А подобных ограничений в таблице, достаточно много.

А дальше данные используются в FOXPRO for DOS, там то же кракозябры нового типа.

Как замечено в подобных ситуациях, при конвертации размер полей сокращается в два раза (вытекает из свойств UTF-8), соответственно Вам лучше пересохранить Ваш корректный шейп в кугисе из кодировки 1251 в кодировку UTF-8, а затем работать в UTF-ном шейпе. Во вложении пример, там все колонки увеличились в два раза, а если Вы в кугисе создадите сразу в ютф-8 шейп с нужным количеством символов по колонкам, то экспорт из него пойдёт нормально.
Наверно оптимально будет создать в кугисе новый шейп с нужным количеством символов в колонках таблицы атрибутов, а затем просто скопировать в него все объекты из шейпа с удвоенными колонками - все атрибуты пропишутся куда надо, а затем дальше продолжите редактирование.

[Pete_Stepanov]

Да с UTF-то всё понятно.
Не понятна эта пертурбация.
Зачем или почему этот файл cpg создаётся?

Создается он для корректного использования ваших данных в ArcGIS Online, так как он работает только с UTF-8. Видимо при установке новой версии происходит следующее

[Воронин С.В.]

Видимо при установке новой версии происходит следующее

Очень похоже, что именно для автоматического определения кодировки файл cpg. и нужен.
Но что делать с потерей и изменением информации?
Суть проблемы остаётся.

[Pete_Stepanov]

Но что делать с потерей и изменением информации? Суть проблемы остаётся.

Логично предположить, что в dbfDefault вместо "UTF-8" следует прописать "CP-1251" или проделать тоже самое, только в обратной последовательности, т.е. удалить созданный раздел "Common" и тогда файлы ArcGIS будут создаваться в системной кодировке