Страница 1 из 1
data.table::fread : "Error: ... embedded nul in string: '\0\0\0' "
Добавлено: 11 июн 2018, 17:17
nickleb
Здравствуйте. При чтении файла по data.table::fread получаю "Error: ... embedded nul in string: '\0\0\0' " Как "прорваться" ?
Re: data.table::fread : "Error: ... embedded nul in string: '\0\0\0' "
Добавлено: 11 июн 2018, 17:20
rhot
А где текст кода, который ошибку выдаёт?
Re: data.table::fread : "Error: ... embedded nul in string: '\0\0\0' "
Добавлено: 11 июн 2018, 17:54
nickleb
rhot писал(а): ↑11 июн 2018, 17:20
А где текст кода, который ошибку выдаёт?
Код: Выделить всё
DT.Today <- data.table::fread("Today_Csv.txt",
colClasses = vColTypes, sep = "\t",
stringsAsFactors = F)
ASCII-файл читаемый из 962 тыс. строк... Давал читать 960 тыс. - проходил без проблем...
Код: Выделить всё
DT.Today <- data.table::fread("Today_Csv.txt",
colClasses = vColTypes, sep = "\t",
nrows = 960000,
stringsAsFactors = F)
Код: Выделить всё
Read 960000 rows and 36 (of 36) columns from 0.230 GB file in 00:00:22
36-ть колонок у меня... Разделитель колонок - табулятор... Вектор с типами данных, который в "чтиво-функции":
Код: Выделить всё
> vColTypes
[1] "double" "character" "character" "character" "character" "character" "double" "double" "double" "double"
[11] "character" "double" "double" "character" "character" "character" "integer" "character" "character" "double"
[21] "double" "double" "integer" "integer" "integer" "integer" "character" "character" "character" "double"
[31] "double" "double" "double" "double" "double" "double"
>
А, когда читал через
sep="," - и в одном из символьных столбцов были запятые - так любезно сообщила номер строки, где это встретилось впервые...
Re: data.table::fread : "Error: ... embedded nul in string: '\0\0\0' "
Добавлено: 11 июн 2018, 18:45
gamm
похоже на юникод двухбайтовый в файле или типа того. Посмотрите кодировку, и укажите при чтении. И посмотрите в текстовом редакторе FAR, полистайте, начиная с 960000 строк ...
Re: data.table::fread : "Error: ... embedded nul in string: '\0\0\0' "
Добавлено: 11 июн 2018, 19:05
nickleb
gamm писал(а): ↑11 июн 2018, 18:45
похоже на юникод двухбайтовый в файле или типа того. Посмотрите кодировку, и укажите при чтении. И посмотрите в текстовом редакторе FAR, полистайте, начиная с 960000 строк ...
да,
gamm, что-то в этом роде - вероятно, кириллица там... да ещё с "кракозябрами"... спасибо!
Re: data.table::fread : "Error: ... embedded nul in string: '\0\0\0' "
Добавлено: 12 июн 2018, 06:33
nickleb
... так прошло:
Код: Выделить всё
> tbl.Today <- readr::read_tsv("Today_Csv.txt")
> nrow(tbl.Today)
[1] 962076
>
- в исходном ASCII ничего не менял... из tbl.Today сделал актуальную для дальнейшей работы выборку , которая насчитывает всего 68286 строки... в выборке "кракозябр" в символьных колонках нет... столбцы числовые (lon/lat), по которым эту выборку сделал, в изначальном "чтиве" прочитались корректно...
NB:
readr::read_tsv медленнее читает, чем data.table::fread ... в работе с большими файлами data.table::fread пока (по моему опыту) - самая быстрая в R "читалка"