data.table::fread : "Error: ... embedded nul in string: '\0\0\0' "

[nickleb]

Здравствуйте. При чтении файла по data.table::fread получаю "Error: ... embedded nul in string: '\0\0\0' " Как "прорваться" ?

[rhot]

А где текст кода, который ошибку выдаёт?

[nickleb]

А где текст кода, который ошибку выдаёт?

Код: Выделить всё

DT.Today <- data.table::fread("Today_Csv.txt",
                        colClasses = vColTypes, sep = "\t",
                        stringsAsFactors = F)

ASCII-файл читаемый из 962 тыс. строк... Давал читать 960 тыс. - проходил без проблем...

Код: Выделить всё

DT.Today <- data.table::fread("Today_Csv.txt",
                        colClasses = vColTypes, sep = "\t",
                        nrows = 960000,
                        stringsAsFactors = F)

Код: Выделить всё

Read 960000 rows and 36 (of 36) columns from 0.230 GB file in 00:00:22

36-ть колонок у меня... Разделитель колонок - табулятор... Вектор с типами данных, который в "чтиво-функции":

Код: Выделить всё

> vColTypes
 [1] "double"    "character" "character" "character" "character" "character" "double"    "double"    "double"    "double"   
[11] "character" "double"    "double"    "character" "character" "character" "integer"   "character" "character" "double"   
[21] "double"    "double"    "integer"   "integer"   "integer"   "integer"   "character" "character" "character" "double"   
[31] "double"    "double"    "double"    "double"    "double"    "double"   
> 

Не диагностирует номер строки, которая её смущает... - Жаль!
А, когда читал через sep="," - и в одном из символьных столбцов были запятые - так любезно сообщила номер строки, где это встретилось впервые...

[gamm]

похоже на юникод двухбайтовый в файле или типа того. Посмотрите кодировку, и укажите при чтении. И посмотрите в текстовом редакторе FAR, полистайте, начиная с 960000 строк ...

[nickleb]

похоже на юникод двухбайтовый в файле или типа того. Посмотрите кодировку, и укажите при чтении. И посмотрите в текстовом редакторе FAR, полистайте, начиная с 960000 строк ...

да, gamm, что-то в этом роде - вероятно, кириллица там... да ещё с "кракозябрами"... спасибо!

[nickleb]

... так прошло:

Код: Выделить всё

> tbl.Today <- readr::read_tsv("Today_Csv.txt")
> nrow(tbl.Today)
[1] 962076
> 

- в исходном ASCII ничего не менял... из tbl.Today сделал актуальную для дальнейшей работы выборку , которая насчитывает всего 68286 строки... в выборке "кракозябр" в символьных колонках нет... столбцы числовые (lon/lat), по которым эту выборку сделал, в изначальном "чтиве" прочитались корректно...

NB: readr::read_tsv медленнее читает, чем data.table::fread ... в работе с большими файлами data.table::fread пока (по моему опыту) - самая быстрая в R "читалка"