В сообщении об ошибке говорится все. На карте есть символ Any. Spark SQL и Dataset api не поддерживают Any в схеме. Он должен быть одним из поддерживаемых типов (который представляет собой список основных типов, таких как String, Integer и т. Д. Последовательность поддерживаемых типов или карта поддерживаемых типов).
Согласно руководству , действительно существует значение по умолчанию 1000
для max_input_vars
(посмотрите в таблице в начале страницы) .
Если вам нужно значение, отличное от этого значения по умолчанию 1000, вам нужно будет указать его - и не комментировать директиву в вашей конфигурации.
Насколько я могу судить, нет способа сделать max_input_vars
неограниченным ; вы можете установить его на достаточно высокое значение , конечно, но помните, что эта директива недавно была добавлена в качестве меры безопасности. Кроме того, нет смысла устанавливать max_input_vars
неограниченно, так как вредоносный пользователь может отправить огромную нагрузку данных и исчерпать вашу память.