Я начал работать с использованием предварительно созданного двоичного кода Spark 1.4.1 с hadoop 2.6 Убедитесь, что вы установили оба параметра spark.driver.extraClassPath
и spark.executor.extraClassPath
, указывающие на две банки (hadoop-aws и aws-java-sdk). Если вы запустите кластер, убедитесь, что ваши исполнители имеют доступ к файлам jar в кластере.
Хорошо, я, наконец, начинаю выяснять беспорядок на моей машине.
Тензор потока изображения не заботится о версии изображения CUDA, он не использует изображение CUDA докера. Он заботится о моих драйверах nvidia, поскольку в него встроен CUDA в образ тензорного потока.
(образ докера cuda, который работает с моими текущими драйверами, это cuda: 9.0)
Это означало, что мне нужно найти образ тензорного потока, который работает с моими драйверами (390.116), или обновить драйверы .
Я пробовал ту же команду с tenorflow: 1.12.0-gpu-py3, и у нее не было никаких проблем.