Как заменить все нулевые значения в dataprame в Pyspark
По умолчанию каждый ресурс, добавленный в путь к классам в веб-приложении, копируется в папку WEB-INF / classes в развернутой войне.
вы можете управлять этим при разработке приложение в eclipse через:
Щелкните правой кнопкой мыши проект -> свойства -> путь сборки Java -> вкладка источника -> папка с выходом по умолчанию
в вашем сервлете , вы можете получить доступ к ресурсу, предварительно указав свой путь на «/», который указывает на WEB-INF / classes .
Например, для доступа к pdf-sample .pdf в разделе WEB-INF / classes , вы можете использовать следующее:
getClass().getResourceAsStream("/pdf-sample.pdf")
В этом учебнике очень хорошо объясняется возможное способы чтения файла ресурсов из пути к классам в приложении Java, его стоит прочитать.
1 ответ
Вы можете использовать df.na.fill для замены нулей нулями, например:
>>> df = spark.createDataFrame([(1,), (2,), (3,), (None,)], ['col'])
>>> df.show()
+----+
| col|
+----+
| 1|
| 2|
| 3|
|null|
+----+
>>> df.na.fill(0).show()
+---+
|col|
+---+
| 1|
| 2|
| 3|
| 0|
+---+