Сокращение вывода журнала из Spark в программе Scala

Для добавления ответа, который указывает на надежный раздел в документации :

Учитывая выражение среза, подобное s[i:j:k],

Срез s от i до j с шагом k определяется как последовательность элементов с индексом x = i + n * k, такая, что 0 & lt; = n & lt; (J-я) / к. Другими словами, индексы i, i + k, i + 2 * k, i + 3 * k и т. Д., Останавливаясь, когда j достигнуто (но никогда не включает j). Когда k положительно, i и j сведены к len (s), если они больше

blockquote>

, если вы пишете s[999:9999], python возвращает s[len(s):len(s)] с len(s) < 999 и ваш шаг (1 - значение по умолчанию).

0
задан Dean Schulze 18 January 2019 в 05:29
поделиться

1 ответ

Вы можете установить уровень регистрации искрового регистратора непосредственно из sparkContext. Чтобы уменьшить многословность Spark, вы должны установить уровень ERROR, чтобы спарк мог записывать журнал только в случае ошибки.

val session =  SparkSession.builder().appName("appName").master("local[*]").getOrCreate()
session.sparkContext.setLogLevel("ERROR")
0
ответ дан gccodec 18 January 2019 в 05:29
поделиться
Другие вопросы по тегам:

Похожие вопросы: