Для добавления ответа, который указывает на надежный раздел в документации :
Учитывая выражение среза, подобное s[i:j:k]
,
Срез s от i до j с шагом k определяется как последовательность элементов с индексом x = i + n * k, такая, что 0 & lt; = n & lt; (J-я) / к. Другими словами, индексы i, i + k, i + 2 * k, i + 3 * k и т. Д., Останавливаясь, когда j достигнуто (но никогда не включает j). Когда k положительно, i и j сведены к len (s), если они больше
blockquote>, если вы пишете
s[999:9999]
, python возвращаетs[len(s):len(s)]
сlen(s) < 999
и ваш шаг (1
- значение по умолчанию).
Вы можете установить уровень регистрации искрового регистратора непосредственно из sparkContext. Чтобы уменьшить многословность Spark, вы должны установить уровень ERROR, чтобы спарк мог записывать журнал только в случае ошибки.
val session = SparkSession.builder().appName("appName").master("local[*]").getOrCreate()
session.sparkContext.setLogLevel("ERROR")