Эта ошибка сборки мусора JVM произошла воспроизводимо в моем случае, когда я увеличил значение spark.memory.fraction
до значений больше 0,6. Поэтому лучше оставить значение по умолчанию, чтобы избежать ошибок сбора мусора JVM. Это также рекомендуется https://forums.databricks.com/questions/2202/javalangoutofmemoryerror-gc-overhead-limit-exceede.html .
Для получения дополнительной информации о том, почему 0.6
является наилучшим значением для spark.memory.fraction
, см. https://issues.apache.org/jira/browse/SPARK-15796 .
Это было решено путем изменения
ggplot(Predict(model),fun=function(x){exp(x)})
на
ggplot(Predict(model,fun=exp))