Проверка свойств JVM в PySpark с помощью блоков данных Azure

Другое решение состоит в создании ассоциативного массива с форматом даты и последующим переформатированием данных.

Этот метод полезен для даты, отформатированной беспорядочным способом.

Пример:

    mydate='01.02.12 10:20:43':
    myformat='dd/mm/yy HH:MM:ss';


    dtsplit=mydate.split(/[\/ .:]/);
    dfsplit=myformat.split(/[\/ .:]/);

    // creates assoc array for date
    df = new Array();
    for(dc=0;dc<6;dc++) {
            df[dfsplit[dc]]=dtsplit[dc];
            }

    // uses assc array for standard mysql format
    dstring[r] = '20'+df['yy']+'-'+df['mm']+'-'+df['dd'];
    dstring[r] += ' '+df['HH']+':'+df['MM']+':'+df['ss'];
0
задан Krzysztof Słowiński 15 January 2019 в 15:27
поделиться

1 ответ

Хорошо не быть в ситуации, когда памяти недостаточно.

Для разрешения java.lang.OutOfMemoryError отредактируйте настройки в пространстве кучи.

Попробуйте обновить файл конфигурации для увеличения памяти.

nano $SPARK_HOME/conf/spark-defaults.conf uncomment the spark.driver.memory and change it according to your use. I changed it to below spark.driver.memory 15g

0
ответ дан Laci R 15 January 2019 в 15:27
поделиться
Другие вопросы по тегам:

Похожие вопросы: