Другое решение состоит в создании ассоциативного массива с форматом даты и последующим переформатированием данных.
Этот метод полезен для даты, отформатированной беспорядочным способом.
Пример:
mydate='01.02.12 10:20:43':
myformat='dd/mm/yy HH:MM:ss';
dtsplit=mydate.split(/[\/ .:]/);
dfsplit=myformat.split(/[\/ .:]/);
// creates assoc array for date
df = new Array();
for(dc=0;dc<6;dc++) {
df[dfsplit[dc]]=dtsplit[dc];
}
// uses assc array for standard mysql format
dstring[r] = '20'+df['yy']+'-'+df['mm']+'-'+df['dd'];
dstring[r] += ' '+df['HH']+':'+df['MM']+':'+df['ss'];
Хорошо не быть в ситуации, когда памяти недостаточно.
Для разрешения java.lang.OutOfMemoryError
отредактируйте настройки в пространстве кучи.
Попробуйте обновить файл конфигурации для увеличения памяти.
nano $SPARK_HOME/conf/spark-defaults.conf
uncomment the spark.driver.memory and change it according to your use. I changed it to below
spark.driver.memory 15g