Amazon Elastic MapReduce -SIGTERM

У меня есть потоковое задание EMR (Python ), которое обычно работает нормально (, например. 10 машин, обрабатывающих 200 входных данных ). Однако, когда я запускаю его для больших наборов данных (12 машин, обрабатывающих в общей сложности 6000 входных данных, примерно по 20 секунд на каждый вход ), после 2,5 часов обработки я получаю следующую ошибку:

java.lang.RuntimeException: PipeMapRed.waitOutputThreads(): subprocess failed with code 143
at org.apache.hadoop.streaming.PipeMapRed.waitOutputThreads(PipeMapRed.java:372)
at org.apache.hadoop.streaming.PipeMapRed.mapRedFinished(PipeMapRed.java:586)
at org.apache.hadoop.streaming.PipeMapper.close(PipeMapper.java:135)
at org.apache.hadoop.mapred.MapRunner.run(MapRunner.java:57)
at org.apache.hadoop.streaming.PipeMapRunner.run(PipeMapRunner.java:36)
at org.apache.hadoop.mapred.MapTask.runOldMapper(MapTask.java:441)
at org.apache.hadoop.mapred.MapTask.run(MapTask.java:377)
at org.apache.hadoop.mapred.Child$4.run(Child.java:255)
at java.security.AccessController.doPrivileged(Native Method)
at javax.security.auth.Subject.doAs(Subject.java:396)
at org.apache.hadoop.security.UserGroupInformation.doAs(UserGroupInformation.java:1132)
at org.apache.hadoop.mapred.Child.main(Child.java:249)

Если я правильно понимаю, подпроцесс завершился с ошибкой с кодом 143, потому что кто-то отправил сигнал SIGTERM потоковому заданию.

Правильно ли я понимаю? Если да, :Когда инфраструктура EMR отправит SIGTERM?

6
задан slavi 15 August 2012 в 13:59
поделиться