Вопросы Теги

Spark2-Submit с пряжей, ClassNotFoundException [duplicate]

В Java все переменные, которые вы объявляете, на самом деле являются «ссылками» на объекты (или примитивы), а не самими объектами.

При попытке выполнить один метод объекта , ссылка просит живой объект выполнить этот метод. Но если ссылка ссылается на NULL (ничего, нуль, void, nada), то нет способа, которым метод будет выполнен. Тогда runtime сообщит вам об этом, выбросив исключение NullPointerException.

Ваша ссылка «указывает» на нуль, таким образом, «Null -> Pointer».

Объект живет в памяти виртуальной машины пространство и единственный способ доступа к нему - использовать ссылки this. Возьмем этот пример: 

public class Some {
    private int id;
    public int getId(){
        return this.id;
    }
    public setId( int newId ) {
        this.id = newId;
    }
}

И в другом месте вашего кода: 

Some reference = new Some();    // Point to a new object of type Some()
Some otherReference = null;     // Initiallly this points to NULL

reference.setId( 1 );           // Execute setId method, now private var id is 1

System.out.println( reference.getId() ); // Prints 1 to the console

otherReference = reference      // Now they both point to the only object.

reference = null;               // "reference" now point to null.

// But "otherReference" still point to the "real" object so this print 1 too...
System.out.println( otherReference.getId() );

// Guess what will happen
System.out.println( reference.getId() ); // :S Throws NullPointerException because "reference" is pointing to NULL remember...

Это важно знать - когда больше нет ссылок на объект (в пример выше, когда reference и otherReference оба указывают на null), тогда объект «недоступен». Мы не можем работать с ним, поэтому этот объект готов к сбору мусора, и в какой-то момент VM освободит память, используемую этим объектом, и выделит другую.

2
задан Bart 13 August 2015 в 08:56
поделиться

3 ответа

По-видимому, должно быть что-то не так с моей проектной структурой в целом. Потому что я создал новый проект с sbt и возвышенным, и теперь я могу использовать spark-submit. Но это действительно странно, потому что я ничего не изменил к структуре по умолчанию sbt-проекта, представленной в intelliJ. Это теперь структура проекта, которая работает как шарм: 

Macbook:sp user$ find .
.
./build.sbt
./project
./project/plugin.sbt
./src
./src/main
./src/main/scala
./src/main/scala/MySimpleApp.scala

Спасибо за вашу помощь!

0
ответ дан Bart 17 August 2018 в 19:36
поделиться

Вы не должны ссылаться на свой класс по пути к каталогу, а по пути его пакета. Пример: 

/Users/_name_here/dev/spark/bin/spark-submit 
--master local[4]
--class com.example.MySimpleApp /Users/_name_here/dev/sp/target/scala-2.10/sp_2.10-0.1-SNAPSHOT.jar

Из того, что я вижу, у вас нет MySimpleApp в любом пакете, так что просто «--class MySimpleApp» должен работать.

3
ответ дан Niemand 17 August 2018 в 19:36
поделиться
  • 1
    к сожалению, я все еще сталкиваюсь с тем же сообщением об ошибке – Bart 13 August 2015 в 12:39
  • 2
    Не могли бы вы вставить MySimpleApp? Каков его пакет? – Niemand 13 August 2015 в 14:41

Проблема заключается в том, что вы вводите неверные аргументы --class

  1. Если вы используете проект Java maven, убедитесь, что вы ввели правильный путь класса --class "/ Users / _name_here / dev / sp / mo / src / main / scala / MySimpleApp "ему должен понравиться com.example.myclass в этом формате. Aldo может быть --class myclass
  2. Здесь есть много примеров о Spark submit.

    Запустить приложение локально на 8 ядер

    ./bin/spark-submit \ --class org.apache.spark.examples.SparkPi \ --master local [8] \ /path/to/examples.jar \ 100

    Запуск автономного кластера Spark в режиме развертывания клиента

    ./bin/spark-submit \ --class org.apache.spark.examples.SparkPi \ --master spark: //207.184.161.138 : 7077 \ --executor-memory 20G \ --total-executor-core 100 \ /path/to/examples.jar \ 1000

    Запуск автономного кластера Spark в режиме развертывания кластера с контролем

    ./ bin / spark-submit \ --class org.apache.spark.examples.SparkPi \ --master spark: //207.184.161.138: 7077 \ --deploy-mode cluster \ --supervise \ --executor-memory 20G \ --total-executor-core 100 \ /path/to/examples.jar \ 1000

    Запуск на кластере YARN

    export HADOOP_CONF_DIR = XXX ./bin/spark-submit \ --class org.apache. spark.examples.SparkPi \ --master yarn \ --deploy-mode cluster \ # может быть клиентом для клиентского режима --executor-memory 20G \ --num-executors 50 \ /path/to/examples.jar \ 1000

    Запустить Python приложение на автономном кластере Spark

    ./bin/spark-submit \ --master spark: //207.184.161.138: 7077 \ examples / src / main / python / pi.py \ 1000

    Запуск на Кластер Mesos в режиме развертывания кластера с контролем

    ./bin/spark-submit \ --class org.apache.spark.examples.SparkPi \ --master mesos: //207.184.161.138: 7077 \ --deploy- кластер режима \ --supervise \ --executor-memory 20G \ --total-executor-core 100 \ http: //path/to/examples.jar \ 1000
0
ответ дан SharpLu 17 August 2018 в 19:36
поделиться
Другие вопросы по тегам:

Похожие вопросы: