Spark: добавить столбец Option в DataFrame

В большинстве случаев java.lang.NoSuchMethodError пойман компилятором, но иногда это может произойти во время выполнения. Если эта ошибка возникает во время выполнения, единственной причиной может быть изменение структуры класса, которое сделало ее несовместимой.

Лучшее объяснение: https://www.journaldev.com/ 14538 / Java-Ланг-NoSuchMethodError