Основная техническая причина в том, что Spark сильно зависит от прямого доступа к встроенной памяти с sun.misc.Unsafe, который был закрыт в Java 9.
sun.misc.Unsafe