Можем ли мы использовать CBO Spark (Оптимизатор затрат) с собственным паркетом или в фрейме данных в памяти?

Как насчет:

if (stream.markSupported() == false) {

        // lets replace the stream object
        ByteArrayOutputStream baos = new ByteArrayOutputStream();
        IOUtils.copy(stream, baos);
        stream.close();
        stream = new ByteArrayInputStream(baos.toByteArray());
        // now the stream should support 'mark' and 'reset'

    }
4
задан thebluephantom 18 March 2019 в 16:39
поделиться

1 ответ

Нет, короткий ответ, что это невозможно.

Этот https://databricks.com/blog/2017/08/31/cost-based-optimizer-in-apache-spark-2-2.html предоставляет превосходный обзор того, что возможно и дело в постоянных хранилищах данных.

0
ответ дан thebluephantom 18 March 2019 в 16:39
поделиться
Другие вопросы по тегам:

Похожие вопросы: