Конвертировать нулевые значения в пустой массив в Spark DataFrame

Question

Конвертировать нулевые значения в пустой массив в Spark DataFrame

Мое решение

.modal-dialog-center {
    margin-top: 25%;
}

    <div id="waitForm" class="modal">
        <div class="modal-dialog modal-dialog-center">
            <div class="modal-content">
                <div class="modal-header">
                    <button type="button" class="close" data-dismiss="modal" aria-hidden="true">×</button>
                    <h4 id="headerBlock" class="modal-title"></h4>
                </div>
                <div class="modal-body">
                    <span id="bodyBlock"></span>
                    <br/>
                    <p style="text-align: center">
                        <img src="@Url.Content("~/Content/images/progress-loader.gif")" alt="progress"/>
                    </p>   
                </div>
            </div>
        </div>
    </div>

14

apache-spark-1.5 apache-spark-sql dataframe apache-spark

задан Community 6 January 2019 в 17:54

1 ответ

Другие вопросы по тегам:

apache-spark-1.5 apache-spark-sql dataframe apache-spark

Похожие вопросы:

score 0 · Answer 1

UDF-свободная альтернатива для использования, когда тип данных Вы хотите свои элементы массива в, не может быть брошена от StringType, следующее:

import pyspark.sql.types as T
import pyspark.sql.functions as F

df.withColumn(
    "myCol",
    F.coalesce(
        F.col("myCol"),
        F.from_json(F.lit("[]"), T.ArrayType(T.IntegerType()))
    )
)

можно заменить IntegerType() какой бы ни тип данных, также сложные.