Путь к шаблону блока Magento 2

, если у вас есть фрейм данных и вы хотите удалить все дубликаты - со ссылкой на дубликаты в определенном столбце (называемое «colName»):

подсчитать перед дедушкой:

df.count()

выполните де-dupe (конвертируйте колонку, которую вы обнуляете в тип строки):

from pyspark.sql.functions import col
df = df.withColumn('colName',col('colName').cast('string'))

df.drop_duplicates(subset=['colName']).count()

может использовать отсортированную группу, чтобы проверить, удалены ли дубликаты:

df.groupBy('colName').count().toPandas().set_index("count").sort_index(ascending=False)