Сначала давайте разрушим процесс:
Во-первых, createCombiner
создает начальное значение (объединитель) для первой встречи ключа в разделе, если он не найден -->
(firstValueEncountered, 1)
. Таким образом, это просто инициализация кортежа с первым значением и счетчиком ключей 1.
Затем mergeValue
запускается только в том случае, если объединитель (кортеж в нашем случае) уже создан для найденного на этом разделе -->
(existingTuple._1 + subSequentValue, existingTuple._2 + 1)
. Это добавляет значение существующего кортежа (в первом слоте) с вновь обнаруженным значением и берет счетчик существующих кортежей (во втором слоте) и увеличивает его. Итак, мы
Затем mergeCombiner
берет комбинаторы (кортежи), созданные на каждом разделе, и объединяет их -->
(tupleFromPartition._1 + tupleFromPartition2._1, tupleFromPartition1._2 + tupleFromPartition2._2)
. Это просто добавление значений из каждого кортежа вместе, а счетчики - в один кортеж.
Затем разделим подмножество ваших данных на разделы и увидим его в действии:
("A", 3), ("A", 9), ("A", 12),("B", 4), ("B", 10), ("B", 11)
A=3 --> createCombiner(3) ==> accum[A] = (3, 1)
A=9 --> mergeValue(accum[A], 9) ==> accum[A] = (3 + 9, 1 + 1)
B=11 --> createCombiner(11) ==> accum[B] = (11, 1)
A=12 --> createCombiner(12) ==> accum[A] = (12, 1)
B=4 --> createCombiner(4) ==> accum[B] = (4, 1)
B=10 --> mergeValue(accum[B], 10) ==> accum[B] = (4 + 10, 1 + 1)
A ==> mergeCombiner((12, 2), (12, 1)) ==> (12 + 12, 2 + 1)
B ==> mergeCombiner((11, 1), (14, 2)) ==> (11 + 14, 1 + 2)
Итак, вы должны вернуть массив, это:
Array((A, (24, 3)), (B, (25, 3)))
Чтобы сгенерировать уникальное имя для загруженного файла и сохранить его на сервере, вы можете использовать time (), mt_rand () и затем имя загруженного файла вместе. Вот так ..
public static function generateUniqueFileName($fileName)
{
return time() . mt_rand(100, 100000) . $fileName;
}
И если вы также хотите предварительно указать имя пользователя, вы можете передать его методу и объединить его в начале.