Лучшее учебное руководство для многоадресной передачи приложения? [закрытый]
spark.sparkContext.textFile() вернет rdd и не выведет схему, даже если вы делаете .toDF() поверх этого rdd.
sc.textFile() предназначен для чтения неструктурированных текстовых файлов. Вы должны использовать
spark.read.format("csv").option("header",true").option("inferSchema","true").load("..path.to.csv")
, чтобы получить схему из заголовков.
Лучше cat файлы вместе, создать заново CSV и прочитать их в HDFS
cat header.csv home_data_usage_2018122723_1372672.csv >> new_home_data_usage.csv
, а затем
hadoop fs -copyFromLocal new_home_data_usage.csv <hdfs_path>
и затем использовать
spark.read.format("csv").option("header",true").option("inferSchema","true").load("..path.to.csv")
2 ответа
Цель многоадресной передачи уровня IP состоит в том, чтобы уменьшить пропускную способность для сегментов общей сети, где многие пользователи хотят получить тот же трафик. Это обычно ограничивается одной конкретной подсетью, и маршрутизатор IP не распространит многоадресную передачу вне подсети. Это сделано по причинам масштабируемости - это не была бы хорошая идея позволить одному хосту порождать многоадресные пакеты, которые распространены к каждому IP-адресу в Интернете.
Существуют различные способы думать о многоадресной передаче "прикладного уровня". Один подход должен создать дерево многоадресной передачи с помощью главных компьютеров, участвующих в многоадресной передаче. Алгоритм Dijkstra мог использоваться, чтобы сделать это (Википедия имеет разумное описание этого). Однако ведение списка участвующих компьютеров - и совершенствоваться дерева - могут быть изрядным объемом работы, если хосты присоединяются и оставляют сеть на существенном уровне. И Вы, вероятно, не имеете хорошую оценку в наличии стоимости транзитного участка на прикладном уровне.
Другой подход, который необходимо рассмотреть, является алгоритмом лавинной рассылки, используемым в протоколе маршрутизации запроса сети Gnutella. (Википедия также имеет хорошее описание этого.) Этот подход облегчает потребность создать дерево многоадресной передачи, но это имеет оборотную сторону генерирования большего сетевого трафика. На самом деле, НАМНОГО больше сетевого трафика, когда трафик растет с квадратом количества узлов, т.е. O (n ** 2).
Я написал образец кода, чтобы сделать что-то подобное. Смотрите мою запись в блоге Плитки или просто загрузите код: Tiles-v1.0.zip .
Мой код создает значки как слои основной анимации, а не как UIViews, но демонстрирует, как обнаружить отводы и разрешить реорганизацию значков. Он не обрабатывает изменения ориентации.
-121--2986569-Из статьи TechNet на 64-разрядных выпусках Office 2010 :
Если вы установили Office 2010 включая Microsoft Outlook 2010, Outlook задает раздел реестра с именем Bitness типа REG _ SZ на компьютере, на котором он установлен. Bitness указывает, 2010 ли установка Outlook 32-разрядный или 64-разрядный. Это может быть полезно для администраторов, которые заинтересованы в аудите компьютеров определить установленные версии Office 2010 в их организации.
- Путь к реестру: HKEY _ LOCAL _ MACHINE\Software\Microsoft\Office\14.0\Outlook
- , если установлен Office, 2013 затем используйте это Путь к реестру: HKEY _ LOCAL _ MACHINE\Software\Microsoft\Office\15.0\Outlook
- Раздел реестра: Bitness
- Значение: x86 или x64
и другое в той же статье:
-121--1050841-Начиная с Office 2010, Outlook имеет значение доступно как 32-разрядное приложение и 64-разрядное приложение. Версия (bitness) выбранного Outlook зависит от выпуска Windows операционная система (32-разрядная или 64-разрядная) и выпуск Office 2010 (32- или 64-разрядная), которая установлена на компьютер, если Office уже установлен на этом компьютере.
Факторы, определяющие осуществимость установки 32-разрядной или 64-разрядной версия Outlook включает
- Можно установить 32-разрядную версию Office 2010 и 32-разрядную версию Microsoft Outlook 2010 в поддерживаемом 32-разрядном или 64-разрядном выпуске операционной системы Windows. 64-разрядную версию Office 2010 и 64-разрядную версию Outlook 2010 можно установить только в поддерживаемой 64-разрядной операционной системе.
- По умолчанию Office 2010 устанавливается в 64-разрядный выпуск операционной системы Windows - 32-разрядный Office 2010.
- Разрядность установленной версии Outlook всегда совпадает с разрядностью Office 2010, если Office установлен на том же компьютере. То есть 32-разрядная версия Outlook 2010 не может быть установлена на том же компьютере, на котором уже установлены 64-разрядные версии других приложений Office 2010, например 64-разрядная версия Microsoft Word 2010 или 64-разрядная версия Microsoft Excel 2010. Аналогично, 64-разрядная версия Outlook 2010 не может быть установлена на том же компьютере, на котором уже установлены 32-разрядные версии других приложений Office.
Другим примером многоадресной рассылки приложений является использование JGroups в Amazon EC2 или Google App Engine , поскольку они не поддерживают многоадресную IP-рассылку, но разработчики хотят использовать функцию многоадресной рассылки.