Если вы перейдете в код Spark, вы найдете класс KafkaSourceProvider
, отвечающий за программу чтения исходного кода Kafka, вы увидите, что генерируется случайный group.id:
private[kafka010] class KafkaSourceProvider extends DataSourceRegister
override def createSource(
sqlContext: SQLContext,
metadataPath: String,
schema: Option[StructType],
providerName: String,
parameters: Map[String, String]): Source = {
validateStreamOptions(parameters)
// Each running query should use its own group id. Otherwise, the query may be only assigned
// partial data since Kafka will assign partitions to multiple consumers having the same group
// id. Hence, we should generate a unique id for each query.
val uniqueGroupId = s"spark-kafka-source-${UUID.randomUUID}-${metadataPath.hashCode}"
...
}
Вы можете искать группу. идентификатор с префиксом spark-kafka-source
, но вы не можете найти group.id для конкретной группы.
Чтобы найти все идентификаторы групп потребителей, вы можете использовать следующую команду: ./kafka-consumer-groups.sh --bootstrap-server KAFKKA_ADDRESS --list
Чтобы проверить смещения групп потребителей, вы можете использовать следующую команду: ./kafka-consumer-groups.sh --bootstrap-server KAFKKA_ADDRESS --group=GROUP_ID --describe
Я играл с мерзавцем-emacs в течение нескольких дней. Я выбрал тот после чтения о моем выборе (на Вашем сообщении в блоге) и испытание несколько из них. Мои мысли:
git.el - две вещи стояли из Вашего обзора
magit - казался намного лучше с точки зрения выполнения вещей мерзавец путь, но, снова, две вещи выделились:
яйцо - я на самом деле попробовал этого
мерзавец-emacs - выглядел хорошим и имел хорошую документацию
Поскольку я нахожусь все еще в моем младенчестве с точки зрения изучения мерзавца самого, трудно сказать, что еще отсутствует в этих пакетах. Я планирую выяснение у автора мерзавца-emacs, если бы он интересуется патчами, поскольку я, вероятно, представил бы настройки (идо, поверхностей и других нормальных вещей). Надежда это помогает несколько, так или иначе.
Вещи, которые важны для меня кроме базовых функций: