1
ответ
При использовании модуля Beam IO ReadFromPubSub вы можете получать сообщения с атрибутами в Python? Неясно, поддерживается ли
Попытка вытащить сообщения с атрибутами, хранящимися в PubSub, в конвейер Beam. Мне интересно, была ли добавлена поддержка для Python, и поэтому я не могу их прочитать. Я вижу, что это существует в Java. ...
вопрос задан: 24 March 2019 05:20
0
ответов
Потоковая передача файлов GCS с использованием потока данных (apachebeam python)
У меня есть GCS, где я получаю файл каждую минуту. Я создал потоковый поток данных, используя apache beam Python sdk.i создал pub / sub topic для ввода gcs bucket и вывода gcs bucket.my dataflow ...
вопрос задан: 7 March 2019 13:37
0
ответов
Динамическое разделение данных в APache Beam
Я новичок в Apache Beam, я пытаюсь разделить мои файлы паркета, которые хранятся в моей HDFS, используя один из столбцов в моих данных. В Apache Beam я могу сделать разметку, но это статично ...
вопрос задан: 4 March 2019 08:21
0
ответов
Python-код для балок с поддержкой hdfs в конвейере
Я запускаю здесь пример настроения для преобразования тензорного потока. https://github.com/tensorflow/transform/blob/master/examples/sentiment_example.py для функции fn ReadAndShuffleData (), определенной в строке 78-98, ...
вопрос задан: 16 January 2019 10:17