SQL-запрос работает медленно при записи данных в кеш на кластер воспламенения Apache
С библиотекой pandas это так же просто, как использование двух команд!
pandas.read_json()
Чтобы преобразовать строку JSON в объект pandas (либо серию, либо dataframe). Затем, если предположить, что результаты были сохранены как df:
df.to_csv()
, которые могут либо возвращать строку, либо записывать непосредственно в csv-файл.
На основании многословия предыдущего ответы, мы все должны благодарить панды за ярлык.
1 ответ
Трудно сказать, что здесь происходит. Я предлагаю вам устранить эту проблему, например, составлять трассировки и пытаться выяснить, где тратится время / где происходит блокировка.
Тогда могут возникнуть некоторые проблемы в вашем сценарии, например, создание недолговечных серверных узлов для потоковой передачи данных. Они приведут в равновесие, когда придут или уйдут.