2
ответа
Ошибка импорта AWS Glue: невозможно импортировать имя explode_outer
Когда я пытаюсь запустить искровое задание в AWS Glue, появляется следующее сообщение об ошибке. ImportError: невозможно импортировать имя explode_outer. Если я запускаю тот же код в локальной установке spark, все работает нормально. ...
вопрос задан: 17 January 2019 11:25
2
ответа
AWS клей зависимость работы в шаговой функции
Я создал 2 рабочих места клея (gluejob1, gluejob2). Я хочу создать зависимость, поскольку gluejob2 должен запускаться только после завершения gluejob1. Чтобы организовать это, я создал функцию шага с ниже ...
вопрос задан: 16 January 2019 01:55
2
ответа
JSON ISO 8601 временная строка для формата времени AWS-Glue
У меня есть данные в формате JSON, имеющие формат отметки времени ISO 8601, например, «2017-06-29T00: 00: 00-0400», и я пытаюсь использовать AWS Glue для преобразования для использования Athena / Quicksights; Однако каждый ...
вопрос задан: 15 January 2019 22:35
1
ответ
Параметризованная / многоразовая работа с клеем AWS
Я новичок в AWS и пытаюсь создать параметризованное задание AWS Glue, которое должно иметь входные параметры: Размер источника данных Число Перечень переменных Список Кто-нибудь делал что-то подобное раньше?
вопрос задан: 13 March 2019 06:04
1
ответ
AWS Glue - Как настроить Crawler для создания таблицы с именами файлов S3 внутри
Что мне нужно сделать: Полнотекстовый поиск по ключам S3 (не по содержимому файлов) Итак, моя корзина S3 имеет следующую структуру: bucket_name / user1@gmail.com/ folder1 / notthatimportantfile ** любой ...
вопрос задан: 5 March 2019 21:01
1
ответ
Конфигуратор в AWS Glue не читает конфигурационный файл с S3
Я пытаюсь прочитать конфигурационный файл из корзины S3 с помощью скрипта Python, запущенного с помощью клея AWS. Но файл не читается. из __future__ импорт print_function из pyspark импорт SparkContext из awsglue.utils ...
вопрос задан: 5 March 2019 05:34
1
ответ
AWS Glue Custom Grok классификатор не работает
У меня есть структурированный текстовый файл с разделителями, с двумя столбцами, с двоеточиями в качестве разделителей, на S3, который выглядит так: joe@gmail.com: abc mary@yahoo.com: def У меня есть собственный классификатор с этим гроком
вопрос задан: 23 January 2019 13:04
1
ответ
AWS Glue - Доступ к новой конечной точке разработчика с существующего сервера ноутбуков
Я хотел бы иметь возможность подключить уже созданный сервер ноутбука Apache Zeppelin к новой конечной точке. Итак, я создаю конечную точку, а затем сервер ноутбука Zeppelin на этой конечной точке, и все работает нормально ....
вопрос задан: 18 January 2019 10:23
1
ответ
Заголовочные файлы для каталога данных клея AWS
У меня есть некоторые данные в s3, которые я хочу использовать AWS Glue для сканирования и сохранения в каталоге данных. Проблема у меня заключается в том, что сами данные не имеют строк заголовков. Вместо этого есть отдельный заголовочный файл ("...
вопрос задан: 15 January 2019 16:51
1
ответ
Клей AWS: игнорирование пробелов в свойствах JSON
У меня есть набор данных с файлами JSON. Некоторые из записей этих JSON содержат пробелы в записях, таких как {'propertyOne': 'кое-что', 'свойство два': 'нечто'}. У меня был этот набор данных ...
вопрос задан: 15 January 2019 16:51
0
ответов
AWS Склеивает задание для объединения столбцов во временную метку
Я очень новичок в использовании AWS Glue и Spark. Я пытаюсь запустить задание ETL, поэтому мои данные, которые в настоящее время анализируются как три отдельных столбца (год, месяц и день), и мне нужно объединить эти столбцы в ...
вопрос задан: 20 March 2019 14:35
0
ответов
Импорт внешних библиотек в AWS Glue Job
Я хочу импортировать группу файлов, которые я создал, чтобы использовать их для работы с клеем AWS. Я ссылался на эту ссылку: https://docs.aws.amazon.com/glue/latest/dg/aws-glue-programming-python-libraries.html У меня есть ...
вопрос задан: 25 February 2019 07:22
0
ответов
AWS Glue to Redshift: возможно ли заменить, обновить или удалить данные?
Вот несколько ключевых моментов с точки зрения того, как у меня все настроено: у меня есть файлы CSV, загруженные на S3, и настройка сканера Glue для создания таблицы и схемы. У меня есть настройка работы Glue, которая записывает данные ...
вопрос задан: 18 September 2017 15:18