SparkSQL (Thrift Server) TTransportException после 11 минут при запуске select * на 30-миллионной таблице строк [дубликат]

Даже если это можно сделать во время компиляции (я не думаю, что это вообще возможно), скорее всего, текст будет предварительно обработанным заголовком, а не содержимым файлов дословно. Я ожидаю, что вам придется загружать текст из файла во время выполнения или делать неприятную работу с разрезанной n-paste.

10
задан WickeD 31 May 2012 в 11:02
поделиться

1 ответ

Это очень общее сообщение об ошибке, описывающее, что у hiveserver возникает проблема, и предлагает вам взглянуть на журналы Hive. Если вы обращаетесь к журналам улов и находите стек вызовов исключений, вы можете найти основную причину или поделиться своим исключительным случаем, я могу помочь вам.

Наиболее распространенные проблемы, которые я видел как:

  1. Проблемы с мета-хранилищем, связанные с параллелизмом
  2. Когда вы запускаете сервер улья как $ hive --service yourhiveserver и продолжайте работать в течение нескольких дней, а затем запустите свой код, возможно, что ваше соединение является брокером на сервере, и вы получите то же самое. Если вы снова подключитесь к серверу, эта ошибка исчезнет. Это происходит только потому, что через какое-то время wait_time истекло и отключается.
  3. Ошибки, связанные с портом

Обязательно настройте открытый порт для вашего сервера Hive и установите его как ниже перед запуском сервера улья:

 $export HIVE_PORT=10000
 $hive --service hiveserver
 $ _run_your_code

Могут быть другие причины, однако наилучшим вариантом является проверка стека вызовов в журналах улья на корневую причину и решение проблемы.

13
ответ дан AvkashChauhan 20 August 2018 в 12:20
поделиться
  • 1
    Любые ссылки на помощь в вопросах параллелизма с мета-магазинами? – Trent 10 December 2017 в 18:09
Другие вопросы по тегам:

Похожие вопросы: