Интеграция Hive / HBase - Сеанс Zookeeper закрывается немедленно

У нас есть кластер из 8 узлов, использующий CDH3u2, настроенный с помощью Cloudera Manager. У нас есть выделенный главный узел, на котором запущен единственный экземпляр zookeeper. Когда я настраиваю улей для запуска локального хадупа, выполняемого с главного узла, у меня нет проблем с получением данных из HBase. Когда я запускаю распределенную карту / сокращение через улей, я получаю следующую ошибку, когда подчиненные узлы подключаются к zookeeper.

HBase может подключиться к ZooKeeper, но соединение немедленно закрывается. Это может быть признаком того, что у сервера слишком много подключений (по умолчанию 30).

Мы пробовали установить максимальное количество подключений выше (мы даже пытались снять ограничение). Это кластер разработки, в котором очень мало пользователей, я знаю, что проблема не в том, что подключений слишком много (я могу подключиться к zookeeper с подчиненных узлов с помощью ./zkCli).

Журналы на стороне сервера показывают, что сеанс был прерван клиентом.

Журнал hadoop на стороне клиента гласит: 'Вызвано: org.apache.zookeeper.KeeperException $ ConnectionLossException: KeeperErrorCode = ConnectionLoss для / hbase

Есть идеи, почему я не могу поддерживать соединение с zookeeper через Hive Map / Reduce?

Конфигурации для hbase и zookeeper :

# Autogenerated by Cloudera SCM on Wed Dec 28 08:42:23 CST 2011
tickTime=2000
initLimit=10
syncLimit=5
dataDir=/var/zookeeper
clientPort=2181
maxClientCnxns=1000
minSessionTimeout=4000
maxSessionTimeout=40000

HBase Site-XML:

<property>
  <name>hbase.rootdir</name>
  <value>hdfs://alnnimb01:8020/hbase</value>
  <description>The directory shared by region servers. Should be fully-qualified to include the filesystem to use. E.g: hdfs://NAMENODE_SERVER:PORT/HBASE_ROOTDIR</description>
</property>

<property>
  <name>hbase.master.port</name>
  <value>60000</value>
  <description>The port master should bind to.</description>
</property>

<property>
  <name>hbase.cluster.distributed</name>
  <value>true</value>
  <description>The mode the cluster will be in. Possible values are false: standalone and pseudo-distributed setups with managed Zookeeper true: fully-distributed with unmanaged Zookeeper Quorum (see hbase-env.sh)</description>
</property>


<property>
  <name>hbase.master.info.port</name>
  <value>60010</value>
  <description>The port for the hbase master web UI Set to -1 if you do not want the info server to run.</description>
</property>
















<property>
  <name>zookeeper.znode.parent</name>
  <value>/hbase</value>
  <description>Root ZNode for HBase in ZooKeeper. All of HBase's ZooKeeper files that are configured with a relative path will go under this node. By default, all of HBase's ZooKeeper file path are configured with a relative path, so they will all go under this directory unless changed.</description>
</property>

<property>
  <name>zookeeper.znode.rootserver</name>
  <value>root-region-server</value>
  <description>Path to ZNode holding root region location. This is written by the master and read by clients and region servers. If a relative path is given, the parent folder will be ${zookeeper.znode.parent}. By default, this means the root location is stored at /hbase/root-region-server.</description>
</property>


  <property>
    <name>hbase.zookeeper.property.clientPort</name>
    <value>2181</value>
    <description>The ZooKeeper client port to which HBase clients will     connect</description>
  </property>

  <property>
<name>hbase.zookeeper.quorum</name>
<value>alnnimb01.aln.experian.com</value>
<description>Comma separated list of servers in the ZooKeeper Quorum. For example, "host1.mydomain.com,host2.mydomain.com,host3.mydomain.com".</description>

7
задан Joseph McCullough 6 February 2012 в 14:04
поделиться