Zeppelin

[Zeppelin] Configuration de l'interpréteur Hive sous authentification Kerberos

Configuration Hive Interpreter Under Kerberos Authentication



Répertoire d'articles


Dans cet article, nous allons apprendre à configurer l'interpréteur Hive avec l'authentification Kerberos activée dans Zeppelin à l'avenir.

Résumé:

  1. Description environnementale
  2. Créer un interpréteur de ruche
  3. Configurer l'interpréteur de ruche
  4. Installer les dépendances de package Jar manquantes

Créez un nouveau bloc-notes et entrez le code suivant pour vérifier que la configuration de l'interpréteur Hive est correcte:



%hive show databases

Si rien d'inattendu ne se produit, les exceptions suivantes peuvent se produire:



java.lang.ClassNotFoundException: org.apache.hive.jdbc.HiveDriver java.lang.ClassNotFoundException: org.apache.hive.service.cli.thrift.TCLIService$Iface java.lang.ClassNotFoundException: org.apache.hadoop.hive.common.auth.HiveAuthUtils java.lang.ClassNotFoundException: org.apache.hadoop.hive.thrift.TFilterTransport java.lang.RuntimeException: Could not load shims in class org.apache.hadoop.hive.thrift.HadoopThriftAuthBridge23

Ces exceptions sont causées par l'absence du package Jar. Copiez simplement le package de réponse Jar depuis le répertoire d'installation de CDH (exécutez la commande suivante dans le répertoire d'installation de Zeppelin):



cp /opt/cloudera/parcels/CDH/jars/hive-jdbc-1.1.0-cdh5.15.1.jar interpreter/jdbc/ cp /opt/cloudera/parcels/CDH/jars/hive-service-1.1.0-cdh5.15.1.jar interpreter/jdbc/ cp /opt/cloudera/parcels/CDH/jars/hive-common-1.1.0-cdh5.15.1.jar interpreter/jdbc/ cp /opt/cloudera/parcels/CDH/jars/hive-shims-common-1.1.0-cdh5.15.1.jar interpreter/jdbc/ cp /opt/cloudera/parcels/CDH/jars/hive-shims-0.23-1.1.0-cdh5.15.1.jar interpreter/jdbc/

Si cela pose problème, vous pouvez directement copier tous les packages liés à la ruche:

cp /opt/cloudera/parcels/CDH/jars/hive-*.jar interpreter/jdbc/

Pourquoi copier vers interpreter/jdbc Qu'en est-il du répertoire? Parce que l'interpréteur Hive que nous avons configuré appartient au groupe JDBC, au démarrage de l'interpréteur interpreter/jdbc Le répertoire sera ajouté au CLASSPATH.

Remarque: s'il s'agit d'une autre distribution Hadoop, veuillez trouver le répertoire de ces packages Jar par vous-même.



Une fois les packages Jar copiés, redémarrez l'interpréteur et il ne devrait plus y avoir d'erreurs. show databases un peu:

Les autres requêtes sont également acceptées.

Le package Jar peut également être installé via Dependency Management sur la page Zeppelin. En bas de la page de configuration de l'interpréteur Hive, suivez groupId:artifactId:version Renseignez les dépendances requises:

Cliquez sur Enregistrer et redémarrez l'interpréteur Hive. Zeppelin téléchargera automatiquement le package Jar requis pour nous. L'interprète Hive est également disponible.

Le seul problème est de savoir s'il y aura des différences potentielles entre les deux packages Jar, conduisant à des performances incohérentes dans certains aspects. Après tout, nous utilisons la version CDH de Hive, donc je pense toujours Il est plus sûr de copier manuellement le package Jar dans le répertoire d'installation de CDH 。

Bienvenue pour échanger et discuter, se plaindre des suggestions.

L'apprentissage diligent est comme un semis qui monte au printemps, mais il n'augmente pas, mais la journée s'améliore Le décrochage est comme une pierre à aiguiser. Faites attention à [Big Data Apprentice], utilisez la technologie des produits secs pour vous aider à devenir plus fort chaque jour

image