大数据ambari HDP集群问题总结

347 阅读2分钟

持续创作,加速成长!这是我参与「掘金日新计划 · 10 月更文挑战」的第8天,点击查看活动详情

大数据机器启用kerberos遇到的问题及解决方法

kadmin配置只能是主机名,使用IP会报错

image.png

image.png 这个地方必须需主机名

启用kerberos后 namenode ui和rm ui访问认证失败

如果不需要客户端认证,具体操作如下

去掉web UI的kerberos认证:

hadoop.http.authentication.simple.anonymous.allowed=true

hadoop.http.authentication.type=simple

然后重启受影响的服务,第二个参数在重新生成keytab后会恢复。

ambari自动生成的repo文件url为空

image.png

原因

是界面配置的repo地址没有能够写入数据库中repo_definition表,导致在集群部署的step9组件安装报错。

解决

操作办法:

在ambari数据库中执行(先修改url为实际的yum源地址):

update repo_definition set base_url="http://x.x.x.x/hdp/centos7/3.1.0.0-78/" where repo_name="HDP";

update repo_definition set base_url="http://x.x.x.x/hdp-utils/centos7/1.1.0.22/" where repo_name="HDP-UTILS";

update repo_definition set base_url="http://x.x.x.x/hdp-gpl/centos7/3.1.0.0-78/" where repo_name= "HDP-GPL";

然后重启服务,不需要重新注册,页面会自动跳转到step9.

有些情况HDP-GPL为官网地址,还需要再此更新为实际地址,再此重启ambari-server。

ranger admin在mysql ha情况下因外键检查导致的patch执行失败

image.png

解决办法:

show global variables like "%check%";

set global foreign_key_checks=0;

image.png

mysql driver版本太新导致的rangerusersync用户未初始化成功

rangerusersync用户未导入到ranger库

这个问题直观的反映就是用户同步进程起来就报错,无法正常同步用户

image.png

原因

是mysql5用的驱动url是com.mysql.jdbc.Driver,mysql6以后用的是com.mysql.cj.jdbc.Driver,使用的driver包版本需要注意。

image.png

hive thrift server连接接失败

mbari界面中显示的连接地址中namespace不对应该是hive,示例

beeline -u 'jdbc:hive2://d8pnode15:2181,d8pnode10:2181,d8pnode08:2181/default;principal=hive/_HOST@BJ.CUC;serviceDiscoveryMode=zooKeeper;user=ocdp;zooKeeperNamespace=hiveserver2'