持续创作,加速成长!这是我参与「掘金日新计划 · 10 月更文挑战」的第8天,点击查看活动详情
大数据机器启用kerberos遇到的问题及解决方法
kadmin配置只能是主机名,使用IP会报错
这个地方必须需主机名
启用kerberos后 namenode ui和rm ui访问认证失败
如果不需要客户端认证,具体操作如下
去掉web UI的kerberos认证:
hadoop.http.authentication.simple.anonymous.allowed=true
hadoop.http.authentication.type=simple
然后重启受影响的服务,第二个参数在重新生成keytab后会恢复。
ambari自动生成的repo文件url为空
原因
是界面配置的repo地址没有能够写入数据库中repo_definition表,导致在集群部署的step9组件安装报错。
解决
操作办法:
在ambari数据库中执行(先修改url为实际的yum源地址):
update repo_definition set base_url="http://x.x.x.x/hdp/centos7/3.1.0.0-78/" where repo_name="HDP";
update repo_definition set base_url="http://x.x.x.x/hdp-utils/centos7/1.1.0.22/" where repo_name="HDP-UTILS";
update repo_definition set base_url="http://x.x.x.x/hdp-gpl/centos7/3.1.0.0-78/" where repo_name= "HDP-GPL";
然后重启服务,不需要重新注册,页面会自动跳转到step9.
有些情况HDP-GPL为官网地址,还需要再此更新为实际地址,再此重启ambari-server。
ranger admin在mysql ha情况下因外键检查导致的patch执行失败
解决办法:
show global variables like "%check%";
set global foreign_key_checks=0;
mysql driver版本太新导致的rangerusersync用户未初始化成功
rangerusersync用户未导入到ranger库
这个问题直观的反映就是用户同步进程起来就报错,无法正常同步用户
原因
是mysql5用的驱动url是com.mysql.jdbc.Driver,mysql6以后用的是com.mysql.cj.jdbc.Driver,使用的driver包版本需要注意。
hive thrift server连接接失败
mbari界面中显示的连接地址中namespace不对应该是hive,示例
beeline -u 'jdbc:hive2://d8pnode15:2181,d8pnode10:2181,d8pnode08:2181/default;principal=hive/_HOST@BJ.CUC;serviceDiscoveryMode=zooKeeper;user=ocdp;zooKeeperNamespace=hiveserver2'