Apache ranger基础原理和安装部署

995 阅读3分钟

ranger组件

Ranger的官网中有对于这三个组件的说明

1. Admin

Ranger Admin Portal是安全管理的中心接口。 用户可以创建和更新策略,这些策略存储在策略数据库中。 每个组件内的Plugins会定期轮询这些策略。Portal还包括一个审计服务器,它发送从插件收集的审计数据,以便存储在HDFS或关系数据库中

2. UserSync

同步实用工具来从Unix或LDAP或Active Directory中拉取用户和组。 用户或组信息存储在Ranger门户中,用于策略定义。

3. PlugIn

插件是嵌入每个集群组件进程的轻量级Java程序。 例如,Apache Hive的Apache Ranger插件嵌入在Hiveserver2中。 这些插件从中央服务器提取策略,并将它们本地存储在一个文件中。 当用户请求通过组件时,这些插件拦截请求并根据安全策略进行评估。 插件还可以从用户请求中收集数据,并按照单独的线程将此数据发送回审计服务器。

Ranger Admin

Ranger admin它包含三个部分: Web页面、Rest消息处理服务以及数据库。 我们可以把它看成一个用来数据集中存储中心(所有的数据都集中存在这里,但是其它两个组件也可单独运行存在)。它的具体作用:

  1. 接收UserSync进程传过来的用户、组信息。 并将它们保存到MySql数据库中。 需要注意:这些用户信息在配置权限策略的时候需要使用。这个很容易理解,就象领物料的时候,管理员需要登记物料的领用人,如果不是本公司的人,肯定就不会让你领了。
  2. 提供创建policy策略的接口
  3. 提供外部REST消息的处理接口

UserSync

UserSync是Ranger提供的一个用户信息同步接口,可以用来同步Linux用户信息与LDAP用户信息。通过配置项: SYNC_SOURCE = LDAP/Unix 来确认是LDAP还是Unix, 默认情况是同步Unix信息。 UserSync不是实时同步的

Plugin

1)NameNode启动时候,会创建一个Hdfs Plugin线程, 这个线程启动后就会读取配置信息 2)同步完成后,hdfs plugin线程会每隔一段时间(30s)会往ranger admin发送一次消息,同步一次policy信息

安装部署参考

blog.51cto.com/zero01/2550…

具体使用参考

blog.csdn.net/qq475781638…

ranger编译安装记录

  • 下载包:

  • 如果是3.0以上python需要切换为2.7版本: 虚拟环境退出的操作: pyenv deactivate

  • 解压后执行编译命令: mvn clean compile package assembly:assembly install -DskipTests -Drat.skip=true

  • 编译成功记录:

[INFO] ------------------------------------------------------------------------
[INFO] Reactor Summary:
[INFO] 
[INFO] ranger 1.2.1-SNAPSHOT .............................. SUCCESS [  1.399 s]
[INFO] Jdbc SQL Connector ................................. SUCCESS [  0.743 s]
[INFO] Credential Support ................................. SUCCESS [  0.398 s]
[INFO] Audit Component .................................... SUCCESS [  0.855 s]
[INFO] Common library for Plugins ......................... SUCCESS [  2.043 s]
[INFO] Installer Support Component ........................ SUCCESS [  0.180 s]
[INFO] Credential Builder ................................. SUCCESS [  0.522 s]
[INFO] Embedded Web Server Invoker ........................ SUCCESS [  0.524 s]
[INFO] Key Management Service ............................. SUCCESS [  0.804 s]
[INFO] ranger-plugin-classloader .......................... SUCCESS [  0.210 s]
[INFO] HBase Security Plugin Shim ......................... SUCCESS [  1.421 s]
[INFO] HBase Security Plugin .............................. SUCCESS [  1.110 s]
[INFO] Hdfs Security Plugin ............................... SUCCESS [  0.882 s]
[INFO] Hive Security Plugin ............................... SUCCESS [  1.511 s]
[INFO] Knox Security Plugin Shim .......................... SUCCESS [  0.801 s]
[INFO] Knox Security Plugin ............................... SUCCESS [  0.959 s]
[INFO] Storm Security Plugin .............................. SUCCESS [  0.576 s]
[INFO] YARN Security Plugin ............................... SUCCESS [  0.529 s]
[INFO] Ranger Util ........................................ SUCCESS [  1.340 s]
[INFO] Unix Authentication Client ......................... SUCCESS [  0.283 s]
[INFO] Security Admin Web Application ..................... SUCCESS [ 45.381 s]
[INFO] KAFKA Security Plugin .............................. SUCCESS [  1.339 s]
[INFO] SOLR Security Plugin ............................... SUCCESS [  1.048 s]
[INFO] NiFi Security Plugin ............................... SUCCESS [  0.469 s]
[INFO] NiFi Registry Security Plugin ...................... SUCCESS [  0.436 s]
[INFO] Unix User Group Synchronizer ....................... SUCCESS [  0.796 s]
[INFO] Ldap Config Check Tool ............................. SUCCESS [  0.301 s]
[INFO] Unix Authentication Service ........................ SUCCESS [  0.413 s]
[INFO] KMS Security Plugin ................................ SUCCESS [  0.549 s]
[INFO] Tag Synchronizer ................................... SUCCESS [  0.732 s]
[INFO] Hdfs Security Plugin Shim .......................... SUCCESS [  0.435 s]
[INFO] Hive Security Plugin Shim .......................... SUCCESS [  1.046 s]
[INFO] YARN Security Plugin Shim .......................... SUCCESS [  0.422 s]
[INFO] Storm Security Plugin shim ......................... SUCCESS [  0.484 s]
[INFO] KAFKA Security Plugin Shim ......................... SUCCESS [  0.405 s]
[INFO] SOLR Security Plugin Shim .......................... SUCCESS [  0.955 s]
[INFO] Atlas Security Plugin Shim ......................... SUCCESS [  0.574 s]
[INFO] KMS Security Plugin Shim ........................... SUCCESS [  0.452 s]
[INFO] ranger-examples .................................... SUCCESS [  0.043 s]
[INFO] Ranger Examples - Conditions and ContextEnrichers .. SUCCESS [  0.387 s]
[INFO] Ranger Examples - SampleApp ........................ SUCCESS [  0.113 s]
[INFO] Ranger Examples - Ranger Plugin for SampleApp ...... SUCCESS [  0.382 s]
[INFO] Ranger Tools ....................................... SUCCESS [  0.440 s]
[INFO] Atlas Security Plugin .............................. SUCCESS [  0.626 s]
[INFO] Sqoop Security Plugin .............................. SUCCESS [  0.477 s]
[INFO] Sqoop Security Plugin Shim ......................... SUCCESS [  0.365 s]
[INFO] Kylin Security Plugin .............................. SUCCESS [  0.538 s]
[INFO] Kylin Security Plugin Shim 1.2.1-SNAPSHOT .......... SUCCESS [  0.404 s]
[INFO] ------------------------------------------------------------------------
[INFO] BUILD SUCCESS
[INFO] ------------------------------------------------------------------------
[INFO] Total time: 28:26 min
[INFO] Finished at: 2021-08-16T10:28:29+08:00
[INFO] ------------------------------------------------------------------------