背景
测试环境有一个3节点的CDH,每个节点都是32G物理内存,但是本身只分配给了yarn 45G(每个节点15G)。后面这个,集群后面要用来部署测试和uat两个环境,发现内存分配不足。一套环境最多也就25g左右,这里有差不多90G,怎么会不够呢?
后面发现改CDH的配置:yarn.nodemanager.resource.memory-mb,就可以放开CDH允许Yarn占用的资源,之前是15G,现在改成25G之后,三台机器总资源25*3=75G已经够两套环境的资源了。
下面是我自己电脑搭建的hadoop实例例子:
修改文件:vim etc/hadoop/yarn-site.xml
将配置项yarn.nodemanager.resource.memory-mb修改成4000即可
<configuration>
<property>
<name>yarn.nodemanager.resource.memory-mb</name>
<value>4000</value>
</property>
<!-- Site specific YARN configuration properties -->
</configuration>