修改hadoop yarn 最大可使用内存

55 阅读1分钟

背景

测试环境有一个3节点的CDH,每个节点都是32G物理内存,但是本身只分配给了yarn 45G(每个节点15G)。后面这个,集群后面要用来部署测试和uat两个环境,发现内存分配不足。一套环境最多也就25g左右,这里有差不多90G,怎么会不够呢?

后面发现改CDH的配置:yarn.nodemanager.resource.memory-mb,就可以放开CDH允许Yarn占用的资源,之前是15G,现在改成25G之后,三台机器总资源25*3=75G已经够两套环境的资源了。

下面是我自己电脑搭建的hadoop实例例子:

修改文件:vim etc/hadoop/yarn-site.xml

将配置项yarn.nodemanager.resource.memory-mb修改成4000即可

<configuration>  
       <property>  
               <name>yarn.nodemanager.resource.memory-mb</name>  
               <value>4000</value>  
       </property>  
<!-- Site specific YARN configuration properties -->  
  
</configuration>

2024-09-15_04-35.png