与 Elasticsearch-Hadoop 集成#

Elasticsearch-Hadoop 默认会通过某个种子节点拿到后端的所有 Elasticsearch 节点，可能存在热点和请求分配不合理的情况， 为了提高后端 Elasticsearch 节点的资源利用率，可以通过极限网关来实现后端 Elasticsearch 节点访问的精准路由。

写入加速#

如果是通过 Elasticsearch-Hadoop 来进行数据导入，可以通过修改 Elasticsearch-Hadoop 程序的以下参数来访问极限网关来提升写入吞吐，如下：

名称	类型	说明
es.nodes	string	设置访问网关的地址列表，如：localhost:8000,localhost:8001
es.nodes.discovery	bool	设置为 false，不采用 sniff 模式，只访问配置的后端节点列表
es.nodes.wan.only	bool	设置为 true，代理模式，强制走网关地址
es.batch.size.entries	int	适当调大批次文档数，提升吞吐，如 5000
es.batch.size.bytes	string	适当调大批次传输大小，提升吞吐，如 20mb
es.batch.write.refresh	bool	设置为 false，避免主动刷新，提升吞吐

相关链接#

• Elasticsearch-Hadoop 配置参数文档

作者：极限实验室
链接：juejin.cn/post/710083… 来源：稀土掘金
著作权归作者所有。商业转载请联系作者获得授权，非商业转载请注明出处。