
Logstash Geoip简介
logstash geoip是logstash中的一个过滤器插件,在本文写作时,其最新版本为7.2.9。它是在2022年1月发布的。它有助于添加关于IP地址的信息,这有助于确定地理位置,它从MaxMild GeoLite2的数据库中获得帮助。在这篇文章中,我们将了解logstash geoip及其副标题,包括什么是logstash geoip,创建地图logstash geoip,logstash geoip的配置,以及结论。
什么是logstash geoip?
logstash geoip是logstash中可用的插件,通过从MaxMild GeoLite2的数据库中获得额外的帮助,帮助确定准确的IP地址,也就是地理位置。GeoLite2城市数据库是在捆绑该插件时使用的。与geolite2数据库相比,MaxMind的GeoIP数据库更加准确。但geolite2数据库的优势在于,它是一个可用于ip地址位置的地理位置数据库,太免费了。
该插件也支持max mind提供的各种商业数据库。我们可以从maxmind的网站上下载数据库,以备我们需要geolite2城市以外的数据库,这是在内部捆绑的。除此以外,我们可以在数据库选项中指定我们要使用的数据库位置。例如,如果你希望使用ASN的自治系统号码信息,那么我们可以使用Geolite2-ASN数据库。
创建地图logstash geoip
我们可以按照一定的步骤来创建地图logstash geoip,包括安装kibana,在logstash的帮助下将所需的数据加载到弹性搜索中,在kibana中创建仪表盘,然后去创建地图,只需点击添加层的选项,然后从所有提到的选项中选择chloropleth层。窗口将如下图所示

选择索引模式为kibana样本数据日志和相关的连接字段值。然后,我们将需要创建一个CSA层,并通过关联两者分配一个独特的GEOID标识符。此外,通过使用请求索引,我们将汇总信息。Pipeline创建了一个连接字段,它是csa.GEOID。在我们完成添加某些工具提示字段和绿转红的颜色后,将帮助我们创建地图。
为了使数据在图形格式的地图上可视化,我们将执行某些步骤,其中包括在配置好的管道的帮助下启动logstash;数据的传输将从API收集,一旦完成索引模式的设计,将进一步转发给弹性搜索。
请注意,确切的坐标和准确度并不是由geoip的过滤器来决定的,因为它可以根据地理位置的不同而不同。它甚至可以在某些国家和地区是准确的,而在其他情况下则不准确。这取决于的参数是为地图设置的缩放级别,以及IP地址设备是否是移动连接或稳定的。
第1步 - 添加一个图层。

第2步-- 选择叶绿素图层。

第3步 - 添加索引模式作为端点。

第4步 - 应该选择Geo.location字段,并开始在索引模式字段中输入端点。


第5步--我们可以观察到地图上分别有路线图和端点两个层。

第6步- 我们可以看到萨塔拉市在地图上的位置,因为我们作为输入传递的数据集包含了城市_名称字段为SATARA -

logstash geoip 配置
我们首先需要找到一个具有公共IP地址的应用程序,我们可以使用不同的字段进一步过滤并生成日志。网络服务器是一个有助于生成包含所有必要信息的日志的应用程序。一些网络服务器是Apache和Nginx。
让我们考虑Nginx服务器的使用和获取访问日志。当我们使用各种日志时,我们将不得不做出某些调整。11-nginx-filter.conf是包含nginx过滤器的文件。如果过滤器位于不同的地方,我们可以去编辑那个特定的相应文件。
我们可以使用以下命令编辑nginx文件
Sudo vi /etc/logstash/conf.d/11-nginx-filter.conf
执行的结果是以下的输出 -

我们可以在grok部分添加以下部分代码 -

这导致将指定的地址转换为源值中提到的所需的客户ip,并进行相应的配置。Nginx的ip地址存储在字段内,其名称存储在clientip中。这就是为什么它被设置为一个源的原因。如果你改变了ip地址的值,并将其存储在一个不同的字段中,请确保你也更新了clientip字段。现在你可以保存,然后退出系统。为了使所有的改变生效,有必要重新启动系统,可以使用下面的命令-
sudo service logstash restart
这将导致产生以下输出结果 -

在正确遵循上述所有步骤后,logstash将把Geoip的坐标与Nginx或你使用的任何其他的指定日志一起存储。这个过程不具有追溯性;因此,以前的记录将不包含geoIP的信息。
我们可以为geoip插件设置一些配置,包括缓存大小、默认的数据库类型、数据库、字段、ECS兼容性、来源、目标、失败时的标签、启用指标、ID、添加字段、定期刷新、添加标签、删除标签、删除字段等,我们可以根据我们的要求来定义geoip插件的行为和改变其执行。所有这些配置都应该按照规范指定为各自的布尔值、数组、字符串、哈希值、数字、系统路径、ASN或城市。你可以参考这个链接,了解他们的目的和用法的完整参考。
总结
Logstash geoip是logstash中可用的过滤器插件,它有助于将所需的信息添加到特定IP地址的地理位置上,该地址以MaxMild Geolite2的数据库数据为参考。在这里,我们也可以利用任何其他GeoIP2数据库。例如,Kibana可用于地图的可视化。
推荐文章
这是一篇关于Logstash Geoip的指南。在这里,我们讨论了logstash的geoip及其子话题,包括geoip是什么,创建地图geoip,geoip配置,以及结论。
The postLogstash Geoipappeared first onEDUCBA.