Logstash文件输入

201 阅读5分钟

Logstash File Input

Logstash文件输入简介

logstash文件输入的定义是,logstash文件输入是配置文件的初始部分,可能是输入,logstash的输入是输入插件,它允许logstash读取一个特殊的起源事件,它可以接受文件形式的输入。在logstash中,有两种类型的文件可以描述Syslog、HTTP、TCP、SSL、UDP、stdin等管道的处理,也可以管理进程的启动和执行。

什么是logstash文件输入?

logstash文件输入是文件配置的最初步骤,我们可以说它是我们可以提供的输入,logstash插件负责消耗数据,文件输入可以用在我们文件的后端,当我们试图发送任何文件的生存内容时,我们必须在开始时设置起点。然后我们可以进一步进行配置的过程;logstash是重要的部分,因为它有能力结合不同来源的日志和事件;对于各种平台,可以使用50多个插件。它也可以被不同的数据库所利用,我们可以说logstash可以参与收集和处理来自不同来源的数据,并且已经被发送到其他系统进行存储和分析。

Logstash文件输入配置?

logstash的配置非常简单,它允许定义输入、输出和过滤器及其特殊选项,配置可以简单地转换为代码,然后就可以执行,有一点我们需要记住,我们需要写自己的代码,之后,我们必须调试它。

  • 让我们看看如何在输入日志的列表中添加日志文件,日志文件应该是索引形式的,就像我们下面写的那样。

{index:"1234", id:1, message: “send me"}

  • 之后,数据已经被添加到配置文件中,如下面给出的。

input { file { path => "C:/doc/*.logs" initial_posi => "beginning" sincedb_path => "NULL" codec => JSON } }

**路径。**在这部分,我们可以告诉logstash,输入可以来自于日志文件。

**编解码器。**在这一节中,日志文件将不被考虑在这里。

初始位置。我们可以从任何事件的开始定义初始处理。

**自分贝路径。**在这一节中,我们将其定义为null,所以这意味着logstash可以存储一个指针,用于指示我们可以在哪里获得事件。

logstash的配置有三个部分:输入、输出和过滤器。我们可以有不同的实例,这样我们就可以在一个文件中把每个部分联系在一起;没有必要把它们都按类型分组;配置是一般的。例如,在输入部分,文件输入将需要告诉logstash从访问日志中提取日志,而在过滤器部分,我们必须应用一个grok过滤器,能够检查日志的字符串,然后它可以占据空间。

需要压缩文件。

利用压缩文件可以很好地创建比其原始大小更小的东西,这可以通过使用WinRar、7Zip等工具来完成,尽管弹性搜索也有压缩数据的属性,这可以在节点和客户端之间使用。

压缩文件需要HTTP/TCP压缩,它可以通过赋予其属性来允许在其节点上进行压缩;它还需要可以处理压缩数据的响应,为了处理压缩,有一些客户端参与处理压缩数据,可能是高级别和低级别,但高级别客户端将无法管理压缩的响应,低级别客户端将能够管理新鲜的响应。

Logstash文件输入服务器

logstash可以支持许多类型的文件输入服务器,如Amazon S3、Salesforce、Twitter输入、AWS云观察,如下所示。

  • 亚马逊S3

Amazon S3服务器已经与可用于在Amazon S3存储的对象相结合,并从网站和移动应用程序中获得数据;输入插件可以像文件输入一样,从其桶中流动文件。

  • Salesforce输入

插件的salesforce输入能够与salesforce结合,它是最令人钦佩的营销管理任务的插件;该插件允许插件在其查询语言的帮助下查询salesforce,也就是salesforce对象查询语言,在查询语言中被设计为从salesforce系统中获得数据。

  • 推特输入

这个插件允许使用ELK桩从Elasticsearch中获取数据,这些数据被用于分析Twitter的趋势,该插件能够从它的API中关联事件,并且可以直接制作到Elasticsearch中。

  • AWS云监控

云监控服务可以让监控员监控服务和事件,以获得对我们的云安排的可操作的理解;该平台可以收集不同类型的操作数据,以配置高分辨率的警报。

结论

在这篇文章中,我们得出结论,logstash可以支持大量流行的日志和事件的可能性,其中它允许使用一些主要网络平台的输入插件,所以我们也讨论了需要的压缩文件和logstash中使用的文件输入配置。

推荐文章

这是一篇关于Logstash文件输入的指南。在这里我们讨论了logstash可以支持大量流行的日志和事件的可能性,其中它允许使用输入插件。你也可以看看下面的文章来了解更多

  1. Logstash替代品
  2. Logstash版本
  3. Kibana Logstash
  4. 什么是Logstash?

The postLogstash File Inputappeared first onEDUCBA.