携手创作，共同成长！这是我参与「掘金日新计划 · 8 月更文挑战」的第19天，点击查看活动详情

• elasticsearch watcher中时区转换问题，并对日期进行格式化

 由于在elasticsearch中保存的是UTC时区，如果我们想要对时区进行转换，可以在transform中用script的方式操作：

"transform": {
    "script": {
        "source": "def docs=[];for(item in ctx.payload.hits.hits) {def document = ['field1': item._source.field1,'timefield': LocalDateTime.ofInstant(Instant.parse(item._source.timefield), ZoneId.systemDefault()),'field3': item._source.field3];docs.add(document);} return ['_doc': docs];",
        "lang": "painless"
    }
}

//这里面我的时区设置的是系统所在的时区。如果是想设置指定的时区，可以使用
LocalDateTime.ofInstant(Instant.parse(item._source.timefield), ZoneId.of("Asia/Shanghai"))
如果是EST时区，可以使用
LocalDateTime.ofInstant(Instant.parse(item._source.timefield), ZoneId.of("America/New_York"))

//Instant有不同的解析方法，这里我使用的是parse()是对字符串类型的日期进行解析，也有对timstamp毫秒数进行解析的方法，具体可以根据场景选择。

//如果是在此过程中还想对日期的格式进行格式化，如原始的"2020-01-14T14:23:45.000Z"想转换成"01-14-2020 02:23:45 PM"
可以使用如下函数：
在for循环之前新定义变量：def dtf = DateTimeFormatter.ofPattern("MM-dd-yyyy hh:mm:ss a");
然后在for循环中对日期进行格式化：
'timefield': dtf.format(LocalDateTime.ofInstant(Instant.parse(item._source.timefield), ZoneId.systemDefault()))



//在上述的transform情况下，如果想对字段值进行提取，比如在email action中使用表格形式发送时：
"body": {
    
    "html": "<table><tr><th>name</th><th>age</th><th>sex</th></tr> {{#ctx.payload._doc}} <tr><td> {{name}} </td><td> {{age}} </td><td> {{sex}} </td></tr> {{/ctx.payload._doc}} </table>"

}//这里面的 payload后面是_doc是因为我在transform中最后返回了_doc，这个是自己定义的名字

• logstash 将两个字段合并为一个字段的方法

假设message中含有[01/14/2020][18:35:46]，想要把这两个拼接为一个日期字段，需要使用mutate插件：

grok{
    match => {
        "message" => "[%{GREEDYDATA:yearmonthday}][%{GREEDYDATA:time}]"
    }
}
mutate{
    add_field => {"timestamp" => "%{yearmonthday} %{time}"}
}
date{
    match => ["timestamp", "MM/dd/yyyy HH:mm:ss"]
    target => "@timestamp"
    remove_field => ["timestamp","yearmonthday","time"]
}

这样到es中就会只剩下@timestamp这一个含有年月日时分秒的字段。