ELK

---

title: ELK.md date: 2019-03-19 17:59:18 tags: categories:

目录 start

1. ELK
   1. ElasticSearch
   2. Logstash

目录 end|2020-08-18 17:49|

---

ELK

5 Good Reasons to Use a Log Server

---

ElasticSearch

ElasticSearch

UI

1. appbaseio/dejavu
2. cars10/elasticvue

---

Logstash

Official Doc
Logstash 最佳实践

常用于 数据的采集 过滤，配置文件使用 Ruby 编写

1. input 数据源 通过 input plugin 可支持 JDBC Kafka 文件流 HTTP 等等
2. filter 数据源做处理 类似于 Java8 中 Stream 表达式 中的map filter等函数，对数据进行处理
3. ouput 输出数据源 对应 output plugin

解析嵌套JSON message内content

filter{
    json {
        source => "message"
        target => "parsed"
        add_field => {"content" => "%{[parsed][content]}"}
        remove_field => ["parsed"]
    }
}

增减字段

filter {
    mutate {
        add_field => { "[@metadata][program]" => "%{program}" }
        remove_field => "[program]"
    }
}

• 使用指定配置文件且自动重载 bin/logstash -f app.conf --config.reload.automatic