logstash
一个数据采集、加工处理以及传输的工具
特点：
- 所有类型的数据集中处理
- 不同模式和格式数据的正常化
- 自定义日志格式的迅速扩展
- 为自定义数据源轻松添加插件
logstash工作结构
- input 负责收集数据
- filter 负责数据处理
- output 负责输出数据
安装Logstash
最低配置： 2cpu，2G内存，10G硬盘
虚拟机IP： 192.168.1.47 logstash
1.配置主机名，ip和yum源，配置/etc/hosts
[root@logstash ~]# vim /etc/hosts
192.168.1.41 es-0001
192.168.1.42 es-0002
192.168.1.43 es-0003
192.168.1.44 es-0004
192.168.1.45 es-0005
192.168.1.46 kibana
192.168.1.47 logstash
2.安装java-1.8.0-openjdk和logstash
[root@logstash ~]# yum -y install java-1.8.0-openjdk logstash
[root@logstash ~]# java -version
openjdk version "1.8.0_161"
OpenJDK Runtime Environment (build 1.8.0_161-b14)
OpenJDK 64-Bit Server VM (build 25.161-b14, mixed mode)
[root@logstash ~]# ln -s /etc/logstash /usr/share/logstash/config
# 基础配置样例
[root@logstash ~]# vim /etc/logstash/conf.d/my.conf
input {
stdin {
} # 手工录入 标准输入
}
filter{
}
output{
stdout{
} # 标准输出
}
[root@logstash ~]# /usr/share/logstash/bin/logstash
编写logstash配置文件
标准输入采用 json 编码格式
标准输出采用 rubydebug 编码格式
启动 logstash 验证
步骤一：codec类插件
1）codec类插件
[root@logstash ~]# vim /etc/logstash/conf.d/my.conf
input {
stdin {
codec => "json" }
}
filter{
}
output{
stdout{
codec => "rubydebug" }
}
[root@logstash ~]# /usr/share/logstash/bin/logstash
Settings: Default pipeline workers: 2
Pipeline main started
a
{
"message" => "a",
"tags" => [<