Logstash5.4.1解析日志报错处理

下载最新的logstash5.4.1打开把之前的配置文件加入进去,启动logstash提示报错了,未使用geoip插件的配置文件正常启动。按照提示发现是maxmind的数据库解析出错,重新至maxmind(http://geolite.maxmind.com/download/geoip/database/GeoLite2-City.tar.gz)下载解析即可。说明下之前的配置文件为

geoip {

source => [“X_Forward_IP”]

database => “/logstash2.2.2/conf/GeoLiteCity.dat”

更改为

geoip {

source => [“X_Forward_IP”]

database => “/usr/local/logstash-5.4.1/config/GeoLite2-City.mmdb”

Logstash多实例问题:

当启动多个/usr/local/logstash-5.4.1/bin/logstash -f /usr/local/logstash-5.4.1/config/nginx.conf之后就会出现you must change the “path.data” setting.这个时候就必须要

mkdir -p /usr/local/logstash-5.4.1/data/{1,2,3,4}

/usr/local/logstash-5.4.1/bin/logstash -f /usr/local/logstash-5.4.1/config/nginx.conf –path.data=/usr/local/logstash-5.4.1/data/1

/usr/local/logstash-5.4.1/bin/logstash -f /usr/local/logstash-5.4.1/config/nginx.conf –path.data=/usr/local/logstash-5.4.1/data/2

需要在后面加上–path.data参数才能启动多实例

设置副本数及分片数:

elasticsearch在以前的2.x版本,可以在配置文件中指定副本数及分片数。 在elasticsearch的5.x的版本中不能配置文件中配置这2个参数了。需要副本数,可以设置为:

全局设定:

curl -XPUT http://192.168.2.228:9200/_settings -d ‘{ “number_of_replicas” : 0 }’

定义某一个索引:

curl -XPUT http://192.168.2.228:9200/.kibana/_settings -d ‘{ “number_of_replicas” : 0 }’

elasticsearch分片不向其他节点分布:

集群由2台es组成,但是分片只分布在一台节点,查看日志发现报错

[2017-08-03T23:59:24,414][WARN ][o.e.c.r.a.DiskThresholdMonitor] [elk228] high disk watermark [90%] exceeded on [nYN4Cc07QIuhg4nu9s0Eig][elk228][/elk/data/nodes/0] free: 5.2gb[8.1%], shards will be relocated away from this node

这个意思就是节点空间快使用完毕,不向节点复制数据,导致的节点出错,清理集群机器磁盘空间。

如想要关闭磁盘检查功能

12345 curl -XPUT http://localhost:9200/_cluster/settings -d ‘{

“transient” : {

“cluster.routing.allocation.disk.threshold_enabled” : false

}

}’

ps:刚开始我以为是新版本的logstash不兼容老版本的grok,原来只是IP数据库的问题

Logstash 监控日志文件时应对日志文件名改变的原理 http://www.linuxidc.com/Linux/2016-08/133994.htm


本文永久更新链接地址

http://www.linuxidc.com/Linux/2017-08/146197.htm

Linux公社责编内容来自:Linux公社 (源链) | 更多关于

阅读提示:酷辣虫无法对本内容的真实性提供任何保证,请自行验证并承担相关的风险与后果!
本站遵循[CC BY-NC-SA 4.0]。如您有版权、意见投诉等问题,请通过eMail联系我们处理。
酷辣虫 » 综合技术 » Logstash5.4.1解析日志报错处理

喜欢 (0)or分享给?

专业 x 专注 x 聚合 x 分享 CC BY-NC-SA 4.0

使用声明 | 英豪名录