爬虫日志监控 — Elastc Stack(ELK)部署

微信扫一扫,分享到朋友圈

爬虫日志监控 — Elastc Stack(ELK)部署

傻瓜式部署,只需替换IP与用户

导读:

现ELK四大组件分别为: Elasticsearch
(核心)、 logstash
(处理)、 filebeat
(采集)、 kibana
(可视化)

elastic官网
下载组件tar包,各组件版本最好一致,配合fdm会快一点点

注意:如若后续用到sentinl(开源监控警报插件,可webhook接钉钉等),ELK的组件版本应选择与sentinl版本一致,

sentinl版本比ELK组件更新慢

我的杯具:Plugin sentinl [7.6.1] is incompatible with Kibana [7.9.0]

环境

  • linux mint19
  • 自带open jdk 11 ( 不能低于1.8 )

配置

主目录创建itcast,然后分配权限,本机使用user0

chown -R user0:user0 /itcast

本机配置:解压包 tar -xzvf /itcast/*.tar.gz /itcast/
、修改以下配置文件

(注意:1、解压目录换成自己的版本,下略;2、缩进距离以默认文件为主)

elasticsearch相关:

/itcast/(elasticsearch解压目录)/config/elasticsearch.yml

# 集群名称,默认是elasticsearch
cluster.name: my-application
# 节点名称
node.name:node-1
# 配置IP端口
network.host:0.0.0.0
http.port: 9200
# 可以指定es的数据存储目录,默认存储在es_home/data目录下
# path.data: /path/to/data
# 可以指定es的日志存储目录,默认存储在es_home/logs目录下
# path.logs: /path/to/logs
# 子集群节点,用的上述节点设置的名称
discovery.seed_hosts:[node-1]
# !!通过配置这个参数来防止集群脑裂现象 (集群总节点数量/2)+1
discovery.zen.minimum_master_nodes= ( master候选节点数量/2+1 )
# 处理跨域的相关参数
http.cors.enabled: true
http.cors.allow-origin: "*"
http.cors.allow-methods: OPTIONS, HEAD, GET, POST, PUT, DELETE
http.cors.allow-headers: "X-Reqested-With, Content-Type, Content-Length, X-User"

kibana相关:

/itcast/(kibana解压目录)/config/kibana.yml

server.port: 5601
server.host: "0.0.0.0"
elasticsearch.hosts: ["http://192.168.199.224:9200"]
kibana.index: ".kibana"
# 自定义安全参数
xpack.encryptedSavedObjects.encryptionKey:encryptedSavedObjects12345678909876543210123
xpack.security.encryptionKey: encryptionKeysecurity12345678909876543210123
xpack.reporting.encryptionKey: encryptionKeyreporting12345678909876543210123
elasticsearch.requestTimeout: 90000
i18n.locale: "zh-CN"

logstash相关:

/itcast/(logstash解压目录)/config/logstash-sample.conf

input {
beats {
port => 5044
}
}
filter {
 # 重要功能,对日志处理均在此步,按需自行搜索
mutate {
split => {"message" => "|"}
}
mutate {
add_field => {
"Date" => "%{[message][0]}"
# 坑点!!!新版本中%{}里字段如message需要加上中括号[]作为识别
"Level" => "%{[message][1]}"
"result" => "%{[message][2]}"
}
}
mutate {
convert => {
"Date" => "string"
"Leverl" => "string"
"result" => "string"
}
}
}
output {
elasticsearch {
hosts => ["http://192.168.199.224:9200"]
index => "logstash-%{+YYYY.MM.dd}"
}
}

filebeat相关:( 实际中 filebeat 部署在业务运行的主机上 )

/itcast/(filebeat解压目录)/filebeat.yml

filebeat.inputs:
- type: log
enabled: true
paths:
#目标文件,自行匹配
- /var/log/*.log
#- /itcast/elasticsearch/logs/*
tags: ["spider"]
#不需要logstash处理可直接传ela本身
#output.elasticsearch:
#  hosts: ["192.168.199.224:9200"]
out.logstash:
hosts: ["192.168.199.224:5044"]
filebeat.config.modules:
path: ${path.config}/modules.d/*.yml
reload.enabled: false
setup.template.settings:
index.number_of_shards: 1
setup.kibana:
host: "192.168.199.224:5601"

其他

logstash插件sentinl安装(按需)

(kibana目录)/bin/kibana-plugin install file:~/sentinl-v7.6.1.zip  # zip包自行github下载

运行

用 ufw 开启有关端口:es、kibana、logstash ( 执行业务的 filebeat连到logstash端口 )

sudo ufw allow 9200
sudo ufw allow 5601
sudo ufw allow 5044
sudo ufw enable

/etc/security/limits.conf 尾部加上字段

*                soft   nproc          65536
*                hard   nproc          65536
*                soft   nofile         65536
*                hard   nofile         65536

切换到用户,执行命令如下,

su - user0
ulimit -n
# 返回65536即设置成功,保持user0状态开启elasticsearch服务
/itcast/(elasticsearch解压目录)/bin/elasticsearch

运行另外的组件( 实际 filebeat 在业务运行的主机上运行)

/itcast/(kibana解压目录)/bin/kibana
/itcast/(logstash解压目录)/bin/logstash -f ./config/logstash-sample.conf
/itcast/(filebeat解压目录)/filebeat -e -c filebeat.yml

测试

新建控制台,cd至 filebeat 监控日志目录,此处为 /var/log

  1. 执行以下命令数次
echo "2020-09-01 | DEBUG  | create a logmsg demo" >> demo.log
  1. 打开kibana(此处为192.168.199.224:5601)
  2. 菜单打开Stack Management( 管理中心 )
  3. kibana索引模式创建索引( logstash 的配置输出中 index => “logstash-%{+YYYY.MM.dd}” ),此处输入 logstash-* 即可
  4. 菜单打开 discover,创建新条目,选择上一步的索引,调整时间段即可返回相关数据
  5. 菜单打开日志,选择索引 logstash-* 亦可返回流式数据

kibana简易食用方法:

  1. 创建索引 (视为数据源,操作的根本)
  2. 创建表格( discover )
  3. 创建可视化(Visualize 饼图,柱形图等……)
  4. 创建仪表盘(dashboard 把可视化组合起来)

持续更新,权当记录

  • logstash插件multiline,用于报错而产生的多行时能匹配成一条日志数据( 默认多少行=多少条数据)
./bin/logstash-plugin install logstash-filter-multiline    # logstash安装插件

logstash-simple.conf中的filter里加入

multiline {
pattern => "^\d{4}-\d{1,2}-\d{1,2}\s\d{1,2}:\d{1,2}:\d{1,2}"
negate => true
what => "previous"
}
# multiline {
#      charset=>...          #可选                    字符编码
#      max_bytes=>...        #可选     bytes类型       设置最大的字节数
#      max_lines=>...        #可选     number类型      设置最大的行数,默认是500行
#      multiline_tag...      #可选     string类型      设置一个事件标签,默认是multiline
#      pattern=>...          #必选     string类型      设置匹配的正则表达式
#      patterns_dir=>...     #可选     array类型       可以设置多个正则表达式
#      negate=>...           #可选     boolean类型     默认false不显示,可设置ture
#      what=>...             #必选                    向前previous , 向后 next
#
#  }

微信扫一扫,分享到朋友圈

爬虫日志监控 — Elastc Stack(ELK)部署

首秀2700万的李诞,创新高的杨坤,都不如卖金条的罗永浩

上一篇

这一行代码,能让你的 Python运行速度提高100倍

下一篇

你也可能喜欢

爬虫日志监控 — Elastc Stack(ELK)部署

长按储存图像,分享给朋友