中小型研发团队架构实践之集中式日志ELK

存储架构 2017-11-08

作者|张辉清、杨丽

编辑|雨多田光

文末有 demo 下载

一、集中式日志

日志可分为系统日志、应用日志以及业务日志,系统日志给运维人员使用,应用日志给研发人员使用,业务日志给业务操作人员使用。我们这里主要讲解 应用日志 ,通过应用日志来了解应用的信息和状态,以及分析应用错误发生的原因等。

随着系统的日益复杂,大数据时代的来临,需要几十甚至上百台的服务器是常有的事,因此迫切需要有一套针对日志、且能够集中式管理的产品。ELK 就实现了集中式日志管理平台,该平台统一涵盖了分布式日志收集、检索、统计、分析以及对日志信息的 Web 管理等集中化管控。

1.1、ELK 简介

ELK 是 Elasticsearch、Logstash、Kibana 的简称,这三套开源工具组合起来能搭建一套强大的集中式日志管理平台。

Elasticsearch 是个开源的分布式搜索引擎,提供搜索、分析、存储数据三大功能。它的特点有:分布式、自动发现、索引自动分片、索引副本机制、RESTful 风格接口、多数据源以及自动搜索负载等。

Logstash 是一个开源的用来收集、解析、过滤日志的工具。支持几乎任何类型的日志,包括系统日志、业务日志和安全日志。它可以从许多来源接收日志,这些来源主要包括 Syslog、消息传递(例如 RabbitMQ)和 Filebeat;能够以多种方式输出数据,这些方式主要包括电子邮件、WebSockets 和 Elasticsearch。

Kibana 是一个基于 Web 的友好图形界面,用于搜索、分析和可视化存储在 Elasticsearch 中的数据。它利用 Elasticsearch 的 RESTful 接口来检索数据,不仅允许用户定制仪表板视图,还允许他们以特殊的方式查询、汇总和过滤数据。

1.2、ELK 的架构

下图是集中式日志管理 ELK 的架构图。出于性能的考虑,选择采用了 Beats+EK 的形式来组合搭建集中式日志管理系统。

ELK 架构

二、配置方法

2.1、Elasticsearch

Elasticsearch 部署完成后,需要更改 elasticsearch.yml 配置文件中的主要属性:cluster.name、node.name、network.host、discovery.zen.ping.unicast.hosts。其中,当部署 Elasticsearch 时是以集群模式部署的,那么 discovery.zen.ping.unicast.hosts 这个属性才会需要被配置。

2.2、Logstash

通过配置 filebeat-pipeline.conf 文件中的 Input、Filter(可选)和 Output 来完成对数据的采集、过滤和输出,如下图所示:

Logstash 配置

然后以 filebeat-pipline.conf 文件启用 Logstash 服务,如下图所示:

启用 Logstash 服务

备注:由于采用的是 Beats+EK 这个方案来实现集中式日志管理,所以不需要配 Logstash。

2.3、Kibana

通过更改 kibana.yml 配置文件内容,用来连接正确的 Elasticsearch 服务地址,通常只需要配置 elasticsearch.url 属性即可,请见下图的第一个图。配置完成后,执行【bin/kibana &】命令启用 Kibana 服务,请见下图的第二个图。最后就可以在浏览器中打开 Kibana 管理页面(访问地址:http://139.198.13.12:4800/)来查看日志。

Kibana 的配置说明

启用 Kibana 服务

2.4、Filebeat

filebeat.yml 配置文件内容主要包含 Filebeat、Output、Shipper(可选)、Logging(可选)四大部分,其中 Filebeat 主要定义监控的日志文件信息,Output 主要配置日志数据的输出目标。

filebeat.yml 文件中,主要属性值的命名规范如下:

1、fields.AppID 的命名规范是{AppID}。

2、fields.AppName 的命名规范是{产品线英文名称}.{项目英文名称}(如果项目英文名称由 2 个或 2 个以上英文单词组成,则单词之间请用. 分隔)。

3、针对 index 属性需要注意的是:索引 (index) 所定义的值是{产品线英文名称},但英文字母必须全部小写,且不能以下划线开头,也不能包含逗号。

filebeat.yml 的配置示例如下图所示:

filebeat.yml 的配置示例

日志文件存放在哪台服务器中,filebeat 服务就部署在哪台服务器中。在 windows 操作系统上启用 filebeat 服务的步骤:

1、在 windows 下开启搜索,输入 powershell,打开 powershell 所在文件位置,右键 powershell.exe 以管理员身份运行,进入 PowerShell 窗口。

或者以管理员身份启动 cmd.exe,输入命令 powershell,进入 PowerShell 窗口 。

注意:

请务必确保以管理员身份打开 PowerShell 窗口,否则的话在以下第 2 步中运行.ps1 脚本时,就会报没有权限创建 filebeat 服务的错误:

2、导向到 filebeat 执行程序所在目录,例如:cd 'E:ELKfilebeat-1.3.0-windows',然后执行命令:powershell.exe -ExecutionPolicy UnRestricted -File .install-service-filebeat.ps1。

3、之后可以在 PowerShell 窗口中通过以下几个命令来查看、启用以及停止 filebeat 服务:

  • 查看 filebeat 服务状态:Get-Service filebeat

  • 启动 filebeat 服务:Start-Service filebeat

  • 停止 filebeat 服务:Stop-Service filebeat

三、使用方法

3.1、Log4Net 本地日志

1、日志存放路径规范:{盘符}:Log4Net{AppID},其中 AppID 即为我们所做项目的六位编码。例如:D:Log4Net110107。

2、log4net.config 配置内容:



  
 
  
 
   
  
    
  
    

注意了:

  • maximumFileSize 设置为 100MB;请给 countDirection 设置为大于 -1 的整数;maxSizeRollBackups 设置为 100。

  • 日志文件内容规范:日志文件中的每条日志内容要求是“记录时间 线程 日志级别 出错类 日志消息”。

3.2、日志查询

基于 Kibana 查询日志(访问地址:http://139.198.13.12:4800/),主要通过以下几个步骤实现:

1、选择业务索引库。

2、选择日期范围。

3、输入待查找的内容实现精确查询,也可以通过输入 * 实现模糊查询。

4、点击每条日志的展开图标,可以查看该条日志的详细信息。

5、在 Kibana 界面的左侧区域,自上而下依次是索引库选择框、选中字段集合列表(Selected Fields)、可用字段集合列表(Available Fields)。通过添加可用字段到选中字段集合列表中来改变 Kibana 右侧的日志表格呈现。

请参考如下图所示:

Kibana 查询日志界面

四、Demo 下载及更多资料

  • Log4NetDemo 下载地址:

    https://github.com/das2017/Log4NetDemo

  • ELK 官网:

    https://www.elastic.co/

  • 正则表达式配置说明:

    https://www.elastic.co/guide/en/beats/filebeat/current/regexp-support.html

本系列文章涉及内容清单如下,其中有感兴趣的,欢迎关注

作者介绍

张辉清 ,10 多年的 IT 老兵,先后担任携程架构师、古大集团首席架构、中青易游 CTO 等职务,主导过两家公司的技术架构升级改造工作。现关注架构与工程效率,技术与业务的匹配与融合,技术价值与创新。

杨丽 ,拥有多年互联网应用系统研发经验,曾就职于古大集团,现任职中青易游的系统架构师,主要负责公司研发中心业务系统的架构设计以及新技术积累和培训。现阶段主要关注开源软件、软件架构、微服务以及大数据。

[广告]赞助链接:
舆情监测,互联网舆情首选查舆情:http://www.chayuqing.com/
四季很好,只要有你,文娱排行榜:http://www.yaopaiming.com/

  • 网络尖刀

    公众号:mcbang_com

    数据、技术、运营

  • 知安

    公众号:knowsafe

    黑客、技术、安全

  • 查舆情

    公众号:chayuqing_com

    舆情、文娱、品牌

您可能感兴趣的

Spring Cloud构建微服务架构:分布式服务跟踪(整合logstash)... 通过之前的入门示例,我们已经为trace-1和trace-2引入了Spring Cloud Sleuth的基础模块spring-cloud-starter-sleuth,实现了为各微服务的日志信息中添加跟踪信息的功能。但是,由于日志文件都离散的存储在各个服务实例的文件系统之上,仅仅通过查看日志文件来...
Logstash Lines: Improved resilience in S3 input Welcome to Logstash Lines ! With these weekly series, we're keeping you up to date with what's new in Logstash, including the latest commits and r...
ELK大数据与威胁日志的数据迁徙方法 0×01 概要 接上次ClickHouse威胁日志分析那篇接着写,这次是我们要把已经存储于ES集群中的相关日志和威胁情报转存ClickHouse上,整体分三部分来说,一部分记逻辑和物理上Graylog是如何处理日志数据。第二部分是写ClickHouse在物理部署和逻辑流程上是如何处...
Little Logstash Lessons: Handling Duplicates This post describes approaches for de-duplicating data in Elasticsearch using Logstash. Depending on your use case, duplicated content in Elasticse...
【云上ELK系列】阿里云Elasticsearch与logstash(2)... 【副标题】用logstash做elasticsearch间的数据迁移 Elasticsearch中cluster与cluster之间数据搬迁是Elasticsearch的使用者经常遇到的问题,有时是为了集群迁移、有时是为了数据备份、有时是为了升级等等,迁移的方式也有很多种,比如说通过elast...