基于ElasticSearch+Logstash+ Kibana 实时日志分析平台

客户需求

Customer demand

根据ISMS8-1关于日志的收集、保存、分析的要求并结合总公司“信息安全与个人信息保护基本规定”,进行基盘系统的日志服务器搭建,实现基盘系统日志的统一收集和管理:

· 按要求完成日志的收集,明确日志收集的范围、类型、保存的方法及期限。

· 收集部署过程中不能对现有业务造成影响。

· 实现日志系统与监控系统联动。

· 具有扩展能力,支持群集部署的方式,具有横向扩展的能力。

· 为未来的数据分析提供有效数据,支持日志多种方式的输出存储。


解决方案
Solution

我们推荐采用ELK Stack构建一个实时日志分析平台。ELK Stack就可以登陆到Kibana页面进行查看日志,查看不同类型的日志只需要点动鼠标切换一下索引即可。

  • Logstash

    日志收集工具,可以从本地磁盘,网络服务(自己监听端口,接受用户日志),消息队列中收集各种各样的日志,然后进行过滤分析,并将日志输出到ElasticSearch中。
  • ElasticSearch

    日志分布式存储/搜索工具,原生支持集群功能,可以将指定时间的日志生成一个索引,加快日志查询和访问。
  • Kibana

    可视化日志Web展示工具,对ElasticSearch中存储的日志进行展示,还可以生成炫丽的仪表盘。
方案效果
Scheme effect

                                                                                               

• 收集-能够采集多种来源的日志数据                      • 传输-能够稳定的把日志数据传输到中央系统                                                • 存储-如何存储日志数据



• 分析-可以支持 UI 分析                   • 警告-能够提供错误报告,监控机制                                              • 高效的满足了很多场合的应用


• 收集-能够采集多种来源的日志数据  

• 传输-能够稳定的把日志数据传输到中央系统

• 存储-如何存储日志数据

• 分析-可以支持 UI 分析

• 警告-能够提供错误报告,监控机制

• 高效的满足了很多场合的应用


Copyright © 2021 上海合联电子科技有限公司 All Rights Reserved 沪ICP备05001494号-3

Copyright © 2021 上海合联电子科技有限公司 All Rights Reserved 沪ICP备05001494号-3