有的朋友会问,好好的Windows日志为什么要把它转成Syslog呢?呵呵,当Windows服务器比较少的时候,我们是不需要这样做的。但试想如果你管理着成千上百台的Windows机器,你会一台一台的登录上去用Event Viewer查看吗?为什么不建立一台中心Syslog服务器来接受所有的Windows,Linux,网络设备等等发送来的日志呢?这样你可以轻松地在一台日志服务器上管理所有的日志。比如Splunk就是一个很好的免费日志服务器,它不仅可以接受多种方式发送来的日志(包括syslog),而且还提供功能很强大的搜索(被称为Google for IT),图形化等功能。
本文针对当前运维市场开源系统的,大致如下:
Facebook 日志系统 Scribe、Apache 日志系统 Chukwa
Linkedin 日志系统 Kafka、Cloudera 日志系统 Flume
概述
许多软件平台每天都会产生大量的日志(一般为流数据,如搜索引擎 page view,淘宝等),处理这些日志需要特定的日志系统,一般地,这些日志系统需要具有如下特征:
构建应用系统和分析系统的桥梁,并将它们之间的关系解耦。
支持接近实时在线分析系统,以及类似 Hadoop 之类的离线分析系统。
具有高可扩展性,即当数据量增加时,可以通过增加节点进行横向扩展。
本文从设计架构、负载均衡、可扩展性和容错性等方面对比目前开源的日志系统,包括 Facebook 日志系统 Scribe ,Apache 日志系统 Chukwa,Linkedin 日志系统 Kafka 和 Cloudera 日志系统 Flume 等。
日志管理服务分类:
1.rsyslogd 普通日志管理服务
采集各种服务产生的信息根据日志服务配置文件内容将信息进行分类保存。
2.klogd 内核信息日志文件服务
专门记录内核信息
3.logrotate 日志文件轮替服务
解决日志文件内容过多消耗内存的日志文件替换服务