节点文献

一种基于Thrift的日志收集分析系统

A Log Collection and Analysis System Based on Thrift

  • 推荐 CAJ下载
  • PDF下载
  • 不支持迅雷等下载工具,请取消加速工具后下载。

【作者】 周康李觊董科军南凯

【Author】 Zhou Kang;Li Ji;Dong Kejun;Nan Kai;Computer Network Information Center, Chinese Academy of Sciences;University of Chinese Academy of Sciences;

【机构】 中国科学院计算机网络信息中心中国科学院大学

【摘要】 传统的方式是将日志记录到本地日志文件中,然后使用日志分析程序进行分析。而Paa S平台运行着由不同编程语言和开发框架编写的应用,其记录日志的方式不尽相同,使日志分析程序的通用性不佳;一个应用又会有多个实例在运行,导致同一个应用的日志分散在多个地方,不便于管理。本文设计了一种简单灵活的日志格式,使用Thrift作为远程调用框架,支持多种编程语言调用服务,将日志数据统一在Mongo DB中进行存取和查询。开发者还可以指定字段进行统计,直接生成图表。系统部署则采用Docker容器的方式,可以方便地进行水平扩展。实际运行表明,运用相关技术构建的日志收集分析系统易于使用,功能丰富,能够灵活扩展,很好地满足了Paa S平台的需求。

【Abstract】 Logging the records to local files and analyzing them with analysis programs are the traditional way. However, on Paa S, the diversity of log records the applications developed with varies programming languages makes the log analysis programs losing the generality. At the same time, the instances of each application generate log files in different machines, which increases the complexity of management. The log collection and analysis system supports for multiple languages to invocate the log service over Thrift remote procedure call with a flexible log format. Log data are stored in Mongo DB. Developers can generate charts and graphs directly with the specified fields. The system can easily scaled out deploying with Docker containers. The experiment indicates that with these techniques, the log collection and analysis system is easy to use, feature-rich, flexible to expand, satisfying the needs of Paa S well.

【基金】 中国科学院十二五信息化项目“科研信息化应用推进工程”(XXH12503)
  • 【文献出处】 科研信息化技术与应用 ,e-Science Technology & Application , 编辑部邮箱 ,2015年02期
  • 【分类号】TP311.52
  • 【被引频次】13
  • 【下载频次】185
节点文献中: 

本文链接的文献网络图示:

本文的引文网络