使用阿里云日志服务来分析日志

IT业界 herman 1997浏览 0评论
公告:“业余草”微信公众号提供免费CSDN下载服务(只下Java资源),关注业余草微信公众号,添加作者微信:xttblog,发送下载链接帮助你免费下载!
本博客日IP超过1800,PV 2600 左右,急需赞助商。
极客时间所有课程通过我的二维码购买后返现24元微信红包,请加博主新的微信号:xttblog,之前的微信号好友位已满,备注:返现
所有面试题(java、前端、数据库、springboot等)一网打尽,请关注文末小程序
视频教程免费领

在使用阿里云的日志服务之前,我分析日志的方法是这样婶儿的,如下图。

日志分析

通过rsyslog把服务器上的日志汇总到另外一台机器上,然后使用脚本来处理文本,获取所需的数据。 
这种方式在日志分析上效率挺低的,还要耗费经历去维护rsyslog服务。

自从使用了阿里云的日志服务后就省心多了。借助阿里云的日志服务构造出来的一整套日志分析系统是这样婶儿的,如下图。

大型网站日志架构

这里主要用到阿里云的三个服务,下面来挨个介绍一下我是怎么使用的。

日志服务(Log Service,简称Log)

这个是整个架构的核心点,我目前主要用它来实现的是日志采集、日志投递以及日志查询分析。 
1. 日志采集 
目前是在每台机器上安装logtail Agent,来采集日志。在ECS上直接三条命令就安装了,不需要做任何的配置就可以使用了,非常省力。 
2. 日志投递 
如上图所示,可以把采集强调文字后的日志投递到OSS和ODPS中,这个稍后再说。 
3. 日志查询分析 
这里是借助于日志服务中的日志索引功能,通过控制台来查询日志,我一般是用这个来跟踪一些用户的访问行为,这里查询速度是非常快的,基本上都是一秒钟内出结果。

阿里云日志分析

当然还可以根据日志服务的API来实现更多的查询,我这里就先不介绍了。

OSS

ODPS中文名称叫做大数据计算服务,不过刚刚看了一下它的控制台,这个产品要下线了,取而代之的是一个叫数加的产品,其实就是再ODPS中套了一层壳,然后加了额外的一些功能。 
数加这个产品暂时我还没完全研究明白,还是接着说一下我最早使用ODPS分析日志的事情吧。 
把日志投递到ODPS中,是为了实现把数据更加统一的进行分析,出报表,据说使用Quick BI做报表是非常容易的,不过说来惭愧我一直都是拿ODPS单纯的当个数据库来使用的,还没有用到Quick BI(不过我当时用ODPS的时候好像Quick Bi还没有完善吧,哈哈) 
这里就举一个简单的例子吧: 
通过ODPS的API,来统计周期时间内耗时最长的URL,然后生成报表通过邮件通知(自己生成的表格确实很丑) 
比如我这里刚刚统计到一些处理时间将近10秒的URL,通过排查发现都是因为调用了第三方的API,第三方的API接口耗时过长导致,猪一样的队友啊。

OSS 接口

OK,以上就是我借助阿里云的日志服务、OSS、ODPS(数加)来处理分析日志的一些事儿。

业余草公众号

最后,欢迎关注我的个人微信公众号:业余草(yyucao)!可加QQ1群:135430763(2000人群已满),QQ2群:454796847(已满),QQ3群:187424846(已满)。QQ群进群密码:xttblog,想加微信群的朋友,之前的微信号好友已满,请加博主新的微信号:xttblog,备注:“xttblog”,添加博主微信拉你进群。备注错误不会同意好友申请。再次感谢您的关注!后续有精彩内容会第一时间发给您!原创文章投稿请发送至532009913@qq.com邮箱。商务合作可添加助理微信进行沟通!

本文原文出处:业余草: » 使用阿里云日志服务来分析日志