开发者社区> 问答> 正文

CNZZ每天百亿条日志写入,SLS+ODPS轻松拆招

日志大海里的那根针,一眨眼就看见
——CNZZ每天百亿条日志写入,SLS+ODPS轻松拆招


如果你是一个站长,想要提交一个查询,从一亿多条日志中找出从湖南省发出、使用ISP电信、通过百度搜索跳转到达的访问日志。该怎么做?


别急,在接收到您的查询条件后,CNZZ可以快速通过SLS(简单日志服务) API获得结果,并将结果展示到官方网站。一眨眼,你想要的就看到了!


CNZZwww.cnzz.com)  是全球领先的中文互联网数据统计分析服务商,为中文网站及中小企业提供专业、权威、独立的数据统计与分析服务。目前累计超过500万家网站采用了CNZZ提供的流量统计服务,一周覆盖90%以上的上网用户。除了向用户提供网站统计报告外,旗下有两个产品给站长提供7天访问明细日志的查询功能。基于阿里云SLS+ODPS(开放数据处理服务)的明细日志查询让每个用户能够自由查询自己站点的所有访问信息,用以运营、来源和访问统计等分析。

7天访问明细日志覆盖互联网数百万以上的站点,在这些站点中:最大的站点一天有亿级条数据。所有站点每天约接近百亿条日志写入,总数据量TB级/天。而用户根据时间段、关键词、地理位置、来源等多个维度,可以快速查询符合站长条件的特定访问,例如根据一个用户名查询IP、省市或访问地址。日志从产生后的1分钟以内要可以被查询到,一次查询延时小于500ms,用户查询一个关键词,能够返回当天所有符合的访问日志。


此项查询功能原本基于MongoDB,随着业务量的增加,存储方式在运维和容量上已捉襟见肘,所以在2013年初决定把该功能迁移到阿里云SLS上。SLS使日志数据收集的工作变得简单可靠,集中化日志管理、快速查询、低延时使日志管理能力大大增强。SLS不仅解决了CNZZ的运维和容量问题,各种比较、组合的查询条件也满足终端用户对于日志数据的要求。


除提供7天的明细查询外,用户往往还需要把日志归档到离线计算平台,进行后续的离线计算。由于SLS本身提供了ODPS的数据通道,CNZZ不需要做任何的配置和操作,就能够每隔一定时间自动把日志数据同步到ODPS进行后续离线计算。在线日志查询与离线日志分析的方案一体化融合,不再需要重复的数据同步工作,让业务发展再无后顾之忧!


      现在,你还怕在用户海洋里找不到你想要的那个TA吗?^_^


      原文地址:http://www.aliyun.com/customer/detail/cnzz/
      微博互动地址:http://weibo.com/1644971875/BmuBI2E5I?mod=weibotime (需复制到浏览器中打开)

展开
收起
qiujin2012 2014-09-11 13:43:43 15981 0
5 条回答
写回答
取消 提交回答
  • 大多数1
    ReCNZZ每天百亿条日志写入,SLSODPS轻松拆招
    分组统计是怎么做的?  sls没看到有group by的功能啊
    2015-09-30 15:52:42
    赞同 展开评论 打赏
  • 前期方案策划人员的功劳大大滴!!!
    2014-09-15 15:20:57
    赞同 展开评论 打赏
  • 您的无私奉献精神值得我们学习!向您致敬!
    2014-09-13 10:54:35
    赞同 展开评论 打赏
  • 这是简介
    功能很强大
    2014-09-12 18:39:56
    赞同 展开评论 打赏
  • CNZZ,虽然我们不同,但 我们都在用
    2014-09-11 15:24:50
    赞同 展开评论 打赏
问答排行榜
最热
最新

相关电子书

更多
DataWorks数据集成实时同步最佳实践(含内测邀请)-2020飞天大数据平台实战应用第一季 立即下载
DataWorks调度任务迁移最佳实践-2020飞天大数据平台实战应用第一季 立即下载
DataWorks商业化资源组省钱秘籍-2020飞天大数据平台实战应用第一季 立即下载