【大数据新手上路】“零基础”系列课程--Flume收集网站日志数据到MaxCompute-阿里云开发者社区

开发者社区> 隐林> 正文

【大数据新手上路】“零基础”系列课程--Flume收集网站日志数据到MaxCompute

简介: 概述:大数据时代,谁掌握了足够的数据,谁就有可能掌握未来,而其中的数据采集就是将来的流动资产积累。 任何规模的企业,每时每刻都在产生大量的数据,但这些数据如何归集、提炼始终是一个困扰。而大数据技术的意义确实不在于掌握规模庞大的数据信息,而在于对这些数据进行智能处理,从中分析和挖掘出有价值的
+关注继续查看

免费开通大数据服务:https://www.aliyun.com/product/odps

概述:大数据时代,谁掌握了足够的数据,谁就有可能掌握未来,而其中的数据采集就是将来的流动资产积累。


任何规模的企业,每时每刻都在产生大量的数据,但这些数据如何归集、提炼始终是一个困扰。而大数据技术的意义确实不在于掌握规模庞大的数据信息,而在于对这些数据进行智能处理,从中分析和挖掘出有价值的信息,但前提是如何获取大量有价值的数据。


相信很多做过网站管理的人对网站访问日志(Access Log)应该不会陌生,现在主流的网站服务器(如apache,tomcat,ngxin等)都支持将日志数据记录到服务器的日志文件中。

网站的访问日志中记录了很多有用的信息,比如正常用户的访问足迹、恶意捣乱的足迹、用户的入站方式、出站页面等信息。对以上信息汇总分类后,可以得到更有价值的东西,比如可以得到搜索引擎的抓取频率和来访时间段、可以得到哪些页面是用户的热搜等。


MaxCompute



下面介绍一个对中小企业客户比较适合的,低成本投入的日志采集存储方案;


对于一个比较活跃的网站来说,访问日志将会是一个海量的数据,考虑到网站日志更新频繁、和海量数据的特点,我选择了Flume + MaxCompute的采集和存储方案。


Flume

Flume是一个分布式、高可靠、高可用的海量日志聚合的系统,支持在系统中定制各类数据发送方,用于收集数据;同时,Flume提供对数据进行简单处理,并写到各种数据接受方(可定制)的能力。


MaxCompute

MaxCompute原名是ODPS,是由阿里云自主研发的一款服务,提供针对TB/PB级数据、实时性要求不高的分布式处理能力,它适用于海量数据的存储、计算,商业智能等领域。


flume能够支持多种Source和Sink插件,而我们今天要介绍的就是如何使用Apache flume的 Datahub sink插件将日志数据实时上传到Datahub上然后归档到MaxCompute表中。这样做不需要投入大量人力去对环境进行部署和维护,可以有效降低企业成本,并保障了数据安全,是一个方便高效的运行方案。

 

实验前您需要:

1)拥有Linux系统;

2)拥有一定的开发经验;

3)拥有阿里云官网实名认证账号,并且创建好账号Access Key;

 

本实验您将完成以下任务:

1)安装JDKFlume

2)开通MaxCompute(https://www.aliyun.com/product/odps)Datahub

3)下载并部署Datahub Sink插件;

4)创建需要上传的本地文件;

5)创建Datahub Topic;

6)配置Flume作业配置文件;

7)启动Flume,将数据上传至Datahub;

8)配置Connector将数据归档至MaxCompute。

 

17分钟视频教程】https://yq.aliyun.com/edu/lesson/play/487


实验手册如何实现Flume收集网站日志数据到MaxCompute.pdf


常见问题Flume采集网站日志到MaxCompute常见问题汇总



欢迎加入阿里云数加钉钉群讨论

35a12d1cfb9f44bb6eead5bf43e9e0ca60393eff

 

版权声明:本文内容由阿里云实名注册用户自发贡献,版权归原作者所有,阿里云开发者社区不拥有其著作权,亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容,填写侵权投诉表单进行举报,一经查实,本社区将立刻删除涉嫌侵权内容。

附件下载:https://developer.aliyun.com/topic/download?id=348

相关文章
51.com开放平台日志
【51开放平台日志 2008年12月05日】第三方小应用可以直接使用Flash访问51用户照片文件 出自51.com developers wiki 跳转到: 导航, 搜索 因为Flash的跨域读取文件限制策略,导致之前第三方小应用无法实现Flash跨域读取51用户照片。
481 0
Flume抽取日志
监控节点dt02上的日志文件,并将日志传输到节点dt03 agent结构图 在dt02上配置agent exec-menory-avro.conf ##将dt02的数据发送给dt03 exec-menory-avro.
1042 0
日志采集框架Flume、Flume介绍、概述、运行机制、Flume采集系统结构图(1、简单结构、复杂结构)
1. 日志采集框架Flume 1.1 Flume介绍 1.1.1 概述 1.Flume是一个分布式、可靠、和高可用的海量日志采集、聚合和传输的系统。 2.Flume可以采集文件,socket数据包等各种形式源数据,又可以将采集到的数据输出到HDFS、hbase、hive、kafka等众多外部存储系统中 3.一般的采集需求,通过对flume的简单配置即可实现
2601 0
利用MaxCompute内建函数及UDTF转换json格式日志数据
本文介绍了如何使用MaxCompute UDF对JSON格式的日志进行信息提取和转换。
8185 0
PHP中利用文件锁实现日志写入和网站接口访问等常见场景下的并发控制
针对并发环境下网站、日志文件写入产生的脏数据、更新丢失等情况的解决思路之一
2630 0
网站制作建设的基础知识
现在网站制作普遍对于每个企业来都是势在必行的,做网站制作的企业也越来越多,引起不少对网站制作知识学习的追求者。在做网站制作中,也许对网站制作知识有个大体的了解,下面卓炎给大家介绍一些网站制作的基础知识,希望大家了解后对网站建设有了更深层次的理解。
1835 0
+关注
隐林
阿里云大数据产品专家,擅长MaxCompute、机器学习、分布式、可视化、人工智能等大数据领域;
288
文章
38
问答
来源圈子
更多
MaxCompute(原ODPS)是一项面向分析的大数据计算服务,它以Serverless架构提供快速、全托管的在线数据仓库服务,消除传统数据平台在资源扩展性和弹性方面的限制,最小化用户运维投入,使您经济并高效的分析处理海量数据。
+ 订阅
文章排行榜
最热
最新
相关电子书
更多
《2021云上架构与运维峰会演讲合集》
立即下载
《零基础CSS入门教程》
立即下载
《零基础HTML入门教程》
立即下载