阿里云ACE共创空间——大数据方案体验1 日志服务

简介: 阿里云ACE共创空间——大数据方案体验1 日志服务从阿里云官方文档介绍中,可以看到Log service日志服务主要包含三部分的内容:1、 实时采集与消费LogHub2、 查询分析Search/Analytics3、 数据投递与仓库LogShipper进入管理控制台后,需要先开通服务,从创建Porject这个对话框来看和MAXCOMPUTE和DATA IDE的界面和操作方式类似,备注里说明记录该项目下所有资源的操作、访问和计量等日志并保存到Logstore中,类似于DATA IDE中的项目和MAXCOMPUTE中的项目关联方式。

阿里云ACE共创空间——大数据方案体验1 日志服务
screenshot
screenshot
screenshot
从阿里云官方文档介绍中,可以看到Log service日志服务主要包含三部分的内容:
1、 实时采集与消费LogHub
2、 查询分析Search/Analytics
3、 数据投递与仓库LogShipper
screenshot
进入管理控制台后,需要先开通服务,从创建Porject这个对话框来看和MAXCOMPUTE和DATA IDE的界面和操作方式类似,备注里说明记录该项目下所有资源的操作、访问和计量等日志并保存到Logstore中,类似于DATA IDE中的项目和MAXCOMPUTE中的项目关联方式。
screenshot
Project名称这里输入测试项目的编号,在所属的区域选择华东2,下方的红色提醒提示,因为开通运行日志后,日志服务信息需要写入到指定项目的日志库,涉及到写的操作,所以需要在RAM中进行授权。为了方便测试,把测试项目的名称取名为test20181126。
screenshot
创建Project后,可以看到收集来的日志信息是储存在Logstore中的,所以需要创建Logstore即日志库的具体信息,在属性设置中可以看到以下几项关键内容:
1、 Web Tracking:其功能是支持快速采集各种浏览器和设备的访问信息,这个作用是有助于快速的收集用户访问过程中的日志信息。
2、 永久保存:生命周期的选择可以是永久保存,也可以关闭永久保存来根据实际需要输入需要保存的时间期限。
3、 Shard数目、自动分裂shard和最大分裂数:shard的定义和其他模块一样,表示的流数据的传输通道,其中自动分裂的功能代表着log service的服务和其他服务一样,有弹性的功能,当数据量超过已有分区能力后,自动分裂功能可以根据数据量来自动增加分区数量,并且用户可以自己选择最大的分裂数。
screenshot
在创建了Logstore日志库后,汇总下目前的情况:
1、 创建了测试项目,项目名称为:test20181126
2、 在项目下创建了日志库,日志库的名称为:test20181126_store
在日志库中可以对于日志的采集和投递做出进一步配置,包括数据接入向导、日志采集模式、日志消费模式等。先对于数据接入向导进行配置:
screenshot
screenshot
screenshot
数据源提供了很多选择,涵盖了云产品日志、自建软件日志和自定义数据的输入,在选择云产品如SLB进行日志收集前同样需要在RAM中进行授权。如果是用户自建软件或者自定义的数据,需要对日志的路径和配置做一定的设置。在日志数据的输入侧,提供了各种输入源的接入方式,能满足用户对于数据输入的各种需要。
screenshot
在设置完成数据接入后,可以在Logtail配置列表中看到所有的配置信息,包括配置的名称、数据来源、配置详情和操作。还可以通过错误信息收集来针对收集过程中的错误做进一步诊断。对于导入的日志信息,可以在界面上进行快速查询、告警配置和仪表盘的设置,方便用户定义监控和报警的需求。
screenshot
在投递方面只支持MAXCOMPUTE和OSS两种输出源,这代表这一部分的内容目前只能输出到离线的处理系统上而不能支持投递到诸如STREAMCOMPUTE和ADS等能支持实时计算的系统。这个是体验后的一个比较大的疑问,因为日志信息中所含的信息量较多,数据本身也会非常大并且时间的敏感性很高,诸如高峰期的日志信息能够越早处理,越能挖掘出其中的价值。其本身日志库作为一个分布式数据库并且能在其中进行查询等操作为何还没能投递到其他输出源的方式,是否是因为日志信息属于半结构化数据所以只能以MAXCOMUPTE和OSS作为输出方需要进一步的研究。

相关实践学习
基于MaxCompute的热门话题分析
Apsara Clouder大数据专项技能认证配套课程:基于MaxCompute的热门话题分析
目录
相关文章
|
数据采集 存储 大数据
大数据之路:阿里巴巴大数据实践——日志采集与数据同步
本资料全面介绍大数据处理技术架构,涵盖数据采集、同步、计算与服务全流程。内容包括Web/App端日志采集方案、数据同步工具DataX与TimeTunnel、离线与实时数仓架构、OneData方法论及元数据管理等核心内容,适用于构建企业级数据平台体系。
1455 1
|
存储 分布式计算 大数据
【赵渝强老师】阿里云大数据存储计算服务:MaxCompute
阿里云MaxCompute是快速、全托管的TB/PB级数据仓库解决方案,提供海量数据存储与计算服务。支持多种计算模型,适用于大规模离线数据分析,具备高安全性、低成本、易用性强等特点,助力企业高效处理大数据。
744 0
|
数据采集 人工智能 大数据
10倍处理效率提升!阿里云大数据AI平台发布智能驾驶数据预处理解决方案
阿里云大数据AI平台推出智能驾驶数据预处理解决方案,助力车企构建高效稳定的数据处理流程。相比自建方案,数据包处理效率提升10倍以上,推理任务提速超1倍,产能翻番,显著提高自动驾驶模型产出效率。该方案已服务80%以上中国车企,支持多模态数据处理与百万级任务调度,全面赋能智驾技术落地。
1784 0
|
数据采集 缓存 大数据
【赵渝强老师】大数据日志采集引擎Flume
Apache Flume 是一个分布式、可靠的数据采集系统,支持从多种数据源收集日志信息,并传输至指定目的地。其核心架构由Source、Channel、Sink三组件构成,通过Event封装数据,保障高效与可靠传输。
636 1
|
人工智能 分布式计算 DataWorks
阿里云大数据AI产品月刊-2025年8月
阿里云大数据& AI 产品技术月刊【2025年 8 月】,涵盖 8 月技术速递、产品和功能发布、市场和客户应用实践等内容,帮助您快速了解阿里云大数据& AI 方面最新动态。
916 2
|
存储 分布式计算 资源调度
【赵渝强老师】阿里云大数据MaxCompute的体系架构
阿里云MaxCompute是快速、全托管的EB级数据仓库解决方案,适用于离线计算场景。它由计算与存储层、逻辑层、接入层和客户端四部分组成,支持多种计算任务的统一调度与管理。
1139 1
|
机器学习/深度学习 传感器 分布式计算
数据才是真救命的:聊聊如何用大数据提升灾难预警的精准度
数据才是真救命的:聊聊如何用大数据提升灾难预警的精准度
779 14
|
机器学习/深度学习 运维 监控
运维不怕事多,就怕没数据——用大数据喂饱你的运维策略
运维不怕事多,就怕没数据——用大数据喂饱你的运维策略
1285 0