阿里云ACE共创空间——大数据方案体验1 日志服务

阿里云ACE共创空间——大数据方案体验1 日志服务



从阿里云官方文档介绍中，可以看到Log service日志服务主要包含三部分的内容：
1、 实时采集与消费LogHub
2、 查询分析Search/Analytics
3、 数据投递与仓库LogShipper

进入管理控制台后，需要先开通服务，从创建Porject这个对话框来看和MAXCOMPUTE和DATA IDE的界面和操作方式类似，备注里说明记录该项目下所有资源的操作、访问和计量等日志并保存到Logstore中，类似于DATA IDE中的项目和MAXCOMPUTE中的项目关联方式。

Project名称这里输入测试项目的编号，在所属的区域选择华东2，下方的红色提醒提示，因为开通运行日志后，日志服务信息需要写入到指定项目的日志库，涉及到写的操作，所以需要在RAM中进行授权。为了方便测试，把测试项目的名称取名为test20181126。

创建Project后，可以看到收集来的日志信息是储存在Logstore中的，所以需要创建Logstore即日志库的具体信息，在属性设置中可以看到以下几项关键内容：
1、 Web Tracking：其功能是支持快速采集各种浏览器和设备的访问信息，这个作用是有助于快速的收集用户访问过程中的日志信息。
2、 永久保存：生命周期的选择可以是永久保存，也可以关闭永久保存来根据实际需要输入需要保存的时间期限。
3、 Shard数目、自动分裂shard和最大分裂数：shard的定义和其他模块一样，表示的流数据的传输通道，其中自动分裂的功能代表着log service的服务和其他服务一样，有弹性的功能，当数据量超过已有分区能力后，自动分裂功能可以根据数据量来自动增加分区数量，并且用户可以自己选择最大的分裂数。

在创建了Logstore日志库后，汇总下目前的情况：
1、 创建了测试项目，项目名称为：test20181126
2、 在项目下创建了日志库，日志库的名称为：test20181126_store
在日志库中可以对于日志的采集和投递做出进一步配置，包括数据接入向导、日志采集模式、日志消费模式等。先对于数据接入向导进行配置：



数据源提供了很多选择，涵盖了云产品日志、自建软件日志和自定义数据的输入，在选择云产品如SLB进行日志收集前同样需要在RAM中进行授权。如果是用户自建软件或者自定义的数据，需要对日志的路径和配置做一定的设置。在日志数据的输入侧，提供了各种输入源的接入方式，能满足用户对于数据输入的各种需要。

在设置完成数据接入后，可以在Logtail配置列表中看到所有的配置信息，包括配置的名称、数据来源、配置详情和操作。还可以通过错误信息收集来针对收集过程中的错误做进一步诊断。对于导入的日志信息，可以在界面上进行快速查询、告警配置和仪表盘的设置，方便用户定义监控和报警的需求。

在投递方面只支持MAXCOMPUTE和OSS两种输出源，这代表这一部分的内容目前只能输出到离线的处理系统上而不能支持投递到诸如STREAMCOMPUTE和ADS等能支持实时计算的系统。这个是体验后的一个比较大的疑问，因为日志信息中所含的信息量较多，数据本身也会非常大并且时间的敏感性很高，诸如高峰期的日志信息能够越早处理，越能挖掘出其中的价值。其本身日志库作为一个分布式数据库并且能在其中进行查询等操作为何还没能投递到其他输出源的方式，是否是因为日志信息属于半结构化数据所以只能以MAXCOMUPTE和OSS作为输出方需要进一步的研究。