开发者社区> 赵卫国> 正文

5分钟了解阿里云日志平台

简介: 日志服务(Log Service,简称 LOG)是针对日志类数据的一站式服务,无需开发就能快捷完成日志数据采集、消费、投递以及查询分析等功能,提升运维、运营效率,建立 DT 时代海量日志处理能力。
+关注继续查看

简介

日志服务(Log Service,简称 LOG)是针对日志类数据的一站式服务,无需开发就能快捷完成日志数据采集、消费、投递以及查询分析等功能,提升运维、运营效率,建立 DT 时代海量日志处理能力。

关键定义

日志(Log)

日志服务采用半结构数据模式定义一条日志。该模式中包含:

主题(Topic)、
时间(Time)、
内容(Content)、
来源(Source)
标签(Tags)

其中Content是K/V对,里面存放的是具体的内容
日志组(LogGroup)

日志组(LogGroup)是一组日志的集合,是API/SDK写入与读取数据的基本单位,使用LogGroup主要目的是最大限度地减少读取与写入次数,提高业务效率。

一个LogGroup中的数据包含相同Meta(IP、Source等信息),这个Meta信息即为主题、来源和标签内容。

项目(Project)

项目(Project)是日志服务中的资源管理单元,用于资源隔离和控制。你可以把它看作是一个文件夹。

日志库(Logstore)

日志库(Logstore)是日志服务中日志数据的采集、存储和查询单元。你可以把它看作文件夹里面的文件。

分区(Shard)

Logstore读写日志必定保存在某一个分区(Shard)上。每个日志库(Logstore)分若干个分区,每个分区由MD5左闭右开区间组成,每个区间范围不会相互覆盖,并且所有的区间的范围是MD5整个取值范围。

分区的目的是为了提高写入效率,数据写入时会根据不同的md5值写入不同的分区。

运转流程

简单来讲,主要包括数据收集、查询分析和其他操作。其他操作有包括可视化,告警、实时消费等。其中最基本的需求是收集和查询。

数据收集

阿里提供了多种数据采集方式,支持客户端、网页、协议、SDK/API等多种日志无损采集方式,所有采集方式均基于Restful API实现。

操作系统级别:

Logtail 

语言:

其中主流的语言都支持
不支持的小众语言可以根据api自己写

数据库:

MySQL Binlog
JDBC Select 

移动端:

iOS/Android SDK
网页  JS/Web Tracking
智能IoT C Producer Library
查询分析

特别注意查询与分析是两部分,格式为

$Search |$Analytics

实例:

status>200 |
    select avg(latency),max(latency) ,count(1) as c 
    GROUP BY  method  
    ORDER BY c DESC  LIMIT 20

建立索引:

索引分为两种:全文索引和指定字段查询。一般情况下建议开启全文索引,结构化的数据建议指定字段查询。查询时默认先按字段查询,查询不到会再按全文索引查询。如图所示content是json结构的字段,这儿注意headers.remoteip是2级的,即解析这种结构{content: {remote:{ip:'127.0.0.1'}}}

索引实例

索引建立完成后,可以在快速分析看到:

快速分析

其他操作

可视化分析:

1.统计图表,可以接合分析查看一些简单的图表
2.对接Jaeger,实现跟踪相关功能
3.对接阿里DataV,实现实时大屏
4.对接grafana,实现可视化查看

告警:

根据需要,把日志分析和统计图表结合,设定警戒线,超过时,发出告警信息。

实时消费:

可实现类似kafka的功能,作为日志的消息队列

数据投递:

实现把数据投递到其他阿里产品,实现相关功能

版权声明:本文内容由阿里云实名注册用户自发贡献,版权归原作者所有,阿里云开发者社区不拥有其著作权,亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容,填写侵权投诉表单进行举报,一经查实,本社区将立刻删除涉嫌侵权内容。

相关文章
阿里云Cloud Shell中使用日志服务CLI最佳实践
目前阿里云云命令行Cloud Shell已经部署日志服务CLI,免部署配置,一键管理日志服务资源与下载日志服务数据更轻松!
11545 0
Kubernetes 集群日志管理 - 每天5分钟玩转 Docker 容器技术(180)
Kubernetes 开发了一个 Elasticsearch 附加组件来实现集群的日志管理。
3064 0
阿里云 PB 级 Kubernetes 日志平台建设实践
阿里云日志服务技术专家元乙即将在 QCon 北京 2019 分享Kubernetes 日志平台建设最佳实践。 本来来自InfoQ对元乙的采访。
3454 0
如何强制删除阿里云日志服务Project
很多其它服务关联创建的日志服务Project,直接在日志服务控制台删除,即使是通过主账户删除,也会提示没有权限。下面提供一种通过CloudShell 强制删除日志服务Project的方法。
1115 0
阿里云服务器端口号设置
阿里云服务器初级使用者可能面临的问题之一. 使用tomcat或者其他服务器软件设置端口号后,比如 一些不是默认的, mysql的 3306, mssql的1433,有时候打不开网页, 原因是没有在ecs安全组去设置这个端口号. 解决: 点击ecs下网络和安全下的安全组 在弹出的安全组中,如果没有就新建安全组,然后点击配置规则 最后如上图点击添加...或快速创建.   have fun!  将编程看作是一门艺术,而不单单是个技术。
18989 0
阿里云服务器如何登录?阿里云服务器的三种登录方法
购买阿里云ECS云服务器后如何登录?场景不同,阿里云优惠总结大概有三种登录方式: 登录到ECS云服务器控制台 在ECS云服务器控制台用户可以更改密码、更换系.
25226 0
阿里云日志服务控制台内嵌分享功能使用
针对用户在使用官方文档控制台分享内嵌易出现问题的情况,这里使用RAM用户介绍相关参数的获取及配置,方便初次使用者快速使用该功能。
889 0
阿里云MVP Meetup 《云数据·大计算:海量日志数据分析与应用》之《数据采集:日志数据上传》篇
大数据workshop:《云数据·大计算:海量日志数据分析与应用》之《数据采集:日志数据上传》篇
3584 0
阿里云VPC流日志——又一款安全日志分析的新利器
带你体验阿里云VPC流日志的强大功能,并实际介绍如何快速上手,进行安全日志查询、分析和展示。
1052 0
阿里云Elasticsearch日志增强版介绍
阿里云Elasticsearch官方在2017年的时候达成了非常紧密的战略合作关系。自此以后,一直在云上致力于为大家提供全链路的ElasticStack生态内所有的能力的一个托管服务。阿里云产品专家,洪阳和阿里云技术专家,志宸两位专家为大家带来阿里云Elasticsearch增强版的介绍。
29630 0
+关注
赵卫国
连续创业者,主导开发过5款几百万、上千万用户的产品,多年erlang/golang实践者,全栈开发者,敏捷开发实践者,技术管理者,专注于把技术应用于实践,对区块链有强烈兴趣,最近全心投入在物联网相关项目中,未来希望做出区块链和物联网相接合好产品
19
文章
4
问答
文章排行榜
最热
最新
相关电子书
更多
JS零基础入门教程(上册)
立即下载
性能优化方法论
立即下载
手把手学习日志服务SLS,云启实验室实战指南
立即下载