开发者学堂课程【阿里云流计算使用教程:阿里云流计算产品介绍】学习笔记,与课程紧密联系,让用户快速学习知识。
课程地址:https://developer.aliyun.com/learning/course/432/detail/5381
阿里云流计算产品介绍
内容介绍
一、产品历程
二、产品特点
三、流计算产品-SQL 样例
四、产品现状
五、流计算产品-产品架构
一、产品历程
阿里云流计算脱胎于阿里集团内部双十一实时大屏业务,在阿里集团内部从最开始支持双十一大屏展现和部分实时报表业务的实时数据业务团队,历经4-5年的长期摸索和发展,到最终成长一个独立稳定的云计算产品团队。
此图为阿里云产品的历程以及背景
此图为2011年到2016年产品发展历程,从项目支撑到产品沉淀,再到产品云化以及对外输出
二、产品特点
1.以下为产品的核心竞争力和优势:
(1).功能强大:强人流计算引擎,支持流式 SQL:丰富数据采集工具;深度整合各类云存储
(2)功能优越:关键指标超越 Storm 的性能6到8倍,秒级乃至毫秒级延迟,单个作业吞吐量可做到百万级别
(3)简单易用:支持流式数据分析 SQL;提供全流程的流计算开发套件
(4)成本廉价:开发流程化、计算弹性化;可有效降低使用开源软件的人力和机器成本
2.特点:
数据生态 上下游打通
多租户资源隔离
线上优化 如果落后节点处理
开发调试,性能调优
在线/离线 集成与切换
多容错策路 灵活权衡性能、成本和恢复效
描述性语言支持和优化
三、流计算产品-SQL 样例
某网站需要对访问来源进行分析:
从日志服务读取该站点访问日志,解析日志中的来源并检查来源是否在感兴趣的网站列表中(类似来源网站的白名单,保存在 OTS 中),统计来自各个网站的流量 PV,最终结果写出到 RDS
整个流程即为日志服务到流式数据到流计算,计算结果,将结果保存到 RDS 中去。
四、产品现状
下图主要描述 SQL 中的关键字、主要操作符和内键函数。
主要包括:算术运算,关系运算,逻辑运算,条件函数,数学函数,日期函数,字符串函数,聚合函数,UDF 支持等。
五、流计算产品-产品架构
中间部分是阿里云的流计算,分为上游和下游,从上游的 Datahub、日志服务、消息服务、消息队列、IOT 套件,将数据传到阿里云流计算,通过其计算来到下游平台数据库存储。
阿里云流计算从最底层集群管理和分布式文件系统再到引擎、元数据到语言&API 算子、容错状态管理,再到运维管理最后到达上层的 REST-API,以及集成开发平台等整个构架构成阿里云流计算。