Flink+HBase场景化解决方案
在中国HBase技术社区第十届Meetup杭州站上,阿里巴巴高级产品工程师高旸为大家分享了实时计算技术相关的发展背景,并介绍了基于Flink+HBase的实时计算场景化解决方案,并对于在线教育、城市大脑、实时风控等典型的实时计算方案应用场景进行了介绍。
2018杭州云栖大会参会总结
本次云栖大会的主题是驱动数字中国,以阿里集团和阿里云的先进技术帮助中国更多的中小企业实现数字化转型,或者更好的利用数据、技术来提高自身的产能和行业竞争力。而传统企业的数字化转型的必经路线是:数字化 -> 在线化 -> 智能化,根据这个主题,我来对本次云栖大会做个简要的总结。
Hadoop summit 2015 实时计算
有幸参加了6月9号到6月11号在圣何塞举办Hadoop summit 2015,主要关注了实时计算相关的topic。
本次参会的主要感受是:实时处理成为各个公司的标配,OLAP是基本需求。
下面我主要分享如下三个议题:
实时计算框架(主要是storm,spark主题太少,涉及实时计算的基本没有
准实时异常检测系统
本文为您介绍利用实时计算设计准实时(延迟在100ms以内)异常检测系统。
背景介绍
比如一家银行要做一个实时的交易检测,判断每笔交易是否是正常交易:如果用户的用户名和密码被盗取,系统能够在盗取者发起交易的瞬间检测到风险来决定是否冻结这笔交易。
实时数据处理框架调研
产品
模型
API
保证次数
容错机制
状态管理
延时
吞吐量
成熟度
Storm
Native
Compositional
At least once
Record ACKs
Not built-in
< 1s
Low
High
Trident
Micro-batching
Compositi.
实时计算在「阿里影业实时报表业务」技术解读
阿里影业实时报表开始做法也是按照传统型报表做法一样,直接从阿里云rds写sql查询,随着数据量越来越大,这种做法已经没有办法满足业务扩张,带来的问题响应时间变慢,吞吐量低,我们急需要一种技术方案能满足未来2-3年随着影院增加,数据增长,而报表功能还能很好的满足客户需求技术方案。