云场景实践研究第82期:亿方云科技

简介: 2017云栖大会HBase专场,亿方云科技CTO 王成军带来HBase在亿方云客户端同步系统中的应用实践的演讲。本文分析亿方云科技在HBase方面的实践,并对亿方云HBase演进和应用作了分享。

更多云场景实践研究案例,点击这里:【云场景实践研究合集】联合不是简单的加法,而是无限的生态,谁会是下一个独角兽

2017云栖大会HBase专场,亿方云科技CTO 王成军带来HBase在亿方云客户端同步系统中的应用实践的演讲。本文分析亿了方云科技在HBase方面的实践,并对亿方云HBase演进和应用作了分享。

“我们用云端HBase最大的好处是,以前我们所做的事情有人帮我们做了,特别是运维上的工作,我们现在基本上不太关注HBase够不够用问题。现在很多的基础性工作由阿里云帮我们做。”

——王成军

亿方云科技CTO


采用的阿里云产品

  • 阿里云云数据库 HBase版本

为什么使用阿里云

阿里云完成了公司在运维方面的工作,特别是运维方面的。现在很多的基础性工作由阿里云帮公司完成。


关于 亿方云

亿方云是硅谷团队打造的企业文件管理及协作云平台,为企业提供海量文件的集中存储与管理、用户权限控制以及最高级别的数据安全保障。

移动时代,亿方云创造简单易用的产品体验,让员工可以随时随地对企业文件进行安全便捷的访问、共享和协作,实现企业人与数据的无缝连接。


为什么选择阿里云?

752903f205ed107b52fea08210c80595c446f251

以上是亿方云提出的数据处理架构,亿方云当初是没有一个完整的数据处理架构,当初设计这部分内容时候甚至不觉得这个信息需要做长久化,因为时效性非常短,文件最终状态才是大家关心的,过程当中的消息似乎没有太大的保存价值。但是大家想象一个场景,创建一个空文件,文件名字叫“新建文档”,我马上得重命名一下,假如他们不做持久化,也不把时序做处理,信息丢过去终端先收到了文件的改名,然后才收到了创建文件,这个时候这两个操作还能够成功吗?改名的时候这个文件还没有创建,改名字的操作不见了,原来这个文件的操作是需要有时序的。

这就引出问题,一方面要对信息做持久化,另一方面要对后一个任务处理。我们有很多的文件处理是需要有上门的情况,就必须要对时序做特定的标注,然后做特定处理。新建、编辑、修改、删除以及分享,或者我发起了希望你来上传的操作,把我的权限给到你,让你来上传,那么这些操作其实都需要先有一个消息给到对方,让对方把对应的消息做处理,这个消息对写起到的主要作用就是把前面抛过来的不管是数据变更也好、文件操作也好,处理掉以后丢给后面的推送消息任务,让这个消息推送到某客户端上面,这还涉及到端上有订阅机制,订阅的信息也要分设备、分终端、分用户。有的时候大家会遇到这样的情况,除了普通的客户端以外,还会建立web上的推送消息。

对于文件操作的信息其实是一项非常好的风控信息来源,当行为是一系列集合,当这个集合符合一定模型的时候就会找到它的操作背后所做的初衷。举个例子来说,公司里某位程序员因为各种不满意,走之前把公司的代码带走了,文档都删了,企业里现在的信息资产都是文件的形式,这些东西如果突然没有代价很大。即使这个操作是可逆的,但是一样会造成损失,在恢复的时间就要付出更大的代价。公司需要有一个非常好的技术信息体系来支撑,操作必须得有上下文的关联关系,是能够从中间截断的,需要把原来很多操作剥成上下文可以隔离的,同时,推送一条消息给老板,说这个行为有一些什么倾向。

现在已经开始提供一些基于文件内容的分析,当你看视频的时候,会发现优库有一些打点的关键节点,比如说《速度与激情》,就是希望看到翻车的那一段视频,直接找到那个点。以前更多的是通过人肉编辑方式。文件的元数据是对文件做一些分类标签,它属于人文社科,还是属于化学等等,这些元数据的存放是非常符合Key value方式的。


拥抱阿里云所带来的成效

亿方云科技用云端HBase最大的好处是,以前他们所做的事情有人帮他们做了,特别是运维上的工作,他们现在基本上不太关注HBase够不够用问题。现在很多的基础性工作由阿里云帮他们做。


关于亿方云的更多实践详情:云Hbase数据库在亿方云实践之路HBase
原文发布日期:2018-01-11
云栖社区场景研究小组成员:沈金凤,仲浩。

相关实践学习
lindorm多模间数据无缝流转
展现了Lindorm多模融合能力——用kafka API写入,无缝流转在各引擎内进行数据存储和计算的实验。
云数据库HBase版使用教程
  相关的阿里云产品:云数据库 HBase 版 面向大数据领域的一站式NoSQL服务,100%兼容开源HBase并深度扩展,支持海量数据下的实时存储、高并发吞吐、轻SQL分析、全文检索、时序时空查询等能力,是风控、推荐、广告、物联网、车联网、Feeds流、数据大屏等场景首选数据库,是为淘宝、支付宝、菜鸟等众多阿里核心业务提供关键支撑的数据库。 了解产品详情: https://cn.aliyun.com/product/hbase   ------------------------------------------------------------------------- 阿里云数据库体验:数据库上云实战 开发者云会免费提供一台带自建MySQL的源数据库 ECS 实例和一台目标数据库 RDS实例。跟着指引,您可以一步步实现将ECS自建数据库迁移到目标数据库RDS。 点击下方链接,领取免费ECS&RDS资源,30分钟完成数据库上云实战!https://developer.aliyun.com/adc/scenario/51eefbd1894e42f6bb9acacadd3f9121?spm=a2c6h.13788135.J_3257954370.9.4ba85f24utseFl
相关文章
|
11月前
|
机器学习/深度学习 人工智能 算法
亚马逊云科技 云技能孵化营 初识机器学习
亚马逊云科技 云技能孵化营 初识机器学习
【云周刊】第220期:阿里云高级技术专家张毅萍:我眼中的边缘计算
欢迎订阅云周刊 本期头条 阿里云高级技术专家张毅萍:我眼中的边缘计算 边缘计算是目前公认的大方向,越来越多的边缘计算应用将随着5G建设的步伐而兴起。阿里云边缘计算团队的目标是在行业爆发来临之前,完成基础计算资源平台的构建,为产业提供基于体验的计算调度能力,进而助推整个产业快速应用发展。
28125 1
【云周刊】第220期:阿里云高级技术专家张毅萍:我眼中的边缘计算
|
边缘计算 人工智能 城市大脑
阿里云高级技术专家白常明:边缘云的技术挑战和应用创新
随着5G商用周期的开始与新基建的发展, 5G+边缘计算带动并赋能数字化行业,逐渐形成了预期可观的产业规模。5G周期内,直接和间接带动产业规模就高达万亿级,在如此巨大的市场规模下,会有越来越多的行业具备数字化转型的技术支撑,5G+边缘计算如何助力各行业升级?近日,阿里云高级技术专家白常明受邀参加2020WICC通信云大会发表《5G边缘计算:边缘云的技术挑战和应用创新》主题演讲,剖析5G时代边缘云技术演进。
12151 0
阿里云高级技术专家白常明:边缘云的技术挑战和应用创新
|
存储 弹性计算 安全
云场景实践研究第80期:华大基因
作为全球最大的基因组学研究中心,华大基因在阿里云的帮助下,实现了海量数据的及时获取、快速分析、安全储存。本文将带领大家一同了解华大基因的基于大数据分析的云计算实践之路。
4447 1
|
分布式计算 DataWorks 搜索推荐
上下求索,白“云”苍狗(一):2015到2019,从5到70,从0到100万,技术推动业务的云实践,我创业的这4年
从2015年到2019年,业务DAU从0到100万,团队从5人到70人,讲述技术人的创业之路,解读如何从技术推动业务,分享作为CTO的心路历程,一同感受创业的五味杂陈。
|
分布式计算 大数据 关系型数据库
云场景实践研究第83期:众安保险
当传统保险公司还在将“开门红”作为重中之重提前几个月做准备的时候,互联网保险公司关注的则是“双十一”和“双十二”。2017年双十一当日,刚刚在香港上市的众安保险的保单量突破3亿,比2014年增长超过200%。阿里云所输出的服务,则在帮助基础设施建设发挥“乘数效应”。
1906 0
|
新零售 大数据
云场景实践研究第77期:云徙科技
作为阿里生态战略合作伙伴,云徙科技在阿里云的大数据和新技术的帮助下,使企业成功实现数字化转型,并且创造了新的价值。本文将带领大家一同了解云徙科技在新技术、大数据赋能下的转型创新之路。
3054 0
|
机器学习/深度学习 分布式计算 算法
云场景实践研究第75期:袋鼠云
电力与人的生活是息息相关的。电力的类型可以分为两类,第一类是集中式电站,第二类是分布式发电。集中式发电占主流,但在启动建设的过程中会涉及一些问题。而分布式发电站的成本比较低,实施简单。本文介绍了在大数据下光伏发电的意义,实现过程中遇到的困难,在阿里云的帮助下改进的措施,和取得的成果。
1678 0
|
监控 BI 分布式数据库
云场景实践研究第81期:大搜车
2017云栖大会HBase专场,大搜车高级数据架构师申玉宝带来阿里云云数据库HBase在大搜车金融业务中的应用实践。本文主要从数据大屏开始谈起,进而分享了GPS风控实践,包括架构、聚集分析等,最后还分享了流式数据统计,包括数据流、数据合流和服务监控等。
2027 0