开发者社区> 沉默术士> 正文
阿里云
为了无法计算的价值
打开APP
阿里云APP内打开

NoSQL人气高涨 Spark功不可没

简介:
+关注继续查看

近年来,由于NoSQL数据库出现并用于处理大规模数据扩展,在线事务处理技术不断变化。同时,随着Hadoop和Spark的出现,经典分析模式被逐渐打破。

如今,应用程序来利用这些技术在大规模事务系统上创建接近实时的分析。尤其是接入NoSQL系统的Spark连接器正变得越来越普遍。

“就是我们正在用操作系统和分析系统改变我们正在做的事情,”分析师Mike Ferguson在上周Dataversity举办的一个讨论会上说。 Ferguson是位于一位英国的经营智能商业策略的总经理,他分享了将Spark与来自Basho Technologies的关键值Riak NoSQL数据存储相连,通过这种方法来对Web和移动数据的分析进行加速。

和Aerospike,Couchbase,DataStax,Redis Labs以及其他竞争对手一样,Basho也因此目的而涉足Spark连接器。

操作分析

Ferguson说把NoSQL和Hadoop以及Spark进行结合为他所谓的“操作分析”奠定了基础,相比起过去的分析系统,该系统不需要整夜都进行批处理任务。 多年来,关系型数据库都处于操作和分析系统之间循环的末端。但是随着Web和移动应用程序开始需要可扩展性(这种特性是通过运行分布式计算机集群获得的),情况就开始改变了。对于数据处理来说,页面是一回事,而移动又是另一回事。 通过移动接入事务系统,并发用户量激增到了前所未有的水平。

这使得团队要去尝试新的架构,而Spark则已经成为一个有力的竞争者。 Ferguson指出Spark和其他产品一样虽然通常是运行在Hadoop上,但是并不局限于Hadoop存储。它还可以访问关系型数据存储以及NoSQL数据存储。

这反过来就会支持应用Spark进行一系列的分析,“其中有些是操作分析,”他说。 就像Ferguson所形容的,操作分析试图利用分析来避免某些事件和优化流程。这可以让应用程序降低风险,改善客户交互并减少计划外运营成本。

A/B测试

用例 Intuit是一家网络财务和税务筹划服务提供商,NoSQL数据库与Spark分析引擎协作的一个案例就是出自这家公司。

Rekha Joshi是加州的一位软件工程师,她说,对于那些存储在DataStax Cassandra数据库(运行在Amazon Web Services云端)中的数据,Spark已经完成了分析。 她所描述的一个用例集中在访问者与Intuit网站首选交互方式的A/B测试上。其目标就是要更好地理解访问者的喜好并对个性化他们的页面视图和网站交互进行自动响应。 数以百万的网站用户生成了大量数据, Cassandra NoSQL有能力应对这样的变化。但Rekha Joshi说:“这并不是Cassandra真正的用武之地。Spark和Hadoop才是为此而生的。”

Intuit员工曾使用Spark和Hadoop。它们有着各自的性能优势和局限性,该工作对Spark有近乎实时的性能要求。Hadoop是一个批处理系统,而Spark则是实时的或是接近实时的。 Joshi所描述的路径与Ferguson的操作分析有一定相关性,但是她选择另外已有的术语来描述同时支持批处理和实时分析的架构,即,λ架构。 诸如Ferguson的分析和Joshi的用例给出了数据分析架构改变的一个视角。这在存储方面可能有更丰富的内容。

For NoSQL, there is considerable growth to come, according to Allied Market Research, which estimated that a global NoSQL market that barely existed 10 years ago will reach $4.2 billion by 2020. 根据Allied Market Research的预测,NoSQL会有非常迅速的增长。 10年前几乎不存在的全球NoSQL市场将会在2020年达到42亿美元的规模。 和Ferguson一样,Allied将Web、移动和电子商务应用程序作为NoSQL迅速发展的驱动力。与诸如Spark这些新的分析引擎进行对接也会有助于NoSQL的增长,会扩大NoSQL的可用度。
本文转自d1net(转载)

版权声明:本文内容由阿里云实名注册用户自发贡献,版权归原作者所有,阿里云开发者社区不拥有其著作权,亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容,填写侵权投诉表单进行举报,一经查实,本社区将立刻删除涉嫌侵权内容。

相关文章
Spark 算子操作剖析4
快速学习 Spark 算子操作剖析4
46 0
PolarDB-X 1.0-常见问题-数据兼容问题-PolarDB-X支持MySQL的存储过程、跨库外键和级联删除等高级特性吗?
目前PolarDB-X不支持存储过程、跨库外键和级联删除。如果需要自定义函数,请尝试通过组合MySQL标准函数解决。详情请参见SQL使用限制。
71 0
MySQL|MySQL事物以及隔离级别
MySQL 事务主要用于处理操作量大,复杂度高的数据。比如开单,需要添加给订单表增加记录,还需要增加订单的各种相关明细,操作复杂度高,这些操作语句需要构成一个事务。在 MySQL 命令行的默认设置下,事务都是自动提交的,即执行 SQL 语句后就会马上执行 COMMIT 操作。因此要显式地开启一个事务务须使用命令 BEGIN 或 START TRANSACTION,或者执行命令 SET AUTOCOMMIT=0,用来禁止使用当前会话的自动提交。
2550 0
mPaaS 3.0 多媒体组件发布 | 支付宝百亿级图片组件 xMedia 锤炼之路 (图片缓存篇)
历经三年的风雨洗礼沉淀,xMedia 多媒体图片加载组件已经成为支付宝重要的驱动力,承载了绝大部分业务,与此同时,我们也通过移动开发平台 mPaaS 对外输出,向外界企业提供稳定的图片加载技术。
1841 0
jQuery高级事件---模拟操作和命名空间
版权声明:本文为博主原创文章,转载请注明出处。 https://blog.csdn.net/twilight_karl/article/details/73335845 模拟操作 trigger() 浏览器自行触发事件.例如:当网页加载完毕后浏览器自行点击一个按钮触发一个事件,而不是用户去点击。
810 0
Sharepoint 2010 虚拟机的安装
Sharepoint的定制开发中,安装一个虚拟机可以比较方便的在可小组中人员中共享和调试等。 以下以域中场安装为例【不使用SQL Express】 ,Standalone installs are not supported if the SharePoint Server is a domain ...
1005 0
+关注
5514
文章
253
问答
文章排行榜
最热
最新
相关电子书
更多
低代码开发师(初级)实战教程
立即下载
阿里巴巴DevOps 最佳实践手册
立即下载
冬季实战营第三期:MySQL数据库进阶实战
立即下载