开发者社区> 美人迟暮> 正文
阿里云
为了无法计算的价值
打开APP
阿里云APP内打开

下一代大数据:Twitter 公布曼哈顿实时数据库细节

简介:
+关注继续查看

Twitter曼哈顿数据库的横空出世表明当今的数据库技术已经无法满足大型互联网公司的独特需求,新一轮数据库技术革命已经启动。

Twitter是所有大型互联网公司中产品实时性和技术进化速度最快的一个,本周Twitter在博客中公布了实时数据服务的核心引擎——曼哈顿(Manhattan)数据库的技术细节。曼哈顿是一个分布式、实时数据库,服务对象是Twitter公司内部的多个团队和应用。

曼哈顿数据库的数据处理能力和速度让当今流行的开源数据库相形见绌,这些数据库已经无法满足Twitter规模的生产环境,正如Twitter软件工程师Peter Schuller所言:

我们为了让生产系统满足各种产品的性能预期而四处救火,浪费了太多时间。为一个新应用配置存储资源需要涉及太多的人工和流程。根据我们的经验,为Twitter这样的大规模web业务开发和运营生产存储环境,采用现成的数据库技术已经行不通了。

Schuller在博客中详细介绍了Twitter如何开发出曼哈顿这样的高可靠、高可用、易用的新一代数据库。同时也公布了一些为曼哈顿数据库设 计的一些数据格式的细节。目前,用户通过key-value存储的方式使用曼哈顿数据库,未来Twitter还计划增加包括图形界面在内的用户界面。曼哈 顿数据库有三个存储引擎,分别面向只读Hadoop数据、大量读取数据和大量写入数据。此外曼哈顿还内置了很多服务,包括导入Hadoop数据,确保数据 一致性和计算时间序列数据等。
screenshot

对于开发者和工程师来说最重要的一点是,曼哈顿作为一种存储服务可以像其他任何一种云存储服务一样使用。工程师数秒钟就可以为应用配置好存储资源, 无需等待安装硬件或对系统架构进行重新配置。Twitter将重点放在确保曼哈顿的多租户使用的整体性能不会因某个租户占用过多资源而受到影响。

Twitter计划在择日发布的曼哈顿数据库技术白皮书中公布具体技术开发细节。作为开源软件的重量级拥趸,Twitter很可能会在将来某个时间将曼哈顿数据库技术开源。实际上,Twitter曾于2012年将其MySQL代码开源,最近又与Facebook携手开发WebScaleSQL开源数据库项目。

Twitter曼哈顿数据库的横空出世表明当今的数据库技术已经无法满足大型互联网公司的独特需求。Twitter、Google、 Facebook和LinkedIn已经抛弃了最初的NoSQL技术(这些NoSQL技术正在进入大型企业),纷纷开发下一代数据库技术,正如他们当年开 发Cassandra、Voldemort和BigTable那样。也许曼哈顿将成为未来的Cassandra,而LinkedIn的Espresso成为新的MongoDB(编者按:MongoDB因获得NSA投资而在发展中市场受挫),成为下一代创业公司开发者的宠儿。

文章转载自 开源中国社区 [http://www.oschina.net]

版权声明:本文内容由阿里云实名注册用户自发贡献,版权归原作者所有,阿里云开发者社区不拥有其著作权,亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容,填写侵权投诉表单进行举报,一经查实,本社区将立刻删除涉嫌侵权内容。

相关文章
全方位解读服务网格(Service Mesh)的背景和概念
为了解决微服务框架的侵入性问题,我们引入服务网格。
1209 0
PolarDB 并行查询的前世今生
本文会深入介绍PolarDB MySQL在并行查询这一企业级查询加速特性上做的技术探索、形态演进和相关组件的实现原理,所涉及功能随PolarDB MySQL 8.0.2版本上线。
476 0
企业内部应用接入钉钉获取部门及人员信息
企业内部应用接入钉钉,同时通过API获取当前企业下部门及人员信息
1159 0
MySQL模糊查询再也用不着 like+% 了!
我们都知道 InnoDB 在模糊查询数据时使用 "%xx" 会导致索引失效,但有时需求就是如此,类似这样的需求还有很多,例如,搜索引擎需要根基用户数据的关键字进行全文查找,电子商务网站需要根据用户的查询条件,在可能需要在商品的详细介绍中进行查找,这些都不是B+树索引能很好完成的工作。 通过数值比较,范围过滤等就可以完成绝大多数我们需要的查询了。但是,如果希望通过关键字的匹配来进行查询过滤,那么就需要基于相似度的查询,而不是原来的精确数值比较,全文索引就是为这种场景设计的。
25665 0
阿里云云原生一体化数仓正式发布  助力企业数据驱动业务创新
云原生一体化数仓是集阿里云大数据产品MaxCompute、DataWorks、Hologres三种产品能力于一体的一站式大数据处理平台。核心是3个一体化和全链路数据治理能力,包括离线实时一体、湖仓一体、分析服务一体、全链路数据治理。
1587 0
全面公测|Grafana服务:一张图表胜过千行指标&日志
Grafana 帮助运维人员轻松处理各类运维过程中遇到的各类数据可视化与分析难题。目前阿里云 Grafana 服务全面免费公测,帮助企业轻松构建运维数据可视化平台,轻松实现数据驱动运维!
1129 0
一起学Golang系列(五)初次接触Go语言可能遇到的各种坑!
前面介绍了Go语言的基础语法,所谓磨刀不误砍柴工,希望大家还是能熟悉掌握这些基础知识,这样后面真正学起Go来才会得心应手。 作为初学者。Go语言的语法有些和java类似,但也有很多不一样的地方。刚开始都会遇到各种各样的坑。下面就来总结下学习go语言的过程中,遇到的各种坑。
994 0
设备接入--海康摄像头SDK
springboot-对接海康摄像头,兼容window和Linux环境
1313 0
Flink SQL 在快手的扩展和实践
快手实时计算团队技术专家张静、张芒在 FFA 2021 的分享
1126 0
无影云桌面,企业与个人的应用神器
阿里云无影云桌面( Elastic Desktop Service)的原产品名为弹性云桌面,融合了无影产品技术后更名升级。它可以为您提供易用、安全、高效的云上桌面服务,帮助您快速构建、高效管理桌面办公环境,提供安全、灵活的办公体系。
276270 0
+关注
美人迟暮
Nothing for nothing.
1018
文章
212
问答
文章排行榜
最热
最新
相关电子书
更多
低代码开发师(初级)实战教程
立即下载
阿里巴巴DevOps 最佳实践手册
立即下载
冬季实战营第三期:MySQL数据库进阶实战
立即下载