参加2012 DTCC大会,总结Big data的趋势

本文涉及的产品
RDS MySQL Serverless 基础系列,0.5-2RCU 50GB
云数据库 RDS MySQL,高可用系列 2核4GB
云数据库 RDS PostgreSQL,高可用系列 2核4GB
简介:

参加了2012中国数据库技术大会,综合各方的演讲、资料和个人理解,总结出Big data(大数据)的趋势。

本次技术大会议题众多,但无论是企业级应用还是互联网应用,关注的焦点无一不是“大数据”。


传统的IBMOracle关注企业级大数据的统一解决方案,并已经提供了商业的产品;互联网的百度、淘宝、腾讯等都基于自己的业务和互联网的特点,构建了自己的大数据系统。一些研究机构或者学术机构,也已经被这个由互联网刮起的“大数据”旋风吸引,开始投入更多的精力进行相关理论上的研究。

现在比较流行的所谓“大数据”一般都是指历史的静态数据,例如日志数据、历史的业务数据;但经过我个人的理解和观察,其实“大数据”目前已经划分为两大部分“在线大数据(Online big data”、“离线大数据(Offline big data”。由于两类数据的访问要求不同,虽然不同公司的业务不一样,但基本上都殊途同归,两类数据的处理基本类似。

在线大数据

在线大数据主要是在线业务数据,比如百度的贴吧、淘宝的商品等,这类数据具有“海量访问”的特点,对读写要求特别高,包括读写的时延(决定用户的响应速度)、并发量(决定用户的并行数量)都比较苛刻,一般都要求时延在毫秒级,并发量在万级甚至十万级。

从这次大会的内容来看,无论是企业级应用,还是互联网级的应用,都采用了“数据库集群”的解决方案。企业级应用采用了商用数据库集群,例如Oracle Rac;互联网企业基本都是基于mysql构建自己的集群,例如淘宝的TDDL,百度的dbproxy等。


另外,淘宝使用了HBase集群提供在线大数据的服务,这可能是未来互联网在线大数据应用的一个趋势,个人分析原因如下:

1)业务复杂多变:互联网业务存在复杂多变的特征,传统的关系型数据库(例如MySQL)在应对数据变化方面存在天然的不足(特别是MySQL在线修改的能力更弱),

2)数据库集群存在中间层瓶颈:基于MySQL构建的数据库集群存在中间层的瓶颈(例如proxy本身成为瓶颈,估计只能达到10万量级)。

离线大数据

离线数据主要是历史数据,例如日志,历史业务数据,这部分数据主要用于数据分析和数据挖掘,不直接面向最终用户,具有“海量存储”的特点,对于存储容量要求特别高,一般都是PB级别的数据,存储服务器达到几百上千台,但这类数据对读写要求不像在线数据那么严格。

从这次大会的演讲内容来看,企业级的应用倾向于提供一体机(包括解决方案、软件、硬件)来完成离线大数据的处理,互联网应用毫无例外的都集中到了Hadoop体系上面,其中几个先行的公司已经在定制Hadoop了,例如百度、淘宝。


总结:
Big data的现状可以总结为如下图:


在RDBMS集群方面,国内的几个大公司都有自己的解决方案,但都不开源,开放心态还远远不够,令人遗憾!!
幸运的是最近已经看到Youtube已经开源了类似的解决方案Vitess,大家有时间研究一下,没有必要自己又造一个轮子啦!!!

另外,HBase是一个令人惊讶的产品,能够同时为两种不同类型的数据提供解决方案,值得大家深入研究!

附:

1)文中提到的相关互联网企业的信息都是从DTCC大会获取的,可能存在不准确或者错误的地方,如果需要引用,请三思!
2)Vitess项目地址: http://code.google.com/p/vitess/



相关实践学习
每个IT人都想学的“Web应用上云经典架构”实战
本实验从Web应用上云这个最基本的、最普遍的需求出发,帮助IT从业者们通过“阿里云Web应用上云解决方案”,了解一个企业级Web应用上云的常见架构,了解如何构建一个高可用、可扩展的企业级应用架构。
MySQL数据库入门学习
本课程通过最流行的开源数据库MySQL带你了解数据库的世界。   相关的阿里云产品:云数据库RDS MySQL 版 阿里云关系型数据库RDS(Relational Database Service)是一种稳定可靠、可弹性伸缩的在线数据库服务,提供容灾、备份、恢复、迁移等方面的全套解决方案,彻底解决数据库运维的烦恼。 了解产品详情: https://www.aliyun.com/product/rds/mysql 
相关文章
|
Web App开发 编解码 移动开发
视频点播视频加密流程解决方案
阿里云视频点播加密视频流程讨论
6062 0
视频点播视频加密流程解决方案
ly~
|
存储 监控 小程序
除了 Web 开发,PHP 还可以应用于哪些领域?
PHP 在 Web 开发之外还有多个应用场景:1)命令行脚本,如批量处理文件、数据库管理及系统监控;2)利用 PHP-GTK 等工具开发桌面应用,满足特定业务需求;3)结合微信云开发功能支持微信小程序后端,处理数据存储与用户认证;4)为小型游戏或特定类型游戏开发游戏服务器逻辑;5)在物联网领域作为后端语言处理设备数据交互与分析。
ly~
504 4
|
编译器 API UED
Galacean Engine 1.3 发布
经历了三个月的研发,我们激动地向您介绍全新的 Galacean Engine 1.3 版本 🎉 此次更新不仅包含后处理、Prefab、动画状态机、高级材质等多项新功能,更在稳定性、性能和用户体验上进行了一大波优化。我们还在编辑器中内置了大量的案例模板,方便用户快速学习和预览功能效果。此外,Galacean Engine 官网设计也进行了全面更新,为您带来更棒的浏览体验!
309 0
|
算法 区块链
区块链项目的商业模式有哪些成功案例
**评估区块链项目潜力的关键因素包括:技术创新与应用场景(如共识算法、交易速度)、团队背景与发展战略(团队经验、市场定位)、社区活跃度与合作伙伴(用户参与、合作网络)、透明度与合规性(信息透明、法规遵循)、技术可行性(技术成熟度、安全性)及商业模式与市场可行性(市场规模、用户需求)。这些综合考量帮助判断项目的成功潜力和市场前景。**
|
机器学习/深度学习 存储 人工智能
未来的移动通信网络,6G与人工智能的融合
在最近的几十年中,移动通信网络从1G发展到6G,通信关键技术层出不穷、迅速发展,广泛应用在人类社会的各行各业,成为社会信息化变革的重要支撑。
1381 0
未来的移动通信网络,6G与人工智能的融合
|
安全 Linux 数据安全/隐私保护
几种常见的联网方式
这个世界的一切都可以数字化。无论是文字、 图像还是声音,每时每刻,都有无数的 “包裹”携带着一个个比特从世界的这头奔向另一头。这种疯狂的现象如今已经司空见惯,没有人能够完全离开它。网络是人类最伟大的发明之一,这使人类进入了一个全新的时代。
几种常见的联网方式
HTML表格合并行和列
1.合并行:rowspan 在设计表格时,有时我们需要将“横向的N个单元格”或者“纵向的N个单元格”合并成一个单元格(类似Word的表格合并),这个时候就需要用到“合并行”或“合并列” 在HTML中,我们可以使用rowspan属性来合并行。所谓的合并行,指的是将“纵向的N个单元格”合并 实例:
537 0
HTML表格合并行和列
zh-cn 和zh的意思
zh-cn:指的是中文整体,可以是方言、文言文、简繁体等混合内容。
1944 0
|
关系型数据库 MySQL 应用服务中间件
watchtower 自动更新 Docker 镜像与容器
本文是博主学习docker的记录,希望对大家有所帮助。
1466 0
|
人工智能 运维 监控
揭秘:技术风险如何保障支付宝的稳定性?
支付宝有一个“疯起来连自己都打”的项目,现在,它要招募应届生了!这是一个什么样的项目?它需要什么样的应届生?别着急,让我一一道来。
4422 0
揭秘:技术风险如何保障支付宝的稳定性?