数据COOL谈第1期

本文涉及的产品
云原生大数据计算服务 MaxCompute,5000CU*H 100GB 3个月
云原生大数据计算服务MaxCompute,500CU*H 100GB 3个月
简介: 本文整理自PingCap联合创始人兼CTO黄东旭,阿里云数据库产品事业部负责人李飞飞,华东师范大学副校长周傲英,InfoQ主编王一鹏,在数据COOL谈第1期的分享。

数据COOL谈第1


摘要:本文整理自PingCap联合创始人兼CTO黄东旭,阿里云数据库产品事业部负责人李飞飞,华东师范大学副校长周傲英,InfoQ主编王一鹏,在数据COOL谈第1期的分享。

本篇内容主要分为四个部分:

1.聊聊数据库领域的前沿趋势和技术

2.云原生和分布式是未来必然的选择吗?

3.未来开源和云厂商是怎样的关系?

4.理想中的开源生态是什么样的?

 

一、聊聊数据库领域的前沿趋势和技术


王一鹏:目前。数据库领域有什么样前沿的趋势和技术?


周傲英:数据库作为基础软件火爆的原因,是大家认识到了数据的重要性。狭义的数据库技术和系统,以及无法解决当下的问题。以前数据库作为基础软件,现在数据库成为应用软件。以前的数据库可以集中式管理,现在的数据库是分布式管理。


李飞飞:应用变化和基础设施变化,推动了中间层发生本质性的变化。数据库由线下传统的企业级应用,成为了互联网应用。基础设施由大型机、小型机、服务器,全面的进入到云计算时代。所有计算存储资源池化,形成万物互联。

综上所述,催生了云原生、分布式的数据库技术的快速发展。与此同时,应用对数据计算分析的实时化要求越来越强。所以应用和基础设施的变化,推动了技术软件的变化。


黄东旭:在数据库领域,接下来会有几个大趋势。第一,智能化。对于复杂系统,数据智能化是非常必要的方向。第二,多种数据引擎,应对不同场景。用户需要一个新的数据平台,统一不同的数据库,提升用户体验。


李飞飞:接下来,一定会出现一个统一的平台,管理多个数据引擎。开发者和业务用户都可以轻松操作。平台会屏蔽掉引擎的复杂性,在引擎之间无缝切换,让数据无缝的,自由流转。


周傲英:大数据已经成为社会的第五生产要素。跟土、资本、劳动力一样的生产要素。目前,计算机的发展趋势开始以应用场景为中心,一切以实际应用为主。

 

二、云原生和分布式是未来必然的选择吗?


王一鹏:除了数据的价值正在被大家越来越重视。在基础软件领域,数据库技术的发展是最快的。所以云原生和分布式是未来必然的选择吗?


李飞飞:云原生和分布式是一定会发生的。因为云的展现形式是多种多样的。它不一定是传统意义上的公共云。很多客户自己的基础设施,已经是云化的部署方式,通过容器,虚拟机,管理调度所有资源。


操作系统的结构,在向上发展的过程中,数据库系统是必经之路。当底层的基础设施云化后,为数据库系统带来了挑战和机遇。如何将底层的资源池化,充分发挥资源优势。给用户带来高可用,可拓展性和弹性,是大家接下来需要解决的问题。


黄东旭:从用户的角度来看,分布式不光可以解决大数据的问题,而且可以解决高可用的问题。未来的系统一定会越来越复杂,分布式技术可以在各种场景里,节约人的精力,让人尽可能少的犯错。


周傲英:现在的分布式数据库,本身的应用是分布式的,系统是分布式的,使用是分布式的。云原生和分布式相互交互,相辅相成,它们的存在都是为了更好的处理复杂的应用场景。


李飞飞:云原生和分布式是容为一体的。当底层的基础设施全部云化,需要重新设计系统。在此基础上,分布式是必然的。从系统设计和应用使用的角度,谁能把云原生和分布式技术结合的更加完美,谁就会在未来的市场竞争和产品竞争中占得先机。


从技术角度最经典的一个问题是“拜占庭将军问题”。从中可以发现两个主要的问题。第一,无法保证每个城邦将军都是诚实的。第二,无法保证内部信息的统一,每个城邦将军收到的信息可能有所不同。


云原生并不是一个新的概念。Oracle是大家公认单体数据库的代表。Oracle RAC是一种小范围的池化,是真正的应用集群。整个集群系统由Oracle Clusterware (集群就绪软件) Real Application Clusters(RAC)两大部分组成。RAC的主要优点为高可用和负载均衡,一台节点故障了,是不会影响整个业务的运行。


黄东旭:开源不是万能的,但是没有开源是万万不能的。尤其在数据库领域,开源几乎已经成为一个必选项。在当今时代,如果要做一个成功的基础软件,像数据库一样,在上面去构建好的生态,构建好的商业模式。开源是必选项。

类似数据库的基础软件,它的核心竞争力在于迭代和进化。而不是静态的去看它的功能和性能。


我一直相信没有完美的软件,没有完美程序员。开源模式的好处是让足够多的人参与进来,更早的暴露问题,解决问题。加速它的迭代和进化。


对于数据库等通用基础软件,它没有行业属性,它的场景属性偏弱。所以它是一个通用的基础软件,它是一个很重要的公共基础设施,它有开源的基础。开源可以让大家的获取成本和使用成本越来越低。


云原生可以把产品交互变得标准化,可规模化。云原生完美解决了开源软件的商业化问题。当下这个时代,是做基础软件的好时代,也是做开源软件的好时代。


王一鹏:开源是数据库必须的一个选择吗?


李飞飞:目前,以美国为代表的的云厂商巨头,没有一个云厂商是开源战略。开源未必是数据库的必选项,但当有一群人把开源作为必选项时,开源对于整个行业来说就是一个必选项。


开源加快了数据库基础软件的进化速度。开源不是成功的充分条件,但开源可能会带来催化剂的作用。当数据库开源以后,会有更多的人来使用你的系统。

开源和商业化一定存在矛盾的,即使在云时代还是有矛盾点。云厂商提供了一个无处不在的计算、存储、网络基础资源。数据库系统可以让用户为无缝的体验付费。


对于云场上来讲,最重要是生态。让开发者和用户能够用足够低的门槛使用阿里的产品和系统。如果没有足够多的客户,没有规模使用的客户量,所有的客户利益的价值都是伪价值。


商业化的成功是技术进步的前提。从创造社会价值中获取商业化成功,对于个体,组织,公司非常重要。这是人类文明进步的原动力。在螺旋式的发展中,让技术不断进步,创造更大的社会价值,当这个蛋糕足够大时,每个人都能在其中找到自己的定位。


王一鹏:刚才在讨论开源是不是数据库的必选项?开源和商业化是否是相悖的?


周傲英:开源是创造性生产方式的改变,它有非常重要的社会价值和哲学价值。开源对教育非常重要,它是一种文化。没有Hadoop,就没有开源。“云上漫步,时中遨游”以前是教授创新,企业创新,现在是万众创新。开源让每个人都参与数据库的开发,对中国的意义特别重大。

 

三、未来开源和云厂商是怎样的关系?


王一鹏:现在业内有一些开源层面的问题,开源和云厂商之间有一些争议。在大家看来,现在开源产业有什么样的问题?企业如何做好准备去解决这种问题?


黄东旭:第一,如果一个行业过热,会有很多不认可这个逻辑的人,破坏行业规则。


第二,开源软件是否找到了,属于自己的核心竞争力。很多开源项目,运营着很好的社区和生态。但它的商业化存在很多问题。


第三,在开源生态下的软件工程和软件复杂性的定义和思考,是一个全新的、跨学科的新课题。


李飞飞:如何在开源和商业化之间找到一个平衡点?是一个永恒的话题。行业的从业者都要去深入思考,如何在开源的道路上,高质量的持续发展?


周傲英:开源是中国最好的机会。开源重新来定义了劳动,开源与教育的关系密切。计算机学习最快的阶段,是参与贡献开源社区。让学生从小就要接受开源的思想,开源的理念,开源的文化。


只有企业才能让开源具有商业价值,要重新定义知识产权,重新来审视对知识产权的理解。


黄东旭:我国对软件知识产权的认知,还处于初级阶段。开源能够推动大家对软件知识产权的认知。

 

四、理想中的开源生态是什么样的?


王一鹏:大家理想中的开源生态是什么样的?


李飞飞:理想的开源生态是从教育产业到非营利组织,大家都能够去参与其中,在一个有序的良性生态里共生共存。


黄东旭:构建开源生态,要靠生态合作伙伴形成的网络。真正好的生态要构建在共识和标准之上。如果标准没有统一,无法对接,很难构建出良好的生态环境。技术软件或者数据库有先天的优势。SQL是一个天然的标准。当今时代,谁能够拥有标准,控制标准,谁就能构建出一个好的生态。


相关实践学习
基于MaxCompute的热门话题分析
本实验围绕社交用户发布的文章做了详尽的分析,通过分析能得到用户群体年龄分布,性别分布,地理位置分布,以及热门话题的热度。
SaaS 模式云数据仓库必修课
本课程由阿里云开发者社区和阿里云大数据团队共同出品,是SaaS模式云原生数据仓库领导者MaxCompute核心课程。本课程由阿里云资深产品和技术专家们从概念到方法,从场景到实践,体系化的将阿里巴巴飞天大数据平台10多年的经过验证的方法与实践深入浅出的讲给开发者们。帮助大数据开发者快速了解并掌握SaaS模式的云原生的数据仓库,助力开发者学习了解先进的技术栈,并能在实际业务中敏捷的进行大数据分析,赋能企业业务。 通过本课程可以了解SaaS模式云原生数据仓库领导者MaxCompute核心功能及典型适用场景,可应用MaxCompute实现数仓搭建,快速进行大数据分析。适合大数据工程师、大数据分析师 大量数据需要处理、存储和管理,需要搭建数据仓库?学它! 没有足够人员和经验来运维大数据平台,不想自建IDC买机器,需要免运维的大数据平台?会SQL就等于会大数据?学它! 想知道大数据用得对不对,想用更少的钱得到持续演进的数仓能力?获得极致弹性的计算资源和更好的性能,以及持续保护数据安全的生产环境?学它! 想要获得灵活的分析能力,快速洞察数据规律特征?想要兼得数据湖的灵活性与数据仓库的成长性?学它! 出品人:阿里云大数据产品及研发团队专家 产品 MaxCompute 官网 https://www.aliyun.com/product/odps 
相关文章
|
存储 关系型数据库 Java
数据COOL谈第3期
本文整理自阿里巴巴大淘宝技术部双12队长朱成(锡泽),阿里巴巴业务平台双11队长徐培德(裴度),阿里巴巴数据库双11队长陈锦赋(智盛),InfoQ主编王一鹏,在数据COOL谈第3期的分享。
|
人工智能 C# C++
Cool说丨力扣153、454
153. 寻找旋转排序数组中的最小值 454. 四数相加 II
135 1
|
人工智能 BI C#
Cool说丨884与1207
[884. 两句话中的不常见单词](https://leetcode-cn.com/problems/uncommon-words-from-two-sentences/) [1207. 独一无二的出现次数](https://leetcode-cn.com/problems/unique-number-of-occurrences/)
97 0
|
C# C++
Cool说丨717与674
717. 1比特与2比特字符 674. 最长连续递增序列
77 0
|
C# C++
Cool说丨819
819. 最常见的单词
98 0
|
自然语言处理 C# C++
Cool说丨970与720
970. 强整数 720. 词典中最长的单词
107 0
|
C# C++
Cool说丨力扣840
840. 矩阵中的幻方
68 0
|
C# C++
Cool说丨力扣643
643. 子数组最大平均数 I
83 0
|
C#
Cool说丨力扣167
167. 两数之和 II - 输入有序数组
73 0
|
C# C++
Cool说丨力扣605
605. 种花问题
83 0