是什么让TA蹲5个小时也要听完?--深圳云栖大会数据库技术专场8大爆点

本文涉及的产品
RDS MySQL Serverless 基础系列,0.5-2RCU 50GB
RDS PostgreSQL Serverless,0.5-4RCU 50GB 3个月
推荐场景:
对影评进行热评分析
云原生数据库 PolarDB 分布式版,标准版 2核8GB
简介: 这是一场数据库技术网(干)红(货)见面会。云栖大会深圳峰会,阿里云数据库团队发出大招——PB级数据存储:PetaData数据库发布、SAP HANA One数据库的合作和云数据库OceanBase发布,还有褚霸、何导、丁奇、叶翔、玄惭的深度分享。

        4月21日下午在深圳大中华喜来登召开的云栖大会-Tech Insight-数据库技术专场在开始前半小时,全部位置已坐满以至于在正式开始前就地上坐满了人,过道站满了人,不得不派出安保维持现场秩序。



       是什么让技术人员如此热情高涨?没错,就是数据库技术网(干)红(货)见面会。开会前,某技术网红(此处特指褚霸)说要放大招今天,我可以告诉你,大招是PB级数据存储:PetaData数据库发布、SAP HANA One数据库的合作和云数据库OceanBase发布。当然,还有更大招,将在7月云栖大会北京峰会对外公开,现在就可以期待了。

        前方高能大招,各位准备好了吗?请擦亮眼睛观看本场内容的8大观点:


一、褚霸:我们正在见证数据库的变迁       


        数据库从上个世纪70年代开始,经过50年的发展,当前已有300多种数据库系统。

        1数据库焦点在转移近看这10年的发展,为了更好的支撑互联网应用构建和迭代,架构师们更愿意选择轻量级数据库,特别是MySQL,所以我们看到数据库的焦点正在从商业库向开源数据库倾斜。

        2处理能力在发展:而从技术角度来看,一方面是从单机数据库分布式快速发展,另一方面数据库正在从单一的事务处理或者计算处理,向混合型处理发展,我们称之为HTAP(Hybrid Transaction/Analytical Processing) 。

        3使用模式在转变:从数据库获得途径来看,正在从传统软件+硬件走向云平台(服务)的新模式



二、何导:DT时代,“数据”是必须重视的核心资产

        企业经营多年,最后积累的永久宝贵资产除了钱就是数据

        根据不完全统计调查显示,当前创业公司中拥有数据库管理员(DBA)的企业小于4%(专业的DBA人才都集中在几个大型企业中),而这4%中还有一半以上是由运维人员兼职的。这在提醒我们:企业的最宝贵资产  —“数据”没有人保管!?

        ApsaraDB 团队致力于将数据库门槛降到0点,一键为用户创建一套完整而专业的数据库解决方案,包括高可用、高密度监控、备份和恢复、自动优化等。让开发可以轻松、专业的管理数据库。

       而面向日夜忙碌的DBA,我们不但可以帮助他们减少60%的日常工作,而且可以让他们以“数据管理员DataA”的视角,以“企业数据”为中心,全方向重新审视安全性、可靠性、可扩展性、远距离容灾等数据盲点,以全新的职能全力协助企业快速发展。




三、丁奇:数据库宕了,到底是谁的原因?

        数据库宕了大家着急,但很难使上力。于是各种猜测、指责开始蔓延…究其原因就是无法判断问题出在哪里,如何快速恢复。而今天,ApsaraDB 一直致力于建设高可诊断性的数据库。通过全链路监控,能够快速判断链路问题出在哪个节点。

        通过保存所有审计日志,在用户事后发现时, 授权后能够分析导致所有异常的原因。审计日志中可以保存每个语句的原文、来源ip、端口、微秒级执行时间、微秒级开始时间、扫描行数、返回行数、执行结果等,典型应用场景如:

        1)当用户发现数据被删除时,可以查出执行删除语句的所有信息方便定位;

        2)当用户出现大量锁等待时,可以分析出问题当时所有线程的事务状态,从中分析锁等待关系链;

        3)当用户出现大量读io时,可以分析当时所有语句的扫描行数轻松判断;

        从链路、主机、实例级别保存所有信息,使得数据库实例随时处于可诊断状态。

 

 

四、丁奇:比社区版本快100倍。真的吗?

        ApsaraDB即将上线的GreenPlum服务,要比社区快100倍?

        首先解释下这个100倍是指分区表插入速度快100倍。其原理:分区表插入关键是判断一个插入值属于哪个分区。社区版是采用触发器实现:

       1)需要调用触发器的逻辑,代码链路很长,导致执行慢。

       2)需要使用遍历的方式来判定一个值所属分区,非常低效。在分区较多(比如几百个分区)时,会很慢。分区越多,速度越慢。

 

        而 ApsaraDB for GreenPlum的方法 :

        1)无需调用复杂的触发器逻辑 

        2)采用二分法遍历分区的临界值,算法由O(N)降至O(logN)

 

 

五、叶翔:传说会丢数据的数据库,为什么会成为新的趋势?

        一个丢数据的数据库是不可能如此流行,“传说”更准确的说是“谣言”。

        MongoDB是非常灵活和可靠的数据库,用户可以自行配置写入可靠性级别,所以往往是误用了低可靠性参数而造成了一定概率的丢失。MongoDB的文档型数据结构与面向对象编程有天然的兼容性,数据建模非常容易上手。并且其支持高可用的复制集,灵活的分区功能等,这些核心功能促进了MongoDB的崛起。MongoDB在互联网对NoSQL的需求浪潮下,没有不火的道理。

        阿里云也是趁胜追击推出了MongoDB云服务。提供了更高的可靠性,背后还具有非常专业的MongoDB源码团队支撑。也欢迎大家前来使用,与阿里云一起享受NoSQL红利。

 


六、叶翔:NoSQL数据库如何选型?

        一般来说,NoSQL数据库选型需要从数据模型存储特性两方面综合考虑,拿最流行的三个NoSQL数据来举例:

        1)数据模型:

        2)存储特性上:

  • 持久化需求高数据量大,作为核心数据源,或者有轻度计算需求的:MongoDB
  • 对性能要求极致,不担心数据丢失的选择:Memcache
  • 数据生命周期短,数据量相对小,性能要求高:Redis

 

 

七、叶翔:NewSQL又是什么鬼?

        简单的来说:SQL+NoSQL=NewSQL。 NewSQL被定义为下一代数据库的发展方向。甚至在今天的数据库特性上已经可以看到这个趋势:最流行的开源关系型数据库:MySQL ,从5.7版本开始具有JSON,KV解决方案;而最流行的NoSQL数据库:MongoDB,也推出Join解决方案。

        SQL与NoSQL的界限逐渐在模糊,甚至传统关系型数据库PostgreSQL可以利用FDW让MongoDB作为其数据源。所以,不论SQL也好,NoSQL也好,都会以NewSQL的形态展现。

 

 

八、玄惭:《云数据库十大经典案例》满满全是干货,直接放PPT可以吗?

        《云数据库十大经典案例》以MySQL数据库为例,收集整理了自阿里云数据库团队至今,用户在使用RDS过程中最常见的问题。包括:

1)索引

2)sql优化

3)锁

4)延迟

5)参数优化

6)连接数

7)cpu

8)iops

9)磁盘

10)内存

        每个案例的背后都是活生生的生产故障,希望通过这些案例的总结还原问题原貌,给出分析问题的思路。也许有一天,当你遇到类似问题的时候能够触类旁通,举一反三,快速解决问题。

        最佳实践收集了阿里云多年在数据库上的开发经验和内核团队在MySQL上的优化实践,以及众多专家在处理各类问题后积累下来的最佳实践,希望用户能够在使用云数据库的路上少一些弯路,多一些从容。



整场内容PPT观看,请移步>>

相关实践学习
MongoDB数据库入门
MongoDB数据库入门实验。
快速掌握 MongoDB 数据库
本课程主要讲解MongoDB数据库的基本知识,包括MongoDB数据库的安装、配置、服务的启动、数据的CRUD操作函数使用、MongoDB索引的使用(唯一索引、地理索引、过期索引、全文索引等)、MapReduce操作实现、用户管理、Java对MongoDB的操作支持(基于2.x驱动与3.x驱动的完全讲解)。 通过学习此课程,读者将具备MongoDB数据库的开发能力,并且能够使用MongoDB进行项目开发。   相关的阿里云产品:云数据库 MongoDB版 云数据库MongoDB版支持ReplicaSet和Sharding两种部署架构,具备安全审计,时间点备份等多项企业能力。在互联网、物联网、游戏、金融等领域被广泛采用。 云数据库MongoDB版(ApsaraDB for MongoDB)完全兼容MongoDB协议,基于飞天分布式系统和高可靠存储引擎,提供多节点高可用架构、弹性扩容、容灾、备份回滚、性能优化等解决方案。 产品详情: https://www.aliyun.com/product/mongodb
目录
相关文章
|
2月前
|
数据库 索引
深入探索数据库索引技术:回表与索引下推解析
【10月更文挑战第15天】在数据库查询优化的领域中,回表和索引下推是两个核心概念,它们对于提高查询性能至关重要。本文将详细解释这两个术语,并探讨它们在数据库操作中的作用和影响。
60 3
|
3天前
|
人工智能 物联网 大数据
解密时序数据库的未来:TDengine Open Day技术沙龙精彩回顾
在数字化时代,开源已成为推动技术创新和知识共享的核心力量,尤其在数据领域,开源技术的涌现不仅促进了行业的快速发展,也让更多的开发者和技术爱好者得以参与其中。随着物联网、工业互联网等技术的广泛应用,时序数据库的需求愈发强烈,开源的兴起更是为这一技术的创新与普及提供了强有力的支持。
16 3
|
14天前
|
存储 JSON NoSQL
学习 MongoDB:打开强大的数据库技术大门
MongoDB 是一个基于分布式文件存储的文档数据库,由 C++ 编写,旨在为 Web 应用提供可扩展的高性能数据存储解决方案。它与 MySQL 类似,但使用文档结构而非表结构。核心概念包括:数据库(Database)、集合(Collection)、文档(Document)和字段(Field)。MongoDB 使用 BSON 格式存储数据,支持多种数据类型,如字符串、整数、数组等,并通过二进制编码实现高效存储和传输。BSON 文档结构类似 JSON,但更紧凑,适合网络传输。
49 15
|
2月前
|
负载均衡 网络协议 数据库
选择适合自己的数据库多实例负载均衡技术
【10月更文挑战第23天】选择适合自己的数据库多实例负载均衡技术需要全面考虑多种因素。通过深入的分析和评估,结合自身的实际情况,能够做出明智的决策,为数据库系统的高效运行提供有力保障。
120 61
|
2月前
|
人工智能 运维 关系型数据库
云栖大会|数据库与AI全面融合,迈入数据智能新纪元
2024年云栖大会「数据库与AI融合」专场,来自NVIDIA、宇视科技、合思信息、杭州光云科技、MiniMax等企业的代表与阿里云瑶池数据库团队,共同分享了Data+AI全面融合的最新技术进展。阿里云发布了DMS的跨云统一开放元数据OneMeta和智能开发OneOps,推出《云数据库运维》技术图书,并介绍了PolarDB、AnalyticDB、Lindorm和Tair等产品的最新能力,展示了AI在数据库领域的广泛应用和创新。
243 15
|
2月前
|
关系型数据库 分布式数据库 数据库
云栖大会|从数据到决策:AI时代数据库如何实现高效数据管理?
在2024云栖大会「海量数据的高效存储与管理」专场,阿里云瑶池讲师团携手AMD、FunPlus、太美医疗科技、中石化、平安科技以及小赢科技、迅雷集团的资深技术专家深入分享了阿里云在OLTP方向的最新技术进展和行业最佳实践。
|
2月前
|
SQL Java 数据库连接
在Java应用中,数据库访问常成为性能瓶颈。连接池技术通过预建立并复用数据库连接,有效减少连接开销,提升访问效率
在Java应用中,数据库访问常成为性能瓶颈。连接池技术通过预建立并复用数据库连接,有效减少连接开销,提升访问效率。本文介绍了连接池的工作原理、优势及实现方法,并提供了HikariCP的示例代码。
61 3
|
2月前
|
缓存 负载均衡 监控
数据库多实例的负载均衡技术深入
【10月更文挑战第23天】数据库多实例负载均衡技术是确保数据库系统高效运行的重要手段。通过合理选择负载均衡策略、实时监控实例状态、不断优化调整,能够实现资源的最优分配和系统性能的提升。在实际应用中,需要根据具体情况灵活运用各种负载均衡技术,并结合其他相关技术,以满足不断变化的业务需求。
|
2月前
|
Java 数据库连接 数据库
优化之路:Java连接池技术助力数据库性能飞跃
在Java应用开发中,数据库操作常成为性能瓶颈。频繁的数据库连接建立和断开增加了系统开销,导致性能下降。本文通过问题解答形式,深入探讨Java连接池技术如何通过复用数据库连接,显著减少连接开销,提升系统性能。文章详细介绍了连接池的优势、选择标准、使用方法及优化策略,帮助开发者实现数据库性能的飞跃。
36 4
|
2月前
|
Java 数据库连接 数据库
深入探讨Java连接池技术如何通过复用数据库连接、减少连接建立和断开的开销,从而显著提升系统性能
在Java应用开发中,数据库操作常成为性能瓶颈。本文通过问题解答形式,深入探讨Java连接池技术如何通过复用数据库连接、减少连接建立和断开的开销,从而显著提升系统性能。文章介绍了连接池的优势、选择和使用方法,以及优化配置的技巧。
50 1