看云栖说云栖—— 开源、SQL or NoSQL -阿里云开发者社区

开发者社区> anxin> 正文

看云栖说云栖—— 开源、SQL or NoSQL

简介: 阿里云上的开源数据库、NoSQL数据库。
+关注继续查看

查理·芒格:你必须知道重要学科的重要理论,并经常使用它们——要全部都用上,而不是只用几种。

本文内容提取自2019杭州云栖大会《开源数据库专场》、《NoSQL数据库专场》、《ElasticSearch开发者生态专场》。这次继续聊数据库,且还是聚焦于在线业务数据处理,但不像前几天在《双十一的俩功臣》中分享的阿里云自研数据库,这次几乎全是开源数据库。

前两天看到一篇CSDN翻译的文章《云与开源谁吃谁》,看到下面这张图:开源正在被云吃掉,而云正在被多云吃掉。

吃.jpg

(图片来自于网络)

开源其实是很古老的事物,在开源圣经《大教堂和集市》于1997年问世之前,GNU/Linux就已经流行很多年了。我认为一项东西越是古老,就越有可能仍然有用。随着RedHat、GitHub的相继被收购,开源作为一种商业模式有可能正在走向末路,但开源作为一项软件开发组织形式一定还会在在云服务商的资助下,在多云的博弈下继续存在很多年。

在《开源数据库专场》,阿里云数据库团队宣布在2020年DRDS将开源,DRDS是阿里云自研的一个数据库分片引擎,可以将海量的数据处理任务分散到多个数据库上进行处理,在阿里巴巴去IOE的过程中扮演了非常重要的角色。现在,DRDS即将开源了。

DRDS在阿里去IOE中的战友是MySQL,阿里云MySQL8.0有下面这些特色:

  • TDE加密&SM4国密算法、支持使用国内的国密算法对数据表文件进行透明加密。
  • New Thread Pool、新线程池,对提高并发数有好处。
  • AliSQL Cluster、提供99.99%的高可用,支持3可用区部署,提供金融级数据保护能力。
  • Sequence Engine、顺序数生成更靠谱,更灵活可靠的生成各种主键。
  • 热点账户&库存秒杀、提升单行事务处理能力,应对积分、红包、库存等热点。
  • 隐式主键、保证所有的表都有主键,自动为不含定义的表加主键,可以提升复制性能。
  • Performance Insight、提供更多性能指标监控信息。
  • SQL Outline、透明的Hint固化SQL执行计划。
  • 大文件异步删除、可以平稳的删除上百GB或上TB的大文件。
  • 语句级并发控制、动态控制某个SQL的执行频率,限制单个差SQL对整个数据库资源的抢占。
  • Recycle Bin、延迟删除对象,遇到误操作,可以快速找回。
  • Semisync Optimize、优化主从同步的性能,提供更好的HA保护。

在《Elasticsearch开发者生态专场》,阿里云发布了Elasticsearch2.0,主要特性如下:

  • 增强版ES、索引构建性能提升95.8%、支持秒级弹性扩容、存储成本降低50%以上。
  • Logstach as Service、开箱即用的Logstach云托管服务、支持OSS、LogService(阿里云自己的日志服务)的input插件。
  • 阿里NLP分词器、阿里达摩院倾力打造、默认词库超过700MB、支持热词库更新。
  • 智能运维、智能诊断Elasticsearch实例健康状况、定期生成诊断报告,降低运维成本。

在应用场景分享和圆桌论坛环节,众安保险、Elastic Code、阿里云安全团队分别介绍了ElasticSearch在保单搜索、代码搜索、安全风控领域的应用。

在《NoSQL数据库专场》,介绍了Redis、MongoDB、HBase、Cassandra、GDB这几种NoSQL数据库。

这其中只有GDB不是开源数据库,GDB是阿里云自研的,主要面向在线业务的图数据库服务。阿里云GDB支持主流的Gremlin图数据查询语言,支持ACID事务、提供自动索引、无需定义Schema、主要用于社交网络、金融欺诈检测、实时推荐引擎、知识图谱、网络/IT运营等场景。
这其中被应用的最广泛的应该是Redis,阿里云上的Redis有什么不同:

  • 中心化的集群架构,在不影响可用性的前提下提高兼容性,支持读写分离、便于深度优化定制。
  • 支持热升级、在用户无感知的情况下对Redis Proxy代理进行升级。
  • Redis数据迁移方案、通过开源项目RedisShake/RedisFullCheck支持跨云热迁移与校验Redis数据、上的去,也下的来,斗鱼的混合云架构中大量使用了RedisShake/RedisFullCheck。
  • Redis混合存储、提供混合存储实例,结合RocksDB实现数据即时落盘,突破内存限制。

针对MongoDB,阿里云提供安全审计、备份恢复、诊断分析、MongoShake复制、企业级存储引擎的支持。

HBase一般和大数据相关,但在这里,HBase是作为一项NoSQL技术被讨论的,在阿里云内部HBase有一万+的节点、峰值请求3亿+、存储了200PB+的数据、服务了内部9000+的用户。为了降低HBase的存储成本,阿里云HBase支持自动存储分层,可将冷数据自动迁移到OSS。在性能方面,通过对日志存储等技术细节的优化,阿里云托管的HBase要比自建在ECS上的HBase性能有几倍的提升。

最后一个要介绍的是Cassandra,阿里云应该是国内最早开通Cassandra服务的云服务商。Cassandra是结合了Google BigTable和亚马逊DynamoDB的一个NoSQL数据库实现,但这里的NoSQL是Not Only SQL的意思,Cassandra 使用名为CQL的类SQL语言,可以让会MySQL的开发和运维人员在一台之内学会Cassandra。Cassandra的一些成功案例包括:

  • 用户画像&历史订单、亿级别用户数据、100+用户属性、6000万+日更新数据,99%的延迟控制在5ms以内。
  • Feed流、1000+节点、500+TB数据、平均延迟20ms。
  • 小对象存储、Read/Write QPS 100K+、对象平均大小50KB、平均延迟7ms。
  • 推荐平台、结合Kafka、MongoDB、Spark、Redis构建的商品推荐平台,通过Kafka对日志进行采集,结合MongoDB中的商品信息,通过Spark实时处理引擎将画像数据推送入Cassandra,通过Spark离线计算引擎每30分运行一次推荐,结果存入Redis。

在阿里云上的Cassandra有这些不同:

  • 自动化运维
  • 兼容DynamoDB(AWS的客户看过来)
  • 备份恢复(待支持)
  • 全链路优化性能提升100%+
  • 自研公网访问:多种网络环境VPC、公网,Server自动切换路由链路,开源客户端无需改动
  • 自研分级安全插件:在原有super user上,多一级system user,保护云上核心资源不被篡改。
  • 对接到阿里云产品生态 —— DTS、CMS、CDP、云Kafka、X-Pack Spark等。

版权声明:本文内容由阿里云实名注册用户自发贡献,版权归原作者所有,阿里云开发者社区不拥有其著作权,亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容,填写侵权投诉表单进行举报,一经查实,本社区将立刻删除涉嫌侵权内容。

相关文章
.NET平台开源项目速览(3)小巧轻量级NoSQL文件数据库LiteDB
原文:.NET平台开源项目速览(3)小巧轻量级NoSQL文件数据库LiteDB     今天给大家介绍一个不错的小巧轻量级的NoSQL文件数据库LiteDB。本博客在2013年也介绍过2款.NET平台的开源数据库: 1.【原创】开源.NET下的XML数据库介绍及入门  2.【原创】C#开源轻量级对象数据库NDatabase介绍      上面2个数据库我的实际的项目中用过,还不错。
1010 0
阿里云服务器ECS远程登录用户名密码查询方法
阿里云服务器ECS远程连接登录输入用户名和密码,阿里云没有默认密码,如果购买时没设置需要先重置实例密码,Windows用户名是administrator,Linux账号是root,阿小云来详细说下阿里云服务器远程登录连接用户名和密码查询方法
3509 0
阿里云服务器端口号设置
阿里云服务器初级使用者可能面临的问题之一. 使用tomcat或者其他服务器软件设置端口号后,比如 一些不是默认的, mysql的 3306, mssql的1433,有时候打不开网页, 原因是没有在ecs安全组去设置这个端口号. 解决: 点击ecs下网络和安全下的安全组 在弹出的安全组中,如果没有就新建安全组,然后点击配置规则 最后如上图点击添加...或快速创建.   have fun!  将编程看作是一门艺术,而不单单是个技术。
4624 0
阿里云服务器安全组设置内网互通的方法
虽然0.0.0.0/0使用非常方便,但是发现很多同学使用它来做内网互通,这是有安全风险的,实例有可能会在经典网络被内网IP访问到。下面介绍一下四种安全的内网互联设置方法。 购买前请先:领取阿里云幸运券,有很多优惠,可到下文中领取。
9519 0
专访PostgreSQL社区全球技术领袖Oleg Bartunov:飞速变革的世界,只有开源技术才能满足新的需求
我们已经生活在一个开源的时代!互联网技术正统治着市场,任何新兴企业都在利用开源技术。这是一个飞速变革的世界,只有开源技术才能满足这些新的需求。我们发现许多新的开源数据库为了满足新需求应运而生。
4077 0
.NET平台开源项目速览(7)关于NoSQL数据库LiteDB的分页查询解决过程
原文:.NET平台开源项目速览(7)关于NoSQL数据库LiteDB的分页查询解决过程   在文章:这些.NET开源项目你知道吗?让.NET开源来得更加猛烈些吧!(第二辑) 与 .NET平台开源项目速览(3)小巧轻量级NoSQL文件数据库LiteDB中,介绍了LiteDB的基本使用情况以及部分技术细节,我还没有在实际系统中大量使用,但文章发布后,有不少网友( loogn)反应在实际项目中使用过,效果还可以吧。
909 0
如何设置阿里云服务器安全组?阿里云安全组规则详细解说
阿里云安全组设置详细图文教程(收藏起来) 阿里云服务器安全组设置规则分享,阿里云服务器安全组如何放行端口设置教程。阿里云会要求客户设置安全组,如果不设置,阿里云会指定默认的安全组。那么,这个安全组是什么呢?顾名思义,就是为了服务器安全设置的。安全组其实就是一个虚拟的防火墙,可以让用户从端口、IP的维度来筛选对应服务器的访问者,从而形成一个云上的安全域。
4271 0
看云栖说云栖—— 开源、SQL or NoSQL
阿里云上的开源数据库、NoSQL数据库。
418 0
+关注
anxin
阿里云辽宁授权服务中心大连奥远电子股份有限公司技术总监、阿里云ACE认证架构师、阿里云MVP。
138
文章
1
问答
来源圈子
更多
阿里云最有价值专家,简称 MVP(Most Valuable Professional),是专注于帮助他人充分了解和使用阿里云技术的意见领袖阿里云 MVP 奖项为我们提供了这样一个机会,向杰出的意见领袖表示感谢,更希望通过 MVP 将开发者的声音反映到我们的技术路线图上。
+ 订阅
文章排行榜
最热
最新
相关电子书
更多
文娱运维技术
立即下载
《SaaS模式云原生数据仓库应用场景实践》
立即下载
《看见新力量:二》电子书
立即下载