云上数据变革:Databend Cloud 正式发布

本文涉及的产品
对象存储 OSS,20GB 3个月
对象存储 OSS,恶意文件检测 1000次 1年
对象存储OSS,敏感数据保护2.0 200GB 1年
简介: 在过去的一年中,阿里云存储团队与云原生数仓 Databend Cloud 团队展开了深度合作,通过对象存储 OSS 支持 Databend 实现存算分离,一起迈向 Serverless 架构的未来。

文章转载自:Databend

原文链接


2023 年 4 月 20 日,【新一代云原生数据仓库 Databend Cloud 】线上发布会顺利举行🎉(点击查看发布会详情:https://www.aliyun.com/page-source/developer/special/databend-salon


此次线上沙龙由北京数变科技有限公司【Databend Labs】联合阿里云共同举办。Databend Cloud 借助于云原生数仓 Databend 实现了云简单易用的大数据分析场景。


以下内容来自 Databend 联合创始人-王吟、Databend Cloud 平台负责人-李亚舟以及阿里云智能资深产品运营专家-蔡亮伟,在本次发布会上的分享总结。    


本次发布会分为三个部分:

第一部分:王吟,李亚舟分享:「 云上数据变革, Databend Cloud 发布 」

第二部分:蔡亮伟分享:「 阿里云对象存储 OSS, 构建企业级数据湖底

第三部分:在阿里云平台上如何开通 Databend Cloud  


image.png

(上图: 王吟(左)蔡亮伟(右)共同见证 Databend Cloud 获得阿里云生态认证)

云上数据变革,Databend Cloud 发布


这部分的主题大纲

1. Databend Cloud 主要功能介绍

2. Databend Cloud 和传统数仓的区别,为什么要选择 Databend Cloud

3. Databend 登顶 ClickBench 测试介绍

4. Databend Cloud 未来定位


Databend Cloud 主要功能介绍

Databend 是一款使用 Rust 研发,完全面向云架构,基于对象存储构建的云原生数仓。

image.png

Databend Cloud 是基于 Databend 打造的弹性云数仓,由 3 层组成,底层基于对象存储,如阿里云 OSS,上层计算节点采用不同的规格,好比个人选购衣服,有小号,中号,大号等,同理计算节点也有小号 1x、中号 2x,大号 8x,根据自己计算的需求,选择不同的型号。最上层就是我们元数据和管理集群,实现多租户的隔离,保证用户的数据安全。


Databend Cloud 架构如下:

image.png

在 Databend Cloud 可以为用户提供:

  • 一站式数据分析和管理平台
  • 丰富的租户及组织管理能力
  • 按资源使用情况计费,零管理零运维
  • 多云解决方案
  • Databend 核心团队提供支撑


Databend性能如何呢?

ClickBench 是 ClickHouse 发起的分析型数据库性能测试排行榜,收录了Snowflake、ClickHouse 等 50 多个主流分析型数据库的测试结果,它采用一个公开的标准来衡量数据库的性能,我们的导入性能在三个机型下均为第一名,在 hot run 查询下,我们有一个机型是第一名,其他两个机型分别是第二第三名。


Databend Cloud 和自己搭建数仓的区别,为什么要选择 Databend Cloud

目前,很多用户在公有云中利用云主机自己部署数仓集群,通常采用传统数仓的存算一体架构,底层存储利用硬盘来构建。

Databend Cloud 底层采用对象存储使用多少用多少无需考虑空间容量,成本是云硬盘的 1/3 到 1/8 甚至更少,使用的计算资源也跟业务需求相关,如果是跑批类业务,只需要在指定时间使用。整体而言可以为企业节省 80% 以上成本。

image.png


Databend Cloud 和使用公有云数仓的区别

公有云中数仓主要还是存算一体架构,底层也是基于云硬盘来构建,相比于场景一,公有云厂商通常提供 PaaS 服务,一键可以安装整个集群到用户 VPC 中,但还需要用户时刻关注集群状态。

成本上,集群长期占用,费用甚至比第一种场景用户自己搭建还要高。所以整体而言,相对于 Databend Cloud 需要一定的运维成本,整体费用高出 4-10 倍以上。

image.png

相对公有云中数仓服务 Databend Cloud 是一家更加开放的公司,可以给你提供多云无锁定服务,同时 Databend Cloud 也是基于 Databend 研发,Databend 也可以在现在市场上所有的公有云上实现私有化部署, 可以让用户实现零担心被云锁定问题。


Databend Cloud 适用于以下业务场景

Databend Cloud 主要定位在云上大数据存储及分析,从现在实际用户使用场景来看 Databend Cloud 给用户提供了:

  • 基于存算分离,可以实现计算层的独立扩容及收缩
  • 基于对象存储,帮助用户实现结构化和半结构化的高压缩存储
  • 提多云上服务体验统一
  • 计算分析能力强,用户数据不只存储,同时拥有灵活的计算能力
  • 基于 AI 实现的问答应用,智能客服等

image.png

部分用户

image.png


阿里云对象存储如何帮助云原生数仓构建统一数据底座

阿里云对象存储已经为上万家客户提供了云上数据湖和数仓分析业务的支持,在此过程中,对象存储不断提升和演进数据湖存储能力,从 1.0 到 3.0 版本,其最终愿景是为上层分析的生态应用提供统一的、多协议接入的存储底座。


在过去的一年中,阿里云存储团队与云原生数仓 Databend Cloud 团队展开了深度合作,通过对象存储 OSS 支持 Databend 实现存算分离,一起迈向 Serverless 架构的未来。

image.png


在此过程中,双方在数据存储方面为客户带来了如下价值:

  • 稳定可靠:采用多种高可靠技术,如校验,多可用区,跨 Region 复制实现数据不丢不错,保证数据的持续访问。
  • 安全可信:通过多种数据加密技术,配合完善的权限管控能力,实现全链路的访问安全和存储安全。
  • 弹性伸缩:以服务化的方式,按量付费,提供从零到上万亿对象和 EB 级存储空间的扩展性。
  • 极致性能:可为客户提供 Tbps 级别吞吐带宽,优化海量小文件读写,单命名空间支持50 亿文件。

在阿里云平台如何开通 Databend Cloud

Databend Cloud 现在已经上架阿里云市场,现在阿里云用户开通 Databend 也比较方便,开通的方法可以看视频

另外也可以通过阿里云 OSS 控制台中开通:

image.png


关于 Databend Cloud

Databend Cloud 是基于 Databend 实现上的云原生数仓 SAAS 产品,提供的一站式SaaS 云数据平台,它具备:免安装、免运维,注册账号即可使用,按你的 SQL 查询按需按量付费,真正做到使用才付费,不查询不使用不付费的特点。它为用户提供了:

  • 存算分离,或是进一步算算分离: 资源弹性,按量付费
  • 同一份数据支持多个计算节点共同访问
  • 基于应用层做好数据加密
  • 多级存储,对用户透明
  • 支持数据 time travel ,可以让用户非常方便地访问数据任意时间点
  • 多云无锁定,统一用户体的大数据解决方案


Databend Cloud 正是基于以上的条件为用户定制一个多云,无锁定,高弹性,高性能,低成本的云上大数据解决方案。


海外官网:https://www.databend.com

国内官网:https://www.databend.cn

开源社区网站:https://databend.rs

Github:https://github.com/datafuselabs/databend

B 站:搜 Databend,技术分享视频

相关实践学习
阿里云云原生数据仓库AnalyticDB MySQL版 使用教程
云原生数据仓库AnalyticDB MySQL版是一种支持高并发低延时查询的新一代云原生数据仓库,高度兼容MySQL协议以及SQL:92、SQL:99、SQL:2003标准,可以对海量数据进行即时的多维分析透视和业务探索,快速构建企业云上数据仓库。 了解产品 https://www.aliyun.com/product/ApsaraDB/ads
相关文章
|
SQL 分布式计算 Shell
Hive教程(05)- Hive命令汇总(上)
Hive教程(05)- Hive命令汇总(上)
421 0
|
数据采集 SQL 分布式计算
数据处理 、大数据、数据抽取 ETL 工具 DataX 、Kettle、Sqoop
数据处理 、大数据、数据抽取 ETL 工具 DataX 、Kettle、Sqoop
2255 0
|
5月前
|
监控 API 定位技术
App 出海:全渠道营销如何通过性能监控与精准归因实现增长
在App出海竞争加剧的背景下,营销面临流量碎片化和用户体验断层的问题。海外用户决策链路复杂,触点多、周期长且设备场景多样。传统营销归因粗放,性能问题导致用户流失。AppTrace平台通过全链路监控与精准归因体系,整合线上线下数据,优化性能体验,并提供实战案例证明其有效性。最终帮助企业实现数据驱动的渠道优化和全周期用户管理,在海外市场建立核心竞争优势。
|
存储 SQL 数据可视化
【Databend】数据库和表操作
【Databend】数据库和表操作
252 1
|
11月前
|
Kubernetes 关系型数据库 MySQL
Kubernetes入门:搭建高可用微服务架构
【10月更文挑战第25天】在快速发展的云计算时代,微服务架构因其灵活性和可扩展性备受青睐。本文通过一个案例分析,展示了如何使用Kubernetes将传统Java Web应用迁移到Kubernetes平台并改造成微服务架构。通过定义Kubernetes服务、创建MySQL的Deployment/RC、改造Web应用以及部署Web应用,最终实现了高可用的微服务架构。Kubernetes不仅提供了服务发现和负载均衡的能力,还通过各种资源管理工具,提升了系统的可扩展性和容错性。
387 3
|
安全 网络安全 开发者
OpenWRT搭建个人web站点并结合内网穿透实现公网远程访问
OpenWRT搭建个人web站点并结合内网穿透实现公网远程访问
520 0
|
存储 安全
电脑怎么格式化清除所有数据
在出售、捐赠或维修电脑之前或需要处理敏感数据时,格式化硬盘并彻底清除所有数据还是很有必要的。本篇文章将详细介绍如何安全、彻底地格式化你的电脑。
电脑怎么格式化清除所有数据
|
机器学习/深度学习 人工智能 算法
【AI大模型应用开发】3. RAG初探 - 动手实现一个最简单的RAG应用
【AI大模型应用开发】3. RAG初探 - 动手实现一个最简单的RAG应用
841 0
|
AliSQL 关系型数据库 MySQL
RDS AliSQL 面向 Binlog 的性能优化大揭密(下)——强效瓶颈消除
本篇将继续揭秘AliSQL在binlog高并发性能上做的企业级优化。
RDS AliSQL 面向 Binlog 的性能优化大揭密(下)——强效瓶颈消除
|
SQL 前端开发 API
Flink教程(22)- Flink高级特性(异步IO)
Flink教程(22)- Flink高级特性(异步IO)
962 0