数据仓库-阿里云开发者社区-阿里云

开发者社区> 数据库> 数据仓库

数据仓库

关注

0
今日
1790
内容
6
活动
1839
关注
|
1天前
|
存储 SQL Apache
|

阿里云数据库内核 Apache Doris 基于 Workload Group 的负载隔离能力解读

阿里云数据库内核 Apache Doris 基于 Workload Group 的负载隔离能力解读

18 0
|
1天前
|
存储 Cloud Native 大数据
|

国内独家|阿里云瑶池发布ClickHouse企业版:云原生Serverless新体验

全面升级为云原生架构,支持云原生按需弹性Serverless能力,解决了长期困扰用户的集群扩展效率和平滑性问题。

22 0
|
1天前
|
SQL 存储 算法
|

clickhouse SQL优化

clickhouse 是 OLAP 数据库,但其具有独特的索引设计,所以如果拿 MySQL 或者其他 RDB 的优化经验来优化 clickhouse 可能得不到很好的效果,所以特此单独整理一篇文档,用于有 SQL 优化需求的同学,本人接触 clickhouse 时间也不长,难免有不足的地方,如果大家发现错误,还请不吝指正。

11 0
|
2天前
|
SQL Cloud Native 数据挖掘
|

云原生数据仓库产品使用合集之在使用 ADB 进行数据分析处理时,出现分区倾斜的情况,如何解决

阿里云AnalyticDB提供了全面的数据导入、查询分析、数据管理、运维监控等功能,并通过扩展功能支持与AI平台集成、跨地域复制与联邦查询等高级应用场景,为企业构建实时、高效、可扩展的数据仓库解决方案。以下是对AnalyticDB产品使用合集的概述,包括数据导入、查询分析、数据管理、运维监控、扩展功能等方面。

22 0
|
2天前
|
存储 分布式计算 关系型数据库
|

云原生数据仓库产品使用合集之ADB如何确保数据库的可用性

阿里云AnalyticDB提供了全面的数据导入、查询分析、数据管理、运维监控等功能,并通过扩展功能支持与AI平台集成、跨地域复制与联邦查询等高级应用场景,为企业构建实时、高效、可扩展的数据仓库解决方案。以下是对AnalyticDB产品使用合集的概述,包括数据导入、查询分析、数据管理、运维监控、扩展功能等方面。

18 1
|
2天前
|
Cloud Native 关系型数据库 OLAP
|

云原生数据仓库产品使用合集之阿里云云原生数据仓库AnalyticDB PostgreSQL版的重分布时间主要取决的是什么

阿里云AnalyticDB提供了全面的数据导入、查询分析、数据管理、运维监控等功能,并通过扩展功能支持与AI平台集成、跨地域复制与联邦查询等高级应用场景,为企业构建实时、高效、可扩展的数据仓库解决方案。以下是对AnalyticDB产品使用合集的概述,包括数据导入、查询分析、数据管理、运维监控、扩展功能等方面。

14 1
|
2天前
|
Cloud Native 关系型数据库 MySQL
|

云原生数据仓库产品使用合集之如何使用ADB MySQL湖仓版声纹特征提取服务

阿里云AnalyticDB提供了全面的数据导入、查询分析、数据管理、运维监控等功能,并通过扩展功能支持与AI平台集成、跨地域复制与联邦查询等高级应用场景,为企业构建实时、高效、可扩展的数据仓库解决方案。以下是对AnalyticDB产品使用合集的概述,包括数据导入、查询分析、数据管理、运维监控、扩展功能等方面。

16 0
|
2天前
|
Cloud Native 关系型数据库 MySQL
|

云原生数据仓库产品使用合集之ADB MySQL湖仓版和 StarRocks 的使用场景区别,或者 ADB 对比 StarRocks 的优劣势

阿里云AnalyticDB提供了全面的数据导入、查询分析、数据管理、运维监控等功能,并通过扩展功能支持与AI平台集成、跨地域复制与联邦查询等高级应用场景,为企业构建实时、高效、可扩展的数据仓库解决方案。以下是对AnalyticDB产品使用合集的概述,包括数据导入、查询分析、数据管理、运维监控、扩展功能等方面。

20 1
|
2天前
|
Cloud Native 关系型数据库 MySQL
|

云原生数据仓库产品使用合集之在云数据仓库ADB中,GROUP BY操作中出现NULL值,如何解决

阿里云AnalyticDB提供了全面的数据导入、查询分析、数据管理、运维监控等功能,并通过扩展功能支持与AI平台集成、跨地域复制与联邦查询等高级应用场景,为企业构建实时、高效、可扩展的数据仓库解决方案。以下是对AnalyticDB产品使用合集的概述,包括数据导入、查询分析、数据管理、运维监控、扩展功能等方面。

14 0
|
2天前
|
存储 运维 监控
|

云原生数据仓库产品使用合集之怎样才可以提高云数据ADB的执行速度

阿里云AnalyticDB提供了全面的数据导入、查询分析、数据管理、运维监控等功能,并通过扩展功能支持与AI平台集成、跨地域复制与联邦查询等高级应用场景,为企业构建实时、高效、可扩展的数据仓库解决方案。以下是对AnalyticDB产品使用合集的概述,包括数据导入、查询分析、数据管理、运维监控、扩展功能等方面。

11 0
|
2天前
|
SQL 分布式计算 关系型数据库
|

云原生数据仓库产品使用合集之可以把ADB MySQL湖仓版数据库做成页面查询的数据库吗

阿里云AnalyticDB提供了全面的数据导入、查询分析、数据管理、运维监控等功能,并通过扩展功能支持与AI平台集成、跨地域复制与联邦查询等高级应用场景,为企业构建实时、高效、可扩展的数据仓库解决方案。以下是对AnalyticDB产品使用合集的概述,包括数据导入、查询分析、数据管理、运维监控、扩展功能等方面。

19 1
|
2天前
|
Cloud Native 关系型数据库 MySQL
|

云原生数据仓库产品使用合集之在ADB中,如何将源数据的多表(数据结构一致)汇总到一张表

阿里云AnalyticDB提供了全面的数据导入、查询分析、数据管理、运维监控等功能,并通过扩展功能支持与AI平台集成、跨地域复制与联邦查询等高级应用场景,为企业构建实时、高效、可扩展的数据仓库解决方案。以下是对AnalyticDB产品使用合集的概述,包括数据导入、查询分析、数据管理、运维监控、扩展功能等方面。

20 1
|
2天前
|
运维 Cloud Native 关系型数据库
|

云原生数据仓库产品使用合集之原生数据仓库AnalyticDB PostgreSQL版如果是列存表的话, adb支持通过根据某个字段做upsert吗

阿里云AnalyticDB提供了全面的数据导入、查询分析、数据管理、运维监控等功能,并通过扩展功能支持与AI平台集成、跨地域复制与联邦查询等高级应用场景,为企业构建实时、高效、可扩展的数据仓库解决方案。以下是对AnalyticDB产品使用合集的概述,包括数据导入、查询分析、数据管理、运维监控、扩展功能等方面。

17 0
|
5天前
|
存储 容灾 Cloud Native
|

阿里云ClickHouse企业版正式商业化,为开发者提供容灾性更好、性价比更高的实时数仓

2024年4月23日,阿里云联合 ClickHouse Inc. 成功举办了企业版商业化发布会。阿里云 ClickHouse 企业版是阿里云和 ClickHouse 原厂 ClickHouse. Inc 独家合作的存算分离的云原生版本,支持资源按需弹性 Serverless,帮助企业降低成本的同时,为企业带来更多商业价值。

101 1
|
8天前
|
关系型数据库 Apache 流计算
|

手把手教你实现 OceanBase 数据到阿里云数据库 SelectDB 内核版 Apache Doris 的便捷迁移|实用指南

本文介绍了如何将数据从 OceanBase 迁移到阿里云数据库 SelectDB 内核版 Apache Doris。提供 3 种数据同步方法 1. 使用 DataX,下载 DataX 并编写配置文件,通过 OceanBaseReader 和 DorisWriter 进行数据迁移。 2. 利用 Apache Doris 的 Catalog功 能,将 OceanBase 表映射到 Doris 并插入数据。 3. 通过Flink CDC,设置 OceanBase 环境,配置 Flink 连接器,实现实时数据同步。

48 0
|
11天前
|
运维 Cloud Native 大数据
|

号外号外!ClickHouse企业版正式商业化啦!

欢迎预约「ClickHouse企业版商业化发布会」直播~

236 2
|
13天前
|
存储 监控 网络安全
|

Doris Manager 24.0 版本正式发布!

Doris Manager 24.0,SelectDB 的 Apache Doris 集群管理工具,迎来重大更新,包括管控模式升级至安全的 Agent 模式、新增任务审计、主机监控、计算节点部署支持等。此版本已获上千企业用户认可。新特性如 Agent 与 Server 间的 HTTP 通信,提升安全性;任务审计记录操作详情;监控模块扩展主机指标;集群巡检支持定时检查。此外,Doris Manager 提供了集群部署、扩缩容、升级、参数配置、日志查看、告警和审计等一系列高效管理功能。体验新版本,请参考安装和使用手册。

255 0
|
13天前
|
Kubernetes 关系型数据库 Apache
|

Apache Doris 2.1.2 版本正式发布!

Apache Doris 2.1.2 版本正式发布!该版本提交了若干改进项以及问题修复,进一步提升了系统的性能及稳定性,欢迎大家下载体验!

233 0
|
13天前
|
运维 Cloud Native 大数据
|

号外号外!ClickHouse企业版正式商业化啦!

阿里云将于2024年4月23日14:00举办《ClickHouse企业版商业化发布会》直播,探讨阿里云ClickHouse企业版的架构、功能与优势,以及未来一年的产品规划。直播还将分享ClickHouse在携程的测试成果,并展示如何利用ClickHouse构建广告投放平台。届时将邀请行业专家与一线工程师将进行深入的技术讲解。

604 3
|
15天前
|
关系型数据库 MySQL
|

MySQL全局库表查询准确定位字段

information_schema.COLUMNS 详细信息查询

203 4
|
22天前
|
Java 数据处理 调度
|

更高效准确的数据库内部任务调度实践,阿里云数据库SelectDB 内核 Apache Doris 内置 Job Scheduler 的实现与应用

Apache Doris 2.1 引入了内置的 Job Scheduler,旨在解决依赖外部调度系统的问题,提供秒级精确的定时任务管理。

107761 2
|
23天前
|
分布式计算 Java Apache
|

Apache Doirs 2.1.1 版本正式发布

Apache Doirs 2.1.1 版本正式发布

353 1
|
2月前
|
SQL 监控 Apache
|

钱大妈生鲜如何利用 CCR 实现 Apache Doris 集群读写分离

钱大妈基于 阿里云 SelectDB 内核 Apache Doris 搭建了实时数仓,为业务提供实时精准分析的数据查询及分析服务。凭借 Apache Doris 强大的性能,钱大妈能够实时监控生鲜产品的流通情况,为商品结构的优化和食品新鲜度的保障提供坚实的数据支撑。

330 2
|
2月前
|
关系型数据库 MySQL OLAP
|

PolarDB +AnalyticDB Zero-ETL :免费同步数据到ADB,享受数据流通新体验

Zero-ETL是阿里云瑶池数据库提供的服务,旨在简化传统ETL流程的复杂性和成本,提高数据实时性。降低数据同步成本,允许用户快速在AnalyticDB中对PolarDB数据进行分析,降低了30%的数据接入成本,提升了60%的建仓效率。 Zero-ETL特性包括免费的PolarDB MySQL联邦分析和PolarDB-X元数据自动同步,提供一体化的事务处理和数据分析,并能整合多个数据源。用户只需简单配置即可实现数据同步和实时分析。

512 4
|
2月前
|
缓存 安全 Java
|

阿里云数据库 SelectDB 内核 Apache Doris 2.0.6 版本正式发布

阿里云数据库 SelectDB 内核 Apache Doris 2.0.6 版本正式发布

804 1
|
2月前
|
存储 SQL 数据管理
|

阿里云数据库 SelectDB 内核 Apache Doris 如何基于自增列满足高效字典编码等典型场景需求|Deep Dive 系列

自增列的实现,使得 Apache Doris 可以在处理大规模时展示出更高的稳定性和可靠性。通过自增列,用户能够高效进行字典编码,显著提升了字符串精确去重以及查询的性能。使用自增列作为主键来存储明细数据,可以完美的解决明细数据更新的问题。同时,基于自增列,用户可以实现高效的分页机制,轻松应对深分页场景,有效过滤掉大量非必需数据,从而减轻数据库的负载压力,为用户带来了更加流畅和高效的数据处理体验。

204 0
|
2月前
|
SQL 数据可视化 Apache
|

阿里云数据库内核 Apache Doris 兼容 Presto、Trino、ClickHouse、Hive 等近十种 SQL 方言,助力业务平滑迁移

阿里云数据库 SelectDB 内核 Doris 的 SQL 方言转换工具, Doris SQL Convertor 致力于提供高效、稳定的 SQL 迁移解决方案,满足用户多样化的业务需求。兼容 Presto、Trino、ClickHouse、Hive 等近十种 SQL 方言,助力业务平滑迁移。

520 1
|
2月前
|
存储 SQL 关系型数据库
|

ClickHouse(02)ClickHouse架构设计介绍概述与ClickHouse数据分片设计

ClickHouse的核心架构包括执行过程和数据存储两部分。执行过程涉及Parser与Interpreter解析SQL,通过Column、DataType、Block、Functions和Storage模块处理数据。Column是内存中列的表示,Field处理单个值,DataType负责序列化和反序列化,Block是内存中表的子集,Block Streams处理数据流。Storage代表表,使用不同的引擎如StorageMergeTree。数据存储基于分片和副本,1个分片由多个副本组成,每个节点只能拥有1个分片。

86 0
|
2月前
|
关系型数据库 MySQL 数据挖掘
|

阿里云 SelectDB 携手 DTS ,一键实现 TP 数据实时入仓

DTS 作为阿里云核心的数据交互引擎,以其高效的实时数据流处理能力和广泛的数据源兼容性,为用户构建了一个安全可靠、可扩展、高可用的数据架构桥梁。阿里云数据库 SelectDB 通过与 DTS 联合,为用户提供了简单、实时、极速且低成本的事务数据分析方案。用户可以通过 DTS 数据传输服务,一键将自建 MySQL / RDS MySQL / PolarDB for MySQL 数据库,迁移或同步至阿里云数据库 SelectDB 的实例中,帮助企业在短时间内完成数据迁移或同步,并即时获得深度洞察。

989 3
|
2月前
|
存储 JSON Apache
|

揭秘 Variant 数据类型:灵活应对半结构化数据,JSON查询提速超 8 倍,存储空间节省 65%

在最新发布的阿里云数据库 SelectDB 的内核 Apache Doris 2.1 新版本中,我们引入了全新的数据类型 Variant,对半结构化数据分析能力进行了全面增强。无需提前在表结构中定义具体的列,彻底改变了 Doris 过去基于 String、JSONB 等行存类型的存储和查询方式。

139 1
|
2月前
|
SQL 存储 JSON
|

阿里云数据库 SelectDB 内核 Apache Doris 2.1.0 版本发布:开箱盲测性能大幅优化,复杂查询性能提升 100%

亲爱的社区小伙伴们,Apache Doris 2.1.0 版本已于 2024 年 3 月 8 日正式发布,新版本开箱盲测性能大幅优化,在复杂查询性能方面提升100%,新增Arrow Flight接口加速数据读取千倍,支持半结构化数据类型与分析函数。异步多表物化视图优化查询并助力仓库分层建模。引入自增列、自动分区等存储优化,提升实时写入效率。Workload Group 资源隔离强化及运行时监控功能升级,保障多负载场景下的稳定性。新版本已经上线,欢迎大家下载使用!

469 1
|
3月前
|
存储 SQL 监控
|

云数据仓库ADB问题之单表查时提示数据倾斜如何解决

云数据仓库AnalyticDB是阿里云提供的一种高性能、弹性扩展的云原生数据仓库解决方案;本合集将深入探讨ADB的架构、性能调优、数据管理和应用场景等,以及如何解决在使用过程中可能出现的问题,提高数据仓库的使用效率。

53 4
|
3月前
|
存储 自然语言处理 Cloud Native
|

云数据仓库ADB问题之全文索引检索字段过长时条件会失效如何解决

云数据仓库AnalyticDB是阿里云提供的一种高性能、弹性扩展的云原生数据仓库解决方案;本合集将深入探讨ADB的架构、性能调优、数据管理和应用场景等,以及如何解决在使用过程中可能出现的问题,提高数据仓库的使用效率。

73 4
|
3月前
|
SQL 监控 Cloud Native
|

云数据仓库ADB问题之创建物化视图时报错SQL错误如何解决

云数据仓库AnalyticDB是阿里云提供的一种高性能、弹性扩展的云原生数据仓库解决方案;本合集将深入探讨ADB的架构、性能调优、数据管理和应用场景等,以及如何解决在使用过程中可能出现的问题,提高数据仓库的使用效率。

57 5
|
3月前
|
SQL 运维 Cloud Native
|

云数据仓库ADB问题之数据导出失败如何解决

云数据仓库AnalyticDB是阿里云提供的一种高性能、弹性扩展的云原生数据仓库解决方案;本合集将深入探讨ADB的架构、性能调优、数据管理和应用场景等,以及如何解决在使用过程中可能出现的问题,提高数据仓库的使用效率。

79 2
|
3月前
|
Cloud Native 数据管理 OLAP
|

云数据仓库ADB问题之首次查询很慢如何解决

云数据仓库AnalyticDB是阿里云提供的一种高性能、弹性扩展的云原生数据仓库解决方案;本合集将深入探讨ADB的架构、性能调优、数据管理和应用场景等,以及如何解决在使用过程中可能出现的问题,提高数据仓库的使用效率。

54 5
|
3月前
|
关系型数据库 专有云 MySQL
|

云数据仓库ADB问题之查询特慢如何解决

云数据仓库AnalyticDB是阿里云提供的一种高性能、弹性扩展的云原生数据仓库解决方案;本合集将深入探讨ADB的架构、性能调优、数据管理和应用场景等,以及如何解决在使用过程中可能出现的问题,提高数据仓库的使用效率。

64 6
|
3月前
|
缓存 Cloud Native 关系型数据库
|

云数据仓库ADB mysql3问题之点击开启没反应如何解决

云数据仓库AnalyticDB是阿里云提供的一种高性能、弹性扩展的云原生数据仓库解决方案;本合集将深入探讨ADB的架构、性能调优、数据管理和应用场景等,以及如何解决在使用过程中可能出现的问题,提高数据仓库的使用效率。

55 2
|
3月前
|
JSON 监控 Cloud Native
|

云数据仓库ADB问题之json_unquote无效如何解决

云数据仓库AnalyticDB是阿里云提供的一种高性能、弹性扩展的云原生数据仓库解决方案;本合集将深入探讨ADB的架构、性能调优、数据管理和应用场景等,以及如何解决在使用过程中可能出现的问题,提高数据仓库的使用效率。

51 2
|
4月前
|
SQL 分布式计算 Hadoop
|

百川终入海 ,一站式海量数据迁移工具 X2Doris 正式发布

在这一过程中,如何将海量历史数据进行高效迁移成为用户的痛点所在。基于这一目标,我们启动了名为“百川入海”的专项开发任务,开发了**一站式海量数据迁移工具 X2Doris**,集自动建表和数据迁移于一体、提供了对 Apache Hive、ClickHouse、Apache Kudu 以及 StarRocks 等多个数据源的支持,全程界面化、可视化操作,仅通过鼠标操作即可完成大规模数据同步至 Doris 中,并提供了极速和稳定的迁移体验。在经过数个月的公开测试和近百家企业的打磨后,今天我们很高兴地宣布, **X2Doris 正式发布、面向所有社区用户免费下载使用**,数据迁移至 Apache Do

130 0
|
4月前
|
SQL 存储 自然语言处理
|

文本检索性能提升 40 倍,Apache Doris 倒排索引深度解读

如何充分利用倒排索引以及 NGram Bloom Filter 索引进行查询加速,并详细解析其工作原理与最佳实践。

173 0
|
4月前
|
SQL 运维 关系型数据库
|

基于AnalyticDB PostgreSQL的实时物化视图研发实践

AnalyticDB PostgreSQL企业数据智能平台是构建数据智能的全流程平台,提供可视化实时任务开发 + 实时数据洞察,让您轻松平移离线任务,使用SQL和简单配置即可完成整个实时数仓的搭建。

368 1
|
4月前
|
SQL 数据库 HIVE
|

python链接hive数据库实现增删改查操作

python链接hive数据库实现增删改查操作

140 0
|
4月前
|
SQL Java 数据库连接
|

java链接hive数据库实现增删改查操作

java链接hive数据库实现增删改查操作

147 0
|
4月前
|
SQL 分布式计算 Java
|

linux安装Hive详细步骤

【1月更文挑战第2天】linux安装Hive详细步骤

150 0
|
4月前
|
SQL 运维 关系型数据库
|

基于AnalyticDB PostgreSQL的实时物化视图研发实践

AnalyticDB PostgreSQL版提供了实时物化视图功能,相较于普通(非实时)物化视图,实时物化视图无需手动调用刷新命令,即可实现数据更新时自动同步刷新物化视图。当基表发生变化时,构建在基表上的实时物化视图将会自动更新。AnalyticDB PostgreSQL企业数据智能平台是构建数据智能的全流程平台,提供可视化实时任务开发 + 实时数据洞察,让您轻松平移离线任务,使用SQL和简单配置即可完成整个实时数仓的搭建。

143894 8
|
4月前
|
人工智能 关系型数据库 MySQL
|

一键实现穿衣自由|揭秘淘宝AI试衣间硬核技术:AnalyticDB MySQL向量在线召回

在AI试衣间功能的背后,阿里云瑶池旗下的云原生数据仓库AnalyticDB MySQL提供了高维向量低延时的在线向量召回检索服务,下面将进行介绍。

500 3
|
4月前
|
存储 Ubuntu 安全
|

如何在 Ubuntu 18.04 上使用 Minio 设置对象存储服务器

在教程主要说明: - 在 Ubuntu 18.04 服务器上安装 Minio 服务器并将其配置为systemd服务。 - 使用Let's Encrypt设置 SSL/TLS 证书以保护服务器和客户端之间的通信。 - 通过HTTPS访问Minio的浏览器界面来使用和管理服务器。

278 1
|
4月前
|
存储 消息中间件 Ubuntu
|

如何在 Ubuntu 20.04 上以独立模式设置 MinIO 对象存储服务器

在本教程中,将通过以下方式设置 MinIO 的独立部署: - 在运行 Ubuntu 20.04 的服务器上安装 MinIO 服务器。 - 个人计算机上安装 MinIO 客户端并将其配置为与 MinIO 服务器通信。 - 设置数字证书以保护服务器和客户端之间的通信(包括通过 MinIO 控制台)。

273 1
|
5月前
|
分布式计算 关系型数据库 MySQL
|

阿里云ADB MySQL X Intel联合推出训练营,参营完成任务即可获100元话费卡!

AnalyticDB MySQL和Intel联合推出基于ADB Spark的训练营,ADB新用户参营完成任务即可获得价值100元的话费卡权益包!下图可扫码参加,也可直接点击链接前往 https://edu.aliyun.com/trainingcamp/355118

322 0
我要发布