开发者社区> 数据库> 数据仓库

数据仓库

关注

0
今日
2246
内容
6
活动
1865
关注
|
3天前
|
数据采集 XML 存储
|

HTML内容爬取:使用Objective-C进行网页数据提取

HTML内容爬取:使用Objective-C进行网页数据提取

8 0
|
4天前
|
存储 大数据 关系型数据库
|

从 ClickHouse 到阿里云数据库 SelectDB 内核 Apache Doris:快成物流的数智化货运应用实践

目前已经部署在 2 套生产集群,存储数据总量达百亿规模,覆盖实时数仓、BI 多维分析、用户画像、货运轨迹信息系统等业务场景。

26 0
|
9天前
|
SQL 存储 运维
|

网易游戏如何基于阿里云瑶池数据库 SelectDB 内核 Apache Doris 构建全新湖仓一体架构

随着网易游戏品类及产品的快速发展,游戏数据分析场景面临着越来越多的挑战,为了保证系统性能和 SLA,要求引入新的组件来解决特定业务场景问题。为此,网易游戏引入 Apache Doris 构建了全新的湖仓一体架构。经过不断地扩张,目前已发展至十余集群、为内部上百个项目提供了稳定可靠的数据服务、日均查询量数百万次,整体查询性能得到 10-20 倍提升。

39 0
|
9天前
|
存储 人工智能 OLAP
|

深度|大模型时代下,基于湖仓一体的数据智能新范式

本次文根据峰会演讲内容整理:分享在大模型时代基于湖仓一体的数据产品演进,以及我们观察到的一些智能开发相关的新范式。

34 0
|
11天前
|
SQL Java Apache
|

阿里云数据库 SelectDB 版内核 Apache Doris 2.1.4 版本正式发布

亲爱的社区小伙伴们,Apache Doris 2.1.4 版本已于 2024 年 6 月 26 日正式发布。在 2.1.4 版本中,我们对数据湖分析场景进行了多项功能体验优化,重点修复了旧版本中异常内存占用的问题,同时提交了若干改进项以及问题修复,进一步提升了系统的性能、稳定性及易用性,欢迎大家下载使用。

41 0
|
11天前
|
存储 运维 OLAP
|

抖音集团基于 SelectDB 内核 Apache Doris 的实时数据仓库实践

在直播、电商等业务场景中存在着大量实时数据,这些数据对业务发展至关重要。而在处理实时数据时,我们也遇到了诸多挑战,比如实时数据开发门槛高、运维成本高以及资源浪费等。

45 0
|
12天前
|
存储 容灾 Serverless
|

轻松节省30%云资源成本?快来一探究竟吧

阿里云数据库ClickHouse架构全新升级,推出和原厂独家合作的ClickHouse企业版,从传统的存算一体架构全面升级为存算分离的云原生架构,基于oss实现了共享存储,在解决了困扰大多数开源自建用户的集群扩展性问题的同时,大幅降低了存储成本;此外还支持计算资源的serverless,根据实际资源使用量自动弹升弹降,降低业务低峰时段的计算成本。

109 0
|
18天前
|
数据采集 前端开发 JavaScript
|

Python爬虫技术:动态JavaScript加载音频的解析

Python爬虫技术:动态JavaScript加载音频的解析

107 0
|
19天前
|
存储 监控 安全
|

《SelectDB 新一代日志存储分析平台解决方案》白皮书重磅发布|立即下载

作为基于 Apache Doris 打造的现代化数据仓库,SelectDB 不拘泥于传统数仓的限制,针对日志数据的特点引入了多项创新性技术,使用户可基于 SelectDB 构建开放、高性能、低成本、统一的日志存储分析平台, 截至目前已在近百家行业内知名企业中落地。

149 0
|
19天前
|
存储 SQL 数据管理
|

基于阿里云数据库 SelectDB 版内核 Apache Doris 全新分区策略 Auto Partition 应用场景与功能详解

自动分区的出现进一步简化了复杂场景下的 DDL 和分区表的维护工作,许多用户已经使用该功能简化了工作流程,并且极大的便利了从其他数据库系统迁移到 Doris 的工作,自动分区已成为处理大规模数据和应对高并发场景的理想选择。

104 0
|
19天前
|
人工智能 资源调度 算法
|

内附原文|SIGMOD’24:百万核的智能调度,云数仓如何结合AI处理用户混合负载

论文提出的Flux通过使用AI技术将短时和长时查询解耦进行自动弹性,解决了云数据仓库的性能瓶颈,同时支持了资源按需预留。Flux优于传统的方法,查询响应时间 (RT) 最多可减少75%,资源利用率提高19.0%,成本开销降低77.8%。

213 1
|
26天前
|
SQL Cloud Native 关系型数据库
|

云原生数据仓库AnalyticDB操作报错合集之执行sql的进程报错:"unknown connection id",是什么导致的

阿里云AnalyticDB提供了全面的数据导入、查询分析、数据管理、运维监控等功能,并通过扩展功能支持与AI平台集成、跨地域复制与联邦查询等高级应用场景,为企业构建实时、高效、可扩展的数据仓库解决方案。以下是对AnalyticDB产品使用合集的概述,包括数据导入、查询分析、数据管理、运维监控、扩展功能等方面。

750 3
|
26天前
|
SQL Cloud Native 关系型数据库
|

云原生数据仓库AnalyticDB操作报错合集之报错代码"[31004, 2023121817001319216817200303151051107] : Compiler failed and interpreter is disabled"是什么导致的

阿里云AnalyticDB提供了全面的数据导入、查询分析、数据管理、运维监控等功能,并通过扩展功能支持与AI平台集成、跨地域复制与联邦查询等高级应用场景,为企业构建实时、高效、可扩展的数据仓库解决方案。以下是对AnalyticDB产品使用合集的概述,包括数据导入、查询分析、数据管理、运维监控、扩展功能等方面。

693 3
|
26天前
|
Cloud Native 数据管理 OLAP
|

云原生数据仓库AnalyticDB产品使用合集之是否可以创建表而不使用分区

阿里云AnalyticDB提供了全面的数据导入、查询分析、数据管理、运维监控等功能,并通过扩展功能支持与AI平台集成、跨地域复制与联邦查询等高级应用场景,为企业构建实时、高效、可扩展的数据仓库解决方案。以下是对AnalyticDB产品使用合集的概述,包括数据导入、查询分析、数据管理、运维监控、扩展功能等方面。

377 2
|
26天前
|
Cloud Native 关系型数据库 MySQL
|

云原生数据仓库AnalyticDB产品使用合集之是否支持修改主键

阿里云AnalyticDB提供了全面的数据导入、查询分析、数据管理、运维监控等功能,并通过扩展功能支持与AI平台集成、跨地域复制与联邦查询等高级应用场景,为企业构建实时、高效、可扩展的数据仓库解决方案。以下是对AnalyticDB产品使用合集的概述,包括数据导入、查询分析、数据管理、运维监控、扩展功能等方面。

280 3
|
26天前
|
存储 监控 Cloud Native
|

云原生数据仓库AnalyticDB产品使用合集之如何添加索引

阿里云AnalyticDB提供了全面的数据导入、查询分析、数据管理、运维监控等功能,并通过扩展功能支持与AI平台集成、跨地域复制与联邦查询等高级应用场景,为企业构建实时、高效、可扩展的数据仓库解决方案。以下是对AnalyticDB产品使用合集的概述,包括数据导入、查询分析、数据管理、运维监控、扩展功能等方面。

348 2
|
26天前
|
SQL Cloud Native 关系型数据库
|

云原生数据仓库AnalyticDB产品使用合集之如何进行一键诊断

阿里云AnalyticDB提供了全面的数据导入、查询分析、数据管理、运维监控等功能,并通过扩展功能支持与AI平台集成、跨地域复制与联邦查询等高级应用场景,为企业构建实时、高效、可扩展的数据仓库解决方案。以下是对AnalyticDB产品使用合集的概述,包括数据导入、查询分析、数据管理、运维监控、扩展功能等方面。

378 7
|
26天前
|
运维 Cloud Native 关系型数据库
|

云原生数据仓库AnalyticDB产品使用合集之布尔类型和int类型可以自动转换吗

阿里云AnalyticDB提供了全面的数据导入、查询分析、数据管理、运维监控等功能,并通过扩展功能支持与AI平台集成、跨地域复制与联邦查询等高级应用场景,为企业构建实时、高效、可扩展的数据仓库解决方案。以下是对AnalyticDB产品使用合集的概述,包括数据导入、查询分析、数据管理、运维监控、扩展功能等方面。

127 1
|
26天前
|
存储 关系型数据库 MySQL
|

云原生数据仓库AnalyticDB产品使用合集之是否支持rdb数据库实时同步

阿里云AnalyticDB提供了全面的数据导入、查询分析、数据管理、运维监控等功能,并通过扩展功能支持与AI平台集成、跨地域复制与联邦查询等高级应用场景,为企业构建实时、高效、可扩展的数据仓库解决方案。以下是对AnalyticDB产品使用合集的概述,包括数据导入、查询分析、数据管理、运维监控、扩展功能等方面。

156 4
|
26天前
|
运维 Cloud Native 关系型数据库
|

云原生数据仓库AnalyticDB产品使用合集之PostgreSQL版是否直接支持实时物化视图

阿里云AnalyticDB提供了全面的数据导入、查询分析、数据管理、运维监控等功能,并通过扩展功能支持与AI平台集成、跨地域复制与联邦查询等高级应用场景,为企业构建实时、高效、可扩展的数据仓库解决方案。以下是对AnalyticDB产品使用合集的概述,包括数据导入、查询分析、数据管理、运维监控、扩展功能等方面。

94 3
|
26天前
|
Cloud Native 关系型数据库 MySQL
|

云原生数据仓库AnalyticDB产品使用合集之是否支持mysql_fdw 和clickhousedb_fdw外部数据包装器

阿里云AnalyticDB提供了全面的数据导入、查询分析、数据管理、运维监控等功能,并通过扩展功能支持与AI平台集成、跨地域复制与联邦查询等高级应用场景,为企业构建实时、高效、可扩展的数据仓库解决方案。以下是对AnalyticDB产品使用合集的概述,包括数据导入、查询分析、数据管理、运维监控、扩展功能等方面。

117 4
|
26天前
|
存储 SQL Cloud Native
|

云原生数据仓库AnalyticDB产品使用合集之热数据存储空间在什么地方查看

阿里云AnalyticDB提供了全面的数据导入、查询分析、数据管理、运维监控等功能,并通过扩展功能支持与AI平台集成、跨地域复制与联邦查询等高级应用场景,为企业构建实时、高效、可扩展的数据仓库解决方案。以下是对AnalyticDB产品使用合集的概述,包括数据导入、查询分析、数据管理、运维监控、扩展功能等方面。

70 4
|
26天前
|
运维 Cloud Native 关系型数据库
|

云原生数据仓库AnalyticDB产品使用合集之一次性最多能查询多少条数据

阿里云AnalyticDB提供了全面的数据导入、查询分析、数据管理、运维监控等功能,并通过扩展功能支持与AI平台集成、跨地域复制与联邦查询等高级应用场景,为企业构建实时、高效、可扩展的数据仓库解决方案。以下是对AnalyticDB产品使用合集的概述,包括数据导入、查询分析、数据管理、运维监控、扩展功能等方面。

30 1
|
26天前
|
Cloud Native 关系型数据库 OLAP
|

云原生数据仓库AnalyticDB产品使用合集之 orcale的行转列函数wm_concat 在pg版本有对应的相关函数吗

阿里云AnalyticDB提供了全面的数据导入、查询分析、数据管理、运维监控等功能,并通过扩展功能支持与AI平台集成、跨地域复制与联邦查询等高级应用场景,为企业构建实时、高效、可扩展的数据仓库解决方案。以下是对AnalyticDB产品使用合集的概述,包括数据导入、查询分析、数据管理、运维监控、扩展功能等方面。

28 4
|
26天前
|
Cloud Native 关系型数据库 MySQL
|

云原生数据仓库AnalyticDB产品使用合集之如何修改云ADB MySQL版的默认LIMIT

阿里云AnalyticDB提供了全面的数据导入、查询分析、数据管理、运维监控等功能,并通过扩展功能支持与AI平台集成、跨地域复制与联邦查询等高级应用场景,为企业构建实时、高效、可扩展的数据仓库解决方案。以下是对AnalyticDB产品使用合集的概述,包括数据导入、查询分析、数据管理、运维监控、扩展功能等方面。

61 21
|
26天前
|
监控 Cloud Native 关系型数据库
|

云原生数据仓库AnalyticDB产品使用合集之如何更新、删除和导入AnalyticDBMySQL数据

阿里云AnalyticDB提供了全面的数据导入、查询分析、数据管理、运维监控等功能,并通过扩展功能支持与AI平台集成、跨地域复制与联邦查询等高级应用场景,为企业构建实时、高效、可扩展的数据仓库解决方案。以下是对AnalyticDB产品使用合集的概述,包括数据导入、查询分析、数据管理、运维监控、扩展功能等方面。

22 3
|
26天前
|
存储 Cloud Native 关系型数据库
|

云原生数据仓库AnalyticDB产品使用合集之字段类型在创建后如何修改

阿里云AnalyticDB提供了全面的数据导入、查询分析、数据管理、运维监控等功能,并通过扩展功能支持与AI平台集成、跨地域复制与联邦查询等高级应用场景,为企业构建实时、高效、可扩展的数据仓库解决方案。以下是对AnalyticDB产品使用合集的概述,包括数据导入、查询分析、数据管理、运维监控、扩展功能等方面。

40 6
|
1月前
|
SQL 存储 安全
|

sql数据库优点,SQL数据库的优点包

SQL数据库优点概述:结构化数据存储,保证一致性和完整性;支持事务处理、数据安全机制;擅长大规模数据处理,标准化查询语言,具良好可移植性;灵活定制,支持多用户并发;具备备份恢复机制,适合数据分析和报表;拥有成熟生态系统和工具支持,广泛应用于各类场景。

37 0
|
1月前
|
存储 运维 安全
|

Greenplum闭源?平滑迁移到 AnalyticDB 开启Data+AI新范式

知名开源 MPP 数据库 Greenplum 由于其丰富的企业级特性和出色的数据处理能力成为很多企业构建数仓的首选。近期 GP 公开 Github 仓库无法访问仅保留只读归档代码,业界纷纷猜测 GP 即将闭源。云原生数仓 AnalyticDB PostgreSQL 版完全掌控内核代码,完全兼容GP语法,全自研计算及存储引擎较比开源GP有五倍性能提升,全自研企业级特性在实时计算、弹性扩展、安全增强、高可用等方面实现对GP的全面超越,并在数仓能力上扩展了向量检索及一站式 RAG 服务,帮助企业快速构建 AI 应用、开启 Data+AI 新范式。

58976 3
|
1月前
|
弹性计算 JSON Cloud Native
|

Apache Doris 2.0.11 版本正式发布

Apache Doris 2.0.11 版本已于 2024 年 6 月 5 日正式与大家见面,该版本提交了 123 个改进项以及问题修复,进一步提升了系统的性能及稳定性,欢迎大家下载体验。

92 1
|
1月前
|
存储 SQL BI
|

毫秒级查询性能优化实践!基于阿里云数据库 SelectDB 版内核:Apache Doris 在极越汽车数字化运营和营销方向的解决方案

毫秒级查询性能优化实践!基于阿里云数据库 SelectDB 版内核:Apache Doris 在极越汽车数字化运营和营销方向的解决方案

1131 1
|
1月前
|
存储 缓存 测试技术
|

现代化实时数仓 SelectDB 再次登顶 ClickBench 全球数据库分析性能排行榜!

近日,在 ClickHouse 发起的分析型数据库性能测试排行榜 ClickBench(https://benchmark.clickhouse.com/)中,现代化实时数仓 SelectDB 时隔两年后再次登顶,在全部近百款数据库和数十种机型中,性能表现位居总榜第一!

68 1
|
2月前
|
存储 运维 5G
|

基于阿里云数据库 SelectDB 内核 Apache Doris 的实时/离线一体化架构,赋能中国联通 5G 全连接工厂解决方案

数据是 5G 全连接工厂的核心要素,为支持全方位的数据收集、存储、分析等工作的高效进行,联通 5G 全连接工厂从典型的 Lambda 架构演进为 All in [Apache Doris](https://c.d4t.cn/vwDf8R) 的实时/离线一体化架构,并凭借 Doris 联邦查询能力打造统一查询网关,数据处理及查询链路大幅简化,为联通 5G 全连接工厂带来数据时效性、查询响应、存储成本、开发效率全方位的提升。

893 4
|
2月前
|
SQL 测试技术 OLAP
|

现代化实时数仓 SelectDB 再次登顶 ClickBench 全球数据库分析性能排行榜!

现代化实时数仓 SelectDB 在时隔两年后再次完成登顶,在全部近百款数据库和数十种机型中,性能位居总榜第一!

310 1
|
2月前
|
存储 关系型数据库 MySQL
|

AnalyticDB MySQL新购页面融合升级,提供企业版购买选项

AnalyticDB MySQL新购页面升级,现推出企业版和基础版,不再区分湖仓版和数仓版。企业版(集群模式)和基础版(单机模式)融合了弹性模式和预留模式的功能,提供资源隔离、弹性扩展及高性能查询,适合开发测试和生产环境,而基础版适用于小规模测试,不推荐用于生产环境。

323 0
|
2月前
|
存储 安全 数据挖掘
|

性能30%↑|阿里云AnalyticDB X AMD EPYC,数据分析步入Next Level

阿里云原生数仓 AnalyticDB for PostgreSQL 与 AMD 新一代硬件深度优化,结合全自研计算引擎及行列混合存储实现性能升级,综合性能提升30%。结合丰富的企业级能力帮助企业构建离在线一体、流批一体综合数据分析平台,采用同一引擎即可满足离线批处理、流式加工,交互式分析三种场景,在开发运维、时效性及成本上具备更高的性价比。

455 0
|
2月前
|
存储 安全 数据挖掘
|

性能30%↑|阿里云AnalyticDB*AMD EPYC,数据分析步入Next Level

第4代 AMD EPYC加持,云原生数仓AnalyticDB分析轻松提速。

74317 6
|
2月前
|
消息中间件 存储 监控
|

ClickHouse物化视图里常见的7个坑,你踩过几个?

一文解析ClickHouse物化视图

58140 6
|
2月前
|
存储 监控 Cloud Native
|

ClickHouse物化视图里常见的7个坑,你踩过几个?

在 OLAP 的业务场景中,不仅要把数据存起来,还需要把数据处理好。在 ClickHouse 中,为了提高数据处理性能,使用 Materialized View 是有效的方法之一。本文主要探讨 Materialized View(下文称 MV) 的工作原理与最佳实践,并介绍了使用过程中容易踩坑的一些问题和解决方案。

737 4
|
2月前
|
存储 SQL Cloud Native
|

阿里云数据库 SelectDB 版全面商业化!开启现代化实时数据仓库的全新篇章

2024 年 5 月 21 日,由阿里云联合飞轮科技共同举办的「阿里云数据库 SelectDB 版商业化产品发布会」于线上召开。阿里巴巴集团副总裁、阿里云数据库产品事业部负责人李飞飞宣布,阿里云数据库 SelectDB 版在中国站及国际站全面发布,正式开启商业化的全新篇章!

444 2
|
2月前
|
存储 SQL 监控
|

阿里云数据库 SelectDB 版全面商业化!开启现代化实时数据仓库新篇章

2024 年 5 月 21 日,由阿里云联合飞轮科技共同举办的「阿里云数据库 SelectDB 版商业化产品发布会」于线上召开。阿里巴巴集团副总裁、阿里云数据库产品事业部负责人李飞飞宣布,阿里云数据库 SelectDB 版在中国站及国际站全面发布,正式开启商业化的全新篇章!

564 3
|
2月前
|
SQL 存储 Apache
|

Apache Doris 2.1.3 版本正式发布

Apache Doris 2.1.3 版本正式发布!该版本在功能特性上对数据湖、物化视图、负载管理等方面进行了多项更新,进一步简化湖仓一体架构、加速了查询性能。 欢迎大家下载体验~

498 1
|
2月前
|
SQL 大数据 BI
|

从离线到实时:无锡锡商银行基于 Apache Doris 的数据仓库演进实践

从离线到实时:无锡锡商银行基于 Apache Doris 的数据仓库演进实践

65320 5
|
2月前
|
监控 Cloud Native 大数据
|

即刻预约|阿里云数据库 SelectDB 版商业化发布会,5月21日14:00与您相约

2024年5月2日14:00,阿里云数据库 SelectDB 版商业化产品发布会将于线上重磅举行,即刻开启预约!👇 直播地址:https://developer.aliyun.com/special/selectdb?utm_content=g_1000393528

777 0
|
2月前
|

活动报名|ClickHouse Hangzhou User Group第一届Meetup来啦~

ClickHouse Hangzhou User Group第一届Meetup来啦~

434 0
|
2月前
|
存储 监控 Apache
|

查询提速11倍、资源节省70%,阿里云数据库内核版 Apache Doris 在网易日志和时序场景的实践

网易的灵犀办公和云信利用 Apache Doris 改进了大规模日志和时序数据处理,取代了 Elasticsearch 和 InfluxDB。Doris 实现了更低的服务器资源消耗和更高的查询性能,相比 Elasticsearch,查询速度提升至少 11 倍,存储资源节省达 70%。Doris 的列式存储、高压缩比和倒排索引等功能,优化了日志和时序数据的存储与分析,降低了存储成本并提高了查询效率。在灵犀办公和云信的实际应用中,Doris 显示出显著的性能优势,成功应对了数据增长带来的挑战。

52926 2
|
2月前
|
存储 SQL Apache
|

阿里云数据库内核 Apache Doris 基于 Workload Group 的负载隔离能力解读

阿里云数据库内核 Apache Doris 基于 Workload Group 的负载隔离能力解读

66433 0
|
2月前
|
运维 Cloud Native 关系型数据库
|

云原生数据仓库产品使用合集之原生数据仓库AnalyticDB PostgreSQL版如果是列存表的话, adb支持通过根据某个字段做upsert吗

阿里云AnalyticDB提供了全面的数据导入、查询分析、数据管理、运维监控等功能,并通过扩展功能支持与AI平台集成、跨地域复制与联邦查询等高级应用场景,为企业构建实时、高效、可扩展的数据仓库解决方案。以下是对AnalyticDB产品使用合集的概述,包括数据导入、查询分析、数据管理、运维监控、扩展功能等方面。

372 0
|
2月前
|
Cloud Native 关系型数据库 MySQL
|

云原生数据仓库产品使用合集之在ADB中,如何将源数据的多表(数据结构一致)汇总到一张表

阿里云AnalyticDB提供了全面的数据导入、查询分析、数据管理、运维监控等功能,并通过扩展功能支持与AI平台集成、跨地域复制与联邦查询等高级应用场景,为企业构建实时、高效、可扩展的数据仓库解决方案。以下是对AnalyticDB产品使用合集的概述,包括数据导入、查询分析、数据管理、运维监控、扩展功能等方面。

328 1
|
2月前
|
Cloud Native 关系型数据库 MySQL
|

云原生数据仓库产品使用合集之ADB MySQL湖仓版和 StarRocks 的使用场景区别,或者 ADB 对比 StarRocks 的优劣势

阿里云AnalyticDB提供了全面的数据导入、查询分析、数据管理、运维监控等功能,并通过扩展功能支持与AI平台集成、跨地域复制与联邦查询等高级应用场景,为企业构建实时、高效、可扩展的数据仓库解决方案。以下是对AnalyticDB产品使用合集的概述,包括数据导入、查询分析、数据管理、运维监控、扩展功能等方面。

781 1
我要发布