DMS Airflow:企业级数据工作流编排平台的专业实践
DMS Airflow 是基于 Apache Airflow 构建的企业级数据工作流编排平台,通过深度集成阿里云 DMS(Data Management Service)系统的各项能力,为数据团队提供了强大的工作流调度、监控和管理能力。本文将从 Airflow 的高级编排能力、DMS 集成的特殊能力,以及 DMS Airflow 的使用示例三个方面,全面介绍 DMS Airflow 的技术架构与实践应用。
基于云数据库 RDS Supabase 服务一站式构建 AI 应用
云数据库 RDS PostgreSQL 全托管 Supabase 服务,为客户提供了 AI 应用开发的新范式。本次分享将重点介绍 RDS Supabase 核心能力和适用场景,以及相较于开源版 Supabase 和社区版PostgreSQL,RDS Supabase 具备的增强能力,并通过实战演练,带大家了解如何基于RDS Supabase 开发一个简易 Agentic RAG 应用。点此提交咨询申请试用:https://page.aliyun.com/form/act987005680/index.htm
基于PolarDB-PG一站式AI Agent长记忆方案
本文介绍了基于PolarDB-PG的AI Agent长记忆方案,结合Mem0框架,提供向量与图数据库一站式支持,解决LLM跨会话、跨应用“失忆”问题。方案具备跨会话记忆、个性化服务、高效检索等能力,适用于各类AI应用场景。
AI时代,数据库如何为大模型注入生命力?
要真正打造有价值、有生产力的AI应用,一个关键环节常被低估——那就是数据库。 在AI时代,数据库究竟如何为大模型注入生命力? 视频转载自量子位B站
阿里云「RDS AI 助手」正式上线:大模型驱动的数据库智能运维 Copilot
阿里云 RDS AI 助手上线,用自然语言即可实现数据库问题诊断、巡检报告生成、参数调优、慢 SQL 优化等智能运维。深度集成控制台,支持多语言时区,免费公测中,让数据库管理更简单高效。
RDS AI 助手专属Agent
不同团队有不同运维规范?没关系! 通过个性化Agent定制功能,你可以: 设置专属角色(如“售卖业务AI DBA”、“慢SQL专业DBA”)提示词内注入企业内部知识,将企业内的DBA知识从文档变成可对话DBA Agent固化高频任务(如每日慢SQL报告、每周配置合规检查)
RDS AI 助手解读慢SQL
每天花几小时看慢日志?现在交给 AI 就行!进入实例详情 > 日志管理 > 慢日志明细,将鼠标悬停在任意一条慢 SQL 上,点击出现的 AI 分析图标,RDS AI 助手会立即:解析执行计划 >判断是否缺少索引 >给出改写建议或优化方案。
RDS AI 助手参数配置建议
面对几十上百个数据库参数,是不是常常看不懂某个参数到底是什么意思?当前值是否合理?现在,在参数设置页面,即可查看参数作用说明、当前配置值的实际影响和推荐取值范围
RDS AI 助手CPU问题诊断
当系统检测到 CPU 飙升、磁盘快满、慢SQL突增、IO 异常、主备切换失败等问题时,会在控制台推送告警事件。你只需点击事件旁的【AI诊断】按钮,RDS AI 助手就会自动关联日志、性能数据和历史趋势,快速给出根因分析 + 优化建议。
为什么实时更新场景下 Doris 查询性能是 ClickHouse 的 34 倍
企业数据分析能力从TP系统起步,随业务发展历经扩展优化,最终走向AP系统独立建设。Apache Doris凭借高并发、低延迟、实时更新与强查询性能,成为实时分析架构升级的理想选择,助力网易云音乐、快手、拉卡拉等企业实现性能倍增与成本优化。
Apache Doris 登顶 RTABench —— 实时分析领域的性能王者
Apache Doris 在最新 RTABench 实时分析榜单中登顶,性能达 ClickHouse 的6倍、PostgreSQL 的30倍、MongoDB 的100倍。依托 MPP 架构、列式存储、Pipeline 引擎与智能优化器,Doris 在多表关联、实时查询等场景表现卓越,成为实时分析新标杆。
Apache Doris 是如何保障系统稳定性的?
Apache Doris 面对多样化场景与高速迭代,构建了涵盖单元测试、混沌测试、升降级验证等多维测试体系,并通过工程实践、社区共建、系统重构与文档建设四大支柱,打造全方位稳定性保障体系,持续提升系统可靠性。
Doris MCP Server 0.5.1 版本发布
Doris MCP Server 0.5.1 升级发布,增强全局SQL超时、自愈连接池,新增数据治理八项能力,支持ADBC协议提速3-10倍,升级日志系统与调参文档,兼容0.4.x版本,助力企业高效稳定数据分析。
Docker 安装 Oracle 11g
本文介绍在Ubuntu系统中使用Docker Compose部署Oracle 11g的完整流程,包括镜像拉取、目录创建、容器配置与启动。同时说明默认用户信息及通过DBeaver连接数据库的步骤。
货拉拉用户画像基于 Apache Doris 的数据模型设计与实践
货拉拉基于Apache Doris构建高效用户画像系统,实现标签管理、人群圈选与行为分析的统一计算引擎,支持秒级响应与大规模数据导入,显著提升查询效率与系统稳定性,助力实时化、智能化运营升级。
Apache Doris 4.0 版本正式发布:全面升级 AI 与搜索能力,强化离线计算
Apache Doris 4.0 正式发布!深度融合AI与搜索能力,支持向量索引、AI函数、全文检索打分,强化离线计算稳定性,提升查询性能与数据质量,助力企业构建高效实时数仓。
从 Snowflake 到 Apache Doris:Planet 实时分析成本直降 80%、查询加速 90 倍
Planet深耕支付与税务数字化近40年,服务全球零售、酒店与旅游行业。为应对数据增长挑战,其数据团队将数仓从Snowflake迁移至Apache Doris,实现月成本降低80%、查询性能提升最高90倍,并达成实时分析能力,构建了高效、低成本、可扩展的数据新架构,为业务发展奠定坚实基础。
Doris MCP Server v0.6.0 正式发布
Doris MCP Server v0.6.0 重磅发布!全面升级为企业级认证与数据库管理系统,支持多租户隔离、Token绑定配置、热重载免重启、Web可视化管理。增强安全防护、连接池性能飞跃,助力多租户SaaS与高可用生产环境,平滑兼容旧版本,开启数据管理新时代。
Apache Doris 数据导入原理与性能优化 | Deep Dive
Apache Doris 数据导入机制基于分布式架构,通过 FE 与 BE 协同实现高效、可靠的数据写入。本文深入解析其核心流程、事务管理与性能瓶颈,涵盖 Stream Load、Broker Load 等多种导入方式,重点剖析 MemTable 前移、存算分离优化等关键技术,并提供表结构设计、攒批策略、分桶配置等实战优化方案,帮助用户在延迟与吞吐间取得平衡,显著提升数据导入效率。
Apache Doris AI 能力揭秘(三):AI_AGG 与 EMBED 函数深度解析
Apache Doris 推出 AI_AGG 与 EMBED 两大核心函数,实现文本智能聚合与语义向量化分析。AI_AGG 支持海量文本动态预聚合,EMBED 结合向量函数实现相似度检索、问答匹配等场景,原生集成 AI 能力至 SQL,让数据分析更智能高效。
TRUNCATE、DELETE、DROP 的区别?
MySQL中DELETE、TRUNCATE和DROP均用于删除数据,但作用不同:DELETE删除行记录,支持WHERE条件和事务回滚,速度慢;TRUNCATE快速清空表并重置自增ID,不可回滚;DROP则彻底删除表结构与数据,操作不可逆。三者在日志记录、速度及功能上有显著差异。
为什么MySQL会选错索引,如何解决?
InnoDB索引选择由优化器基于成本决策,受基数性、选择性、索引覆盖等因素影响。统计信息不准或复杂查询可能导致选错索引,可通过ANALYZE TABLE更新统计、FORCE INDEX强制索引或优化查询和配置来解决。
redis也可以整个db拷贝
导出和导入的时候,yunedit-redis还可以选择导出策略和导入策略,比如导出什么类型的数据,假如你只想导出某种类型的数据,比如list类型或hash类型,也是可以的。 它还支持ssh通过,在服务端没有暴露redis端口的情况下,可以通过ssh跳板机,做ssh隧道映射端口到本地。
【赵渝强老师】达梦数据库的事务隔离级别
达梦数据库支持多客户端并发访问,为避免数据不一致,提供三种事务隔离级别:读未提交、读已提交(默认)和串行化。通过SQL可查看隔离级别,其默认的读已提交级别可有效防止脏读问题。
通过 Dify 集成 RDS RAG Agent 实现知识图谱增强检索
本视频介绍了如何将RDS RAG Agent能力接入Dify,实现AI应用的检索增强生成。详情可见:https://help.aliyun.com/zh/rds/apsaradb-rds-for-postgresql/rag-agent/
分享一些Java面向对象的实际案例
Java面向对象案例通过校园管理和电商系统,展现封装、继承、多态的协同:封装保护数据,继承复用代码,多态实现灵活扩展,贴近实际应用,体现OOP核心思想。(238字)
为什么MySQL8.0 要取消查询缓存?
MySQL查询缓存曾用于提升SELECT性能,通过缓存结果避免重复执行,但因频繁失效、内存开销大、一致性问题及不均查询分布等缺陷,自8.0版本起被彻底移除,以优化整体性能与维护性。
MySQL中到底什么是覆盖索引、索引下推?
覆盖索引指查询只需通过索引即可获取数据,无需回表,提升查询效率。索引下推则在索引遍历时提前过滤条件,减少回表次数,尤其适用于联合索引中部分字段无法使用的情况,二者均能显著降低I/O开销,提高查询性能。(238字)
【Java架构师体系课 | MySQL篇】⑥ 索引优化实战二
本文介绍了MySQL查询与数据类型优化策略,涵盖分页查询、Join关联、in/exist选择、count(*)优化及数据类型选取。通过索引优化、改写SQL、合理使用算法与数据类型,可显著提升数据库性能。
【Java架构师体系课 | MySQL篇】⑤ 索引优化实战一
本文深入解析MySQL索引优化原理,涵盖联合索引使用、覆盖索引、索引下推、filesort排序机制及trace工具分析执行计划选择等内容,并结合实际案例提供索引设计原则与SQL优化策略。
Apache Doris 自动分区:如何应对分布式环境下的复杂并发挑战|Deep Dive
在分布式环境下,分区对性能的影响不可小觑。本文深度、详尽的讲解 Apache Doris 自动分区设计思考,并就多线程复杂并发场景下所面临的挑战,一一剖析 Doris 自动分区设计时的应对策略。
常用的redis迁移工具有哪些
yunedit-redis:是一个完整的可视化工具,支持redis的数据管理和数据迁移。redis-dump: 也是做得比较早的工具,使用命令行导出数据。是命令行导出比较好的工具。redis-shake:通过命令行安装,这不是一个直接的导出工具,它是一个api工具。redis-cli:redis自带的工具,这个工具的导入导出的命令比较简陋。
建筑机电协同必备:Inventor 2026 新版本亮点 附安装包
Inventor 2026 是专业级三维机械设计平台,强化智能建模、性能优化与工程协同。支持AI驱动参数化设计、大型装配体流畅操作、智能出图及BOM管理,深度融合制造流程,助力设计到生产的高效转化。
【Java架构师体系课 | MySQL篇】④ 索引失效问题总结
本文详解MySQL索引使用规范,涵盖全值匹配、最左前缀法则、避免索引列操作、覆盖索引、不等条件与通配符对索引的影响等十二大要点,结合EXPLAIN分析SQL执行计划,提升查询性能。
Mysql如何往表中插入10万条测试数据
创建存储过程批量插入10万条测试数据。示例中先建员工表,再通过循环调用存储过程高效生成大量记录,适用于性能测试或数据初始化场景。
【Java架构师体系课 | MySQL篇】③ Explain执行计划详解
Explain用于分析SQL执行计划,通过模拟优化器行为揭示查询性能瓶颈。它展示索引使用、扫描行数等信息,帮助优化查询语句,提升数据库效率。
【赵渝强老师】OceanBase的连接与路由管理
ODP(OceanBase Database Proxy)是OceanBase数据库专用的连接路由组件,负责将客户端SQL请求智能路由至最佳OBServer节点,具备高性能转发、高可用、易运维等特性,支持读写分离与多副本负载均衡,是分布式数据库访问的核心代理服务。
从 ClickHouse、Druid、Kylin 到 Doris:网易云音乐 PB 级实时分析平台降本增效
基于 Apache Doris 替换了早期架构中 Kylin、Druid、Clickhouse、Elasticsearch、HBase 等引擎,统一了实时分析架构,并广泛应用于广告系统、日志平台和会员报表分析等典型场景,导入性能提升 3~30 倍,机器成本整体降低 55%、部分场景下高达 85%,每年节省数百万成本,综合效能提升 3~7 倍等显著收益,本文将详尽介绍基于 Doris 架构升级及在这些场景中的应用实践。
专为 Apache Doris 打造的可视化数据管理工具 SelectDB Studio
SelectDB Studio 提供 Desktop & Server 双版本,专注于为用户提供高效、便捷的可视化操作体验,帮助数据开发者、DBA 低门槛、高效率地对 Apache Doris 及其兼容数据库中的数据进行可视化开发和管理。
什么是脏读、幻读、不可重复读?Mysql的隔离级别是什么?
脏读、不可重复读和幻读是数据库事务并发操作中的三种异常现象。脏读指读取到未提交的临时数据;不可重复读指同一事务内两次读取结果不一致,因数据被其他事务修改;幻读则是范围查询中出现新增记录,导致行数变化。SQL-92标准定义了四种隔离级别:未提交读(RU)、提交读(RC)、可重复读(RR)和串行化(Serializable),依次增强对这些异常的防控能力,平衡数据一致性与系统并发性能。
CMP7(类Cloudera CDP 7 404版华为Kunpeng)用开源软件Label Studio做数据标注
Cloudera CMP 7 不直接提供数据标注功能,但可集成开源工具如 Label Studio、Doccano、LabelU 和 CVAT 实现多模态数据标注。推荐通过 CML 在私有云或公有云环境部署这些工具,结合 HDFS/S3 数据湖存储,构建端到端 AI/ML 标注与训练闭环,支持预标注、多人协作与企业级集成。
【Java架构师体系课 | MySQL篇】② 深入理解MySQL索引底层数据结构与算法
InnoDB索引为何采用B+树?本文由浅入深解析二叉树、红黑树、B树的缺陷,详解B+树的结构优势:非叶子节点不存数据、叶子节点有序且双向链接,支持高效范围查询与磁盘预读,三层即可存储两千多万数据,极大提升查询性能。
数据库
数据库领域前沿技术分享与交流